Vous allez travailler avec un réseau de neurones à une couche cachée, conçu pour effectuer une tâche de prédiction simple.
Description du réseau
Entrée :
\(x \in \mathbb{R}\) (scalaire)
Couche cachée (2 neurones) :
Neurone caché 1 :
Poids : \(w_1 = 0{,}15\)
Biais : \(b_1 = 0{,}35\)
Neurone caché 2 :
Poids : \(w_2 = 0{,}20\)
Biais : \(b_2 = 0{,}35\)
Couche de sortie (1 neurone) :
Neurone de sortie :
Poids : \(w_3 = 0{,}40\) (connecté au neurone caché 1)
Poids : \(w_4 = 0{,}45\) (connecté au neurone caché 2)
Biais : \(b_3 = 0{,}60\)
Fonctions d’activation :
Fonction sigmoïde : \(\sigma(z) = \dfrac{1}{1 + e^{-z}}\)
Fonction de coût :
Erreur quadratique moyenne : \(E = \dfrac{1}{2}(y - \hat{y})^2\)
Données :
Entrée : \(x = 0{,}05\)
Sortie cible : \(y = 0{,}01\)
Calculer les sorties des neurones de la couche cachée (\(h_1\) et \(h_2\)).
Calculer la sortie du neurone de sortie (\(\hat{y}\)).
Calculer l’erreur du réseau en utilisant la fonction de coût.
Calculer les gradients des poids \(w_3\) et \(w_4\) de la couche de sortie les gradients des poids \(w_1\) et \(w_2\) de la couche cachée.
Avec un taux d’apprentissage \(\eta = 0{,}5\), mettre à jour tous les poids du réseau.