On considère un réseau à une entrée, un neurone caché et un neurone de sortie : \[h(x)=\operatorname{ReLU}(w_1x+b_1),\qquad F(x)=w_2h(x)+b_2,\] avec \(\operatorname{ReLU}(u)=\max(0,u)\). On dispose de l’unique donnée d’apprentissage \(x=1\), de cible \(t=1\), et l’on utilise la perte \[E(w_1,b_1,w_2,b_2)=\frac12\bigl(F(1)-t\bigr)^2.\] Les paramètres initiaux sont \((w_1,b_1,w_2,b_2)=(1,0,2,0)\).
Calculer \(h(1)\), \(F(1)\) puis la valeur initiale de \(E\).
Calculer d’abord \(\partial E/\partial w_2\) et \(\partial E/\partial b_2\), puis \(\partial E/\partial w_1\) et \(\partial E/\partial b_1\) aux paramètres initiaux. On rappelle que \(\operatorname{ReLU}'(u)=1\) pour \(u>0\).
Effectuer une mise à jour simultanée des quatre paramètres par descente de gradient avec un pas \(\eta=0{,}1\).
Avec ces nouveaux paramètres, recalculer \(F(1)\) et \(E\). La mise à jour a-t-elle amélioré la prédiction ?