On considère un réseau à une entrée, un neurone caché et une sortie linéaire : \[h(x)=\operatorname{ReLU}(wx+b),\qquad F(x)=v\,h(x), \qquad \operatorname{ReLU}(t)=\max(0,t).\] Pour l’unique donnée d’entraînement \((x,t)=(1,2)\), la perte vaut \[E(w,b,v)=\frac12\bigl(F(1)-2\bigr)^2.\] On compare deux initialisations : \(A=(-1,0,1)\) et \(B=(1,0,1)\), dans l’ordre \((w,b,v)\).
Calculer \(h(1)\), \(F(1)\) et \(E\) pour les initialisations \(A\) et \(B\).
Lorsque \(w+b\neq0\), calculer les trois dérivées partielles de \(E\) en fonction de \(F(1)\), \(h(1)\) et de \(\operatorname{ReLU}'(w+b)\). Les évaluer en \(A\) et en \(B\).
Effectuer une mise à jour simultanée par descente de gradient avec un pas \(\eta=0{,}1\) depuis chaque initialisation. Pour le point obtenu depuis \(B\), recalculer la sortie et la perte.
Expliquer pourquoi l’apprentissage est bloqué en \(A\) pour cette donnée, malgré une perte non nulle.