On considère le réseau de neurones à deux couches suivant où la fonction d’activation de la première couche est \(\sigma \colon x \mapsto \frac{1}{1+e^{-x}}\) et la fonction d’activation de la seconde couche est \(id \colon x \mapsto x\).
Exprimer la sortie de la première couche en fonction de \(x,y,a,b,\omega_1,\cdots,\omega_4\).
Donner une expression de la sortie \(F(x,y,a,b,c,\omega_1,\cdots,\omega_6)\).
Exprimer la dérivée \(\sigma'\) en fonction de \(\sigma\).
Déterminer les dérivées partielles \(\frac{\partial F}{\partial \omega_5}\) et \(\frac{\partial F}{\partial \omega_6}\).
Exprimer \(\frac{\partial F}{\partial a}\) en fonction de \(\frac{\partial F}{\partial \omega_5}\).
On considère l’entrée suivante : \[(x,y) = \left(0{,}05 \, ; \, 0{,}10\right)\] Les poids initiaux sont : \[W_{init} = (a,b,\omega_1,\cdots,\omega_6) = (0.35, 0.5, 0.15, 0.2, 0.25, 0.3, 0.4, 0.45)\] La sortie obtenue est \(F_{\circ} = 1.006117\).
On considère la donnée d’apprentissage : \(((x,y),t) = \left(\left(0{,}05 \, ; \, 0{,}10\right), 0.99 \right)\). L’erreur quadratique est : \[E_{\circ} = (0.99 - 1.006117)^2 = 0.00026\] Calculer le gradient de \(F\) puis le gradient de \(E\) pour \(W_{init}\) avec l’entrée \((x,y) = \left(0{,}05 \, ; \, 0{,}10\right)\).
En utilisant la méthode du gradient à pas constant \(\delta = 0.1\), réaliser un apprentissage de ce réseau en déterminant les nouveaux poids \(W_{new}\).