On considère le réseau de neurones suivant :
où \(g_1\) et \(g_2\) sont la fonction ReLU.
def ReLU(y):
if y < 0:
return 0
return yLa fonction d’erreur est : \[E(a,b,c) = \frac{1}{3}\sum_{i=1}^3 E_i(a,b,c)\] où \(E_i = (F(x_i)-t_i)^2\) avec les données d’entraînement suivantes \((x_i,t_i)\) pour 3 valeurs : \((1,2), (-2,0), (3,3)\).
Calculez l’erreur des données d’entraînement (évaluez la fonction de perte) lorsque \((a,b,c) = (-1,2,1)\).
Supposons que \(x = 3\) et \((a,b,c) = (1,-1,2)\).
Calculez \(\frac{\partial F}{\partial c}\) en utilisant les règles ci-dessus.
En déduire $\frac{\partial F}{\partial a}$, $\frac{\partial F}{\partial b}$ en utilisant $\frac{\partial F}{\partial c}$ et les règles ci-dessus. \reponse{ On a $\frac{\partial F}{\partial a} = 3 \times \frac{1}{2} \times 2 \times \frac{\partial F}{\partial c} = 6$ et $\frac{\partial F}{\partial b} = \frac{1}{2}\times 2 \times \frac{\partial F}{\partial c} = 2$. }