On considère une couche dense (fully connected) d’un réseau de neurones.
La couche reçoit \(n\) entrées notées \(x_1, x_2, \dots, x_n\).
La couche possède \(p\) neurones.
Chaque neurone \(i\) (pour \(1 \le i \le p\)) calcule une sortie pré-activée \(z_i\) définie par : \[z_i = \sum_{j=1}^{n} w_{i,j} x_j + b_i\] où \(w_{i,j}\) est le poids connectant l’entrée \(j\) au neurone \(i\), et \(b_i\) est le biais du neurone \(i\).
L’objectif est de reformuler ce calcul à l’aide du calcul matriciel pour traiter efficacement de grandes quantités de données.
Écriture vectorielle pour un exemple.
On note \(X\) le vecteur colonne des entrées de taille \((n, 1)\) et \(Z\) le vecteur colonne des sorties de taille \((p, 1)\).
Définir la matrice des poids \(W\) et le vecteur des biais \(B\) avec leurs dimensions respectives, pour que l’égalité suivante soit vérifiée :
\[Z = WX + B\]
Traitement par lot (Batch processing).
En apprentissage, on ne traite pas les exemples un par un, mais par paquets de \(m\) exemples (un batch).
Soit \(X^{(k)}\) le vecteur d’entrée du \(k\)-ième exemple du lot (\(1 \le k \le m\)).
On construit une matrice d’entrée \(\mathbf{X}\) de taille \((n, m)\) en juxtaposant ces vecteurs colonnes :
\[\mathbf{X} = \left[ X^{(1)} | X^{(2)} | \dots | X^{(m)} \right]\]
Exprimer la matrice de sortie \(\mathbf{Z}\) (de taille \((p, m)\)) en fonction de \(W\), \(\mathbf{X}\) et \(B\). Que représente la \(k\)-ième colonne de \(\mathbf{Z}\) ?
Dimensionnement pour un réseau multicouche.
On considère un réseau à 3 couches définies par les tailles successives :
Entrée : \(n_0 = 784\) (pixels d’une image \(28 \times 28\))
Couche cachée 1 : \(n_1 = 128\) neurones
Couche cachée 2 : \(n_2 = 64\) neurones
Sortie : \(n_3 = 10\) neurones (classification 10 chiffres)
On traite un lot de \(m=32\) images. Donner les dimensions des matrices \(W_1, W_2, W_3\) et des matrices d’activation intermédiaires \(A_0, A_1, A_2, A_3\).