On dispose d’observations \((x_1,y_1),\ldots,(x_n,y_n)\). On cherche les "meilleurs" coefficients \(a\) et \(b\) tels que pour chaque observation, on ait \(y_i \approx a x_i + b\). Ce problème est appelé régression linéaire simple.
Pour mesurer la qualité des paramètres \((a,b)\), on souhaite que l’écart entre \(y_i\) et \(ax_i+b\) soit faible pour chaque observation. Pour quantifier l’erreur, on utilise le risque quadratique : \[\begin{equation} R(a,b) = \sum_{i=1}^n (y_i - (a x_i+b) )^2. \end{equation}\] Le problème est de minimiser la fonction \(R(a,b)\). On suppose que les abscisses \(x_1,\ldots,x_n\) ne sont pas toutes égales.
Montrer que : \[\begin{equation} R(a,b) = a^2 \sum_{i=1}^n x_i^2 + 2ab \sum_{i=1}^n x_i + b^2 n -2 a\sum_{i=1}^n x_i y_i -2 b \sum_{i=1}^n y_i + \sum_{i=1}^n y_i^2. \end{equation}\]
Montrer que le gradient de \(R\) s’écrit : \[\begin{equation} \label{eq:nablaR} (\nabla R)(a,b) = \left( \begin{array}{c} 2a \sum_{i=1}^n x_i^2 + 2 b \sum_{i=1}^n x_i -2 \sum_{i=1}^n x_i y_i \\ 2a \sum_{i=1}^n x_i +2 b n -2 \sum_{i=1}^n y_i \end{array} \right). \end{equation}\]
Montrer que \(R\) possède un unique point critique \((a^*,b^*)\) que l’on exprimera à l’aide des \(x_i\) et des \(y_i\).
Montrer que la hessienne de \(R\) s’écrit : \[\begin{equation} \textrm{Hess}_R(a,b) = \left( \begin{array}{cc} 2 \sum_{i=1}^n x_i^2 & 2 \sum_{i=1}^n x_i \\ 2 \sum_{i=1}^n x_i & 2 n \end{array}\right). \end{equation}\]
À l’aide de la question précédente et de l’inégalité de Cauchy-Schwarz, montrer que la fonction \(R\) est convexe.