[SON] Bonjour, nous allons faire un exercice sur la régression linéaire. Soit (X,Y) un couple aléatoire de carré intégrable tel que la variance de X est différente de 0. Première question : montrer qu'il existe des constantes uniques a et b tels que aX plus b soit la meilleure approximation L² de Y, dans le sens que ces constantes a et b minimisent l'erreur quadratique moyenne. Donc pour calculer l'erreur quadratique moyenne pour deux constantes a prime et b prime, nous commençons par prendre Y, par lui retrancher a prime X plus b prime, par mettre tout ça au carré et prendre l'espérance. Donc on peut minimiser cette erreur quadratique moyenne. Deuxième question : calculer cette erreur quadratique moyenne pour les deux constantes qui la minimisent. Troisième question : que se passe-t-il si X et Y sont indépendantes? On répondra aux questions en fonction de m, l'espérance de X, de n, l'espérance de Y, et de la matrice des covariances du couple (X,Y). Voici la solution de l'exercice sur la régression linéaire : pour la première question il s'agissait de trouver les constantes a et b qui minimisaient l'erreur quadratique faite en prenant Y moins aX plus b, en élevant ça au carré et en prenant l'espérance. Donc la première chose que nous allons faire c'est recentrer les variables Y et X, en retranchant sa moyenne n à Y et en retranchant sa moyenne m à X, évidemment en rajoutant les constantes qu'il faut pour faire cela. Donc en fin de compte, nous calculons l'espérance du carré de la variable aléatoire, Y moins n, qui est centré, moins a fois X moins m, qui est centré, moins les constantes b moins n plus am. Ensuite ce carré, nous le développons. Donc pour développer le carré, nous voyons d'abord, nous développons entre les deux variables centrées et les constantes. Donc premier terme, espérance de, des variables centrées : Y moins n moins a(X moins m), le tout au carré. Ensuite nous prenons le carré des constantes plus b moins n plus am. Ensuite nous prenons le double produit, et de même que pour les constantes, l'espérance d'une constante étant constante, je n'ai pas marqué l'espérance, donc nous ici nous utilisons la linéarité de l'espérance pour dire que c'est moins 2 la constante, b moins n plus am fois l'espérance de la variable aléatoire centrée Y moins n moins a X moins m. Alors cette variable aléatoire étant centrée, on fait exprès pour que cette espérance qui intervient dans ce double produit soit nulle. Du coup, l'erreur quadratique moyenne s'écrit comme étant la variance de Y moins aX, puisque c'est l'espérance du carré d'une variable aléatoire centrée, plus b moins n plus am au carré, plus la constante au carré. Donc, une fois qu'on arrive à cette formule, on va commencer par trouver a tel que la variance de Y moins aX soit minimale, et ensuite il suffira de poser b égal n moins am pour annuler le terme constant au carré. Remarquons que cette dernière chose à faire, b égal n moins am, correspond à faire une régression linéaire des espérances, c'est-à-dire de chercher, d'écrire n égal am plus b. Donc maintenant nous cherchons le a qui minimise la variance de Y moins aX. Par la propriété quadratique de la variance, la variance de Y moins aX c'est la variance de Y moins le double produit, la forme bilinéaire, donc moins 2a covariance de (X, Y) plus a au carré variance de X. On utilise donc le fait que c'est une forme quadratique et on utilise le développement de la forme quadratique en fonction de la forme bilinéaire associée. Donc nous voulons minimiser ça en a. Nous avons supposé que la variance de X était différente de 0 et comme la variance de X est positive ou nulle, la variance de X est en fait strictement positive par l'hypothèse donc en a, c'est un polynôme de degré 2. Donc il est classique de minimiser un tel polynôme, donc la valeur de a qui rend minimal ce polynôme c'est a égal covariance de (X,Y) sur variance de X. Trouver ce minimum, donc comme variance est positive évidemment le polynôme tend vers l'infini, ou moins l'infini plus l'infini, il suffit de trouver le a qui annule la dérivée, donc j'écris la dérivée écrite là, 2a barre de X moins 2 covariance de (X, Y), et ça donne bien a égal covariance de (X,Y) sur variance de X. Nous avons ainsi trouvé la constante a qui convenait. Nous avons dit tout à l'heure qu'il fallait ensuite prendre b d'une certaine forme, donc en fonction de a, b égal n moins am, pour conclure le fait de trouver a et b et par cette démarche, nous voyons que a et b sont uniques. Deuxième question : il s'agissait donc de calculer l'erreur quadratique moyenne obtenue pour ce couple a et b qui minimise l'erreur quadratique moyenne faite en approchant Y par une fonction infime de X. Donc nous avons constaté que la valeur minimale était obtenue pour a égal covariance de X et de Y sur variance de X. Il suffit de remplacer, dans le polynôme du second degré, a par cette valeur, pour obtenir la valeur sur le transparent : variance de Y moins 2 covariance de (X,Y) au carré sur variance de X plus covariance de (X,Y) au carré sur variance de X. En simplifiant, nous obtenons que l'erreur quadratique moyenne vaut variance de Y moins covariance de (X,Y) carré sur variance de X. La troisième question, voici la solution : nous nous demandions ce qui se passait lorsque X et Y sont indépendantes. Si X et Y sont indépendantes, nous savons que covariance de (X,Y) est nulle. A ce moment-là, dans les calculs que nous avons faits, nous avons a qui vaut 0, puisque c'est la covariance de (X,Y) sur la variance de X, et donc b vaut n, l'espérance de Y. Donc, du coup, la meilleure approximation que nous pouvons faire c'est juste l'espérance de Y. X ne nous aide pas dans cette approximation puisque X et Y sont indépendantes. De plus, l'erreur quadratique moyenne vaut variance de Y, puisque les autres termes sont nuls, donc nous avons que la meilleure approximation est donnée par l'espérance de Y et que l'erreur quadratique moyenne c'est la variance de Y. Ceci finit l'exercice.
