Régression linéaire

Loading...

En provenance du cours de École Polytechnique

Aléatoire : une introduction aux probabilités - Partie 2

20 notes

École Polytechnique

Aléatoire : une introduction aux probabilités - Partie 2

20 notes

Ce cours d'introduction aux probabilités a la même contenu que le cours de tronc commun de première année de l'École polytechnique donné par Sylvie Méléard. Le cours introduit graduellement la notion de variable aléatoire et culmine avec la loi des grands nombres et le théorème de la limite centrale. Les notions mathématiques nécessaires sont introduites au fil du cours et de nombreux exercices corrigés sont proposés. Ce cours propose aussi une introduction aux méthodes de simulations des variables aléatoires comme la méthode de Monte Carlo. Des expériences numériques interactives sont également mises à votre disposition pour vous permettre de visualiser diverses notions.

À partir de la leçon

VECTEURS ALÉATOIRES (1/2)

Nous entamons cette semaine le Cours 4 dont le sujet est les vecteurs aléatoires, c'est-à-dire, une collection finie de variables aléatoires réelles, comme par exemple des couples de variables aléatoires. Ce cours s'étend sur deux semaines.

Loi triangulaire8:21

Régression linéaire6:24

Aiguille de Buffon20:55

Rencontrer les enseignants

Sylvie Méléard
Professeur de l'Ecole polytechnique
Centre de Mathématiques Appliquées
Jean-René Chazottes
Directeur de Recherche (CNRS) & Professeur chargé de cours
Département de Mathématiques Appliquées
Carl Graham

Département de Mathématiques Appliquées de l'École Polytechnique

[SON] Bonjour,

nous allons faire un exercice sur la régression linéaire.

Soit (X,Y) un couple aléatoire de carré intégrable

tel que la variance de X est différente de 0.

Première question : montrer qu'il existe des constantes uniques a et b

tels que aX plus b soit la meilleure approximation L² de Y,

dans le sens que ces constantes a et b minimisent l'erreur quadratique moyenne.

Donc pour calculer l'erreur quadratique moyenne pour deux constantes a prime et

b prime, nous commençons par prendre Y, par lui retrancher a prime X plus b prime,

par mettre tout ça au carré et prendre l'espérance.

Donc on peut minimiser cette erreur quadratique moyenne.

Deuxième question : calculer cette erreur quadratique moyenne

pour les deux constantes qui la minimisent.

Troisième question : que se passe-t-il si X et Y sont indépendantes?

On répondra aux questions en fonction de m, l'espérance de X, de n,

l'espérance de Y, et de la matrice des covariances du couple (X,Y).

Voici la solution de l'exercice sur la régression linéaire : pour

la première question il s'agissait de trouver les constantes a et b qui

minimisaient l'erreur quadratique faite en prenant Y moins aX plus b,

en élevant ça au carré et en prenant l'espérance.

Donc la première chose que nous allons faire c'est recentrer les variables Y et

X, en retranchant sa moyenne n à Y et en retranchant sa moyenne

m à X, évidemment en rajoutant les constantes qu'il faut pour faire cela.

Donc en fin de compte, nous calculons l'espérance du carré de la variable

aléatoire, Y moins n, qui est centré, moins a fois X moins m,

qui est centré, moins les constantes b moins n plus am.

Ensuite ce carré, nous le développons.

Donc pour développer le carré, nous voyons d'abord,

nous développons entre les deux variables centrées et les constantes.

Donc premier terme, espérance de,

des variables centrées : Y moins n moins a(X moins m), le tout au carré.

Ensuite nous prenons le carré des constantes plus b moins n plus am.

Ensuite nous prenons le double produit, et de même que pour les constantes,

l'espérance d'une constante étant constante,

je n'ai pas marqué l'espérance, donc nous ici nous utilisons la linéarité

de l'espérance pour dire que c'est moins 2 la constante, b moins n plus am

fois l'espérance de la variable aléatoire centrée Y moins n moins a X moins m.

Alors cette variable aléatoire étant centrée, on fait exprès pour que

cette espérance qui intervient dans ce double produit soit nulle.

Du coup, l'erreur quadratique moyenne s'écrit comme étant la variance

de Y moins aX, puisque c'est l'espérance du carré d'une variable aléatoire centrée,

plus b moins n plus am au carré, plus la constante au carré.

Donc, une fois qu'on arrive à cette formule, on va commencer par trouver

a tel que la variance de Y moins aX soit minimale, et ensuite il suffira de poser b

égal n moins am pour annuler le terme constant au carré.

Remarquons que cette dernière chose à faire, b égal n moins am,

correspond à faire une régression linéaire des espérances, c'est-à-dire de chercher,

d'écrire n égal am plus b.

Donc maintenant nous cherchons le a qui minimise la variance de Y moins aX.

Par la propriété quadratique de la variance, la variance de Y moins aX

c'est la variance de Y moins le double produit, la forme bilinéaire,

donc moins 2a covariance de (X, Y) plus a au carré variance de X.

On utilise donc le fait que c'est une forme quadratique et on utilise le

développement de la forme quadratique en fonction de la forme bilinéaire associée.

Donc nous voulons minimiser ça en a.

Nous avons supposé que la variance de X était différente de 0 et comme la

variance de X est positive ou nulle, la variance de X est en fait

strictement positive par l'hypothèse donc en a, c'est un polynôme de degré 2.

Donc il est classique de minimiser un tel polynôme, donc la valeur de a qui

rend minimal ce polynôme c'est a égal covariance de (X,Y) sur variance de X.

Trouver ce minimum,

donc comme variance est positive évidemment le polynôme tend vers l'infini,

ou moins l'infini plus l'infini, il suffit de trouver le a qui annule la dérivée,

donc j'écris la dérivée écrite là, 2a barre de X moins 2 covariance de (X, Y),

et ça donne bien a égal covariance de (X,Y) sur variance de X.

Nous avons ainsi trouvé la constante a qui convenait.

Nous avons dit tout à l'heure qu'il fallait ensuite prendre b d'une certaine

forme, donc en fonction de a, b égal n moins am, pour conclure le fait

de trouver a et b et par cette démarche, nous voyons que a et b sont uniques.

Deuxième question : il s'agissait donc de calculer l'erreur quadratique

moyenne obtenue pour ce couple a et b qui minimise

l'erreur quadratique moyenne faite en approchant Y par une fonction infime de X.

Donc nous avons constaté que la valeur minimale était obtenue

pour a égal covariance de X et de Y sur variance de X.

Il suffit de remplacer, dans le polynôme du second degré, a par cette valeur, pour

obtenir la valeur sur le transparent : variance de Y moins 2 covariance de (X,Y)

au carré sur variance de X plus covariance de (X,Y) au carré sur variance de X.

En simplifiant, nous obtenons que l'erreur quadratique moyenne vaut variance de Y

moins covariance de (X,Y) carré sur variance de X.

La troisième question, voici la solution : nous nous demandions

ce qui se passait lorsque X et Y sont indépendantes.

Si X et Y sont indépendantes, nous savons que covariance de (X,Y) est nulle.

A ce moment-là, dans les calculs que nous avons faits, nous avons a qui vaut 0,

puisque c'est la covariance de (X,Y) sur la variance de X, et donc b vaut n,

l'espérance de Y.

Donc, du coup, la meilleure approximation que nous pouvons faire c'est juste

l'espérance de Y.

X ne nous aide pas dans cette approximation puisque X et Y

sont indépendantes.

De plus, l'erreur quadratique moyenne vaut variance de Y,

puisque les autres termes sont nuls,

donc nous avons que la meilleure approximation est donnée par l'espérance

de Y et que l'erreur quadratique moyenne c'est la variance de Y.

Ceci finit l'exercice.

Explorer notre catalogue

Rejoignez-nous gratuitement et obtenez des recommendations, des mises à jour et des offres personnalisées.

Coursera propose un accès universel à la meilleure formation au monde, en partenariat avec des universités et des organisations du plus haut niveau, pour proposer des cours en ligne.

© 2019 Coursera Inc. Tous droits réservés.

Télécharger dans l'App Store

Disponible sur Google Play