Section : Recherche d'estimateurs
Précédent : Estimation par ajustement
Suivant : Notion de vraisemblance

##
Estimateurs des moindres carrés

Jusqu'ici le seul modèle probabiliste que nous ayons envisagé pour des données observées considérait qu'elles étaient des réalisations de variables indépendantes et de même loi. Cela revient à supposer que les individus sur lesquels les données ont été recueillies sont interchangeables, et que les différences observées entre eux sont seulement imputables au hasard. Dans de nombreuses situations, on cherche à expliquer ces différences, c'est-à-dire à les attribuer à l'effet d'autres caractères mesurés sur les mêmes individus. La modélisation probabiliste considèrera que la mesure (à expliquer) effectuée sur un individu donné est une variable aléatoire, dont la loi dépend des valeurs prises sur cet individu par les caractères explicatifs, considérés comme déterministes. Si désigne la variable aléatoire associée à l'individu , et les valeurs prises pour cet individu par les caractères explicatifs , on séparera l'effet déterministe et l'effet aléatoire par un modèle du type :

où est un -uplet de variables aléatoires indépendantes et de même loi. On parle alors de modèle de régression. La fonction dépend de un ou plusieurs paramètres inconnus que l'on doit estimer. On choisit pour cela de minimiser l'erreur quadratique définie par :

Dans certains cas classiques, on sait résoudre explicitement ce problème de minimisation, et la solution est implémentée dans les environnements de calculs statistiques. Quand une résolution explicite est impossible, on a recours à des algorithmes de minimisation, comme l'algorithme du gradient.

Le cas le plus fréquent est celui de la régression linéaire simple, où un seul caractère est explicatif, et la fonction est affine :

L'erreur quadratique est alors :

Les valeurs de et qui minimisent l'erreur quadratique s'expriment en fonction des moyennes, variances et covariances empiriques de et de . Nous notons :

  la moyenne empirique de .
  la variance empirique de .
  la moyenne empirique de .
  la variance empirique de .
  la covariance de et .
  le coefficient de corrélation de et .

Proposition 2.4 Si (le caractère n'est pas constant), la fonction admet un minimum pour :

et

La valeur de ce minimum est :

Les variables aléatoires et sont les estimateurs des moindres carrés des paramètres et .

On peut utiliser les estimateurs des moindres carrés pour estimer les paramètres de certaines lois, dans un problème d'ajustement. Nous traitons à titre d'exemple les lois normales et les lois de Weibull.

Lois normales.

Soit un échantillon de taille de la loi normale , les paramètres et étant inconnus. Pour , notons les statistiques d'ordre (valeurs ordonnées de la plus grande à la plus petite). Si l'hypothèse de normalité est pertinente, alors doit être proche du quantile de la loi . Rappelons que si une variable aléatoire suit la loi , alors suit la loi . Ceci revient à dire que pour tout [0,1] :

Notons les valeurs de la fonction quantile de la loi aux points . Si l'hypothèse de normalité est vérifiée, les points de coordonnées devraient être proches de la droite d'équation . Les estimateurs des moindres carrés et pour la régression linéaire simple des sur les sont donc des estimateurs de et respectivement.

Lois de Weibull.

La fonction quantile de la loi de Weibull est :

Soit un échantillon de la loi , de paramètres et inconnus. Pour , la statistique d'ordre doit être proche du quantile .

soit :

Posons et . Les points devraient être proches de la droite d'équation . Les estimateurs des moindres carrés et pour la régression linéaire simple des sur les sont des estimateurs de et respectivement. Donc et sont des estimateurs de et respectivement.

Section : Recherche d'estimateurs
Précédent : Estimation par ajustement
Suivant : Notion de vraisemblance