Section : Estimation ponctuelle
Précédent : Estimateurs et estimations
Suivant : Intervalles de dispersion

## Qualités d'un estimateur

Pour un échantillon de taille de la loi de Bernoulli de paramètre inconnu , la variable aléatoire égale à la somme des composantes divisée par (la fréquence empirique), est un estimateur de . C'est une variable aléatoire qui prend ses valeurs dans [0,1]. Si est grand, elle prend avec une forte probabilité des valeurs proches de , d'après la loi des grands nombres. Quel que soit le modèle et le paramètre à estimer, prendre des valeurs proches de ce paramètre au moins pour de grands échantillons, est la qualité principale que l'on attend d'un estimateur. En toute rigueur, on doit considérer une suite d'estimateurs , où pour tout , est une variable aléatoire fonction de l'échantillon . Par abus de langage, on appelle encore ``estimateur'' cette suite.

Définition 1.2 On dit que l'estimateur est convergent si pour tout ,

Un estimateur convergent s'écarte donc du paramètre avec une faible probabilité, si la taille de l'échantillon est assez grande.

L'exemple de base d'estimateur convergent est la moyenne empirique. Nous noterons la moyenne empirique de l'échantillon :

La loi faible des grands nombres affirme que est un estimateur convergent de l'espérance de .

Si le paramètre s'exprime comme une fonction continue de , alors l'image de par cette fonction est un estimateur convergent de , par la proposition suivante.

Proposition 1.3 Soit un estimateur convergent du paramètre , et une fonction de dans , continue au point . Alors est un estimateur convergent de .

Considérons par exemple comme modèle la loi uniforme sur , où le paramètre est inconnu. La moyenne empirique est un estimateur convergent de l'espérance de la loi, qui vaut . Donc est un estimateur convergent de .

Mais d'autres espérances sont calculables. Par exemple, si suit la loi uniforme sur , alors vaut . Toujours d'après la loi des grands nombres, est un estimateur convergent de . Donc l'estimateur suivant est encore un estimateur convergent de :

La notion de convergence ne donne aucune assurance pratique que les valeurs prises par un estimateur seront effectivement dans un rayon fixé autour de la vraie valeur du paramètre, pour une taille d'échantillon donnée. On quantifie la qualité des estimateurs par la notion d'erreur quadratique.

Définition 1.4 On appelle erreur quadratique de par rapport à la quantité :

L'erreur quadratique est liée à la convergence par la proposition suivante.

Proposition 1.5 Si l'erreur quadratique de par rapport à tend vers 0 quand tend vers l'infini, alors est un estimateur convergent de .

Démonstration : Si , alors . Donc :

Si tend vers 0, il en est de même de .Si deux estimateurs sont disponibles pour le même paramètre , on dira que l'un est meilleur que l'autre si son erreur quadratique par rapport à est inférieure. Dans l'exemple ci-dessus, l'erreur quadratique de vaut , l'erreur quadratique de est équivalente à quand tend vers l'infini, est donc meilleur que .

Même pour un estimateur convergent, il peut se faire que les valeurs prises soient décalées en moyenne par rapport à la vraie valeur du paramètre. On dit alors que l'estimateur est biaisé .

Définition 1.6 On appelle biais de l'estimateur par rapport à la quantité :

L'estimateur est dit sans biais si , il est dit asymptotiquement sans biais si tend vers 0 quand tend vers l'infini.

Proposition 1.7 L'erreur quadratique de par rapport à est la somme de la variance de et du carré du biais.

Démonstration : Par linéarité de l'espérance on a :

Quand un estimateur est sans biais, l'erreur quadratique est égale à la variance. Le critère suivant, conséquence immédiate des propositions 1.5 et 1.7 est souvent utilisé pour démontrer qu'un estimateur est convergent.

Proposition 1.8 Si un estimateur est sans biais ou asymptotiquement sans biais et si sa variance tend vers 0, alors il est convergent.

Quand le biais peut être explicitement calculé, on aura évidemment intérêt à le corriger pour améliorer l'estimateur. Reprenons l'exemple de la loi uniforme sur . Un estimateur naturel de est la plus grande valeur de l'échantillon.

Comme toutes les valeurs sont inférieures à , l'estimateur sous-estime systématiquement . On démontre que son espérance est et donc son biais vaut . On peut corriger le biais en introduisant :

Ce nouvel estimateur est sans biais, et il est meilleur que .

Dans le tableau ci-dessous nous rassemblons les 4 exemples d'estimateurs du paramètre pour la loi uniforme , qui ont été introduits jusqu'ici. Le meilleur des quatre est .

Estimateur | Biais | Erreur quadratique
| 0 |
| 0 |

Section : Estimation ponctuelle
Précédent : Estimateurs et estimations
Suivant : Intervalles de dispersion