Section : Recherche d'estimateurs
Précédent : Estimateurs des moindres carrés
Suivant : Pratique du maximum de vraisemblance

## Notion de vraisemblance

Etant donné un échantillon observé et une loi de probabilité , la vraisemblance quantifie la probabilité que les observations proviennent effectivement d'un échantillon (théorique) de la loi .

Prenons l'exemple de 10 lancers de pièce. L'échantillon binaire observé est par exemple :

Pour un échantillon de taille 10 de la loi de Bernoulli de paramètre , la probabilité d'une telle réalisation est . Voici quelques valeurs numériques.

| 0.2 | 0.3 | 0.4 | 0.5 | 0.6 | 0.7 | 0.8

Il est naturel de choisir comme estimation de , celle pour laquelle la probabilité de l' échantillon observé est la plus forte, à savoir ici 0.6.

Définition 2.5 Soit un ensemble fini, une famille de lois de probabilité sur , et un entier. On appelle vraisemblance associée à la famille , la fonction qui à un -uplet d'éléments de et à une valeur du paramètre associe la quantité :

L'interprétation est la suivante. Considérons un échantillon théorique de la loi . Par définition, les variables aléatoires sont indépendantes et de même loi . Donc la probabilité que l'échantillon théorique ait pour réalisation l'échantillon observé est le produit des probabilités pour que prenne la valeur , à savoir :

Dans le cas d'un modèle continu, la loi a une densité sur , et la probabilité pour que l'échantillon prenne une valeur particulière est toujours nulle. Il faut alors remplacer la probabilité par sa densité dans la définition de la vraisemblance.

Définition 2.6 Soit une famille de lois de probabilité continues sur et un entier. Notons la densité de probabilité de la loi . On appelle vraisemblance associée à la famille , la fonction qui à un -uplet d'éléments de et à une valeur du paramètre associe la quantité :

L'interprétation est la suivante. Considérons un échantillon théorique de la loi continue . Soit un réel strictement positif (petit). La probabilité que l'échantillon théorique ait une réalisation proche ``à près'' de l'échantillon observé peut s'écrire :

Estimer un paramètre par la méthode du maximum de vraisemblance, c'est proposer comme valeur de ce paramètre celle qui rend maximale la vraisemblance, à savoir la probabilité d'observer les données comme réalisation d'un échantillon de la loi .

Définition 2.7 Supposons que pour toute valeur , la fonction qui à associe admette un maximum unique. La valeur pour laquelle ce maximum est atteint dépend de :

On l'appelle estimation par maximum de vraisemblance.

Si est un échantillon (théorique) de la loi , la variable aléatoire :

est l'estimateur du maximum de vraisemblance de .

Reprenons l'exemple de la loi uniforme sur l'intervalle . Sa densité est :

1

La vraisemblance est la fonction qui à réels et à une valeur positive associe :

Vue comme fonction de , la vraisemblance est nulle si est inférieur à la plus grande des valeurs observées, elle vaut sinon. Elle est donc maximale pour :

Si est un échantillon de la loi uniforme , l'estimateur du maximum de vraisemblance de est :

Pour la plupart des lois de probabilité usuelles, l'estimateur du maximum de vraisemblance est défini de façon unique, et se calcule explicitement. Sur le plan théorique, il présente de nombreux avantages. Sous des hypothèses vérifiées par de nombreux modèles courants, on démontre qu'il est asymptotiquement sans biais et convergent. On démontre de plus que sa variance est minimale. La méthode du maximum de vraisemblance est donc théoriquement la meilleure des méthodes d'estimation. Nous verrons au paragraphe suivant des exemples de calculs explicites. Quand une détermination explicite est impossible, il faut avoir recours à une détermination numérique, par un algorithme d'optimisation.

Section : Recherche d'estimateurs
Précédent : Estimateurs des moindres carrés
Suivant : Pratique du maximum de vraisemblance