M-estimateur

En statistique, les M-estimateurs constituent une large classe de statistiques obtenues par la minimisation d'une fonction dépendant des données et des paramètres du modèle. Le processus du calcul d'un M-estimateur est appelé M-estimation. De nombreuses méthodes d'estimation statistiques peuvent être considérées comme des M-estimateurs. Dépendant de la fonction à minimiser lors de la M-estimation, les M-estimateurs peuvent permettre d'obtenir des estimateurs plus robustes que les méthodes plus classiques, comme la méthode des moindres carrés.

M-estimateur

Définition

Les M-estimateurs ont été introduits en 1964 par Peter Huber sous la forme d'une généralisation de l'estimation par maximum de vraisemblance à la minimisation d'une fonction ρ sur l'ensemble des données. Ainsi, le (ou les) M-estimateur associé aux données et à la fonction ρ est estimé par

${\hat {\theta }}=\operatorname {argmin} _{\theta }\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)$

Le M de M-estimateur provient donc du maximum de vraisemblance (maximum likelihood-type en anglais) et les estimateurs par maximum de vraisemblance sont un cas particulier des M-estimateurs.

Types

La résolution du problème de minimisation passe couramment par une différentiation de la fonction cible. En effet, pour chercher ${\hat {\theta }}$, une méthode simple consiste à chercher les valeurs telles que

${\frac {\partial }{\partial \theta }}\left(\sum _{i=1}^{n}\rho (x_{i},\theta )\right)=0.$

Dans le cas où cette différentiation est possible, le M-estimateur est dit de type ψ ; sinon, il est dit de type ρ.

Exemples de M-estimateurs

Parmi les exemples connus de M-estimateurs, on peut citer :

• $\rho (x)=x^{2}$, ce qui revient à appliquer la méthode des moindres carrés
• $\rho (x)=|x|$
• $\rho _{k}(x)={\begin{cases}{\frac {x^{2}}{2}}&{\text{ si }}|x|<k\\k(|x|-{\frac {k}{2}})&{\text{ si }}|x|\geqslant k\end{cases}}$ (fonction de Huber (en))
• $\rho _{c}(x)={\frac {c^{2}}{2}}\ln \left(1+\left({\frac {x}{c}}\right)^{2}\right)$ (fonction de Lorentz)
• $\rho _{c}(x)={\frac {x^{2}}{2}}\left(1-{\frac {x^{2}}{2c^{2}}}+{\frac {x^{4}}{6c^{4}}}\right)$ (bipoids de Tukey)

Articles connexes

• Méthode des moindres carrés

Références

• Peter J. Huber, Robust Statistics, Wiley, 1981, 2004