Ouvrir le menu principal

Erreur quadratique moyenne

En statistiques, l’erreur quadratique moyenne d’un estimateur d’un paramètre de dimension 1 (mean squared error (), en anglais) est une mesure caractérisant la « précision » de cet estimateur. Elle est plus souvent appelée « erreur quadratique », « moyenne » étant sous-entendu) ; elle est parfois appelée aussi « risque quadratique ».

L’erreur quadratique moyenne est définie par :

Définition — 

Sommaire

PropriétésModifier

ExpressionModifier

On peut exprimer l’erreur quadratique moyenne en fonction du biais et de la variance de l’estimateur :

Théorème —  

SigneModifier

Corollaire — La variance étant toujours positive ou nulle,  .

MinimisationModifier

Théorème — Soit   un estimateur sans biais du paramètre  , tel que   (si l’erreur quadratique moyenne est nulle, elle est déjà minimale, voir section « Signe » ci-dessus).

Parmi tous les estimateurs proportionnels à  , l’erreur quadratique moyenne est minimale pour l’estimateur  .

Cette erreur quadratique moyenne minimale vaut  .

Remarque : la valeur de   étant inconnue par nature (sinon, on n’en chercherait pas un estimateur), cette formule n’a d’intérêt pratique que si le coefficient   se simplifie en une constante indépendante de  , c’est-à-dire si et seulement si   est proportionnel à   (voir exemple plus bas).

UtilitéModifier

Comparaison d’estimateursModifier

Si les deux estimateurs à comparer sont sans biais, l’estimateur le plus efficace est simplement celui dont la variance est la plus petite. De même, si un estimateur a à la fois un plus grand biais (en valeur absolue) et une plus grande variance qu’un autre estimateur, ce dernier est évidemment meilleur.

Cependant, si un estimateur a un plus grand biais (en valeur absolue) mais une plus petite variance, la comparaison n’est plus immédiate : l’erreur quadratique moyenne permet alors de trancher.

Exemple :

Comparons les deux estimateurs les plus courants de la variance :

  et  

Pour un tirage avec remise et une loi de probabilité dont on suppose que le kurtosis normalisé est nul[note 1] (ex. : la loi normale), les calculs montrent que (voir Greene, section C.5.1) :

  d’où  ,
  d’où   ;
  d’où  ,
  d’où  .

L’estimateur   est sans biais mais a une plus grande variance (plus faible efficacité) que l’estimateur  .

La comparaison des erreurs quadratiques moyennes donne :

 

L’estimateur biaisé   est donc meilleur en terme d’erreur quadratique moyenne.

Toujours dans le cas d’un tirage avec remise et d’un kurtosis nul, en appliquant le théorème de minimisation donné plus haut à l’estimateur sans biais  , on trouve que l’estimateur   est l’estimateur minimisant l’erreur quadratique moyenne, cette dernière valant alors  .

Convergence de l'estimateurModifier

Il est possible de déterminer si un estimateur est convergent en probabilité à partir de son erreur quadratique moyenne, on a en effet:

Théorème —  

La démonstration est faite à la page convergence de variables aléatoires.

GénéralisationModifier

Dans un cadre plus général pour un modèle multiparamétrique où l'on cherche à estimer plusieurs paramètres ou pour estimer une fonction   de un ou plusieurs paramètres, l'erreur quadratique moyenne pour un estimateur   de   est défini par:

Définition —  

où A est une matrice symétrique définie positive (qui définit donc un produit scalaire).

Notes et référencesModifier

NotesModifier

  1. Plus généralement, toujours pour un tirage avec remise, on a :  .

RéférencesModifier

Voir aussiModifier

BibliographieModifier

(en) William H Greene, Econométrie, Paris, Pearson Education, , 5e éd. (ISBN 978-2-7440-7097-6), p. 2

Articles connexesModifier