Winsorisation

procédé statistique limitant l’impact de données aberrantes

La winsorisation (winsorizing en anglais) est un procédé en statistiques visant à limiter l'impact de données aberrantes dans l'estimation d'un paramètre. Le nom winsorisation a été donné par John Tukey en l'honneur du biostatisticien Charles Winsor (en)[1].

Principe modifier

Considérons un jeu de données numériques   et une statistique   (la moyenne ou l'écart-type de   par exemple). Winsoriser cette statistique revient à la calculer non pas sur le jeu de données original  , mais sur un jeu de données modifié où une proportion   des valeurs les plus extrêmes sont "écrasées" sur les quantiles de niveaux   et   [2]. La proportion   doit être choisie par le statisticien en fonction de la robustesse souhaitée (un choix courant est  ).

Plus formellement, définissons   par

 

  et   désignent les quantiles des données   de niveaux   et  . Alors la statistique winsorisée de   est  .

Exemple modifier

Prenons   et considérons le jeu de données suivant

 

le quantile de   à 5% est   et le quantile à 95% est  .

Construisons le jeu de données :

 

en remplaçant les valeurs inférieures à   par   et celles supérieures à   par  .

Pour calculer des statistiques sur   winsorisées à 90%, il suffit alors de les calculer sur  :

  • la moyenne winsorisée à 90% de   (c'est-à-dire la moyenne de  ) est de  , alors que la moyenne non winsorisée de   est de  .
  • la variance winsorisée à 90% de   (c'est-à-dire la variance de  ) est de  , alors que la variance non winsorisée de   est de  .
  • la statistique T winsorisée à 90% pour effectuer un test de Student sur l'hypothèse   est de   et donne une p-value de  . Non winsorisée, la statistique T donne   et la p-value  . On remarque que les conclusions du test sont différentes pour un niveau de 5% ou moins. Le test winsorisé est plus fiable dans ce cas, car il n'est pas souhaitable que deux observations seulement parmi les 20 puissent déterminer l'issue du test.
  • la médiane winsorisée à 90% de   est de  , de même que la médiane non winsorisée.

Propriétés modifier

La statistique winsorisée est plus robuste que la statistique originale, au sens que sa valeur sera moins influencée par les valeurs extrêmes.

Il est aisé de voir que le point de rupture (en) d'une statistique winsorisée est de  [3].

En pratique modifier

Différentes fonctions permettent de winsoriser des données :

  • sous R, la fonction Winsorize de la librarie DescTools.
  • sous Python, la fonction mstats.winsorize de la librairie scipy.stats.
  • sous Excel, la fonction WINSORIZE de la librairie Real Statistics Resource Pack.

Références modifier

  1. (en) Graham Upton et Ian Cook, Oxford Dictionnary of Statistics,
  2. (en) John W. Tukey, « The Future of Data Analysis », The Annals of Mathematical Statistics, vol. 33, no 1,‎ , p. 1-67 (lire en ligne)
  3. (en) W. J. Dixon, « Simplified Estimation from Censored Normal Samples », The Annals of Mathematical Statistics, vol. 31, no 2,‎ , p. 385-391 (lire en ligne)

Voir aussi modifier

Liens externes modifier

(en) Cecil Hastings, Jr., Frederick Mosteller, John W. Tukey et Charles P. Winsor, « Low Moments for Small Samples: A Comparative Study of Order Statistics », The Annals of Mathematical Statistics, vol. 18, no 3,‎ , p. 413-426 (lire en ligne)