Théorème de Glivenko-Cantelli

En théorie des probabilités, le théorème de Glivenko-Cantelli, communément appelé « théorème fondamental de la statistique »[réf. nécessaire] exprime dans quelle mesure une loi de probabilité peut être révélée par la connaissance d'un (grand) échantillon de ladite loi de probabilité.

NotationsModifier

En statistiques, la fonction de répartition empirique associée à un échantillon est la fonction de répartition de la loi de probabilité qui attribue la probabilité   à chacun des   nombres de cet échantillon.

Soit   un échantillon de variables aléatoires réelles i.i.d. définies sur un espace de probabilité   avec pour fonction de répartition  . La fonction de répartition empirique   de l'échantillon   est définie par :

 

  est la fonction indicatrice de l'événement A. Pour chaque  , l'application   est une fonction en escalier, fonction de répartition de la loi de probabilité uniforme sur l'ensemble  , notée ici   et appelée loi empirique. Pour tout n, on a  , combinaison linéaire de distributions de Dirac. Chaque   est une loi de probabilité aléatoire, c'est-à-dire une variable aléatoire de   à valeur dans l'espace des mesures sur  .

Le théorème de Glivenko-Cantelli énonce la convergence uniforme de la fonction de répartition empirique   vers la fonction de répartition   de cette loi de probabilité, pour presque tout  . Le théorème de Glivenko-Cantelli entraîne donc la convergence en loi de   vers la loi de probabilité   correspondant à la fonction de répartition F, une loi de probabilité étant caractérisée par sa fonction de répartition.

ÉnoncéModifier

Théorème de Glivenko-Cantelli[1] —  Presque sûrement, la fonction de répartition empirique   converge uniformément vers la fonction de répartition  , ou bien, de manière équivalente :

 

La fonction de répartition peut s'écrire comme une moyenne de variables aléatoires de Bernoulli, i.e.

 

Puisque ces variables sont de moyenne  , la loi forte des grands nombres implique que

 

mais il n'en découle pas nécessairement que

 

puisqu'une intersection non dénombrable d'ensembles de probabilité 1 (ensembles presque sûrs) n'est pas nécessairement de probabilité 1. Cette intersection serait-elle de probabilité 1 qu'on n'aurait alors prouvé que la convergence simple, au lieu de la convergence uniforme énoncée par le théorème de Glivenko-Cantelli.

Le théorème de Donsker et l'inégalité DKW précisent le théorème de Glivenko-Cantelli en donnant des indications sur la rapidité de convergence, qui est de l'ordre de  

DémonstrationModifier

Cette preuve utilise le deuxième théorème de Dini[2]. Pour une preuve combinatoire faisant intervenir des inégalités de concentration, voir la preuve des classes de Glivenko-Cantelli. La loi forte des grands nombres nous assure que pour tout   converge presque-sûrement vers   et de plus   est croissante pour tout  . Néanmoins quelques problèmes se posent pour appliquer ce théorème :

  • La fonction de répartition   n'est pas nécessairement continue ;
  • La convergence n'a pas lieu sur un segment ;
  • La loi forte des grands nombres nous donne une convergence sur un ensemble qui dépend de  , i.e.
     
    Pour pouvoir appliquer le second théorème de Dini, il faudrait que
     

On résout les deux premiers points avec l'inverse généralisée de la fonction de répartition (appelée aussi fonction de quantile)   et le troisième grâce à la séparabilité de   (i.e.   admet un sous-ensemble dense et au plus dénombrable comme  ).

Soient   des variables i.i.d. uniformes sur   alors la fonction de répartition inverse vérifie la propriété  [3]. Alors

 

Il suffit donc de montrer que le théorème de Glivenko-Cantelli est vrai dans le cas de variables aléatoires uniformes sur  . Grâce à la loi forte des grands nombres, on a que :

 

Il faut donc trouver un ensemble   de mesure pleine qui soit uniforme pour tous les  . Comme   est dénombrable et que l'intersection dénombrable d'ensembles de mesure pleine étant de mesure pleine, on en déduit que :

 

Montrons que la propriété reste vraie pour tout   : soit   et   alors on se donne une suite croissante   et décroissante   appartenant à   et de limite  . Alors pour   fixé et   :

 

d'où, en faisant tendre  ,

 

et on conclut en faisant tendre  . On a donc montré que

 

sur  . La convergence est uniforme par le deuxième théorème de Dini.

GénéralisationModifier

On pose   des variables i.i.d. à valeurs dans un espace   de loi   et   une classe de fonctions définies sur   à valeurs réelles. La classe   est appelée classe de Glivenko-Cantelli si elle vérifie

 

avec   la mesure empirique définie par   et  . Le théorème de Glivenko-Cantelli revient donc à dire que la classe des fonctions indicatrices   est une classe de Glivenko-Cantelli.

BibliographieModifier

Voir aussiModifier

RéférencesModifier

  1. Billingsley 2012, p. 268
  2. Ivan Nourdin, Agrégation de mathématiques épreuve oral, Dunod, 2e éd., p. 109
  3. Philippe Barbe et Michel Ledoux, Probabilité, EDP Sciences, coll. « Enseignement Sup », p. 50