Classe de Glivenko-Cantelli

Une classe de Glivenko-Cantelli est une classe de fonctions mesurables qui vérifie la convergence uniforme de la mesure empirique vers la mesure théorique. Il s'agit d'une généralisation du théorème de Glivenko-Cantelli (aussi appelé « théorème fondamental de la statistique ») à des classes de fonctions.

Définition

Soient des variables aléatoires $(X_{i})_{i\in \mathbb {N} ^{*}}$ i.i.d. définies sur un espace de probabilité $(\Omega ,{\mathcal {T}},\mathbb {P} )$ à valeurs dans un espace mesurable $({\mathcal {X}},{\mathcal {A}})$ et ${\mathcal {F}}$ une classe de fonctions mesurables de $({\mathcal {X}},{\mathcal {A}})$ à valeurs réelles. On dit que ${\mathcal {F}}$ est une classe de Glivenko-Cantelli si elle vérifie la propriété

$\lim _{n\to +\infty }||P_{n}(f)-P(f)||_{\mathcal {F}}=\lim _{n\to +\infty }\sup _{f\in {\mathcal {F}}}|P_{n}(f)-P(f)|=0,$

avec $P_{n}$ la mesure empirique indexée par ${\mathcal {F}}$ et $P=\mathbb {P} ^{X}$ la loi des $X_{i}$, i.e. $P(f)=\mathbb {E} [f(X)]$. Puisqu'une classe de Glivenko-Cantelli ${\mathcal {F}}$ dépend de la mesure $P$, on peut dire en cas d'éventuelle confusion sur la loi que ${\mathcal {F}}$ est une classe de $P$-Glivenko-Cantelli.

Conditions suffisantes

Condition avec l'entropie avec crochets

On note $N_{[\ ]}({\mathcal {F}},\varepsilon ,d)$ le nombre de recouvrement avec crochets de la classe ${\mathcal {F}}$ de rayon $\varepsilon$ et avec la distance $d$. Toute classe ${\mathcal {F}}$ vérifiant

$\forall \varepsilon >0,\quad N_{[\ ]}({\mathcal {F}},\varepsilon ,L_{1}(P))<+\infty$

est une classe de Glivenko-Cantelli.

Condition avec l'entropie

On note $N({\mathcal {F}},\varepsilon ,d)$ le nombre de recouvrements de ${\mathcal {F}}$ par des boules de rayon $\varepsilon$ avec la distance $d$. Supposons que ${\mathcal {F}}$ vérifie pour une enveloppe de fonctions $F$ intégrable,

$\forall \varepsilon >0,\quad \sup _{Q}N({\mathcal {F}},\varepsilon ||F||_{Q,1},L_{1}(Q))<+\infty$

où le supremum est pris sur toutes les mesures de probabilité $Q$ tel que $||F||_{Q,1}\neq 0$. Alors ${\mathcal {F}}$ est une classe de Glivenko-Cantelli.

Classe de Donsker

Une classe de fonctions mesurables à valeurs réelles ${\mathcal {F}}$ est appelée classe de Donsker si elle vérifie la convergence

$\alpha _{n}{\underset {n\to +\infty }{\overset {\mathcal {L}}{\longrightarrow }}}\mathbb {G} \qquad {\text{ dans }}\ell ^{\infty }({\mathcal {F}}),$

avec $\alpha _{n}$ le processus empirique indexé par la classe de fonctions ${\mathcal {F}}$ et $\mathbb {G}$ le pont brownien indexé par ${\mathcal {F}}$. Puisque $||P_{n}-P||_{\mathcal {F}}={\frac {1}{\sqrt {n}}}||\alpha _{n}||_{\mathcal {F}}$, si ${\mathcal {F}}$ est une classe de Donsker alors c'est une classe de Glivenko-Cantelli.

Théorème de Glivenko-Cantelli

Le théorème de Glivenko-Cantelli revient à dire que la classe des fonctions indicatrices ${\mathcal {F}}=\{x\mapsto \mathbf {1} _{\{x\leq t\}}:t\in \mathbb {R} \}$ est une classe de Glivenko-Cantelli. Ce théorème dit donc que la fonction de répartition empirique converge uniformément vers la fonction de répartition de la variable étudiée. Il existe plusieurs manières de démontrer ce théorème. On peut se ramener au cas des variables uniformes et démontrer la véracité de ce résultat dans ce cas (voir l'article Théorème de Glivenko-Cantelli). On utilise ici des méthodes combinatoires et des inégalités de concentration. On notera $||\cdot ||$ le supremum de la classe ${\mathcal {F}}=\{x\mapsto \mathbf {1} _{\{x\leq t\}}:t\in \mathbb {R} \}$.

1ère étape : première symétrisation

On note $P_{n}'$ une copie indépendante de $P_{n}$, i.e. la mesure empirique basée sur une copie $X_{1}',\dots ,X_{n}'$ indépendante de échantillon $X_{1},\dots ,X_{n}$. D'après le lemme de symétrisation,

$\forall n\geq 8\varepsilon ^{-2},\quad \mathbb {P} \left(||P_{n}-P||>\varepsilon \right)\leq 2\mathbb {P} \left(||P_{n}-P_{n}'||>{\frac {1}{2}}\varepsilon \right).$

2ème étape : seconde symétrisation

Soit $\sigma _{1},\dots ,\sigma _{n}$ des variables de Rademacher, i.e. $\mathbb {P} (\sigma _{i}=1)=\mathbb {P} (\sigma _{i}=-1)=1/2$. Les variables $\mathbf {1} _{\{X_{i}\leq t\}}-\mathbf {1} _{\{X_{i}'\leq t\}}$ ont la même distribution que $\sigma _{i}\left(\mathbf {1} _{\{X_{i}\leq t\}}-\mathbf {1} _{\{X_{i}'\leq t\}}\right)$ (il suffit de considérer la distribution conditionnelle par rapport à $\sigma _{i}$). Alors

${\begin{aligned}\mathbb {P} \left(||P_{n}-P_{n}'||>{\frac {1}{2}}\varepsilon \right)&=\mathbb {P} \left(\sup _{t\in \mathbb {R} }\left|n^{-1}\sum _{i=1}^{n}\sigma _{i}(\mathbf {1} _{\{X_{i}\leq t\}}-\mathbf {1} _{\{X_{i}'\leq t\}})\right|>{\frac {1}{2}}\varepsilon \right)\\&\leq \mathbb {P} \left(\sup _{t\in \mathbb {R} }\left|n^{-1}\sum _{i=1}^{n}\sigma _{i}\mathbf {1} _{\{X_{i}\leq t\}}\right|>{\frac {1}{4}}\varepsilon \right)+\mathbb {P} \left(\sup _{t\in \mathbb {R} }\left|n^{-1}\sum _{i=1}^{n}\sigma _{i}\mathbf {1} _{\{X_{i}'\leq t\}}\right|>{\frac {1}{4}}\varepsilon \right)\end{aligned}}$

Si on note $P_{n}^{\circ }$ la mesure signée définie par $P_{n}^{\circ }(t)=n^{-1}\sum _{i=1}^{n}\sigma _{i}\mathbf {1} _{\{X_{i}\leq t\}}$ alors l'étape 1 on obtient désormais que

$\forall n\geq 8\varepsilon ^{-2},\quad \mathbb {P} \left(||P_{n}-P||>\varepsilon \right)\leq 4\mathbb {P} \left(||P_{n}^{\circ }||>{\frac {1}{4}}\varepsilon \right).$

3ème étape : inégalité maximale

Pour borner le membre de droite, on travaille conditionnellement aux observations $X$, le hasard provenant de $\sigma _{i}$. Conditionnellement aux $X$, le supremum $||P_{n}^{\circ }||$ sera le maximum pris sur des intervalles bien choisis. Pour $j=0,1,\dots ,n$, on pose $I_{j}=]-\infty ,t_{j}]$ avec $t_{j}$ des réels choisis vérifiant $t_{0}<X_{1}<t_{1}<\dots <t_{n-1}<X_{n}<t_{n}$. Ainsi,

${\begin{aligned}\mathbb {P} \left(||P_{n}^{\circ }||>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)&=\mathbb {P} \left(\max _{0\leq j\leq n}|P_{n}^{\circ }(I_{j})|>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)\\&\leq \sum _{j=0}^{n}\mathbb {P} \left(|P_{n}^{\circ }(I_{j})|>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)\\&\leq (n+1)\max _{0\leq j\leq n}\mathbb {P} \left(|P_{n}^{\circ }(I_{j})|>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)\end{aligned}}$

4ème étape : borne exponentielle

D'après l'inégalité de Hoeffding appliquée aux variables $\sigma _{i}\mathbf {1} _{\{X_{i}\leq t\}}$ (qui sont à valeurs dans $\{-1,1\}$),

${\begin{aligned}\mathbb {P} \left(|P_{n}^{\circ }(I_{j})|>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)&\leq 2\exp \left(-{\frac {2(n\varepsilon /4)^{2}}{\sum _{i=1}^{n}4\mathbf {1} _{\{X_{i}\leq t\}}}}\right)\\&\leq 2\exp \left(-{\frac {n\varepsilon ^{2}}{32}}\right).\end{aligned}}$

D'après l'inégalité précédente, $\mathbb {P} \left(||P_{n}^{\circ }||>{\frac {1}{4}}\varepsilon |X_{1},\dots ,X_{n}\right)\leq 2(n+1)\exp \left(-{\frac {n\varepsilon ^{2}}{32}}\right).$

5ème étape : intégration

En appliquant l'espérance conditionnelle par rapport aux variables $X_{1},\dots ,X_{n}$, on obtient que $\mathbb {P} \left(||P_{n}-P||>\varepsilon \right)\leq 8(n+1)\exp \left(-{\frac {n\varepsilon ^{2}}{32}}\right)$. Par conséquent,

$\sum _{n\geq 1}\mathbb {P} \left(||P_{n}-P||>\varepsilon \right)<+\infty .$

Le lemme de Borel-Cantelli permet de conclure.