Distance en variation totale (probabilités)

En mathématiques et plus particulièrement en théorie des probabilités et en statistique, la distance en variation totale (ou distance de variation totale ou encore distance de la variation totale) désigne une distance statistique définie sur l'ensemble des mesures de probabilité d'un espace probabilisable.

Définition

Soit $\mu ,\nu$ deux mesures de probabilité sur un espace probabilisable $(\Omega ,{\mathcal {F}})$. La distance en variation totale entre $\mu$ et $\nu$ est la quantité

$d_{VT}(\mu ,\nu ):=2\sup _{A\in {\mathcal {F}}}|\mu (A)-\nu (A)|$.

Il arrive que le facteur 2 n'apparaisse pas chez certains auteurs^{[Lesquels ?]}.^{[réf. nécessaire][Quoi ?]}

Soit $X$ et $Y$ deux variables aléatoires à valeurs dans le même espace. On peut aussi définir la distance en variation totale entre $X$ et $Y$ comme la distance en variation totale entre la loi de $X$ et celle de $Y$. Autrement dit, on pose

$d_{VT}(X,Y):=d_{VT}(\mathbb {P} _{X},\mathbb {P} _{Y})$.

Propriétés

Propriétés basiques

• La distance en variation totale entre deux mesures de probabilité est une distance dont la valeur est toujours incluse dans [0,2].
• La distance en variation totale entre deux mesures de probabilité vaut 2 si et seulement si les supports des deux mesures sont disjoints.

Définitions équivalentes

On trouve parfois d'autres définitions pour la distance en variation totale.

• La formule suivante donne une définition équivalente à la première

$d_{VT}(\mu ,\nu )=\sup _{f:\Omega \to [-1,1]{\text{ mes.}}}\left\{\int fd\mu -\int fd\nu \right\}$

où le supremum est pris sur l'ensemble des fonctions mesurables à valeurs dans [-1,1].

De cette formule, on déduit la chose suivante. Si $\mu$ et $\nu$ sont absolument continues par rapport à une mesure commune sigma-finie $\sigma$ et si on note $h$ et $g$ leurs dérivées de Radon-Nikodym respectives par rapport à $\sigma$, alors

$d_{VT}(\mu ,\nu )=\int |h-g|d\sigma =||h-g||_{L^{1}(\sigma )}$.

En d'autres termes, la distance en variation totale entre $\mu$ et $\nu$ correspond à la distance entre $h$ et $g$ pour la norme $L^{1}$.

• Lorsque $\Omega$ est dénombrable la formule suivante donne aussi une définition équivalente

$d_{VT}(\mu ,\nu )=\sum _{\omega \in \Omega }|\mu (\omega )-\nu (\omega )|$.

Couplage

Pour tout couple de variables aléatoires $(X,Y)$ tel que $X$ suit la loi $\mu$ et $Y$ suit la loi $\nu$, on a l'inégalité

$d_{VT}(\mu ,\nu )\leq 2\mathbb {P} (X\neq Y)$.

De plus, il existe un couple $(X,Y)$ tel que $X\sim \mu$ et $Y\sim \nu$ qui satisfait

$d_{VT}(\mu ,\nu )=2\mathbb {P} (X\neq Y)$.

Autrement dit, on a la caractérisation suivante de la distance en variation totale

$d_{VT}(\mu ,\nu )=2\min _{X\sim \mu ,Y\sim \nu }\mathbb {P} (X\neq Y)$.

Si $(\mu _{i})_{i\in I}$ est une famille de mesures de probabilité toutes absolument continues par rapport à une mesure commune $\sigma$-finie, alors il existe des variables aléatoires $(X_{i})_{i\in I}$ telles que pour tout $i\in I$, $X_{i}\sim \mu _{i}$ et pour tout $i\neq j$

$\mathbb {P} (X_{i}\neq X_{j})\geq {\frac {4d_{VT}(\mu _{i},\mu _{j})}{1+2d_{VT}(\mu _{i},\mu _{j})}}$.

Lien avec la norme en variation totale d'une mesure signée

Pour une mesure signée $\sigma$ sur $(\Omega ,{\mathcal {F}})$ on définit sa norme en variation totale comme

$||\sigma ||_{VT}:=\sigma ^{+}(\Omega )+\sigma ^{-}(\Omega )$

où $\sigma =\sigma ^{+}-\sigma ^{-}$ est la décomposition de Jordan de la mesure $\sigma$.

De manière générale si $\sigma (\Omega )=0$ alors

$||\sigma ||_{VT}=2\sup _{A\in {\mathcal {F}}}\{|\sigma (A)|\}$.

En appliquant ce résultat à $\sigma =\nu -\mu$ on obtient que

$d_{VT}(\nu ,\mu )=||\nu -\mu ||_{VT}$.

Lien avec d'autres distances

• La distance en variation totale est reliée à la divergence de Kullback-Leibler par l'inégalité de Pinsker :

$d_{VT}(\nu ,\mu )\leq {\sqrt {2D_{KL}(\nu ||\mu )}}$.

• La distance en variation totale est aussi reliée à la distance de Hellinger par l'encadrement :

$2H^{2}(\mu ,\nu )\leq d_{VT}(\mu ,\nu )\leq 2{\sqrt {2}}H(\mu ,\nu )$.

Convergence en variation totale

La convergence d'une suite de mesures pour la distance en variation totale implique la convergence faible (et les limites sont les mêmes le cas échéant). De manière équivalente, si une suite de variables aléatoires converge pour la distance en variation totale, alors elle converge en loi (et les limites sont les mêmes).

Voir aussi

• Variation d'une mesure
• Mesure signée
• Divergence de Kullback-Leibler
• Distance de Hellinger
• Distance de Bhattacharyya
• Distance statistique