Méthode de Stein

La méthode de Stein est une méthode générale en théorie des probabilités dont le but est de déterminer des bornes sur des distances entre deux lois selon une certaine divergence. Elle fut introduite par Charles Stein, qui la publia pour la première fois en 1972[1], dans le cas particulier d'une borne entre la distribution d'une somme de variables aléatoires dépendantes et la distribution d'une variable aléatoire suivant une loi normale dans la distance uniforme et ainsi prouver non seulement un théorème central limite, mais aussi une borne sur la vitesse de convergence pour cette métrique.

HistoireModifier

À la fin des années 1960, insatisfait des preuves alors connues d'un théorème central limite spécifique, Charles Stein développa une nouvelle manière de démontrer ce théorème dans le cadre de ses cours de statistiques[2]. Son article original[1] fut présenté en 1970 à la sixième édition du Symposium de Berkeley et publié dans les actes de cette conférence.

Plus tard, son doctorant Louis Chen Hsiao Yun (en) modifia la méthode afin d'obtenir des résultats sur les approximations par la loi de Poisson[3], et par conséquent, la méthode de Stein appliquée au problème de l'approximation par cette loi est souvent appelée la "méthode de Chen-Stein".

De très importantes contributions à cette méthode sont probablement la monographie de Stein (1986)[4] où il présente sa vision de celle-ci et le concept de "randomisation auxiliaire", en particulier en utilisant les "paires échangeables (en)", ainsi que les articles de Barbour (1988)[5] et Götze (1991) [6], qui introduisirent l'interprétation dite "generator interpretation", ce qui rendit possible une facile adaptation de la méthode à biens d'autres lois de probabilité. Une autre contribution notoire est également l'article de Bolthausen (1984)[7] sur le théorème central limite appelé "combinatorial central limit theorem"[8].

Dans les années 1990, la méthode fut adaptée à diverses distributions, telles que les processus gaussiens par Barbour (1990)[9], la loi binomiale par Ehm (1991) [10], les processus de Poisson par Barbour et Brown (1992)[11], la loi Gamma par Luk (1994) [12], et bien d'autres encore.

L'approche de baseModifier

Métriques probabilistesModifier

La Méthode de Stein est une manière de borner la distance entre deux lois de probabilités en regard d'une certaine métrique probabiliste (en) (encore appelée "distance en probabilité", notion différant parfois de celle de métrique usuelle). Dans ce qui suit, le terme "métrique" se référera à la notion de métrique probabiliste, sauf mention contraire où l'on parlera de "métrique usuelle".

Soit une métrique de la forme  

  et   désignent des mesures de probabilité sur un même espace mesurable  ,   et   sont des variables aléatoires respectivement de lois   et  ,   est l'espérance et   est un ensemble de fonctions de   à valeurs dans  . L'ensemble   doit être suffisamment grand pour que la définition précédente induise effectivement une métrique.

Des exemples importants sont la distance en variation totale (en)  (  est la fonction indicatrice), la métrique uniforme de Kolmogorov (en)  lorsque les mesures de probabilités sont prises sur  , et la métrique de Wasserstein où l'espace mesurable est lui-même un espace métrique (au sens usuel) et   est l'ensemble des applications lipschitziennes de constante de Lipschitz 1. Il est cependant important de noter que toute métrique ne peut être représentée sous la forme de  .

Dans ce qui suit,   désignera la distribution que l'on cherche à approximer (e.g., la distribution d'une somme de variables aléatoires dépendantes) par  , une distribution connue et bien définie (e.g., la loi normale).

L'opérateur de SteinModifier

Nous considérons à présent que   est de loi fixée; dans ce qui suit, nous considérons en particulier que   est la loi normale centrée réduite, i.e.  , ce qui constitue un exemple d'introduction classique.

Tout d'abord, nous requérons un opérateur   qui agit sur un ensemble de fonctions   et qui caractérise la distribution  , dans le sens que l'équivalence suivante soit vraie:

 

Un tel opérateur est appelé "Opérateur de Stein" et une telle caractérisation une "caractérisation de Stein"[13].

Pour la loi normale centrée réduite, le Lemme de Stein (en) induit un tel opérateur:

 

  désigne les fonctions absolument continues et d'espérance bornée. Donc nous pouvons ici prendre

 

Il y a, en général, une infinité de tels opérateurs et la question de savoir lequel choisir reste ouverte. Cependant, il semblerait pour bon nombre de distributions qu'il y en ait un "particulièrement efficace", comme   pour la loi normale centrée réduite. Il existe différentes manières de construire des opérateurs de Stein (cf. Novak[14], ch. 12).

L'équation de SteinModifier

  est proche de   en regard de la métrique considérée si l'expression en   est proche de  . Le principe de la méthode de Stein repose sur le désir que l'opérateur de Stein montre un comportement similaire: si  , alors   et, comme désiré, si  , nous avons  .

Il est généralement possible de trouver une fonction   solution de l'équation

 

On appelle   l'"équation de Stein". Remplacer   par   et passer aux espérances (si cela est permis) en regard de  , on obtient

 

Tout le travail n'a d'intérêt que si le membre de gauche de l'équation   est plus facile à borner que le membre de droite (qui n'est autre que l'argument du supremum de  ).

Si   est la loi normale centrée réduite et si nous utilisons  , alors l'équation de Stein correspondante est

 

Si la distribution   est de densité   (par rapport à la mesure de Lebesgue) alors (Novak (2011), ch. 12)

 

Résoudre l'équation de SteinModifier

Méthodes analytiques. L'équation   peut être résolue explicitement (cf. Chen, Goldstein & Shao[13], ch. 2, p. 14)

 

Méthodes des générateurs. Si   est le générateur d'un processus de Markov   (cf. Barbour (1988)[5], Götze (1991)[6]), alors la solution à   est

 

  est l'espérance en regard du processus   commençant en  . Cependant, il faut prouver que la solution   existe pour toutes les fonctions   désirées.

Propriétés de la solution de l'équation de SteinModifier

Habituellement, on essaie de fournir des bornes pour la solution   de l'équation de Stein, ainsi que pour ses dérivées (ou différences) en termes de   et de ses dérivées (ou différences), c'est-à-dire des inégalités de la forme

 

pour certains   (typiquement,   ou  , en fonction de la forme de l'opérateur de Stein), où   est la norme supremum (en). Ici,   dénote l'opérateur différentiel, mais dans les configurations discrètes, cela renvoie généralement à l'opérateur de différence. Les constantes   peuvent contenir des paramètres de la distribution  . S'il y en a, ils sont souvent appelés "facteurs de Stein".

Dans le cas de  , on peut montrer[13] pour la norme supremum que

 

où la dernière borne est évidemment applicable uniquement si   est différentiable (ou, au moins, lipschitzienne, ce qui, par exemple, n'est pas le cas pour la distance en variation totale ou la métrique de Kolmogorov). Comme la loi normale centrée réduite n'a pas de paramètres particuliers, dans ce cas spécifique, les constantes n'en contiennent pas.

Si l'on parvient à obtenir des bornes de la forme générale  , il est souvent possible de traiter de nombreuses métriques probabilistes de manière générale.

Notes et référencesModifier

  1. a et b C. Stein, « A bound for the error in the normal approximation to the distribution of a sum of dependent random variables », Proceedings of the Sixth Berkeley Symposium on Mathematical Statistics and Probability,‎ , p. 583–602 (Math Reviews 402873, zbMATH 0278.60026, lire en ligne)
  2. Charles Stein: The Invariant, the Direct and the "Pretentious" Entretien donné en 2003 à Singapour
  3. L.H.Y. Chen, « Poisson approximation for dependent trials », Annals of Probability, vol. 3, no 3,‎ , p. 534–545 (DOI 10.1214/aop/1176996359, JSTOR 2959474, Math Reviews 428387, zbMATH 0335.60016)
  4. Stein, C., Approximate computation of expectations, Hayward, Calif., Institute of Mathematical Statistics, coll. « Institute of Mathematical Statistics Lecture Notes, Monograph Series, 7 », (ISBN 0-940600-08-0)
  5. a et b Barbour A. D., « Stein's method and Poisson process convergence », J. Appl. Probab., Applied Probability Trust, vol. 25A,‎ , p. 175–184 (DOI 10.2307/3214155, JSTOR 3214155)
  6. a et b Götze F., « On the rate of convergence in the multivariate CLT », Annals of Probability, vol. 19, no 2,‎ , p. 724–739 (DOI 10.1214/aop/1176990448)
  7. Bolthausen E., « An estimate of the remainder in a combinatorial central limit theorem », Z. Wahrsch. Verw. Gebiete, vol. 66, no 3,‎ , p. 379–386 (DOI 10.1007/BF00533704)
  8. Hoeffding, W., « A Combinatorial Central Limit Theorem », Ann. Math. Statist., vol. 22, no 4,‎ , p. 558-566 (DOI 10.1214/aoms/1177729545, JSTOR 2236924)
  9. Barbour A. D., « Stein's method for diffusion approximations », Probab. Theory Related Fields, vol. 84, no 3,‎ , p. 297–322 (DOI 10.1007/BF01197887)
  10. Ehm, W., « Binomial approximation to the Poisson binomial distribution », Statistics & Probability Letters, vol. 11, no 1,‎ , p. 7–16 (DOI 10.1016/0167-7152(91)90170-V)
  11. Barbour, A. D. and Brown, T. C., « Stein's method and point process approximation », Stochastic Process. Appl., vol. 43, no 1,‎ , p. 9–31 (DOI 10.1016/0304-4149(92)90073-Y)
  12. Luk H. M., Stein's method for the gamma distribution and related statistical applications, Dissertation,
  13. a b et c Chen, L.H.Y., Goldstein, L., and Shao, Q.M, Normal approximation by Stein's method, www.springer.com, (ISBN 978-3-642-15006-7)
  14. Novak S.Y. (2011) Extreme value methods with applications to finance. London: CRC. (ISBN 978-1-4398-3574-6).