Échantillonnage de Gibbs

L'échantillonnage de Gibbs est une méthode MCMC. Étant donné une distribution de probabilité π sur un univers Ω, cet algorithme définit une chaîne de Markov dont la distribution stationnaire est π. Il permet ainsi de tirer aléatoirement un élément de Ω selon la loi π (on parle d'échantillonnage).

Échantillonnage de Gibbs
Nature
Inventeurs
Stuart Geman (en), Donald Geman (en)Voir et modifier les données sur Wikidata
Date d'invention
Nommé en référence à
Aspect de

IntroductionModifier

Comme pour toutes les méthodes de Monte-Carlo à chaîne de Markov,

La spécificité de l'échantillonnage de Gibbs consiste à « découper » qx(i) en n probabilités conditionnelles :

  • la première composante du vecteur, x(i + 1)1, est générée à partir de la probabilité conditionnelle π(x1|x(i)2, x(i)3, …, x(i)n) ;
  • la seconde composante du vecteur, x(i + 1)2, est générée à partir de la probabilité conditionnelle π(x2|x(i + 1)1, x(i)3, …, x(i)n) ;
  • la composante j du vecteur, x(i + 1)j, est générée à partir de la probabilité conditionnelle π(xj|x(i + 1)1, x(i + 1)2, …, x(i + 1)j - 1, x(i)j + 1, …, x(i)n).

On remplace donc le problème de génération aléatoire de x(i + 1) par n problèmes que l'on espère plus simples.

PrincipeModifier

Soit X=(Xi, iS) une variable de loi π dans l'espace de sites S=⟦1;n vers l'espace des états Ω. Pour x = (x1;…;xn)∈Ω et les densités conditionnelles πi(xi|x¬i)x¬i = (xj, ji), iS, on construit l'échantillonneur de Gibbs sur les noyaux π-invariants : Pi(x,y) = πi(yi|x¬i)1(x¬i = y¬i).

Échantillonneur par balayage systématiqueModifier

On visite S séquentiellement, en relaxant à chaque pas i la valeur suivant la loi πi conditionnelle à l'état courant. La transition de x à y s'écrit:  

Échantillonneur par balayage aléatoireModifier

Soit ν une probabilité jamais nulle sur S. À chaque pas, un site i est choisi avec la probabilité νi>0 et la valeur y est relaxée selon la loi conditionnelle πi à l'état courant. La transition s'écrit:  

PropriétésModifier

  • Si Ω est fini, la transition P est positive strictement et la vitesse de convergence de νPk est exponentielle.
  • π peut être connu à un facteur multiplicatif près.

BibliographieModifier

  C. Gaetan et X. Guyon, chap. 9 « Simulation des modèles spatiaux », dans Jean-Jacques Droesbeke, Michel Lejeune et Gilbert Saporta, Analyse statistique des données spatiales : 10e Journées d'étude en statistique, 4-8 novembre 2002, Marseille, Société française de statistique, Paris, Technip, , 468 p. (ISBN 978-2-7108-0873-2, BNF 40225776)