Probabilité a priori

Dans le théorème de Bayes, la probabilité a priori (ou prior) désigne une probabilité se fondant sur des données ou connaissances antérieures à une observation. Elle s'oppose à la probabilité a posteriori (ou posterior) correspondante qui s'appuie sur les connaissances postérieures à cette observation.

Formalisation

Théorème de Bayes

Le théorème de Bayes s'énonce de la manière suivante :

$\mathbb {P} (A|B)={\frac {\mathbb {P} (B|A)\cdot \mathbb {P} (A)}{\mathbb {P} (B)}}$, si $\mathbb {P} (B)\neq 0$.

$\mathbb {P} (A)$ désigne ici la probabilité a priori de $A$, tandis que $\mathbb {P} (A|B)$ désigne la probabilité a posteriori, c'est-à-dire la probabilité conditionnelle de $A$ sachant $B$. $\mathbb {P} (B|A)$ est la vraisemblance de A sachant B.

Lois

Soit θ un paramètre ou vecteur de paramètres inconnu considéré aléatoire :

• la loi de la variable aléatoire $\theta$ avant observation est appelée loi a priori, notée généralement $\pi (\theta )$ ;

• la loi de la variable aléatoire $\theta$ après observation est appelée loi a posteriori.

Extension du modèle

Soit X une variable aléatoire dont la loi de probabilité associée dépend de $\theta$, et x l'observation.

Le théorème de Bayes s’énonce alors : $\mathbb {P} (\theta |x)={\frac {\mathbb {P} (x|\theta )\cdot \mathbb {P} (\theta )}{\mathbb {P} (x)}}$.

La probabilité a priori est $\mathbb {P} (\theta )$ et la probabilité a posteriori devient $\mathbb {P} (\theta |x)$.

La loi a priori est toujours $\pi (\theta )$ et la loi a posteriori est alors la loi de $\theta$ conditionnellement à l'observation $x$ de $X$ et s'écrit donc $\pi (\theta |x)$.

Choix d’une loi de probabilité a priori

Les lois a priori peuvent être créées à l'aide d'un certain nombre de méthodes.

• Une loi a priori peut être déterminée à partir d'informations antérieures, telles que des expériences précédentes.

• Elle peut être obtenue à partir de l'évaluation purement subjective d'un expert expérimenté.

• Une loi a priori non informative peut être créée pour refléter un équilibre entre les résultats lorsque aucune information n'est disponible.

• Les lois a priori peuvent également être choisies en fonction d'un certain principe, comme la symétrie ou la maximisation de l'entropie compte tenu des contraintes ; les exemples sont la loi a priori de Jeffreys ou l’a priori de référence de Berger-Bernardo.

• Enfin, lorsqu'il existe une famille d’a priori conjugués (en), le choix d'un a priori dans cette famille simplifie le calcul de la loi a posteriori.

Articles connexes

• Inférence bayésienne
• Probabilité a posteriori
• Probabilité conditionnelle
• Statistique bayésienne
• Fonction de vraisemblance
• Théorème de Bayes

Notes et références

Notes

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Prior probability » (voir la liste des auteurs).

Bibliographie

• Rubin, Donald B., Gelman, Andrew, John B. Carlin et Stern, Hal, Bayesian Data Analysis, Boca Raton, Chapman & Hall/CRC, 2003, 2nd éd. (ISBN 978-1-58488-388-3, MR 2027492)
• James O. Berger, Statistical decision theory and Bayesian analysis, Berlin, Springer-Verlag, 1985 (ISBN 978-0-387-96098-2, MR 0804611)
• James O. Berger et William E. Strawderman, « Choice of hierarchical priors: admissibility in estimation of normal means », Annals of Statistics, vol. 24, n^o 3,‎ 1996, p. 931–951 (DOI 10.1214/aos/1032526950, MR 1401831, zbMATH 0865.62004)
• Jose M. Bernardo, « Reference Posterior Distributions for Bayesian Inference », Journal of the Royal Statistical Society, Series B, vol. 41, n^o 2,‎ 1979, p. 113–147 (JSTOR 2985028, MR 0547240)
• James O. Berger, José M. Bernardo et Dongchu Sun, « The formal definition of reference priors », Annals of Statistics, vol. 37, n^o 2,‎ 2009, p. 905–938 (DOI 10.1214/07-AOS587, Bibcode 2009arXiv0904.0156B, arXiv 0904.0156)
• Edwin T. Jaynes, « Prior Probabilities », IEEE Transactions on Systems Science and Cybernetics, vol. 4, n^o 3,‎ septembre 1968, p. 227–241 (DOI 10.1109/TSSC.1968.300117, lire en ligne, consulté le 27 mars 2009)
  • réimprimé dans Rosenkrantz, Roger D., E. T. Jaynes: papers on probability, statistics, and statistical physics, Boston, Kluwer Academic Publishers, 1989, 116–130 p. (ISBN 978-90-277-1448-0)
• Edwin T. Jaynes, Probability Theory: The Logic of Science, Cambridge University Press, 2003 (ISBN 978-0-521-59271-0, lire en ligne)
• Jon Williamson, « review of Bruno di Finetti. Philosophical Lectures on Probability », Philosophia Mathematica, vol. 18, n^o 1,‎ 2010, p. 130–135 (DOI 10.1093/philmat/nkp019, lire en ligne [archive du 9 juin 2011], consulté le 2 juillet 2010)
• Tony Lancaster, An Introduction to Modern Bayesian Econometrics, Oxford, Blackwell, 2004 (ISBN 1-4051-1720-6)
• Peter M. Lee, Bayesian Statistics : An Introduction, Wiley, 2004, 3rd éd. (ISBN 0-340-81405-5)