Identités de Bartlett

Les identités de Bartlett sont en statistique des relations concernant les moments des dérivées de la log-vraisemblance d'un modèle. Elles sont nommées en l'honneur du statisticien anglais Maurice Bartlett.

Idée générale

Considérons un modèle statistique générant des données réelles suivant une distribution de probabilité dépendant d'un paramètre $\theta$ sur lequel on souhaite faire de l'inférence. Notons $\Theta$ l'espace des paramètres et $\{f_{\theta }\mid \theta \in \Theta \}$ la famille des densités de probabilités associée au modèle. Puisque $f_{\theta }$ est une densité de probabilité, son intégrale sur $\mathbb {R}$ doit être égale à 1: $\int _{\mathbb {R} }f_{\theta }(x)dx=1$.

Différencier cette égalité par rapport à $\theta$ permet d'obtenir de nouvelles relations. Le terme de droite étant égal à 1, ses différentielles sont toutes nulles. Le terme de gauche est une intégrale paramétrique et il est souvent possible (sous certaines hypothèses qui doivent être soigneusement vérifiées) d'intervertir intégral et dérivée, de sorte que ${\frac {\partial ^{k}}{\partial \theta ^{k}}}\int _{\mathbb {R} }f_{\theta }(x)dx=\int _{\mathbb {R} }{\frac {\partial ^{k}}{\partial \theta ^{k}}}f_{\theta }(x)dx$. On obtient alors que pour tout $k\in \mathbb {N} ^{*}$, $\int _{\mathbb {R} }{\frac {\partial ^{k}}{\partial \theta ^{k}}}f_{\theta }(x)dx=0$.

Ces relations donnent les identités de Bartlett lorsqu'on développe la dérivée $k$-ième. Elles sont généralement exprimées en utilisant la log-vraisemblance $\log(f_{\theta })$ et ses dérivées.

Première identité de Bartlett

Reprenons les notations précédentes et supposons qu'il est possible d'intervertir dérivée et intégrale pour différencier l'égalité $\int f_{\theta }(x)dx=1$. Pour raccourcir les notations, notons $l_{\theta }(x)=\log(f_{\theta }(x))$ la log-vraisemblance du modèle.

On obtient alors que$\int {\frac {\partial }{\partial \theta }}f_{\theta }(x)dx=0$. En remarquant que ${\frac {1}{f_{\theta }(x)}}{\frac {\partial f_{\theta }}{\partial \theta }}={\frac {\partial l_{\theta }}{\partial \theta }}(x)$, cette égalité peut se réécrire $\int {\frac {\partial l_{\theta }}{\partial \theta }}(x)f_{\theta }(x)dx=0$.

Comme cette dernière intégrale correspond à l'espérance de ${\frac {\partial l_{\theta }}{\partial \theta }}(X)$ lorsque $X$ est distribuées selon $f_{\theta }$, la première identité de Bartlett s'écrit

$\mathbb {E} \left[{\frac {\partial l_{\theta }}{\partial \theta }}(X)\right]=0$

où l'espérance est prise sur une variable aléatoire dont la loi a pour densité $f_{\theta }$.

La fonction ${\frac {\partial l_{\theta }}{\partial \theta }}(x)$, souvent appelée fonction score, joue un rôle crucial dans l'estimation et les tests statistiques. La première identité de Bartlett indique que le score est d'espérance nulle. Cela garantie entre autres que l'estimateur du maximum de vraisemblance associé est convergent au sens de Fisher.

Seconde identité de Bartlett

Reprenons la première identité de Bartlett sous sa forme intégrale : $\int {\frac {\partial l_{\theta }}{\partial \theta }}(x)f_{\theta }(x)dx=0$ et différencions la par rapport à $\theta$ en supposant, encore une fois, qu'il est possible d'intervertir dérivée et intégrale. Supposons que $\theta$ est réel, on obtient alors

$\int \left({\frac {\partial ^{2}l_{\theta }}{\partial \theta ^{2}}}(x)f_{\theta }(x)+{\frac {\partial l_{\theta }}{\partial \theta }}(x){\frac {\partial }{\partial \theta }}f_{\theta }(x)\right)dx=0$.

Séparons l'intégrale en deux et en réutilisons le fait que ${\frac {1}{f_{\theta }(x)}}{\frac {\partial f_{\theta }}{\partial \theta }}={\frac {\partial l_{\theta }}{\partial \theta }}(x)$ pour arriver à l'égalité suivante:

$\int {\frac {\partial ^{2}l_{\theta }}{\partial \theta ^{2}}}(x)f_{\theta }(x)dx=-\int \left({\frac {\partial l_{\theta }}{\partial \theta }}(x)\right)^{2}f_{\theta }(x)dx$.

Les deux termes de cette égalités correspondent à des espérances. Le terme de gauche est l'espérance de ${\frac {\partial ^{2}l_{\theta }}{\partial \theta ^{2}}}(X)$ lorsque $X$ a pour densité $f_{\theta }$, et le terme de droite est l'espérance de $\left({\frac {\partial l_{\theta }}{\partial \theta }}(X)\right)^{2}$. Cette espérance correspond à la variance du score ${\frac {\partial l_{\theta }}{\partial \theta }}(X)$ puisque, d'après la première identité de Bartlett, ce dernier est d'espérance nulle. La deuxième identité de Bartlett peut donc s'écrire :

$\mathrm {var} \left[{\frac {\partial l_{\theta }}{\partial \theta }}(X)\right]=-\mathbb {E} \left[{\frac {\partial l_{\theta }^{2}}{\partial \theta ^{2}}}(X)\right]$

Où l'espérance et la variance sont prises sur une variable aléatoire $X$ ayant pour densité $f_{\theta }$.

Cette identité reste vraie lorsque $\theta$ est un vecteur. La variance est simplement remplacée par la matrice de variance-covariance, et la dérivée partielle seconde par rapport à $\theta$ de $\mathrm {log} \left(f_{\theta }(x)\right)$ par sa matrice hessienne.

La quantité $\mathrm {var} \left[{\frac {\partial }{\partial \theta }}l_{\theta }(X)\right]$ (ou la matrice dans le cas multivarié), généralement notée $I(\theta )$, est l'information de Fisher du modèle et joue un rôle important en statistique. Elle permet, entre autres, de calculer la borne de Cramér-Rao ou la loi a loi a priori de Jeffreys (en) en statistiques Bayésiennes. La seconde identité de Bartlett donne un moyen alternatif de calculer cette information de Fisher en utilisant la dérivée seconde de la log-vraisemblance, ce qui est parfois plus simple que de calculer la variance du score ${\frac {\partial }{\partial \theta }}l_{\theta }(X)$.

Identités d'ordre supérieur

Troisième identité

En dérivant la seconde identité de Bartlett par rapport à $\theta$, on obtient, après quelques simplifications, la troisième identité de Bartlett:

$\mathbb {E} \left[\left({\frac {\partial }{\partial \theta }}\log(f_{\theta }(X))\right)^{3}\right]=3{\frac {\partial I}{\partial \theta }}(\theta )+2\mathbb {E} \left[{\frac {\partial ^{3}}{\partial \theta ^{3}}}\log(f_{\theta }(X))\right]$

où $I(\theta )=\mathrm {var} \left[{\frac {\partial }{\partial \theta }}\log(f_{\theta }(X))\right]=-\mathbb {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\log(f_{\theta }(X))\right]$est l'information de Fisher.

Quatrième identité

Une différentiation supplémentaire donne la quatrième identité de Bartlett:

$\mathbb {E} \left[\left({\frac {\partial l_{\theta }}{\partial \theta }}(X)\right)^{4}\right]-3I(\theta )^{2}=6{\frac {\partial ^{2}I}{\partial \theta ^{2}}}(\theta )+8{\frac {\partial }{\partial \theta }}\mathbb {E} \left[{\frac {\partial ^{3}l_{\theta }}{\partial \theta ^{3}}}(X)\right]-3\mathbb {E} \left[{\frac {\partial ^{4}l_{\theta }}{\partial \theta ^{4}}}(X)\right]+3\mathrm {var} \left[{\frac {\partial ^{2}l_{\theta }}{\partial \theta ^{2}}}(X)\right]$.

Exemple

Considérons des données issues d'une loi normale d'espérance $\mu$ et d'écart-type $\sigma$. Notons $\theta =(\mu ,\sigma )$ le vecteur formé par ces deux paramètres. La log-vraisemblance associée à une observation $x$ générée par ce modèle est donnée par :

$l(x;\theta )=-\log(2\pi )-\log(\sigma )-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}$.

Commençons par calculer le score, c'est-à-dire la dérivée de la log-vraisemblance :

${\frac {\partial l}{\partial \theta }}(x;\theta )=\left({\frac {x-\mu }{\sigma ^{2}}};-{\frac {1}{\sigma }}+{\frac {(x-\mu )^{2}}{\sigma ^{3}}}\right)^{T}$.

Calculons l’espérance du score :

$\mathbb {E} \left[{\frac {\partial l}{\partial \theta }}(X;\theta )\right]=\left({\frac {\mathbb {E} [X]-\mu }{\sigma ^{2}}};-{\frac {1}{\sigma }}+{\frac {\mathbb {E} [(X-\mu )^{2}]}{\sigma ^{3}}}\right)^{T}$

En utilisant que $\mathbb {E} [X]=\mu$ et $\mathbb {E} [(X-\mu )^{2}]=\sigma ^{2}$, on obtient que $E\left[{\frac {\partial l}{\partial \theta }}(X,\theta )\right]=0$. La première identité de Bartlett est bien vérifiée.

Si l'on dérive une seconde fois la log-vraisemblance, on obtient la matrice Hessienne suivante :

${\frac {\partial ^{2}l}{\partial \theta ^{2}}}(x;\theta )=\left({\begin{array}{ccc}-{\frac {1}{\sigma ^{2}}}&&-2{\frac {x-\mu }{\sigma ^{3}}}\\-2{\frac {x-\mu }{\sigma ^{3}}}&&{\frac {1}{\sigma ^{2}}}-3{\frac {(x-\mu )^{2}}{\sigma ^{4}}}\end{array}}\right)$.

On obtient donc que

$-\mathbb {E} \left[{\frac {\partial ^{2}l}{\partial \theta ^{2}}}(x;\theta )\right]=\left({\begin{array}{ccc}{\frac {1}{\sigma ^{2}}}&&0\\0&&{\frac {2}{\sigma ^{2}}}\end{array}}\right)$

La seconde identité de Bartlett, $\mathrm {var} \left[{\frac {\partial l}{\partial \theta }}(X,\theta )\right]=-\mathbb {E} \left[{\frac {\partial ^{2}l}{\partial \theta ^{2}}}(X,\theta )\right]$, indique donc que

$\mathrm {var} \left[{\frac {\partial l}{\partial \theta }}(X,\theta )\right]=\left({\begin{array}{cc}{\frac {1}{\sigma ^{2}}}&0\\0&{\frac {2}{\sigma ^{2}}}\end{array}}\right)$.

Il est possible de calculer directement la variance du score, mais ce calcul peut se révéler plus fastidieux et utilise des résultats non triviaux tels que $\mathrm {cov} \left(X-\mu ;(X-\mu )^{2}\right)=0$ ou $\mathrm {var} ((X-\mu )^{2})=2\sigma ^{4}$.

Utilisation

La seconde identité de Bartlett est communément utilisée pour trouver la borne de Cramér-Rao associée à un estimateur ou pour calculer sa variance asymptotique.

Les identités de Bartlett jouent aussi un rôle dans la réduction de biais d'estimateurs paramétriques. Cette réduction de biais se fonde sur un développement limité des équations d'estimation et fait intervenir les espérances des dérivées de la log-vraisemblance.