Inégalité de Gibbs

En théorie de l'information, l'inégalité de Gibbs, nommée en l'honneur de Willard Gibbs, porte sur l'entropie d'une distribution de probabilités. Elle sert à prouver de nombreux résultats en théorie de l'information.

EnoncéModifier

Soient deux distributions de probabilités   et  , alors

 .

Le cas d'égalité se produit si et seulement si   pour tout  .

DémonstrationModifier

D'après l'inégalité de Jensen, puisque le logarithme est concave,

 .

Cela équivaut à

 

et montre donc l'inégalité.

Comme le logarithme n'est pas linéaire, le cas d'égalité dans l'inégalité de Jensen, et à fortiori dans la première inégalité ci-dessus, est réalisé si et seulement si tous les   sont égaux, ce qui équivaut au fait que   pour tout   car ce sont des distributions de probabilités.

Voir aussiModifier

BibliographieModifier