Entropie conditionnelle

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire , lorsque l'on connait exactement une variable aléatoire . On note l'entropie conditionnelle de sachant . Comme les autres entropies, elle se mesure généralement en bits.

DéfinitionsModifier

On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe. Les deux définitions sont équivalentes.

Par le calculModifier

On définit l'entropie conditionnelle à partir de la probabilité conditionnelle de   relativement à   :

 

Par l'entropie conjointeModifier

Étant donné deux variables aléatoires   et   avec pour entropies respectives   et  , et pour entropie conjointe  , l'entropie conditionnelle de   sachant   est définie par :

 

Équivalence des définitionsModifier

Ces deux définitions sont équivalentes, c'est-à-dire qu'avec la première définition de  ,

 

PropriétésModifier

  •   si et seulement si   et   sont indépendantes.
  • Règle de la chaîne : avec   variables aléatoires,
 

IntuitionModifier

Intuitivement, si le système combiné contient   bits d'information, et si nous connaissons parfaitement la variable aléatoire  , pour coder le système on peut économiser   bits, et on n'a plus besoin que de   bits.

Voir aussiModifier