Entropie conditionnelle

En théorie de l'information, l'entropie conditionnelle décrit la quantité d'information nécessaire pour connaitre le comportement d'une variable aléatoire , lorsque l'on connait exactement une variable aléatoire . On note l'entropie conditionnelle de sachant . On dit aussi parfois entropie de conditionnée par [1]. Comme les autres entropies, elle se mesure généralement en bits.

Définitions

modifier

On peut introduire l'entropie conditionnelle de plusieurs façons, soit directement à partir des probabilités conditionnelles, soit en passant par l'entropie conjointe. Les deux définitions sont équivalentes.

Définition directe

modifier

On définit l'entropie conditionnelle à partir de la probabilité conditionnelle de   relativement à   :

 

  et   sont respectivement les supports des variables   et  .

Par l'entropie conjointe

modifier

Étant donné deux variables aléatoires   et   avec pour entropies respectives   et  , et pour entropie conjointe  , l'entropie conditionnelle de   sachant   est définie par :

 

Équivalence des définitions

modifier

Ces deux définitions sont équivalentes, c'est-à-dire qu'avec la première définition de  ,

 

Propriétés

modifier
  •   si et seulement si   et   sont indépendantes.
  • Règle de la chaîne : avec   variables aléatoires,
 

Intuition

modifier

Intuitivement, si le système combiné contient   bits d'information, et si nous connaissons parfaitement la variable aléatoire  , pour coder le système on peut économiser   bits, et on n'a plus besoin que de   bits.

Références

modifier
  1. Antoine Cornuéjols, Laurent Miclet et Vincent Barra, Apprentissage artificiel: Deep learning, concepts et algorithmes, EYROLLES, (ISBN 978-2-212-67522-1, lire en ligne), p. 446

Voir aussi

modifier