Page d’aide sur l’homonymie Pour les articles homonymes, voir Entropie.

L'entropie de Rényi, due à Alfréd Rényi, est une fonction mathématique qui correspond à la quantité d'information contenue dans la probabilité de collision d'une variable aléatoire.

DéfinitionModifier

Étant donnés une variable aléatoire discrète   à   valeurs possibles  , ainsi qu'un paramètre réel   strictement positif et différent de 1, l' entropie de Rényi d'ordre   de   est définie par la formule :

 

Cas particuliersModifier

L'entropie de Rényi généralise d'autres acceptions de la notion d'entropie, qui correspondent chacune à des valeurs particulières de  .

Entropie de HartleyModifier

Le cas   donne:

 

ce qui correspond au logarithme du cardinal de  , qui correspond à l'entropie de Hartley.

Entropie de ShannonModifier

D'après la règle de L'Hôpital, on peut trouver une limite à   quand   tend vers 1:

 

Cette expression correspond à l'entropie de Shannon.

Entropie de CollisionModifier

Dans le cas où  , on trouve l'entropie dite de collision, appelée parfois simplement "entropie de Rényi":

 

Y est une variable aléatoire indépendante et identiquement distribuée par rapport à X.

Entropie MinModifier

En faisant tendre   vers l'infini, on trouve l'entropie min :

 

PropriétésModifier

Décroissance selon  Modifier

  est une fonction décroissante de  .

PreuveModifier

Soit   une distribution de probabilité

 

avec   la distribution de probabilité des   et   la Divergence de Kullback-Leibler de   par rapport  .

Puisque cette divergence est positive, la dérivée de l'entropie de Rényi en devient négative et donc   est bien décroissante en  .

Preuve alternativeModifier

Soit   une distribution de probabilité,

 

L'inégalité provient de l'Inégalité de Jensen appliquée dans les cas suivants à  , en notant  :

  • Si,   et donc   est convexe et  .
  • Si,   donc   est convexe et  .
  • Si,   donc   est concave  .
  • Si  l'application de l'inégalité est immédiate.

Ce qui donne la croissance de  .

Relations entre les entropies de différents ordresModifier

L'entropie de Rényi est donc une fonction décroissante de son ordre.

De plus, on remarque que   puisque  .

Divergence de RényiModifier

Pour deux distributions de probabilités  et  , la divergence de Rényi de   selon   est définie comme :

 

La limite  existe et correspond à la Divergence de Kullback-Leibler.

Voir aussiModifier

Article connexeModifier

BibliographieModifier

  • (en) A. Rényi, « On measures of entropy and information », dans Proc. 4th Berkeley Symposium on Mathematical Statistics and Probability', vol. 1, , p. 547-561.
  • (en) Christian Cachin, Entropy Measures and Unconditional Security in Cryptography, (lire en ligne [PDF])