Entropie de Hartley

La fonction de Hartley ou entropie de Hartley est une mesure de l'incertitude, introduite par Ralph Hartley en 1928. Si on choisit un échantillon d'un ensemble fini A de façon aléatoire et uniforme, l'information fournie une fois que la sortie est connue est l'entropie de Hartley.

$H_{0}(A)=\log _{b}\vert A\vert$

Si la base du logarithme est 2, alors l'incertitude se mesure en bits. S'il s'agit du logarithme naturel, alors l'unité est le nat. Hartley quant à lui utilisait le logarithme en base 10, et cette unité d'information est parfois appelée hartley (symbole : hart) en son honneur, ou encore decit.

Fonction de Hartley, entropie de Shannon et entropie de Rényi

La fonction de Hartley coïncide avec l'entropie de Shannon (aussi bien qu'avec l'entropie de Rényi à tout ordre) dans le cas d'une distribution uniforme. C'est en fait un cas particulier de l'entropie de Rényi puisque:

$H_{0}(X)={\frac {1}{1-0}}\log \sum _{i=1}^{|X|}p_{i}^{0}=\log |X|.$

Comme le soulignent Kolmogorov et Rényi (voir George, J. Klirr's "Uncertainty and information", p.423), la fonction de Hartley peut être définie sans introduire la moindre notion de probabilité.

Caractérisation de la fonction de Hartley

La fonction de Hartley ne dépend que du nombre d'éléments dans l'ensemble, et peut donc être vue comme une fonction sur les entiers naturels. Rényi a montré que la fonction Hartley en base 2 est la seule fonction transformant les entiers naturels en nombres réels qui satisfait:

1. $H(mn)=H(m)+H(n)$ (additivité)
2. $H(m)\leq H(m+1)$ (monotone)
3. $H(2)=1$ (normalisation)

La condition 1 dit que l'incertitude d'un produit cartésien de deux ensembles fini A et B est la somme des incertitudes de A et B. La condition 2 dit qu'un ensemble plus grand a une plus grande incertitude.

Propriétés de la fonction de Hartley

Nous cherchons à montrer que la fonction de Hartley, log₂(n), est la seule fonction transformant les entiers naturels en nombres réels vérifiant les propriétés suivantes :

1. $H(mn)=H(m)+H(n)\,$ (additivité)
2. $H(m)\leq H(m+1)\,$ (monotonie)
3. $H(2)=1\,$ (normalisation)

Soit ƒ une fonction sur les entiers naturels qui satisfait les 3 propriétés ci-dessus. D'après la propriété d'additivité, nous pouvons montrer que pour tous les entiers n et k,

$f(n^{k})=kf(n)\qquad (1)\,$

Soit a, b, et t des entiers naturels. Un seul entier s vérifie

$a^{s}\leq b^{t}\leq a^{s+1}.$

Ainsi,

$s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,$

et

${\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.$

De plus, par la propriété de monotonie,

$f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,$

En utilisant l'équation (1), on trouve

$sf(a)\leq tf(b)\leq (s+1)f(a),\,$

et

${\frac {s}{t}}\leq {\frac {f(a)}{f(b)}}\leq {\frac {s+1}{t}}.$

Ainsi,

$\left|{\frac {f(a)}{f(b)}}-{\frac {\log _{2}(a)}{\log _{2}(b)}}\right|\leq {\frac {1}{t}}.$

Comme t peut être choisi arbitrairement grand, la valeur à gauche de l'inégalité doit être 0,

${\frac {f(a)}{f(b)}}={\frac {\log _{2}(a)}{\log _{2}(b)}}.$

Alors,

$f(a)=\mu \log _{2}(a)\,$

à une constante près μ, qui doit être égale à 1 d'après la propriété de normalisation.

Voir aussi

• entropie de Rényi