Entropie min

En probabilités et en théorie de l'information, l'entropie min d'une variable aléatoire discrète X prenant n valeurs ou sorties possibles 1... n associées au probabilités p₁... p_n est :

$H_{\infty }(X)=\min _{i=1}^{n}(-\log p_{i})=-(\max _{i}\log p_{i})=-\log \max _{i}p_{i}$

La base du logarithme est juste une constante d'échelle. Pour avoir un résultat en bits, il faut utiliser le logarithme en base 2. Ainsi, une distribution a une entropie min d'au moins b bits si aucune sortie n'a une probabilité plus grande que 2^-b.

L'entropie min est toujours inférieure ou égale à l'entropie de Shannon; avec égalité si toutes les valeurs de X sont équiprobables. L'entropie min est importante dans la théorie des extracteurs de hasard.

La notation $H_{\infty }(X)$ vient d'une famille paramétrée d'entropies appelée entropie de Rényi,

$H_{k}(X)=-\log {\sqrt[{k-1}]{\begin{matrix}\sum _{i}(p_{i})^{k}\end{matrix}}}$