Entropie différentielle

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux lois de probabilités continues.

Définition modifier

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble  , on définit l'entropie différentielle h(x) par :

 

Entropie différentielle pour plusieurs distributions modifier

Dans le tableau qui suit,   est la fonction gamma,   est la fonction digamma,   est la fonction bêta, et γ est la constante d'Euler-Mascheroni.

Table d'entropies différentielles.
Distribution Fonction de distribution de probabilités Entropie
Loi uniforme continue    
Loi normale    
Loi exponentielle    
Loi de Cauchy    
Loi du χ²  

 

Distribution Gamma    
Loi logistique    
Statistique de Maxwell-Boltzmann    
Distribution de Pareto    
Loi de Student    
Distribution de Weibull    
Loi normale multidimensionnelle      

Voir aussi modifier