Entropie différentielle

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux distributions de probabilités continue.

DéfinitionModifier

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble   on définit l'entropie différentielle h(x) par:

 

Entropie différentielle pour plusieurs distributionsModifier

Table d'entropies différentielles.
Distribution Fonction de distribution de probabilités Entropie
Loi uniforme continue   pour    
Loi normale    
Loi exponentielle    
Loi de Cauchy    
Loi du χ²  

 

Distribution Gamma    
Loi logistique    
Statistique de Maxwell-Boltzmann    
Distribution de Pareto    
Loi de Student    
Distribution de Weibull    
Loi normale multidimensionnelle