Modèles à base d’énergie

Les modèles à base d'énergies (EBMs en anglais Energy-based models) sont un cadre pour la définition des modèles d'apprentissage profond, qui permet de définir des modèles supervisés, non supervisés et autosupervisés. Il souligne les limites des réseaux à propagation avant pour certains types de calculs et problèmes. Les modèles à base d’énergie (EBMs) sont présentés comme offrant un meilleur cadre pour modéliser les modalités, notamment dans les domaines continus à haute dimension comme les images.

Cadre théorique

Introduction

Problème

L'approche des modèles à base d'énergie consiste à prédire si une paire de $(x,y)$ s'assemble ou non, plutôt que de classer $x$ en $y$.

Pour cela, on définit une fonction énergie $F(x,y)$qui décrit le niveau de dépendance entre les paires$(x,y)$. L'inférence est donnée par l'équation ${\tilde {y}}=argmin_{y}\{F(x,y)\}$.

Solution

Pour trouver des $y$ compatibles, on utilise la descente de gradient ou un autre algorithme d'optimisation pour rechercher une fonction d'énergie lisse et différenciable.

Variables latentes

Les modèles à base d'énergie peuvent comporter une variable latente $y$ est utilisée pour capturer des informations cachées ou latentes dans les données d'entrée qui ne sont pas directement observables.

Notes et Références

Voir aussi

Article connexe

• Apprentissage profond
• Modèle graphique

Liens externes

• Cours de Yann Lecun sur les modèles à base d'énergie