Flots génératifs

Un modèle génératif basé sur les flots est une instance de modèles génératifs utilisé dans l'apprentissage automatique qui modélise explicitement une distribution de probabilité en exploitant les flots normalisant, qui est une méthode probabiliste utilisant la formule de changement de variable pour transformer une distribution simple, souvent une loi normal ou uniforme, en une distribution complexe.

La modélisation directe de la vraisemblance présente de nombreux avantages comme l'entrainement du réseau par maximum de vraisemblance. De plus, de nouveaux échantillons peuvent être produits en échantillonnant à partir de la distribution initiale et en appliquant la transformation induite par le flot.

Méthodologie

Soit $z_{0}$ une variable aléatoire et $p_{0}$ sa densité de probabilité. Pour $i=1,...,K$ on construit la suite de variables aléatoires $z_{i}=f_{i}(z_{i-1})$ à partir de $z_{0}$. Les fonctions $f_{1},f_{2},...,f_{K}$ sont des difféomorphismes, i.e. des bijections différentiables. La densité obtenue $p_{K}$ sert à modéliser la distribution empirique des données à décrire, et elle est donnée par la formule de changement de variable:

$\log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|$

Les fonctions $f_{1},f_{2},...,f_{K}$ sont modélisées à travers des réseaux de neurones profonds et sont entrainées pour maximiser la log-vraisemblance. Par conséquent, le calcul de la densité $p_{K}$ doit être efficace. Ceci nécessite d'employer des fonctions facilement inversible disposant de déterminant jacobien simple à calculer.