Utilisateur:Renard Arctique/Sparse Coding

Codage Parcimonieux

Le codage parcimonieux (ou sparse coding en anglais) est un type de réseau de neurones à apprentissage non supervisé. Il est basé sur le principe qu'une entrée est approximativement la somme de plein de petits motifs élémentaires.

Définition

Exemple de dictionnaire obtenu avec un réseaux de neurones à codage parcimonieux

Plus rigoureusement, considérons une entrée vectorielle $x$. Alors, considérant qu'on a à notre disposition un dictionnaire de motifs élémentaires $D$, matrice contenant dans chaque colonne un motif de la même taille que $x$ ($x\in \mathbb {R} ^{m}$ et $D\in \mathbb {R} ^{m\times k}$), il existe $(\alpha _{i})_{i\in [1..k]}$ tel que $x\simeq D.\alpha$.

Plus généralement, pour un jeu de données de taille $d$, le problème revient à décomposer la matrice $X\in \mathbb {R} ^{m\times d}$ en produit de deux autres matrices plus simple: la propriété de parcimonie impose qu'il y ait le plus de $0$ possible dans le vecteur de poids alpha ainsi que dans le dictionnaire. Cette condition se traduit par le fait que l'on veut reproduire l'entrée avec le moins de motif possible.

Apprentissage

Pour le codage parcimonieux, on considère souvent la fonction de coût suivante pour une entrée $x$:

$l(x,D)={\frac {1}{2}}\|x-D\alpha \|_{2}^{2}+\lambda |\alpha |_{1}$

Le premier terme correspond à la distance de l'entrée reconstruite par rapport à l'entrée originale tandis que le second terme correspond à la condition de parcimonie.

Toute la difficulté de l'apprentissage pour le codage parcimonieux est d'apprendre à la fois un dictionnaire ainsi que les poids. Pour se faire, on fixe alternativement un des paramètres pour entrainer l'autre à l'aide d'une descente de gradient stochastique.

Amélioration

Des améliorations peuvent être apportées à la construction précédente en rajoutant des conditions sur le dictionnaire ou sur les poids. On peut notamment montrer que l'ajout de l'invariance par translation via une convolution apporte des résultats meilleurs et permettent d'obtenir un dictionnaire plus complexe car il y a moins d'éléments redondants dans celui-ci.

Notes et références

[[Catégorie:Apprentissage automatique]] [[Catégorie:Exploration de données]] [[Catégorie:Informatique théorique]] [[Catégorie:Neurone]] [[Catégorie:Réseau de neurones artificiels]]