Apprentissage supervisé

technique d'apprentissage automatique

L'apprentissage supervisé (supervised learning en anglais) est une tâche d'apprentissage automatique consistant à apprendre une fonction de prédiction à partir d'exemples annotés, au contraire de l'apprentissage non supervisé. On distingue les problèmes de régression des problèmes de classement[1]. Ainsi, on considère que les problèmes de prédiction d'une variable quantitative sont des problèmes de régression tandis que les problèmes de prédiction d'une variable qualitative sont des problèmes de classification.

Les exemples annotés constituent une base d'apprentissage, et la fonction de prédiction apprise peut aussi être appelée « hypothèse » ou « modèle ». On suppose cette base d'apprentissage représentative d'une population d'échantillons plus large et le but des méthodes d'apprentissage supervisé est de bien généraliser, c'est-à-dire d'apprendre une fonction qui fasse des prédictions correctes sur des données non présentes dans l'ensemble d'apprentissage.

Définition mathématiqueModifier

Soit  , un espace probabilisé.

Jeu de données superviséesModifier

Soit   deux espaces mesurables. On peut définir une base de données d'apprentissage (ou ensemble d'apprentissage) comme un ensemble de couples entrée-sortie   où chaque   et   sont des réalisations respectives des variables aléatoires   et  . Les couples de la suite   sont indépendants et identiquement distribués suivant la loi d'un couple   à valeurs dans  . On rappelle que cette loi est caractérisée par une mesure de probabilité   définie pour tout évènement   par  

Par exemple   suit une loi uniforme et    est un bruit centré. Dans ce cas, la méthode d'apprentissage supervisé utilise cette base d'apprentissage pour déterminer une estimation de f notée g et appelée indistinctement fonction de prédiction, hypothèse ou modèle qui à une nouvelle entrée x associe une sortie g(x). Le but d'un algorithme d'apprentissage supervisé est donc de généraliser pour des entrées inconnues ce qu'il a pu « apprendre » grâce aux données déjà annotées par des experts, ceci de façon « raisonnable ». On dit que la fonction de prédiction apprise doit avoir de bonnes garanties en généralisation.

Théorie de la décisionModifier

Plus généralement[2], l'objectif de l'apprentissage supervisé est d'apprendre une fonction   qui « minimise l'écart entre les variables aléatoires   et   ». Pour définir cet écart, nous introduisons une fonction de perte   qui quantifie la distance entre une prédiction du modèle   et une sortie attendue  . À partir de cette fonction, nous pouvons définir le risque statistique d'une modèle  . Il est noté   et est défini par :

 

En pratique, on n'a jamais accès directement à  , en revanche il est possible de l'estimer à partir du jeu de données en utilisant la mesure empirique   définie pour tout   par  .

Dès lors, un algorithme d'apprentissage supervisé mettra en œuvre des algorithmes d'optimisation afin de trouver une fonction   qui minimise le risque empirique  . Il faut noter que   n'est rien d'autre que la moyenne des écart (au sens de  ) entre les prédictions du modèle et les sorties attendues.

Classification et régressionModifier

On distingue trois types de problèmes solubles avec une méthode d'apprentissage automatique supervisée :

  •   : lorsque la sortie que l'on cherche à estimer est une valeur dans un ensemble continu de réels, on parle d'un problème de régression. La fonction de prédiction est alors appelée un régresseur.
  •   : lorsque l'ensemble des valeurs de sortie est fini, on parle d'un problème de classification, qui revient à attribuer une étiquette à chaque entrée. La fonction de prédiction est alors appelée un classifieur.
  • Lorsque   est un ensemble de données structurées, on parle d'un problème de prédiction structurée, qui revient à attribuer une sortie complexe à chaque entrée. Par exemple, en bio-informatique le problème de prédiction de réseaux d’interactions entre gènes peut être considéré comme un problème de prédiction structurée dans laquelle l'ensemble possible des sorties structurées est l'ensemble de tous les graphes modélisant les interactions possibles.

Coût quadratique en régressionModifier

Une bonne estimation de   vérifierait  . On estimerait donc   par son espérance conditionnelle par rapport à  . Le théorème[3] suivant montre l'intérêt d'utiliser la fonction de perte quadratique dans le cas d'une régression.

Minimisation du coût quadratique — Supposons  . On se munit de la fonction de perte quadratique définie pour tout   par  . On suppose également  , avec   la mesure de Lebesgue sur  . Alors, la fonction   qui minimise le risque statistique associé à   vérifie  .

Méthodes d'apprentissage superviséModifier

ApplicationsModifier

Notes et référencesModifier

  1. « classement » est la traduction correcte du terme anglais classification; la « classification » française correspond plutôt au clustering en anglais. Voir par exemple la BDL québécoise
  2. (en) Trevor Hastie, Robert Tibshirani et Jerome Friedman, The Elements of Statistical Learning, New York, NY, Springer, New York, NY, (ISBN 978-1-0716-2122-6)
  3. Sylvain Arlot, « Fondamentaux de l'apprentissage statistique », dans Apprentissage statistique et données massives, Editions Technip, (lire en ligne)

Voir aussiModifier

BibliographieModifier

Articles connexesModifier