BERT (modèle de langage)
Pour les articles homonymes, voir Bert.
En traitement automatique du langage naturel, BERT, acronyme anglais de Bidirectional Encoder Representations from Transformers, est un modèle de langage développé par Google en 2018. Cette méthode a permis d'améliorer significativement les performances en traitement automatique des langues.
| Développé par | Google Research (d) |
|---|---|
| Première version | |
| Dépôt | github.com/google-research/bert |
| Taille des données | 110 M paramètre et 340 M paramètre |
| Type |
Grand modèle de langage Modèle transformateur Modèle de langage entraîné par masquage (d) |
| Licence | Licence Apache version 2.0 |
| Site web | arxiv.org/abs/1810.04805 |
Description du modèle modifier
BERT est basé sur le Transformeur, n'utilisant que sa partie "encodeur". BERT consiste en une première couche de plongement lexical pour représenter les mots sous forme de vecteur. Ces plongements sont ensuite donné en entrée aux blocs de Transformeur successifs. Le modèle se termine par une couche appelée "tête" qui alignent les vecteurs résultants du dernier bloc de Transformeur avec le vocabulaire du modèle, permettant l'obtention d'une distribution de probabilité sur le lexique pour prédire un mot manquant[1].
BERT a été construit de sorte à pouvoir recevoir jusqu'à deux phrases en entrée. La suite d'unités lexicales (tokens en anglais) en entrée commence systématiquement par une unité spéciale " [CLS] " (pour "classify") et est terminée par l'unité spéciale [SEP] (pour "separate"). Dans le cas où la suite d'unités contient deux phrases, une autre unité [SEP] est insérée entre les deux phrases.
BERT est un modèle pré-entrainé pour les deux objectifs suivants :
- Masked Language Modeling : une des unités de la suite est remplacée par l'unité [MASK]. L'objectif est alors que la distribution de probabilité en sortie du modèle maximise la probabilité de prédiction de l'unité masquée.
- Next Sentence Prediction : la suite en entrée est composé de deux phrases. Le modèle doit prédire (vrai ou faux) si les deux phrases sont successives dans les données d'entrainement ou non.
Deux versions pré-entrainées de BERT ont été distribuées :
- la version "base" est composée de 12 blocs "encodeurs" de Transformeur avec 12 têtes d'attention, pour un total de 110 millions de paramètres. Les représentations vectorielles des couches intermédiaires du modèle sont de dimension 768.
- la version "large" est composée de 24 blocs encodeurs avec 16 têtes d'attention, pour un total de 340 millions de paramètres. Les représentations vectorielles intermédiaires sont de dimension 1024.
Usage dans des applications modifier
Le , Google annonce officiellement que BERT est désormais intégré à certains de ses services pour les entreprises (Cloud TPU, bibliothèque pour TensorFlow)[2] et que son déploiement s'effectuera les jours suivants, d'abord pour la langue anglaise, puis les autres. La firme de Mountain View qualifie ce changement de modification la plus importante apportée à l'algorithme Google depuis 5 ans, date à laquelle RankBrain avait été lancé.
La méthode a été adaptée à la langue française en 2019 avec les modèles CamemBERT[3] et FlauBERT[4]. CamemBERT a été pré-entraîné sur un corpus de 138 Go de texte et FlauBERT sur un corpus de 71 Go de texte.
Bibliographie modifier
- (en) Toutanova, Kristina, « BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding », sur arXiv.org, (consulté le ).
Voir aussi modifier
Articles connexes modifier
Liens externes modifier
- (en) répertoire Github
Notes et références modifier
- Hang Le, Loïc Vial, Jibril Frej et Vincent Segonne, « FlauBERT : des modèles de langue contextualisés pré-entraînés pour le français (FlauBERT : Unsupervised Language Model Pre-training for French) », Actes de la 6e conférence conjointe Journées d'Études sur la Parole (JEP, 33e édition), Traitement Automatique des Langues Naturelles (TALN, 27e édition), Rencontre des Étudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (RÉCITAL, 22e édition). Volume 2 : Traitement Automatique des Langues Naturelles, ATALA et AFCP, , p. 268–278 (lire en ligne, consulté le )
- (en) Jacob Devlin et Ming-Wei Chang, « Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing », sur Google AI Blog, (consulté le ).
- (en) Louis Martin et al., « CamemBERT: a Tasty French Language Model », .
- (en) Hang Le et al., « FlauBERT: Unsupervised Language Model Pre-Training for French », .
