Wikipédia

GPT-3

modèle de langage développé par OpenAI et sorti en 2020
(Redirigé depuis GPT-3.5)

GPT-3 (sigle de Generative Pre-trained Transformer 3) est un modèle de langage, de type transformeur génératif pré-entraîné, développé par la société OpenAI, annoncé le 28 mai 2020, ouvert aux utilisateurs via l'API d'OpenAI en juillet 2020.

GPT-3

Description de l'image שיחה עם GPT-3 על ויקיפדיה.png.
Informations
Développé par OpenAIVoir et modifier les données sur Wikidata
Première version Voir et modifier les données sur Wikidata
Dernière version 175B[1]Voir et modifier les données sur Wikidata
Dépôt github.com/openai/gpt-3Voir et modifier les données sur Wikidata
Type Grand modèle de langage
Modèle autorégressif
Modèle transformeur
Modèle génératif
Transformateur génératif pré-forméVoir et modifier les données sur Wikidata
Licence Licence propriétaireVoir et modifier les données sur Wikidata
Site web arxiv.org/abs/2005.14165Voir et modifier les données sur Wikidata

Chronologie des versions

GPT-2 GPT-4

modifier - modifier le code - voir Wikidata (aide)

Architecture du modèle GPT

Au moment de son annonce, GPT-3 est le plus gros modèle de langage jamais entraîné avec 175 milliards de paramètres. GPT-2, sorti en 2019, n'avait que 1,5 milliard de paramètres[2].

OpenAI ouvre une version bêta en juillet 2020 avec l'intention d'en faire un produit commercial[2].

En mars 2022, OpenAI a sorti de nouvelles versions de GPT-3 (« text-davinci-002 » et « code-davinci-002 »)[3]. En novembre 2022, OpenAI a commencé à faire référence à ces modèles comme faisant partie de la série « GPT-3.5 », et en a intégré une version ajustée dans ChatGPT[4].

En , OpenAI annonce le lancement de son successeur, GPT-4[5]. GPT-3 et GPT-4 sont à la base de chatGPT, un robot conversationnel commercialisé par OpenAI.

Capacités

modifier

Une prépublication arXiv du 28 mai 2020 par un groupe de 31 ingénieurs et chercheurs de OpenAI[note 1] présentait le développement de GPT-3, un modèle linguistique de troisième génération[6],[7]. L'équipe a augmenté la capacité de GPT-3 de plus de deux ordres de grandeur par rapport à celle de son prédécesseur, GPT-2[8]. Le nombre plus élevé de paramètres de GPT-3 lui confère une plus grande précision par rapport aux versions précédentes de plus faible capacité[9]. La capacité de GPT-3 est dix fois supérieure à celle du NLG de Turing de Microsoft[7].

60 % de l'ensemble de données pondérées de pré-apprentissage pour le modèle GPT-3 proviennent d'une version filtrée du corpus Common Crawl (en) consistant en 410 milliards d'unités textuelles sous-lexicales encodées par l'algorithme BPE[6]. Les autres sources sont 19 milliards d'unités du corpus WebText2 représentant 22 % du total pondéré, 12 milliards d'unités du corpus Books1 représentant 8 %, 55 milliards du corpus Books2 représentant 8 % et 3 milliards d'unités de Wikipedia représentant 3 %[6]. GPT-3 a été entrainé sur des centaines de milliards de mots et est capable de programmer en CSS, JSX, Python, entre autres[10].

Les données d'apprentissage de GPT-3 étant globales, il ne nécessite pas d'apprentissage supplémentaire pour des tâches linguistiques distinctes[10]. Le 11 juin 2020, OpenAI a annoncé que les utilisateurs pouvaient demander l'accès à son API GPT-3 - un ensemble d'outils d'apprentissage machine - pour qu'OpenAI augmente sa valeur d'usage[11],[12]. L'invitation décrivait comment cette API disposait d'une interface texte qui permettait d'effectuer presque « n'importe quelle tâche en anglais », au lieu du cas d'utilisation unique habituel[11]. Selon un utilisateur, qui avait accès à une version préliminaire privée de l'API GPT-3 d'OpenAI, GPT-3 pouvait écrire un texte cohérent avec seulement quelques instructions simples[13].

Parce que GPT-3 peut « générer des articles de presse que les évaluateurs humains ont du mal à distinguer des articles écrits par des humains »[7], GPT-3 pourrait avoir des applications nuisibles[6]. Dans leur article du 28 mai 2020, les chercheurs ont décrit en détail ces effets potentiels du GPT-3[7] qui comprennent « la désinformation, le spam, l'hameçonnage, l'abus des processus légaux et gouvernementaux, la rédaction frauduleuse d'essais universitaires sous prétexte d'ingénierie sociale »[6]. Les auteurs attirent l'attention sur ces dangers pour demander des recherches sur l'atténuation des risques[6].

Usages

modifier

L'artiste Mario Klingemann a utilisé GPT-3 pour générer des pastiches de grands auteurs (en anglais)[2].

Parmi les utilisations possibles figure l'extraction d'informations venant de documents. Par exemple GPT-3 peut répondre à la question « pourquoi le pain est gonflé » en se basant sur l'article Wikipédia « pain »[14].

Il est possible d'avoir des discussions rapides, complexes et cohérentes dans le but de générer des idées, recommander des livres et des films, raconter des histoires interactives ou encore participer à une réunion[14]. GPT-3 peut fournir une assistance aux clients automatique en ligne sur les sites internet par exemple[14].

GPT-3 permet d'analyser et synthétiser du texte sous forme de tableaux, de résumer des discussions, d'élargir des contenus à partir d'idées de base[14]. Il peut être utilisé pour traduire des textes d'une langue à l'autre[14], transformer un texte en langue courante en un texte juridique[15], générer du code informatique à partir d'instructions en langue naturelle[16]. Il peut également être utilisé pour aider à la rédaction de textes et d'autres supports marketing par les startups Copy.ai[17], Jasper.ai[18], TextCortex AI[19] et Hypotenuse AI[20].

Limites

modifier

Du fait de sa taille, GPT-3 ne peut pas être exécuté sur un ordinateur personnel. Le stockage des paramètres à lui seul requiert au moins 175 gigaoctets de mémoire vive, ce qui en 2020 excède largement la capacité des machines typiquement disponibles sur le marché, ou constructibles à partir de matériel grand public.

Contrairement à GPT-2, le précédent modèle de langage développé par OpenAI, GPT-3 est livré sous forme d'une API et le code source n'est pas ouvert.

En 2020, la start-up française Nabla a réalisé des tests en créant un agent conversationnel médical en anglais basé sur GPT-3, ce qui est contre-indiqué par OpenAI. Lors des phases de test, le chatbot a conseillé à un patient simulé de se suicider[21],[22].

Projets comparables

modifier

Wu Dao (chinois traditionnel : 悟道 ; pinyin : wùdào ; litt. « chemin de la conscience »), est un projet chinois environ dix fois plus volumineux[23].

Bloom est un projet financé au moins en partie par le gouvernement français, et publié sous une licence nommée « RAIL » (Responsible AI License)[24].

GPT-J, un modèle conçu sur une architecture similaire, mais publié sous licence libre et de taille suffisamment petite pour être exécutable par un ordinateur personnel.

LLaMA, un modèle dont le code source est publié et maintenu par Meta.

Notes et références

modifier

Notes

modifier
  1. ↑ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini; Herbert-Voss, Ariel; Krueger, Gretchen; Henighan, Tom; Child, Rewon; Ramesh, Aditya; Ziegler, Daniel M.; Wu, Jeffrey; Winter, Clemens; Hesse, Christopher; Chen, Mark; Sigler, Eric; Litwin, Mateusz; Gray, Scott; Chess, Benjamin; Clark, Jack; Berner, Christopher; McCandlish, Sam; Radford, Alec; Sutskever, Ilya; Amodei, Dario

Références

modifier
  1. ↑ (en) Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever et Dario Amodei, « Language Models are Few-Shot Learners », ArXiv et Advances in Neural Information Processing Systems 33,‎ (ISSN 2331-8422, OCLC 228652809, DOI 10.48550/ARXIV.2005.14165, arXiv 2005.14165, lire en ligne) :

    « To study the dependence of ML performance on model size, we train 8 different sizes of model, ranging over three orders of magnitude from 125 million parameters to 175 billion parameters, with the last being the model we call GPT-3. »

    . 
  2. ↑ a b et c (en) Will Douglas Heaven, « OpenAI’s new language generator GPT-3 is shockingly good—and completely mindless », MIT Technology Review,‎ (lire en ligne).
  3. ↑ (en) « New GPT-3 capabilities: Edit & insert », sur OpenAI,
  4. ↑ (en) Matthias Bastian, « GPT-3.5: OpenAI's latest GPT-3 model generates better and longer texts », sur the decoder, (consulté le )
  5. ↑ (en) James Vincent, « OpenAI announces GPT-4 AI language model », sur theverge.com, (consulté le ).
  6. ↑ a b c d e et f (en) Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan et al., « Language Models are Few-Shot Learners », .
  7. ↑ a b c et d Ram Sagar, « OpenAI Releases GPT-3, The Largest Model So Far », Analytics India Magazine,‎ (lire en ligne, consulté le )
  8. ↑ « Language Models are Unsupervised Multitask Learners », OpenAI blog,‎ (lire en ligne, consulté le ) :

    « "GPT-2, is a 1.5B parameter Transformer" »
  9. ↑ Tiernan Ray, « OpenAI’s gigantic GPT-3 hints at the limits of language models for AI », sur ZDNet, (consulté le )
  10. ↑ a et b Frederik Bussler, « Will GPT-3 Kill Coding? », sur Towards Data Science, (consulté le )
  11. ↑ a et b « OpenAI API », sur OpenAI,
  12. ↑ « TechCrunch – Startup and Technology News », sur TechCrunch, (consulté le ) : « If you’ve ever wanted to try out OpenAI’s vaunted machine learning toolset, it just got a lot easier. The company has released an API that lets developers call its AI tools in on “virtually any English language task.” »
  13. ↑ Arram, « GPT-3: An AI that's eerily good at writing almost anything », sur Arram Sabeti, (consulté le )
  14. ↑ a b c d et e (en) « OpenAI API », sur beta.openai.com (consulté le )
  15. ↑ (en-GB) artificiallawyer, « GPT-3 – A Game Changer For Legal Tech? », sur Artificial Lawyer, (consulté le )
  16. ↑ (en) Frederik Bussler, « Will GPT-3 Kill Coding? », sur Medium, (consulté le )
  17. ↑ « Writing helper Copy.ai raises $2.9M in a round led by Craft Ventures », sur copy.ai, (consulté le )
  18. ↑ Josh Dzieza, « Can AI write good novels? », The Verge,‎ (lire en ligne, consulté le )
  19. ↑ (en-US) « Democratizing Written Communication - TextCortex Raises $1.2 Million Pre-Seed To Advance Proprietary NLG Capabilities », TextCortex AI,‎ (lire en ligne, consulté le )
  20. ↑ (en-US) Natasha Lomas, « Hypotenuse AI wants to take the strain out of copywriting for e-commerce », sur TechCrunch, (consulté le )
  21. ↑ « Utilisé comme chatbot médical, GPT-3 conseille à un patient de se suicider », sur Siècle Digital, (consulté le )
  22. ↑ « Un chatbot médical GPT-3 d'OpenAI serait-il une bonne idée ? Il a dit à un patient simulé de se suicider lors d'un test réalisé par Nabla », sur Developpez.com (consulté le )
  23. ↑ (en) China's gigantic multi-modal AI is no one-trick pony, engadget, juin 2021
  24. ↑ (en) Inside a radical new project to democratize AI, MIT Technology Review.

Articles connexes

modifier

Lien externe

modifier
Ce document provient de « https://fr.wikipedia.org/w/index.php?title=GPT-3&oldid=219269699 ».