Wikipédia

Claude (modèle de langage)

chatbot développé par Anthropic
Page d’aide sur l’homonymie

Pour les articles homonymes, voir Claude.

Claude

Informations
Développé par AnthropicVoir et modifier les données sur Wikidata
Première version
Dernière version Claude 3 ()
Environnement InternetVoir et modifier les données sur Wikidata
Type Famille de grands modèles de langage
Licence Propriétaire
Site web https://claude.ai

modifier - modifier le code - voir Wikidata (aide) Consultez la documentation du modèle

Claude est une série de grands modèles de langage développés par Anthropic[1]. Le premier modèle est sorti en mars 2023. Claude 3, sorti en mars 2024, peut également analyser des images[2].

Entraînement modifier

Les modèles de la famille Claude sont des transformateurs génératifs pré-entraînés. Ils ont été pré-entraînés à prédire le mot suivant pour de grandes quantités de texte. Pour que ces modèles soient non seulement performants mais aussi présentables, ils ont ensuite été entraînés avec la technique de l'IA constitutionnelle[3].

IA constitutionnelle modifier

L'IA constitutionnelle est une approche développée par Anthropic pour entraîner les systèmes d'IA (et en particulier les grands modèles de langage comme Claude) à être utiles, sincères et inoffensifs sans nécessiter de feedback humain[3].

Dans une phase d'apprentissage supervisé, le modèle génère des réponses, s'auto-critique sur la base d'un ensemble de principes (une « constitution »), puis ajuste ses réponses. Ces réponses davantage conformes à la constitution sont ensuite utilisées pour entraîner le modèle[3].

Puis, dans une phase d'apprentissage par renforcement, le modèle génère des réponses et les compare, favorisant celles qui satisfont le plus un principe aléatoire de la constitution. Ces données permettent d'entraîner un modèle de préférences, qui juge des réponses en fonction de leur degré de conformité à la constitution. Claude est ensuite ajusté à satisfaire ce modèle de préférences. Cette technique est similaire au Reinforcement Learning from Human Feedback (RLHF), si ce n'est qu'avec RLHF, le modèle de préférences est entraîné à base de comparaisons humaines, là où avec l'IA constitutionnelle les comparaisons sont faites automatiquement avec l'IA se font sur la base de la constitution[4],[3].

Certains principes de la constitution sont tirés de la Déclaration universelle des droits de l'homme de l'ONU[3].

Modèles modifier

Claude modifier

Claude est la version initiale du modèle de langage d'Anthropic, sortie en mars 2023[5]. Claude a démontré sa maîtrise de diverses tâches, mais avait certaines limitations en matière de codage, de mathématiques et de raisonnement[6]. Anthropic s'est associée à des sociétés comme Notion (logiciel de prise de notes et de productivité) et Quora (pour aider à développer le chatbot Poe)[6].

Claude Instant modifier

Claude est sorti en deux versions, Claude et Claude Instant, Claude Instant étant une version plus rapide, moins chère et plus légère. Claude Instant a une fenêtre de contexte de 100 000 tokens (ce qui correspond à environ 75 000 mots)[7]. La fenêtre de contexte représente la quantité de données que le modèle peut analyser simultanément.

Claude 2 modifier

Claude 2 est la deuxième majeure itération, sortie le 11 juillet 2023. Elle a été rendue accessible au grand public, là où la première version n'était accessible qu'à certains utilisateurs approuvés par Anthropic[8].

Claude 2 a une fenêtre de contexte de 100 000 tokens[5]. Les fonctionnalités incluent la possibilité d'analyser avec Claude des fichiers PDF.

Claude 2.1 modifier

Claude 2.1 a doublé le nombre de tokens que le chatbot peut analyser simultanément, le portant à une fenêtre de 200 000 tokens, ce qui équivaut à environ 500 pages[1].

Selon Anthropic, ce nouveau modèle est moins susceptible de se tromper que ses prédécesseurs[9].

Claude 3 modifier

À sa sortie de l'article, le 4 mars 2024, Claude 3 s'est avéré être à la pointe des performances dans un large éventail de tâches cognitives. La famille Claude 3 comprend trois modèles de pointe par ordre croissant de capacités : Haiku, Sonnet et Opus. La version par défaut de Claude 3 Opus dispose d'une fenêtre de contexte de 200 000 tokens, mais celle-ci est en cours d'extension à 1 million pour des cas d'utilisation spécifiques[10],[2].

Claude 3 a montré des capacités de raisonnement méta-cognitif, notamment en ayant réalisé qu'il était artificiellement testé lors d'une évaluation impliquant le fait d'extraire une information dans de grandes quantités de texte[11],[12].

Controverses modifier

Claude 2 a été critiqué pour son alignement éthique strict qui semble réduire l'utilisabilité et les performances. Des utilisateurs se sont vu refuser l'assistance pour des requêtes bénignes, par exemple avec la question de programmation « Comment puis-je tuer tous les processus python de mon serveur Ubuntu ? » Cela a conduit à un débat sur la « taxe d'alignement » (le coût pour garantir l'alignement d'un système d'IA), avec des discussions centrées sur l'équilibre entre les considérations éthiques et les fonctionnalités pratiques. Les critiques plaident en faveur de l’efficacité et de l’autonomie des utilisateurs, tandis que les partisans soulignent l’importance d’une IA éthique[13],[9].

Références modifier

  1. ↑ a et b (en) Wes Davis, « OpenAI rival Anthropic makes its Claude chatbot even more useful », The Verge, (consulté le )
  2. ↑ a et b (en) Lance Whitney, « Anthropic's Claude 3 chatbot claims to outperform ChatGPT, Gemini », sur ZDNET, (consulté le )
  3. ↑ a b c d et e (en) Will Henshall, « What to Know About Claude 2, Anthropic's Rival to ChatGPT », sur Time, (consulté le )
  4. ↑ (en) Lance Eliot, « Latest Generative AI Boldly Labeled As Constitutional AI Such As Claude By Anthropic Has Heart In The Right Place, Says AI Ethics And AI Law », sur Forbes, (consulté le )
  5. ↑ a et b (en) Aaron Drapkin, « What Is Claude AI and Anthropic? ChatGPT's Rival Explained », sur Tech.co, (consulté le )
  6. ↑ a et b (en) « Introducing Claude », sur Anthropic,
  7. ↑ (en) Deborah Yao, « Anthropic’s Claude Instant: A Smaller, Faster and Cheaper Language Model », AI Business,‎ (lire en ligne)
  8. ↑ (en) Dylan Matthews, « The $1 billion gamble to ensure AI doesn't destroy humanity », Vox, (consulté le )
  9. ↑ a et b (en) Andrew Hoblitzell, « Anthropic Announces Claude 2.1 LLM with Wider Context Window and Support for AI Tools », InfoQ (consulté le )
  10. ↑ (en) « Introducing the next generation of Claude », sur Anthropic, (consulté le )
  11. ↑ (en) Mike Young, « Is AGI Getting Closer? Anthropic's Claude 3 Opus Model Shows Glimmers of Metacognitive Reasoning », sur Hackernoon, (consulté le )
  12. ↑ (en) Benj Edwards, « Anthropic’s Claude 3 causes stir by seeming to realize when it was being tested », sur Ars Technica, (consulté le )
  13. ↑ (en) Gerald Glifton, « Criticisms Arise Over Claude AI's Strict Ethical Protocols Limiting User Assistance », sur Light Square, (consulté le )

Liens externes modifier

Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Claude_(modèle_de_langage)&oldid=214552301 ».