Utilisateur:Global Donald/Création d'article via ChatGPT 4o et comparaison des prompts

Idée intéressante proposée par Fabius Lector.

Exemple de test : présenter en brouillon 5 versions d'un même article généré avec les mêmes prompts et comparer les résultats, notamment au niveau des sources fournies. Donnera-t-il toujours les mêmes ? Quelle valeur auront-elles d'une version à une autre ? Y aura-t-il des contradictions etc. ? Et peut-il éviter sur tel ou tel sujet de donner une importance disproportionnée à des thèses mineures voire fausses ?

NOTE IMPORTANTE : Ce benchmark de ChatGPT ne constitue pas un travail de recherche rigoureux. Bien que la mise en page puisse faire penser à un travail de recherche, il a été réalisé en l'espace de trois heures et ne suit pas les conventions d'un article scientifique.

Abstract

Cette recherche explore la variation et la consistance dans la génération de contenu via la version ChatGPT 4o sortie en mai 2024, en utilisant cinq versions d'un même article, générées avec les mêmes prompts.

J'y compare les résultats en termes de sources fournies, cohérence de l'information, et identification de contradictions éventuelles. Elle permet à ceux qui la lisent de juger de la capacité de l'IA à équilibrer l'importance des thèses présentées, en évitant de sur-représenter des idées mineures ou incorrectes, ainsi que les "inventions" ou les "hallucinations". Les résultats offrent des insights sur la fiabilité et l'intégrité de l'information produite par 4o dans un contexte de génération automatique de textes.

Choix de l'article

Pour ce faire, j'ai choisi de prendre une page du projet anglophone Women in Red. Au moment où j'écris ces lignes, je ne sais pas quelle page va être choisie. Dans l'idéal, une femme née dans les années 1970 et française (critère que j'ai attribué arbitrairement, en me disant que la page d'une écrivaine moderne serait plus facile à créer avec ChatGPT qu'une romancière baroque).

Écrivaine ayant été récompensée par un prix me parait un bon choix. Au hasard, j'ai choisi, Sophie Herfort, mais elle a déjà une page Wikipédia. Juste au-dessus d'elle, on a Kinga Wyrzykowska. Une écrivaine franco-polonaise. Après une simple recherche sur Google, elle ne semble pas avoir de page Wikipédia et les sources qui apparaissent en premier quand on fait une recherche google viennent de sites comme Babelio, trames.xyz, et lecteurs.com, donc à première vue, pas une personnalité si notable que ça. C'est donc la deuxième personnalité trouvée que nous allons tenter d'intégrer à Wikipédia avec l'aide de ChatGPT.

Méthodologie

Afin de réaliser ce petit travail de vérification (sans prétention aucune et expédié très rapidement ; aucune prétention à réaliser un travail de recherche sérieux), il nous faut choisir une page qui n'a été créée sur aucun Wiki, afin que ChatGPT ne soit pas aidé par la présence du contenu d'un autre wiki pour créer l'article.

Note importante : Pour répondre à la problématique posée, les prompts seront utilisables peu importe le contexte ou les réponses. Ce n'est pas une utilisation optimale de ChatGPT, mais cela permettra de constater quels problèmes peuvent arriver, en comparant 6 versions d'un article, créé par ChatGPT.

Pour la création d'article, j'ai recours à une multitude de prompts.

Voici le contenu du premier essai. Cliquez ici https://chatgpt.com/share/277a32fc-6f10-4327-9800-59dd9535f035 pour avoir accès à la première conversation sur ChatGPT.

Note Importante : Certains prompts présents dans cette version ont donné des résultats qui n'étaient pas intéressants en soi. Voici la version finale de la conversation choisie pour ce test :

1) Bonjour ChatGPT, je souhaite réaliser un article sur Kinga Wyrzykowska, afin de le publier sur Wikipédia. Peux-tu rechercher en ligne des informations qualitatives venant de sites français, qui permettraient d'atteindre l'objectif de création d'un article encyclopédique ? À l'aide des informations que vous avez recueillies, crée une première version d'un article de Wikipédia. N'oublie pas de citer les sources.

2) Merci pour cette introduction qui me sera utile à la création d'article. Maintenant je vais te demander d'autres sources. Ne recrée pas l'article, mais à l'aide d'autres sources, toujours venant de sites français (idéalement d'articles de journaux ou magazines), trouve des éléments d'information que tu ne cites pas dans le premier brouillon que tu viens de me présenter.

Note : Les informations fournies dans cette partie sont peu encyclopédiques. Dans mon utilisation habituelle de ChatGPT, j'aurais recadré ChatGPT en lui rappelant que l'article doit être encyclopédique et qu'il évite de donner des critiques sur les livres. L'utilisation optimale de ChatGPT est celle où il est possible de le recadrer si un résultat parait éloigné de ce qu'on attend de lui en premier lieu. Il est bon de garder en tête que faire 5 fois les mêmes prompts donnera sans doute des résultats différents, notamment en termes de sources trouvées.

3) Pour un article Wikipédia, il faut que la recherche se centre particulièrement sur la personne, et non sur le contenu d'un de ses livres. Je souhaite qu'à partir de maintenant, tu évites d'avoir un ton publicitaire, et que tu ne t'attardes pas trop longuement sur le contenu d'un de ses livres en particulier. Maintenant en toujours en t'aidant d'internet, et en cherchant sur des sites français, trouve les récompenses que Kinga Wyrzykowska a obtenues.

Note : On remarque que ChatGPT se concentre sur des sources secondaires et pas sur des articles de presse, alors qu'il en existe.

4) Peux-tu me citer des articles de presse française qui parlent de Kinga Wyrzykowska ? Quelles informations sont données sur cette personne ?

Note : Première limite observée. Dans Google News, on note la présence de sources primaires cf. RFI et Libération ont fait chacun un article sur cette personne. Il est donc important, lorsqu'on utilise ChatGPT, d'aller également chercher les informations ailleurs. Ici, on note clairement un problème de ChatGPT à aller chercher sur les sites d'information. RFI et Libération bloquent probablement ChatGPT. Les deux prochaines prompts consisteront donc à copier l'article Libération dans ChatGPT ainsi que l'article RFI.

Pour RFI, il s'agit d'une émission, qu'il est possible de télécharger ici : https://aod-rfi.akamaized.net/rfi/francais/audio/magazines/r272/litterature_sans_frontieres_s_20220903.mp3?dl=1 -

Note importante : En temps normal, je n'aurais pas fait cela, mais on va le faire quand même, pour tester une utilisation même mauvaise de ChatGPT. Ceci est une mauvaise utilisation de ChatGPT car cela ajoute une dépendance à un outil qui peut se révéler imprécis.

Une transcription peut-être automatiquement générée. Dans mon cas, faute d'abonnements premium à des services proposant cela, je vais utiliser Subtitle Edit, dans le menu Vidéo -> Audio to Text (Whisper) -> Langue choisie : French, Modèle choisi : Tiny (74MB)

J'obtiens donc ce fichier, que je renomme en .txt.

5) Maintenant je vais te demander de lire ce fichier de sous-titres et de me donner des informations complémentaires sur la personne de Kinga Wyrzykowska. Ne prête pas attention à ce qui traite du roman qu'elle présente, mais plutôt à la personne de Kinga Wyrzykowska. L'idée c'est vraiment de tirer des éléments biographiques de cette interview. Cette source est imprécise, car j'ai utilisé un outil de transcription automatique. Plus tard, si tu utilises cette source quand je te demanderai de faire l'article final, je veux absolument que tu mettes "(RFI)" après le texte.

Note pré-6) : L'article Libération est derrière un paywall. Ne disposant pas d'abonnement, je vais donc me passer de cette source.

6) Peux-tu me donner les timing où elle parle de sa carrière personnelle, de ses motivations, de ses influences, et de ses thèmes de prédilection ?

Note : Petite vérification, qui permet ensuite de manuellement écouter l'émission.

7) Peux-tu rechercher en ligne des informations qualitatives et biographiques venant de sites polonais sur Kinga Wyrzykowska ne te limite pas juste aux sites en .pl, cherche aussi d'autres sites potentiellement en polonais. Si tu n'en trouves pas, dis-moi que tu n'en as pas trouvées. Vérifie que la langue de l'article est le polonais, si l'article n'est pas en langue polonaise, précise-le.

Note : Ici, ChatGPT répond en donnant un site polonais, sans spécifier la page. On ignore le résultat donné en attente de trouver l'article. L'article existe bien, on peut le trouver en tapant site:plazaciemnia.pl "Kinga Wyrzykowska".

L'article en question cite un livre, Patte Blanche. Il ne parait donc pas utile. Toutefois, on a des éléments biographiques en fin de page.

Note importante : Lors de l'exécution des prompts une à une, il ne trouve parfois pas l'article (Test 1 pas trouvé, Test 2 trouvé...), contrairement à l'essai numéro 1 dans lequel j'ai demandé avec insistance. Même s'il n'a pas trouvé, on utilise quand même cette source pour l'étape suivante.

8) On copie le corps des éléments biographique, en ajoutant avant : "Peux tu traduire cet article polonais en français ?"

Note : à ce stade, on pense avoir réuni la plupart des sources nécessaires à la création de l'article.

9) À l'aide de toutes les informations et tout le contenu présenté dans cette conversation, crée l'article Wikipédia sur Kinga Wyrzykowska. N'oublie pas que Wikipédia est un site encyclopédique. Garde un vocabulaire et un ton encyclopédique. Conjugue au présent de l'indicatif. Présente le résultat avec la balise code. Voici un exemple d'article Wikipédia; suis le même formatage.

Note : Pour cette étape, on lui fournit un exemple d'une personnalité qui exerce la même profession. Ici, j'ai utilisé la page Laurence Biberfeld.

10) Peux-tu étayer la partie biographique ?

Résultats

Notez que les résultats présents ne contiennent pas de sources. Le travail de sourçage se fait une fois que l'article ChatGPT a été créé. ChatGPT n'est pas, à l'heure actuelle, assez poussé pour ajouter les balises "référence" lui-même dans l'article. La tâche finale qui consiste à ajouter manuellement les sources données par ChatGPT incombe donc à l'utilisateur. Pour cela, il peut utiliser des outils comme "ctrl+f" ou simplement relire la conversation pour trouver les sources. Il incombe également à l'utilisateur de relire la source trouvée sur chatgpt pour s'assurer que le contenu créé par ChatGPT n'est pas de l'invention ou de l'hallucination.