Défi fouille de texte

DEFT ou Défi fouille de texte est une campagne d'évaluation scientifique francophone portant sur la fouille de textes. Le défi est organisé depuis 2005 par des chercheurs du LRI (Laboratoire de Recherche en Informatique, Orsay) et du LIRMM (Laboratoire d'informatique, de robotique et de microélectronique de Montpellier), puis du LIMSI (Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur, CNRS) dès 2007 avec le soutien du consortium European Language Resources Association (ELDA/ELRA) (en).

Historique

L'intérêt d'une campagne d'évaluation est de permettre de confronter, sur un même corpus, des méthodes et logiciels d'équipes différentes. L'atelier d'évaluation DEFT propose chaque année depuis sa création des thèmes relevant de la fouille de textes en langue française. Ainsi les objectifs sont de fédérer les équipes de recherches francophones en fouille de textes et de mettre des corpus étiquetés à la disposition de la communauté scientifique.

Lors de cette conférence, des corpus de textes de provenances très variées (journal Le Monde, débats de l'Assemblée Nationale, sites internet éditoriaux, Wikipédia) sont assemblés et soumis aux laboratoires participants aux défi. Une thématique de recherche d'information particulière est proposée : reconnaître dans des phrases mélangées l'auteur d'un discours politique (campagne 2005), ou encore détecter une opinion bonne, neutre ou mauvaise dans des documents (campagne 2007), en plus multi-langue (campagne 2009).

Reprenant le principe des conférences nord américaines (notamment TREC Novelty), cette campagne francophone réunit chaque année depuis ses débuts une dizaine de laboratoires participants qui proposent des solutions algorithmiques originales pour tenter de répondre à la problématique proposée.

Des mesures de performances (précision, rappel, F-score) sont réalisées sur les résultats fournis, et permettent de dégager un classement des systèmes proposées par les participants. Un classement jeune chercheurs est également proposé pour les contributions d'équipes composées de doctorants (ou docteurs de moins d'un an).

Les retombées de ce type de campagnes sont nombreuses dans le domaine de l'industrie du service et la recherche d'information (moteurs de recherche spécifiques, fouille de texte, classification automatique). Les corpus créés pour ces campagnes, lorsqu'ils sont libres de droits, sont librement téléchargeables depuis le portail [1] (certains après signature préalable d'un accord). L'édition 2008 a fait l'objet d'un package rassemblant les corpus, les scripts d'évaluation, les articles des participants et le site web, commercialisé par ELDA.

Campagnes

2005

• DEFT'05 (Dourdan) TALN Recital 2005, identification du locuteur d'un discours.

1. Classement :
   • 1^er Laboratoire Informatique d'Avignon (LIA) - UAPV;
   • 2^e ENST;
   • 3^e LORIA.

2006

• DEFT'06 (Fribourg) SDN 2006, segmentation thématique de textes.

1. Classement :
   • 1^er LIMSI ;
   • 2^e CLIPS-IMAG;
   • 3^e Laboratoire GRDS.

2007

• DEFT'07 (Grenoble) AFIA 2007, détection de l'opinion exprimée dans un texte, quatre corpus, deux à trois classes (positif, neutre, négatif) par corpus.

1. Classement :
   • 1^er Laboratoire Informatique d'Avignon (LIA) - UAPV, F-mesure = 0,602 ("à voir à lire"), 0,784 ("jeux vidéo"), 0,564 (relectures), 0,719 (débats) ;
   • 2^e EPHE-CNRS et Universität Würzburg, F-mesure = 0,599 ("à voir à lire"), 0,699 ("jeux vidéo"), 0,507 (relectures), 0,681 (débats) ;
   • 3^e Société CELI France, F-mesure = 0,513 ("à voir à lire"), 0,706 ("jeux vidéo"), 0,536 (relectures), 0,697 (débats).
2. Classement « jeunes chercheurs » :
   • 1^er LIP6, F-mesure = 0,542 ("à voir à lire"), 0,659 ("jeux vidéo"), 0,427 (relectures), 0,676 (débats) ;
   • 2^e Laboratoire Informatique d'Avignon (LIA) - UAPV, F-mesure = 0,504 ("à voir à lire"), 0,457 ("jeux vidéo"), 0,469 (relectures), 0,553 (débats) ;
   • 3^e Laboratoire Lattice, F-mesure = 0,392 ("à voir à lire"), 0,536 ("jeux vidéo"), 0,437 (relectures), 0,582 (débats).

2008

• DEFT'08 (Avignon) JEP-TALN-RECITAL 2008, classification automatique de textes en genre et en thème.

1. Classement tâche 1 (identifier le genre et le thème d'un texte) :
   • Identification du genre (deux classes journal Le Monde/encyclopédie Wikipédia) :
     • 1^er Laboratoire Informatique d'Avignon - UAPV (équipe sénior), F-mesure = 0,981 ;
     • 2^e Laboratoire Informatique d'Avignon - UAPV (équipe junior), F-mesure = 0,980 ;
     • 3^e LIP6, F-mesure = 0,976.
   • Identification du thème (quatre classes art/économie/sports/télévision) :
     • 1^er LIP6, F-mesure = 0,894 ;
     • 2^e Laboratoire Informatique d'Avignon - UAPV (équipe sénior), F-mesure = 0,883 ;
     • 3^e Laboratoire Informatique d'Avignon - UAPV (équipe junior), F-mesure = 0,875.
2. Classement tâche 2 (identification du thème uniquement - cinq classes France/international/littérature/sciences/société - d'un texte) :
   • 1^er Laboratoire Informatique d'Avignon - UAPV (équipe junior), F-mesure = 0,879 ;
   • 2^e LIP6, F-mesure = 0,876 ;
   • 3^e Laboratoire Informatique d'Avignon - UAPV (équipe sénior), F-mesure = 0,872.

2009

• DEFT'09 (Paris) 2009, Analyse multilingue d'opinion.

1. Classement tâche 1 (détection du caractère objectif/subjectif global d'un texte en corpus presse (Le Monde, The Financial Times, Il Sole 24 Ore) - deux classes : objectif/subjectif) :
   • Anglais (trois participants)
     • 1^er UCL (Université Catholique de Louvain), Belgique, F-mesure = 0,851 ;
     • 2^e Laboratoire UKP (Ubiquitous Knowledge Processing lab), Darmstadt, Allemagne, F-mesure = 0,822 ;
     • 3^e Laboratoire CHArt-EPHE/CNRS (Cognition Humaine et Artificielle), France, F-mesure = 0,676.
   • Français (cinq participants)
     • 1^er UCL (Université Catholique de Louvain), Belgique, F-mesure = 0,925 ;
     • 2^e LINA (Laboratoire d'Informatique Nantes Atlantique), F-mesure = 0,850 ;
     • 3^e EBSI (École de bibliothéconomie et des sciences de l'information), Montréal, Canada, F-mesure = 0,781.
   • Italien (un participant)
     • 1^er Laboratoire CHArt -EPHE/CNRS (Cognition Humaine et Artificielle), France, F-mesure = 0,716.
2. Classement tâche 2 (détection des passages subjectifs d'un texte en corpus presse et en corpus parlementaire - deux classes : objectif/subjectif), deux participants, constitution de la référence a posteriori par le recouvrement des soumissions des deux participants :
   • Corpus presse
     • 1^er LINA (Laboratoire d'Informatique Nantes Atlantique), F-mesure = 0,863 ;
     • 2^e LIPN (Laboratoire d'Informatique Paris Nord), F-mesure = 0,777.
   • Corpus parlement européen
     • 1^er LINA (Laboratoire d'Informatique Nantes Atlantique), F-mesure = 0,909 ;
     • 2^e LIPN (Laboratoire d'Informatique Paris Nord), F-mesure = 0,799.
3. Classement tâche 3 (détermination du parti politique européen d'appartenance d'un orateur en corpus parlementaire - cinq classes : Verts-ALE, GUE-NGL, PSE, ELDR, PPE-DE), un seul participant :
   • 1^er EBSI (École de bibliothéconomie et des sciences de l'information), Montréal, Canada, F-mesure = 0,339.

2010

• DEFT'10 (Montréal) TALN-RECITAL 2010, Étude de la variation diachronique et diatopique du français : identification de la période et du lieu de publication d'articles de presse.

1. Classement tâche 1 (identification de la décennie de publication d'un article de presse, quinze classes : 1800/1810/1820 ... 1930/1940, six participants) :
   • 1^er : LIMSI (Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur), F-mesure = 0,338 ;
   • 2^e : Laboratoire Informatique d'Avignon - UAPV , F-mesure = 0,294 ;
   • 3^e : CLUL (Centro de Linguística da Universidade de Lisboa), F-mesure = 0,183 ;
   • F-mesure moyenne = 0,193 - F-mesure médiane = 0,181.
2. Classement tâche 2 (identification du pays - deux classes : France/Québec - et du journal - quatre classes : L'Est Républicain/Le Monde/La Presse/Le Devoir - de parution d'un article de presse, cinq participants) :
   • 1^er : Laboratoire Informatique d'Avignon - UAPV
     • Piste 1 - identification du pays : F-mesure = 0,932 ;
     • Piste 2 - identification du journal : F-mesure = 0,741.
   • 2^e : CLUL (Centro de Linguística da Universidade de Lisboa)
     • Piste 1 - identification du pays : F-mesure = 0,858 ;
     • Piste 2 - identification du journal : F-mesure = 0,630.
   • 3^e : Lutin (Laboratoire Usage et Technologie de l'Information)
     • Piste 1 - identification du pays : F-mesure = 0,762 ;
     • Piste 2 - identification du journal : F-mesure = 0,424.
   • F-mesure moyenne = 0,767 (pays) - 0,489 (journaux) - F-mesure médiane = 0,792 (pays) - 0,462 (journaux).

2011

• DEFT'11 (Montpellier) dans le cadre de la conférence TALN-RECITAL 2011, Étude de la variation diachronique en corpus de presse francophone et appariement d'un article scientifique avec son résumé.

2012

• (Grenoble, France, TALN 2012) : identification automatique des mots-clés indexant le contenu d'articles scientifiques ayant paru en revues de Sciences Humaines et Sociales, avec l'aide de la terminologie des mots-clés (piste 1), sans terminologie (piste 2).

2013

• (Les Sables-d'Olonne, France, TALN 2013) : identification du niveau de difficulté de réalisation d'une recette, identification du type de plat préparé, appariement d'une recette avec son titre, identification des ingrédients d'une recette.

2014

• 2014 (Marseille, France, TALN 2014) : catégoriser le genre littéraire de courtes nouvelles, évaluer la qualité littéraire de ces nouvelles, déterminer si une œuvre fait consensus, déterminer la session scientifique dans laquelle un article de conférence a été présenté.

2015

• 2015 (Caen, France, TALN 2015) : fouille d'opinion, de sentiment et d'émotion dans des messages postés sur Twitter.

Voir aussi

Articles connexes

• Fouille de textes
• Humanités numériques
• Conférences TALN francophones
• TREC

Liens externes

• Site officiel