Good Judgment Project

Le Good Judgment Project (GJP, "projet du bon jugement" en français) est un projet "utilisant la sagesse des foules pour prévoir les événements mondiaux". Il a été co-créé par Philip E. Tetlock (auteur de Superforecasting et de Expert Political Judgment: How Good Is It? How Can We Know?), par la chercheuse en décision Barbara Mellers et par Don Moore, tous professeurs à l'Université de Pennsylvanie[1],[2],[3]. Ce projet a participé au programme ACE (Aggregative Contingent Estimation) de l'Intelligence Advanced Research Projects Activity (IARPA) aux États-Unis[4],[5]. Ces prédictions sont notées à l'aide des scores de Brier[6]. Les meilleurs prévisionnistes du GJP seraient "30% meilleurs que les officiers du renseignement ayant accès à de véritables informations classifiées"[7].

Historique modifier

Ce projet a débuté en juillet 2011 en collaboration avec l'ACE[8]. Le premier concours a commencé en septembre 2011[9],[10]. GJP a été l'un des nombreux participants au tournoi ACE et est apparu à plusieurs reprises comme le gagnant du tournoi[5] .Depuis l'été 2013, les candidats au GJP ont accès au Integrated Conflict Early Warning System (système intégré d'alerte précoce des conflits)[6].

Personnalités modifier

Les co-dirigeants du GJP sont Philip E. Tetlock, Barbara Mellers et Don Moore[1]. Le site Web répertorie au total une trentaine de membres, tels que David Budescu, Lyle Ungar, Jonathan Baron et l'entrepreneur des marchés prédictifs Emile Servan-Schreiber[11]. Le comité consultatif était composé de Daniel Kahneman, Robert Jervis, J. Scott Armstrong, Michael Mauboussin, Carl Spetzler et Justin Wolfers[12]. L'étude employait plusieurs milliers de personnes comme prévisionnistes bénévoles[13]. En utilisant des tests de traits de personnalité et des méthodes de formation, les chercheurs du GJP purent sélectionner les participants avec moins de biais cognitifs que la moyenne; au fur et à mesure que le concours de prévisions se poursuivait, les chercheurs purent affiner la sélection parmi ces individus dans des groupes de superforecasters . La dernière saison du GJP a recruté un total de 260 superforecasters.

Recherche modifier

Une quantité importante de recherches a été menée sur la base de ce projet[14]. Les résultats montrent que l'exploitation de statistiques, de psychologie, de formation et de divers niveaux d'interaction entre les prévisionnistes a produit de meilleures prévisions plusieurs années consécutives[13].

Good Judgment Open modifier

Une spin-off commerciale du Good Judgment Project fut lancée sur le Web en juillet 2015 sous le nom de Good Judgment Inc. Il organise depuis septembre 2015 un tournoi public de prédictions sur le site de Good Judgment Open. Comme le Good Judgment Project, Good Judgment Open adresse des questions géopolitiques et financières, mais aussi politiques, et sur le divertissement et les sports aux États-Unis.

Couverture médiatique modifier

Le GJP a été discuté à plusieurs reprises dans The Economist[9],[10],[15]. Il a été couvert par le New York Times[3], le Washington Post[16],[17],[18], et Co.Exist[19]. La NPR diffusa une émission intitulée "Donc vous pensez que vous êtes plus intelligent qu'un agent de la CIA", le 2 avril 2014[7]. Le Financial Times publia un article sur le GJP le 5 septembre 2014[20]. Le Washingtonian publia un article qui mentionnait le GJP le 8 janvier 2015[21]. La BBC et le Washington Post publièrent des articles respectivement les 20, 21 et 29 janvier 2015[22],[23],[24].

L'Almanach de Menlo Park publia un article le 29 janvier 2015[25] ainsi que le Philadelphia Inquirer, Philly.com, le 4 février 2015[26]. Le livre Wiser: Getting Beyond Groupthink to Make Groups Smarter a une section détaillant l'implication du GJP dans le tournoi organisé par l'IARPA[27]. Psychology Today publia en ligne un court article résumant l'article de Mellers, et al ., qui résume les principales conclusions du GJP[28],[29].

Le projet donna naissance à un livre de 2015 de Tetlock et co-écrit par Dan Gardner, Superforecasting - The Art and Science of Prediction, qui énonce les principales conclusions de la recherche menée avec les données du GJP[30]. Le co-auteur Gardner avait déjà publié un livre en 2010, qui citait des recherches antérieures de Tetlock[31]. Une critique dans l'édition imprimée du 26 septembre 2015 du The Economist discute les principaux concepts[32]. Un article du Wall Street Journal le décrit comme: "Le livre le plus important sur la prise de décision depuis Thinking, Fast and Slow de Daniel Kahneman[33]. La Harvard Business Review l'associa au livre How Not to Be Wrong: The Power of Mathematical Thinking de Jordan Ellenberg[34]. Le 30 septembre 2015, la NPR diffusa un épisode du Colin McEnroe Show centré sur le GJP et le livre Superforecasting ; les invités de l'émission étaient Tetlock, le directeur de l'IARPA Jason Matheny et la superforecaster Elaine Rich.

Voir également modifier

Références modifier

  1. a et b « Welcome to the Good Judgment ProjectTM », The Good Judgment ProjectTM (consulté le )
  2. « Who's who in the Good Judgment Project », The Good Judgment ProjectTM, (consulté le )
  3. a et b « Forecasting Fox », New York Times,‎
  4. « The Project » [archive du may 6, 2014-], The Good Judgment ProjectTM (consulté le )
  5. a et b « "Good judgment in forecasting international affairs (and an invitation for season 3) », Washington Post,‎
  6. a et b Dickenson, « Prediction and Good Judgment: Can ICEWS Inform Forecasts? », Predictive Heuristics, (consulté le )
  7. a et b Spiegel, « So You Think You're Smarter Than A CIA Agent », NPR.org (consulté le )
  8. « The idea behind the Good Judgment Project » [archive du ], The Good Judgment ProjectTM, (consulté le )
  9. a et b « The perils of prediction: Adventures in punditry », The Economist,‎ (lire en ligne, consulté le )
  10. a et b « Monetary policy: How likely is deflation?" », The Economist,‎
  11. « Team », The Good Judgment ProjectTM (consulté le )
  12. « Freakonomics », Sign Up for a Prediction Tournament,
  13. a et b Mellers, Ungar, Baron et Ramos, « Psychological strategies for winning a geopolitical forecasting tournament », Psychological Science, vol. 25, no 5,‎ , p. 1106–1115 (ISSN 1467-9280, PMID 24659192, DOI 10.1177/0956797614524255, lire en ligne)
  14. Ungar, Mellers, Satopää, Baron, Tetlock, Ramos et Swift, « The Good Judgment Project: A Large Scale Test of Different Methods of Combining Expert Predictions », Association for the Advancement of Artificial Intelligence
  15. « International: Who's good at forecasts? How to sort the best from the rest », The Economist,‎ (lire en ligne, consulté le )
  16. Michael Horowitz, « Good judgment in forecasting international affairs (and an invitation for season 3) », Washington Post,‎ (lire en ligne, consulté le )
  17. David Ignatius, « More chatter than needed », Washington Post,‎ (lire en ligne, consulté le )
  18. Bender, « Huge Experiment Finds Regular Folks Predict World Events Better Than CIA Agents », Business Insider, (consulté le )
  19. « The Surprising Accuracy Of Crowdsourced Predictions About The Future. Do you know whether Turkey will get a new constitution? It turns out you do: A group of well-informed citizens can predict future events more often than any foreign policy expert or CIA analyst. », Co.exist, (consulté le )
  20. Tim Harford, « How to see into the future », financial times,‎ (lire en ligne, consulté le )
  21. Hamilton, « How US Agencies Are Using the Web to Pick Our Brains », Washingtonian (consulté le )
  22. Burton, « Could you be a 'super-forecaster'? », BBC Future, (consulté le )
  23. Nathan Jensen, « Experts see a Republican Senate and fast-track authority for Obama as keys to new trade agreements », the Washington Post,‎ (lire en ligne, consulté le )
  24. Barbara Mellers, « Does anyone make accurate geopolitical predictions? », The Washington Post,‎ (lire en ligne, consulté le )
  25. « Feature story: Bob Sawyer of Woodside discovers his latent talent in forecasting » (consulté le )
  26. Dribben et Inquirer Staff Writer, « Fortune telling: Crowds surpass pundits », Philly.com, (consulté le )
  27. Cass R. Sunstein et Reid Hastie, Wiser : Getting Beyond Groupthink to Make Groups Smarter, Harvard Business Review Press, , 274 p. (ISBN 978-1-4221-2299-0, lire en ligne)
  28. « Who's Best at Predicting the Future? (and How to Get Better) », Psychology Today (consulté le )
  29. Mellers, Stone, Murray et Minster, « Identifying and Cultivating Superforecasters as a Method of Improving Probabilistic Predictions », Perspectives on Psychological Science, vol. 10, no 3,‎ , p. 267–281 (ISSN 1745-6916, PMID 25987508, DOI 10.1177/1745691615577794)
  30. Philip E. Tetlock et Dan Gardner, Superforecasting : The Art and Science of Prediction, New York, Crown, (ISBN 978-0-8041-3669-3)
  31. Dan Gardner, Future Babble : Why Expert Predictions Fail : and Why We Believe Them Anyway, McClelland & Stewart,
  32. « unclouded vision », The Rconomist,‎ (lire en ligne)
  33. « Can You See the Future? Probably Better Than Professional Forecasters », The Wall Street Journal,‎
  34. Frick, « Question Certainty », Harvard Business Review (consulté le )

Liens externes modifier