Statistically Improbable Phrases

Les Statistically Improbable Phrases (SIPs) , de l'anglais signifiant littéralement « expressions statistiquement improbables », sont un outil statistique lancé en 2005 par le site web de commerce en ligne Amazon pour son programme d'indexation de contenu de livres Search Inside! ; il consiste à comparer le texte de tous les livres indexés, dans le but de trouver pour chacun d'eux un ensemble de syntagmes ou d'expressions qui apparaissent plus souvent que dans les autres livres.

Explication modifier

L'intérêt d'identifier ces passages est qu'ils sont considérés comme les plus significatifs et les plus représentatifs du livre, constituant l'équivalent de résumés ou de mots clés, en ayant l'avantage d'être déterminés de manière automatisée^[1].

Ces métadonnées sont présentées à l'internaute sur les fiches de chaque livre. Chaque SIP y est accompagnée d'un hyperlien qui permet, au visiteur qui le suit, de retrouver les autres livres ayant la même expression parmi leurs SIPs^[2]. En effet, les ouvrages aux SIPs identiques abordent vraisemblablement les mêmes thèmes^[3] et sont donc susceptibles d'intéresser aussi le visiteur. Bill Carr, vice-président exécutif pour les médias numériques chez Amazon, souligne que ce système de rapprochement met en avant des ouvrages qui seraient difficiles à trouver sans ça, car faisant partie de la longue traîne du catalogue^[4].

L'algorithme utilisé n'est pas rendu public^[5]. Il semble néanmoins que les SIPs de chaque livre soient redéfinies à mesure que de nouveaux livres sont ajoutés à la base^[6].

L'utilité de cette fonctionnalité auprès des visiteurs n'est pas connue avec certitude^[7]. Benjamin Vershbow, chercheur à l'Institute for the Future of the Book, y voit un équivalent automatisé des tags qui sont à la base du Web 2.0, mais estime que le système fonctionne mieux pour les travaux de non-fiction que pour les romans^[4].

Amazon envisage diverses autres manières de mettre cet outil à profit, par exemple en l'intégrant dans le système de recommandation qui existe déjà, ou pour répondre à des questions en utilisant des textes faisant autorité dans le domaine^[7]. Par ailleurs des chercheurs ont proposé une application de ce système à MEDLINE^[5].

Références modifier

↑ (en) « What are Statistically Improbable Phrases? », sur Amazon.com (version du 21 avril 2016 sur Internet Archive).
↑ (en) William Cleland, Best Practices in Digital Asset Management for Electronic Texts in Academic Research Libraries, Graduate College of Bowling Green, août 2007, 68 p. (S2CID 167889507, lire en ligne [PDF]), p. 20.
↑ (en) Brian Lavoie, Lorcan Dempsey et Lynn Silipigni Connaway, « Making Data Work Harder », Library Journal,‎ 15 janvier 2006 (lire en ligne).
↑ ^{a et b} (en) Ryan Singel, « Judging a Book by Its Contents », Wired, 5 mai 2005.
↑ ^{a et b} (en) Mounir Errami, Zhaohui Sun, Angela C. George, Tara C. Long, Michael A. Skinner, Jonathan D. Wren et Harold R. Garner, « Identifying duplicate content using statistically improbable phrases », Bioinformatics (en), ISCB, vol. 26, n^o 11,‎ juin 2010, p. 1453–1457 (DOI 10.1093/bioinformatics/btq146).
↑ (en) Heyward Ehrlich, « Poe in Cyberspace : A Complete Poe Library—Cyberspace Dream? », The Edgar Allan Poe Review, vol. VII, n^o 1,‎ printemps 2006, p. 83–92 (JSTOR 41506253).
↑ ^{a et b} (en) Steve Weber, Plug Your Book : Online Book Marketing for Authors, Weber Books, 2007, 204 p. (ISBN 978-0-9772406-1-6, lire en ligne), p. 128–129.

Bibliographie modifier

(en) Mikhail Bautin et Michael Hart, Significant Phrases Detection, Stony Brook University, Department of Computer Science, 2006, 14 p. (S2CID 14782549, lire en ligne [PDF]).
(en) Heike Johannsen (sous la dir. de Dale Gerdemann), Linking Documents by Distinctive Phrases (thèse pour le bachelor of arts), Université Eberhard Karl de Tübingen, mars 2007, 94 p. (lire en ligne [PDF]).

Voir aussi modifier

Googlewhack
Hapax
TF-IDF (Term Frequency-Inverse Document Frequency)

[1] (en) « What are Statistically Improbable Phrases? », sur Amazon.com (version du 21 avril 2016 sur Internet Archive).

[2] (en) William Cleland, Best Practices in Digital Asset Management for Electronic Texts in Academic Research Libraries, Graduate College of Bowling Green, août 2007, 68 p. (S2CID 167889507, lire en ligne [PDF]), p. 20.

[3] (en) Brian Lavoie, Lorcan Dempsey et Lynn Silipigni Connaway, « Making Data Work Harder », Library Journal,‎ 15 janvier 2006 (lire en ligne).

[Wired-4] {a et b} (en) Ryan Singel, « Judging a Book by Its Contents », Wired, 5 mai 2005.

[Medline-5] {a et b} (en) Mounir Errami, Zhaohui Sun, Angela C. George, Tara C. Long, Michael A. Skinner, Jonathan D. Wren et Harold R. Garner, « Identifying duplicate content using statistically improbable phrases », Bioinformatics (en), ISCB, vol. 26, n^o 11,‎ juin 2010, p. 1453–1457 (DOI 10.1093/bioinformatics/btq146).

[6] (en) Heyward Ehrlich, « Poe in Cyberspace : A Complete Poe Library—Cyberspace Dream? », The Edgar Allan Poe Review, vol. VII, n^o 1,‎ printemps 2006, p. 83–92 (JSTOR 41506253).

[plug-7] {a et b} (en) Steve Weber, Plug Your Book : Online Book Marketing for Authors, Weber Books, 2007, 204 p. (ISBN 978-0-9772406-1-6, lire en ligne), p. 128–129.

[1]

[2]

[3]

[4]

[5]

[6]

[7]