Projet:Aide et accueil/Évaluation du message d'accueil

But de ce projet : Tester l'efficacité du message d'accueil et identifier des pistes pour l'améliorer, avec l'aide de CivilServant, une organisation à but non-lucratif qui a l'habitude de faire ce genre de campagne de test et qui a déjà travaillé avec d'autres Wikipédias.

Cette page résume le projet. Rappel de la prise de décision pour ce test : [1]. Dernière mise à jour : 6 décembre 2019.

Très bref rappel du contexteModifier

Depuis plusieurs années, suite à l'initiative du Projet Aide et accueil (A&A), tous les nouveaux comptes reçoivent automatiquement un message de bienvenue ({{Bienvenue nouveau}}) délivré par un bot, et validé par la signature d'une Wikipédienne ou d'un Wikipédien volontaire, afin de rendre le message plus humain. Le but de ce message est d'établir un premier contact afin de faciliter les premiers pas du nouveau. Cependant, l'utilité et l'efficacité de ce message n'ont jamais été testés.

Projet Test du message d'accueilModifier

Protocole pour mesurer l'efficacité du messageModifier

Le projet A&A prévoit de comparer l'« intégration des nouveaux » qui reçoivent le message, à celle des nouveaux qui ne reçoivent pas de message. Cela signifie que durant l'expérimentation, un nouveau sur deux recevra le message d'accueil, les autres ne recevront rien (comme dans l'ancien temps). Cette approche, inspirée du Test A/B, permet de mesurer scientifiquement l'efficacité du bandeau. L'intégration des nouveaux sera mesurée de la façon suivante :

1. Par des mesures objectives
  • Rétention (combien de nouveaux sont toujours actifs après une semaine, un mois) ;
  • Nombre de nouveaux passant le pas de faire leur première contribution ;
  • Temps total passé à contribuer sur les 3 premiers mois
2. En obtenant le retour des nouveaux

Ce retour sera obtenu via un questionnaire délivré automatiquement à des nouveaux non-vandales tirés au hasard. L'objectif est d'obtenir au moins une centaine de réponses. Il est facultatif et a pour but de mesurer comment les nouveaux perçoivent leur intégration. Ce questionnaire inclut cinq types de questions, largement inspirées d'autres études similaires menées par CivilCervant :

  • Vous sentez-vous capables de contribuer à Wikipédia en respectant les cinq principes fondateurs ?
  • Savez-vous quoi faire sur Wikipédia ?
  • Trouvez-vous la communauté de Wikipédia accueillante ?
  • Vous sentez-vous intégré à la communauté de Wikipédia ?
  • Savez-vous qui contacter pour obtenir de l'aide ?

Autres mesures finalement pas retenues car trop faiblement observées :

  • Fréquence d'utilisation des outils d'aide suivants : forum des nouveaux, parrainage, brouillon, demandes d'aide directe auprès d'un autre contributeur ;
  • Nombre de contributions sur les espaces de discussions ;
  • Nombre de contributions révertées, d'articles supprimés et/ou de comptes bloqués.

Tester un autre message d'accueilModifier

Nous allons profiter de cette expérience pour tester une version légèrement remaniée du message d'accueil ébauchée par Trizek ici : Utilisateur:Trizek/Brouillon/Test CivilServant. Ce message alternatif vise à mettre encore plus en avant les outils d'aide (forum des nouveaux / contacter un Wikipédien).

Durée de l'étudeModifier

La collecte des données (distribution des messages ou non) durera trois mois maximum. Au bout de 2 semaines, CivilServant fera un premier contrôle pour s'assurer qu'il n'y a pas de problème majeur avec les nouveaux qui ne reçoivent pas le message d'accueil.

Ensuite, CivilServant diffusera le questionnaire décrit plus haut, et distribuera rétrospectivement le message d'accueil aux nouveaux qui ne l'ont pas reçu.

L'analyse des données sera effectuée par CivilServant après la collecte des données et durera de un à trois mois selon leur charge de travail. Tous les résultats seront communiqués à la communauté.

En fonction des résultats, nous pourrions être amenés à modifier le message d'accueil actuel (s'il s'avère inutile ou contreproductif).

Implémentation, analyse et confidentialitéModifier

CivilServant est en charge de tout ce qui est logiciel (collecter les données) et analyse. Ils ont mis au point le protocole décrit plus haut, en collaboration étroite avec Binabik (d · c · b) assisté par Trizek (d · c · b), et avec les retours ponctuels du projet A&A. Les données collectées seront entièrement anonymes, et le code sera public et ouvert, et pourra donc être utilisé pour tester d'autres versions du message ultérieusement.

Il convient de noter que le protocole de l'expérimentation a été entièrement vérifié et validé par le Comité d'éthique de l'université Cornell.

RésultatsModifier

La collecte des données a eu lieu début 2020 auprès de 57 084 nouveaux comptes. L'analyse des données n'a cependant pas permis de trouver un effet mesurable significatif entre les utilisateurs recevant le message et ceux qui ne l'ont pas reçu.

Un résumé de l'étude et des résultats en français est disponible ici : [2]

Ci-dessous les données brutes utilisées pour comparer les groupes qui ont reçu vs n'ont pas reçu le message d'accueil. Les différences entre les groupes sont très très fines, d'où l'absence d'effets positifs mesurables du message d'accueil.

Les données collectées
Groupe expérimental : Contrôle (pas d'accueil) Traitement 1 (accueil) Traitement 2 (accueil avec bouton mentor)
Taux de nouveaux comptes qui contribue au moins une fois dans la semaine qui suit l'inscription 0.368562119 0.371452596 0.370033635
Nombre de minutes passées à contribuer dans les 12 semaines qui suivent l'inscription 22.883172167 21.334191717 20.276697498
Taux de nouveaux comptes toujours actifs après un mois 0.044198024 0.043619929 0.044408240
Taux de nouveaux comptes ayant contacté leur mentor 0.000000000 0.003836452 0.005675846
Taux de nouveaux comptes ayant posté sur le forum des nouveaux 0.004677318 0.004782426 0.006201387
Taux de nouveaux comptes ayant répondu au message d'accueil 0.004677318 0.008250999 0.011141476
Taux de nouveaux comptes ayant modifié leur brouillon 0.034528064 0.033161657 0.035001051
Taux de nouveaux comptes qui indiquent savoir où obtenir de l'aide 3.222891566 3.348659004 3.328358209
Taux de nouveaux comptes qui indiquent savoir quoi faire sur WP 3.759036145 3.835249042 3.761194030
Taux de nouveaux comptes qui indiquent avoir la confiance des autres éditeurs 3.213855422 3.375478927 3.414179104
Taux de nouveaux comptes qui indiquent se sentir inclus dans la communauté 2.978915663 3.091954023 3.134328358
Taux de nouveaux comptes qui indiquent trouver la communauté conviviale 3.527108434 3.647509579 3.567164179
Taux de nouveaux comptes qui indiquent se sentir proches d'un autre contributeur 2.114457831 2.249042146 2.268656716
Taux de nouveaux comptes qui indiquent se sentir proches de deux autres contributeurs 2.283132530 2.222222222 2.205223881
Taux de nouveaux comptes qui indiquent se sentir proches de trois autres contributeurs 2.376506024 2.540229885 2.559701493

Historique des discussionsModifier