Discussion Projet:Aide et accueil/Évaluation du message d'accueil

avis perso

La méthode affichée me parait très bien, et j'avoue ne pas avoir ce dimanche matin d'idée pour améliorer. Il faut que je réfléchisse un peu plus. Cedalyon (discuter) 4 novembre 2018 à 08:42 (CET)

Je suis très favorable a ce test, néanmoins il faudrait prévenir tous les administrateurs et patrouilleurs (sur le bistro ou le BA) pour que ces derniers soient un peu plus souples quand aux blocages ou aux avertissements des utilisateurs sans le message d'accueil. 3(MG)² (discuter) 4 novembre 2018 à 21:14 (CET)

Oui bonne suggestion. Binabik (discuter) 6 novembre 2018 à 00:22 (CET)

Retour des nouveaux

Bonjour

Concernant les retours des nouveaux, il faut distinguer :

• la possibilité d'obtenir de l’aide grâce au message
• la possibilité d'avoir pu accéder à une ressource grâce au message
• la douche froide possibilité de faire l'action qu'ils pensaient effectuer

Pour illustrer : une personne totalement novice et souhaitant créer un article sur sa boutique pourra avoir eu un contact rapide et sympathique avec une personne expérimentée par le message, mais pour apprendre que son article n'est pas admissible.

Il faut donc distinguer la relation entre humains de la finalité de la demande initiale. On cherche a mesurer l'efficacité de la transmission de l'information, pas la réponse finale.

Trizek ^bla 5 novembre 2018 à 11:15 (CET)

 Trizek : un bon point en effet ! Il faudra y réfléchir car à mon avis les nouveaux auront probablement plus tendance à répondre sur la réponse finale... Binabik (discuter) 6 novembre 2018 à 00:27 (CET)

Du neuf ?

Bonjour

Je suis un peu perdu dans les mises à jour de tous les projets que je suis. Quoi de neuf à propos de celui-ci ?

Trizek ^bla 12 décembre 2018 à 18:41 (CET)

 Trizek : Alors le protocole expérimental est plus ou moins finalisé, et donc la balle est pour le moment dans le camp de CivilCervants. Leurs deux tâches en cours sont l'implémentation des scripts nécessaires à l'évaluation (notamment pour l'extraction des données dont nous avons besoin), et l'estimation statistique de la durée de l'évaluation. Une fois que cela sera fait, il y aura probablement quelques questions finales pour nous. Binabik (discuter) 23 décembre 2018 à 21:21 (CET)

Biais ?

Bravo pour cette évaluation. Quel échantillon (nombre de nouveaux interrogés ?). L'échantillon est-il aléatoire (par ex. un vandale pourra-t-il être interrogé ? Même un vandale bloqué) ? D'où mes interrogations sur des biais possibles. Comment sera pris en compte dans la mesure de l'efficacité, les nouveaux interrogés et qui ne répondent pas ? En effet, de nombreux nouveaux s'inscrivent mais ne contribuent qu'une fois, puis disparaissent. De même pour les vandales. Leur prise ou non prise en compte est susceptible de fausser bp les résultats. Salsero35 ^☎ 10 décembre 2019 à 11:00 (CET)

Je dirais même que beaucoup créent un compte pour ne jamais contribuer. Je ne comprends d'ailleurs pas cette façon de faire. On voit bien ressortir de la naphtaline des comptes dormants de temps en temps à l'occasion de "campagnes de vandalismes" (du style Valère Germain) mais j'ai du mal à croire qu'il y ait autant de vandales prévoyants. --Bertrand Labévue (discuter) 10 décembre 2019 à 17:01 (CET)

 Salsero35 et Bertrand Labévue : Bonjour, le nombre de vandalisme (revert) et le fait d'être bloqué seront deux mesures prises en compte dans l'étude, car en effet, nous allons vérifier aussi que le message d'accueil n'encourage pas le vandalisme (il y a peu de chance mais on va être méthodique) ! On fera donc bien la distinction entre vandales et non-vandales.

Pour le questionnaire, il sera distribué aléatoirement, mais à destination des non-vandales uniquement. Je vais vérifier pour l'échantillon (c'est basé sur une analyse de puissance statistique, mais je n'ai plus les détails en tête). Comme pour tout questionnaire, c'est sûr que beaucoup ne répondront pas, mais sur les milliers de nouveaux comptes, on espère parvenir à avoir suffisamment d'avis. En combinant le questionnaire et les mesures objectives, on espère avoir des résultats solides.

Sinon je pense que beaucoup de personnes se créent un compte par réflexe, tout en restant simplement lectrices/lecteurs (mais non vandales). C'est le genre de statistique qui nous intéresse aussi. Binabik (discuter) 10 décembre 2019 à 19:28 (CET)

Délai de délivrance

Ne pourriez vous pas tester aussi l'impact consistant à retarder de 24h le message de bienvenue. Nous sommes quelques uns(le out dernier étant, à mon souvenir, Bertrand Labévue[1]), à trouver qu'accueillir aussi chaleureusement des vandales patentés n'a pas beaucoup de sens. L'idée serait donc de laisser la communauté réagir, positivement ou négativement, à l'arrivée d'un nouveau contributeur et de ne mettre le message que quelques heures après l'ouverture du compte. HB (discuter) 10 décembre 2019 à 13:57 (CET)

 HB : Bonjour, on prévoit de tester d'autres alternatives par la suite, et en effet, ajouter un délai pourrait être l'une d'entre elle. Cependant, pour ce tout premier test, on essaye de ne pas faire trop compliqué afin de s'assurer que tout fonctionne bien. L'idée c'est donc de faire un premier test, et si tout réussi bien (notamment niveau logiciel/analyse), on pourra tester d'autres alternatives comme le délai que tu proposes. Le code qu'on utilise sera open source et on pourra donc le réutiliser à volonté.

Après, il y a toujours une difficulté entre donner la piorité è l'accueil des nouveaux sincères, ou à la lutte anti-vandalisme, ce n'est pas facile de trouver un bon compromis. On espère que nos tests permettront justement d'affiner ce compromis. Binabik (discuter) 10 décembre 2019 à 19:37 (CET)

Utilisateurs avec {test1}

Bonjour,
Je me demande si c'est une bonne idée de faire évaluer le message d'accueil par des utilisateurs ayant eu des {test1}
Exemples :
- Jojol16
- BertrandGui
- El phenomème
- Corlfbhkdfk
- Jacques Bury (celui-là a eu aussi un {test2}
- Voulou (idem)
- Wiglud
--Gustave67 (discuter) 25 février 2020 à 13:48 (CET)

 Gustave67 : merci pour le retour. J'ai discuté avec les chercheurs et la question est : est-ce que cela pourrait être utile d'étudier l'avis de ces utilisateurs, tout en les conservant à part bien sûr (en gros l'analyse différentierait vandales et non vandales). Une raison pour cela est que ces utilisateurs ont pu recevoir un avertissement parce qu'ils ont fait un test sur un article, mais sans réelle mauvaise intention (les vrais gros vandales sont eux bloqués indef et ne reçoivent pas de message). L'alternative est d'ignorer purement et simplement les utilisateurs ayant reçu un avertissement. À ce stade les deux options sont possibles. Je notifie aussi  Trizek : (il s'agit de l'invitation à remplir le questionnaire externe). Binabik (discuter) 25 février 2020 à 18:44 (CET)

Hello !

Amha ces "braves gens" ne répondront pas, du moins ceux que j'ai repérés, puisqu'ils n'ont pas contribué après avoir reçu un {test1}.

Par contre, eux et leurs petits frères (les "petits" vandales, ceux qui font juste un petit tour et puis s'en vont) risquent de polluer les taux de réponse/non réponse.

Et pour ceux qui répondraient parmi les autres, s'il y en a, quel serait l'intérêt d'avoir des avis de vandales ?

--Gustave67 (discuter) 25 février 2020 à 18:57 (CET)

Je suis assez neutre la dessus, pour être honnête. D'un côté, je pense qu'il est intéressant d'avoir potentiellement leurs avis (il faut se rappeler que certaines personnes banalisent pour "tester le système"), de l'autre, si ce sont de vrais vandales non-constructifs, c'est peut être leur accorder trop d'importance. Le problème étant que l'on ne peut pas deviner du fond de leur pensée en avance, je suis dans d'appliquer WP:FOI et de leur envoyer le questionnaire. Trizek ^bla 26 février 2020 à 10:20 (CET)

A priori les chercheurs sont intéressés pour comprendre si le message d'accueil peut réduire certaines formes de vandalisme, et ils pensent que voir certains avis de « petits vandales » peut les aider. Bien sûr cela reste une hypothèse comme souvent en recherche, difficile d'anticiper. Ils font de toute façon bien la distinction entre les trois situations (petits vandales, gros vandales, et non vandales). Une question importante est : est-ce qu'inviter les petits vandales à participer risque de les pousser à vandaliser de nouveau ? Binabik (discuter) 26 février 2020 à 20:56 (CET)

english/français ou french/anglais

Coucou, c'est encore moi
N'y aurait-il pas un schmilblick dans le message automatique, qui dit :
Si vous avez des questions sur l’enquête, n’hésitez pas à contacter Utilisatrice:Juliakamin(cs), ou si vous souhaitez une traduction en anglais, Utilisateur:Binabik ou Utilisateur:Trizek.
Ne serait-ce pas traduction en français, car le lien "Utilisatrice:Juliakamin" mène à une page en anglais ?
--Gustave67 (discuter) 26 février 2020 à 16:35 (CET)

Ça devait être ça, je vois que la correction est faite. . --Gustave67 (discuter) 27 février 2020 à 13:52 (CET)

 Gustave67 : Oui c'est corrigé, merci pour le retour ! Binabik (discuter) 27 février 2020 à 21:27 (CET)