Michael Scriven
Pour les articles homonymes, voir Scriven (homonymie).
Michael Scriven (né en 1928 au Royaume-Uni, mort en 2023 aux États-Unis) était un auteur académique australien. Titulaire en 1956 d’un doctorat en philosophie obtenu à l’Université d'Oxford, il est principalement connu pour ses contributions à la théorie et à la pratique de l’évaluation des politiques publiques[1]. Il a notamment présidé l’association américaine d’évaluation (American Evaluation Association[2]). Il a cofondé en 2004 le Journal of Multidisciplinary Evaluation, qui se distingue alors par son choix de la gratuité et de l’ouverture[3].
| Naissance | |
|---|---|
| Décès |
(à 95 ans) |
| Nationalité | |
| Formation | |
| Activités |
Psychologue, philosophe, Evaluator |
| Site web |
|---|
Contributions à l’évaluation modifier
Définition de l’évaluation modifier
Michael Scriven est très tôt une figure centrale de la théorie de l’évaluation, et en particulier de sa définition. Pour lui, l’évaluation de programme n’est pas différente au fond du processus mental de l’évaluation, que mènent les êtres humains à chaque instant de leur vie[4]. En 1967, il écrit ainsi que « l’évaluation est une activité qui est essentiellement similaire selon que nous évaluons des machines à café, des machines à enseigner, des plans pour une maison ou des plans pour un programme de formation. Cette activité consiste simplement à réunir et à combiner des données portant sur la performance [d’une intervention] avec un ensemble d’objectifs pondérés pour obtenir une notation comparative ou numérique »[5],[6]. Ce faisant, et à une époque où le débat sur l’évaluation est essentiellement porté par les questions de méthode, Michael Scriven place l’évaluation d’abord comme une pratique consistant à déterminer la valeur d’une intervention, et donne à l’évaluateur/rice un rôle clé pour donner à voir les valeurs qui la sous-tendent[7]. Il se situe ainsi aux antipodes de la démarche d’un Donald Campbell, autre acteur influent de la fin des années 1960.
L’évaluation est ainsi le « processus de détermination du mérite, de la valeur (worth) ou de la valeur (value) de quelque chose »[8]. Les critères viennent donc en premier : « “Le type d’évaluation le plus commun implique de déterminer des critères de mérite (généralement à partir d’une évaluation des besoins), de poser des standards de performance … et de déterminer la performance” (p. 117) par une mesure, avant de synthétiser les résultats dans un jugement de valeur »[9]. In fine, il s’agira de dire si le programme est « bon » ou « mauvais »[7]. Michael Scriven revendique la dimension objective de ce jugement, en rejetant la dichotomie positiviste classique entre faits et valeurs[10] – c'est justement le rôle de la logique de l'évaluation que d'assurer un continuum entre les deux[11]. Il affirme ainsi que « Quels que soient les mérites de la discussion entre les logicien-ne-s, les évaluations quotidiennes de produits démontrent la faisabilité de l’inférence des faits aux valeurs. Elles partent de faits concernant les performances de divers produits et tirent des conclusions sur leur mérite relatif ou absolu[12]. »
Ce processus d'évaluation, tel que décrit par Scriven, est essentiel à la société pour pouvoir faire des choix, mais c’est aussi un processus difficile, dans la mesure où il est difficile de définir les critères appropriés pour établir ce jugement. L’évaluateur est ainsi un professionnel de la valuation, qui peut aboutir à une vision objective des choses, et notamment de la capacité des interventions publiques à répondre aux besoins de la société et des individus. Encore faut-il ne pas succomber à un biais d’empathie, ou aux pressions subies dans le processus évaluatif[8].
Rôles de l’évaluation modifier
Si le but de l’évaluation est toujours, pour Scriven, de déterminer la valeur (est-ce que l’intervention évaluée est bonne ou mauvaise, in fine?), elle peut en revanche avoir énormément de rôles différents.
Michael Scriven introduit ainsi en 1967 la différence entre une évaluation formative et une évaluation sommative[5]. La première arrive plutôt en cours d’intervention ; elle pointe la progression actuelle vers les buts qui lui ont été donnés, et vise avant tout à améliorer l’intervention évaluée. La seconde vise, à un moment donné, à se positionner pour dire si ce type d’intervention « marche » ou pas, au regard de ses objectifs initiaux, et donc s’il faut envisager de la maintenir, de l’étendre ou de l’annuler. Ces deux évaluations ne sont pas antinomiques, au contraire : une démarche d’évaluation formative représente un bon moyen pour avoir de bons résultats lors de l’évaluation sommative. En revanche, les deux évaluations ne peuvent pas être menées par la même personne : celui ou celle qui mène une évaluation formative doit développer une connaissance intime du sujet de l’intervention, et faire siens ses objectifs. « Mais une fois qu’ils se sont identifiés à ces objectifs, émotionnellement comme économiquement, ils perdent quelque chose de fort important pour une évaluation objective - leur indépendance […] ils doivent donc bien sûr s’exclure de tout jugement [sommatif] »[5].
Évaluation affranchie des objectifs modifier
Chez Michael Scriven, l’évaluateur ou l’évaluatrice professionnelle a donc un rôle particulièrement important pour déterminer la valeur d’une intervention. C’est ce qui l’amène à formuler une proposition qui peut sembler paradoxale par rapport à ce qui précède : pour lui, les objectifs (ou les effets attendus de l’intervention) ne doivent pas avoir un statut particulier par rapport à l’ensemble des effets possibles d’une intervention. L’évaluation devrait porter sur les effets effectifs (actual effects), à comparer aux besoins démontrés (demonstrated needs), et c’est à celui ou celle qui évalue de choisir les effets sur lesquels l’évaluation devrait se concentrer, qu’ils aient été anticipés ou non[13].
Il appelle goal-free evaluation (GFE) ou « évaluation affranchie des objectifs[14] », une approche dans laquelle l’évaluateur ne connaît pas les objectifs de la politique qu’il évalue, ce qui doit lui permettre de se concentrer sur ce que produit effectivement l’intervention, plutôt que sur ses motivations initiales ou sur sa théorie sous-jacente. Pour certains auteurs, la GFE peut être comparée dans sa logique à la Théorie ancrée, sa contemporaine, en ce que la recherche devrait être conduite depuis le terrain et sans présupposés théoriques préalables[14].
Pour Michael Scriven, la GFE est plutôt une évaluation formative : elle permet d’améliorer l’intervention évaluée en fournissant des informations sur ses conséquences effectives, là où les gestionnaires du projet visent avant tout à atteindre leurs objectifs. Elle doit donc plutôt être prévue en cours de mise en œuvre, et est en réalité complémentaire d’une évaluation portant sur les objectifs.
Réception de l’évaluation et anxiété évaluative modifier
Si l’évaluation de programme n’est pas plus répandue, selon Michael Scriven, ce n’est pas tant pour sa difficulté que parce qu’elle est largement rejetée par le monde de la recherche et les pouvoirs publics. Même si l’évaluation porte sur une intervention et pas sur ceux qui la conçoivent et la mettent en œuvre, personne n’aime être évalué.
Scriven a longtemps vu cette attitude comme un problème, notamment de partage du pouvoir (l’évaluation venant « prendre » une parcelle de pouvoir aux décideurs, en particulier lorsqu’elle montre qu’ils sont faillibles)[8]. Pourtant, alors que l’évaluation devient dans les années 1990 et 2000 une démarche de plus interactive, voire participative, force est de constater que le processus évaluatif produit une « anxiété évaluative » d’autant plus forte que les parties prenantes sont amenées à échanger avec les évaluateurs plus souvent que dans le passé.
L’anxiété évaluative n’est pas forcément tant provoquée par l’évaluation des politiques publiques que par les démarches de performance liées à la nouvelle gestion publique, allant de la mesure de l’activité à l’évaluation des ressources humaines[15]. Mais elle a des conséquences spécifiques dans le cadre de l’évaluation de programme. Ainsi, face à une anxiété évaluative trop forte, les évaluateurs ou évaluatrices peuvent ne plus vouloir proposer de jugements (des conclusions d’évaluation) et se limiter à un travail descriptif, qui ne déclenchera pas de réaction négative, mais n’aura pas non plus d’intérêt évaluatif. Il faut donc étudier les caractéristiques antérieures à l’évaluation (dispositions propres des personnes, culture organisationnelle ou normes sociales), et développer des stratégies pour gérer l’anxiété évaluative[16].
Détermination de la causalité modifier
Sans qu’il s’agisse de l’apport pour lequel il est le plus célébré, Michael Scriven s’est également tourné vers les questions de causalité. Il rejette largement les approches de type Méthode expérimentale par assignation aléatoire (Randomised controlled trial), dont il a connu à la fois le développement avec Donald Campbell, le déclin puis le retour sur le devant de la scène avec la Politique basée sur des données probantes (evidence-based policy)[17]; il en a d’ailleurs proposé une évaluation sommative[18],[19].
L’approche que préconise Michael Scriven est plutôt basée sur la logique. Pour lui, pour tout évènement, il est possible d’établir une liste des causes possibles (List of possible causes, LOPCs). Chacune de ces causes possibles a un modus operandi (MO), c’est-à-dire un enchaînement de causes et de conditions (une Théorie du changement, même si M. Scriven n’utilise pas ce terme), et cet enchaînement est traçable. Il propose ensuite une « méthode d’élimination générale » (General Elimination Method, ou GEM), dans laquelle il teste chacune de ces causes possibles pour les écarter, et ne garder que celles qui sont suffisamment plausibles[18].
Un exemple de l’usage de cette méthode lorsqu’il est très difficile d’estimer les conséquences directes de l’intervention évaluée a été proposé par Michael Q. Patton, pour l’évaluation d’un programme de plaidoyer[20].
L’évaluation comme approche transdisciplinaire modifier
Cette pratique exigeante de l’évaluation que propose Michael Scriven en fait bien plus qu’une « application des méthodes de recherche en sciences sociales » aux politiques publiques. Pour lui, l’évaluation est une transdiscipline, au sens où elle est « un élément essentiel de toutes les autres disciplines académiques [...] Ce n’est que depuis peu qu’il a été possible de dire que l’évaluation était une discipline autonome aussi »[21].
Bibliographie indicative modifier
L’œuvre de Michael Scriven est largement inédite en français, mis à part deux articles récemment traduits en français[12],[19]. Parmi ses très nombreuses publications, on peut notamment mettre en avant les ouvrages suivants :
- The Methodology of Evaluation, 1967
- Evaluation Thesaurus, 1991.
- (avec Steward I. Donaldson) Evaluating Social programs and problems: Visions for the new millenium, 2003.
Notes modifier
- Donaldson, Stewart I. (Stewart Ian) et Scriven, Michael., The future of evaluation in society : a tribute to Michael Scriven, , 201 p. (ISBN 978-1-62396-453-5 et 1-62396-453-9, OCLC 865089981, lire en ligne)
- (en) « Michael Scriven, Distinguished Professor », sur Claremont Graduate University (consulté le )
- (en) Michael Scriven, « Mission for the Journal of Multidisciplinary Evaluation », Journal of Multidisciplinary Evaluation, , p. 1-10 (ISSN 1556-8180, lire en ligne)
- Thomas Delahais, Agathe Devaux-Spatarakis, Anne Revillard, Valéry Ridde, Évaluation. Fondements, Controverses et Perspectives, Éditions Sciences du Bien Commun, , 584 p. (ISBN 978-2-925128-14-4, lire en ligne), p. 245
- (en) Michael Scriven, The Methodology of Evaluation, Social Science Education Consortium, (lire en ligne), p. 8
- L’œuvre de Michael Scriven était jusqu'à récemment largement inédite en français. Cette traduction est du rédacteur.
- (en) Alkin, M.C., Christie, C.A., An evaluation theory tree in Evaluation Roots : tracing theorists’ views and influences, Thousand Oaks, CA, Sage, (lire en ligne), p. 34
- Scriven, Michael., Evaluation thesaurus, Sage Publications, (ISBN 0-8039-4363-6, 978-0-8039-4363-6 et 0-8039-4364-4, OCLC 23252589, lire en ligne), p. 141-145
- Claire Tourmen et Nathalie Droyer, « Dialogues entre théories spontanées et théories académiques de l’évaluation », Mesure et évaluation en éducation, vol. 36, no 3, , p. 25–49 (ISSN 2368-2000 et 0823-3993, DOI 10.7202/1025739ar, lire en ligne, consulté le )
- (en) Marvin C.Alkin, Evaluation Roots, SAGE Publications, Inc., (ISBN 978-1-4129-8415-7, DOI 10.4135/9781412984157, lire en ligne), p. 5
- (en) Amy M. Gullickson, « The whole elephant: Defining evaluation », Evaluation and Program Planning, vol. 79, , p. 101787 (DOI 10.1016/j.evalprogplan.2020.101787, lire en ligne, consulté le )
- Michael Scriven (trad. Carine Gazier, Thomas Delahais), Évaluation: Fondements, Controverses et Perspectives [« Logic of Evaluation »], Québec, Éditions Sciences du Bien Commun, , 573 p. (ISBN 978-2-925128-14-4, lire en ligne), « La logique de l'évaluation », p. 275
- (en) Michael Scriven, « Prose and Cons about Goal-Free Evaluation », American Journal of Evaluation, vol. 12, no 1, , p. 55–62 (ISSN 1098-2140, DOI 10.1177/109821409101200108, lire en ligne, consulté le )
- Hobivola A. Rabearivelo & Jihane Lamouri, Les approches théoriques en évaluation, PERFEVAL, (ISBN 978-2-9811262-3-8, lire en ligne), « L’évaluation « affranchie des objectifs »: une approche sans but ? », p. 18
- Juliette Cerf, « Écoles, entreprises, administration : l’évaluation tourne-t-elle à la tyrannie? », Télérama, (lire en ligne)
- (en) Stewart I. Donaldson, Laura E. Gooler et Michael Scriven, « Strategies for Managing Evaluation Anxiety: Toward a Psychology of Program Evaluation », American Journal of Evaluation, vol. 23, no 3, , p. 261–273 (ISSN 1098-2140 et 1557-0878, DOI 10.1177/109821400202300303, lire en ligne, consulté le )
- (en) Thomas D. Cook, Michael Scriven, Chris L. S. Coryn et Stephanie D. H. Evergreen, « Contemporary Thinking About Causation in Evaluation: A Dialogue With Tom Cook and Michael Scriven », American Journal of Evaluation, vol. 31, no 1, , p. 105–117 (ISSN 1098-2140 et 1557-0878, DOI 10.1177/1098214009354918, lire en ligne, consulté le )
- (en) Michael Scriven, « A Summative Evaluation of RCT Methodology: & An Alternative Approach to Causal Research », Journal of Multidisciplinary Evaluation, , p. 11-24 (ISSN 1556-8180, lire en ligne)
- Michael Scriven (trad. Carine Gazier, Valéry Ridde), Évaluation : Fondements, Controverses et Perspectives, Québec, Éditions Sciences du Bien Commun, , 573 p. (ISBN 978-2-925128-14-4, lire en ligne), « Une évaluation sommative de la méthode expérimentale par assignation aléatoire, et une approche alternative de l’imputation causale », p. 508-514
- (en) Michael Q. Patton, « Advocacy Impact Evaluation », Journal of MultiDisciplinary Evaluation, , p. 1-10 (ISSN 1556-8180, lire en ligne)
- (en) Michael Scriven, « The concept of a transdiscipline : And of Evaluation as a Transdiscipline », Journal of MultiDisciplinary Evaluation, , p. 65-66 (ISSN 1556-8180, lire en ligne)
