Jatteau Arthur, Faire la preuve par le chiffre. Le cas des expérimentations aléatoires en économie
Texte intégral
- 1 Nous emploierons l’acronyme RCT au cours de ce compte-rendu, se référant à l’anglais : « randomized (...)
1Issu d’une thèse de doctorat en sociologie, l’ouvrage d’Arthur Jatteau analyse l’instrumentation du chiffre dans les politiques publiques. À partir de l’étude du cas de l’essai contrôlé randomisé1 dont il interroge la nature et les usages. Cette méthode d’administration de la preuve repose sur le protocole suivant : après avoir séparé aléatoirement une population d’enquête, le traitement à tester est administré à l’un des deux groupes afin d’évaluer ses effets « toute chose égale par ailleurs ». Cette technique se situe au sommet de la hiérarchie des preuves dans les sciences biomédicales, qui concourent à sa popularisation. Les expériences randomisées connaissent un succès important en économie, et plus largement dans le champ de l’évaluation des politiques publiques, notamment sous l’impulsion du J-PAL, laboratoire créé en 2003 au sein du Massachusetts Institute of Technology et dont les fondateurs, Abhijit Banerjee et Esther Duflot, ont été auréolés du « prix Nobel d’économie » en 2019.
2L’objectif de l’ouvrage est de revenir sur le processus de légitimation de cette technique, objet d’un militantisme épistémologique par ceux qu’Arthur Jatteau appelle, à la suite d’Angus Deaton, les « randomistes ». Protagonistes de l’ouvrage, ils représentent une communauté épistémique de chercheurs dont la croyance dans le « chiffre randomisé » guide le travail. L’auteur mobilise les apports de trois approches : la socio-histoire de Gérard Noiriel afin de suivre la trajectoire des promoteurs de la méthode ; la tradition latourienne de sociologie des sciences pour reconstituer l’ascension d’une technique scientifique ; la sociologie de la quantification d’Alain Desrosières.
3La première partie de l’ouvrage revient dans une perspective critique sur l’histoire des expérimentations aléatoires et de leur légitimation.
4Pour les randomistes interrogés par Arthur Jatteau, l’essai contrôlé randomisé aurait été inauguré en économie à la fin des années 1990 et s’inspirerait d’une discipline originelle l’ayant érigé en « étalon-or » des méthodes d’administration de la preuve : la médecine. Son importation en économie aurait permis de faire de cette discipline une science, en l’amputant des idéologies et en lui fournissant un outil pour établir des vérités indiscutables. Jatteau critique ce récit en menant une histoire séparée des deux composantes essentielles des RCT : la présence d’un groupe contrôle qui offrira une possibilité de comparaison ; la randomisation, soit le tirage au sort des participants et leur assignation aléatoire dans un des groupes. Il montre que la formalisation statistique provient davantage de la psychologie et des sciences de l’éducation. Son importation dans les sciences médicales s’inscrit dans une histoire complexe, celle étudiée par Othmar Keel et Harry Marks de la constitution progressive de « l’art de la thérapeutique en une « evidence based-medicine » (EBM). La promotion d’une logique de la preuve remontre aux premières décennies du XXème siècle, lorsque des réformateurs thérapeutiques cherchent à responsabiliser les médecins contre les errements du capitalisme pharmaceutique naissant. Mais c’est surtout la mobilisation de guerre qui introduit des règles strictes de la preuve d’efficacité des médicaments. La randomisation acquiert finalement ses lettres de noblesses grâce à un essai célèbre réalisé en 1947-1948, qui permet de vaincre la tuberculose. Si la consécration des RCT ne s’est pas faite sans résistances, Jatteau montre comment les expérimentateurs sociaux ont importé la légitimité attachée à l’EBM sans importer les débats qui l’ont forgée.
5Ensuite, l’auteur se focalise sur les expérimentations sociales aléatoires et remet en cause leur nouveauté radicale, clamée par les randomistes. En effet, dans les années 1920, de nombreuses expérimentations ont cours. Mais deux périodes se dégagent en termes de fréquence : celle du « golden age » (1960-1980) durant laquelle les RCT sont essentiellement réalisés sur le sol américain. Puis celle des années 1990, où la méthode des RCT est exportée vers le monde du développement, comme par exemple dans l’ouest du Kenya qui devient « l’épicentre de la vague randomiste ». Les RCT sont mobilisées comme un outil d’évaluation des politiques publiques et des programmes d’aides internationales à ces pays. C’est en référence à ce contexte de consécration – qui se fait au milieu des années 2000 en France – que l’on peut comprendre l’émergence d’une figure telle qu’Esther Duflo qui se présente alors comme une « innovatrice méthodologique ». Aux yeux de Jatteau, qui reconstruit son parcours, elle apparait davantage comme une « formidable entrepreneure de recherche » (p. 159). Il montre, dans une perspective critique, que cette expansion des RCT s’est faite dans l’ignorance des biais et erreurs propres aux expérimentations sociales, pourtant bien identifiés par les chercheurs de la première vague des expérimentations américaines.
6Arthur Jatteau ne se contente pas d’une critique sur le versant historiographique. La deuxième partie de son ouvrage prend au sérieux l’appareil de preuve développé par les expérimentations en elles-mêmes et leurs effets politiques.
- 2 Ces solutions comportent d’après Arthur Jatteau un certain nombre de biais. Par exemple, celui lié (...)
7La preuve randomiste repose sur deux conditions : la validité externe et la validité interne. Cette dernière désigne la possibilité de généraliser les résultats de l’étude. Jatteau montre comment les randomistes répondent aux critiques qui leur sont adressées, avec deux stratégies : d’une part, la relativisation en soulignant que le problème de la généralisation n’est pas propre aux expérimentations aléatoires, d’autre part la mise en avant de la multiplication de l’expérience pour généraliser les résultats2.
- 3 Lordon Frédéric, « Le désir de "faire science" », Actes de la recherche en sciences sociales, n° 11 (...)
- 4 Traduction : « randomized out of controlled trials ».
- 5 Le promoteur est celui qui finance et conçoit théoriquement l’étude. Les assistants de recherche so (...)
8La validité interne renvoie à la solidité de la preuve produite. La raison randomiste se situe dans « le désir de faire science » (p. 266), cette attraction vers le monde épuré des chiffres qu’avait mis en évidence Frédéric Lordon3. La « bonne science » ne serait possible qu’avec l’utilisation de chiffres randomisés. Ainsi, l’appareil épistémologique des expérimentateurs sociaux ne laisse qu’une place marginale au qualitatif. Si l’originalité du J-PAL est d’avoir introduit du « terrain » dans les modélisations économiques, les campagnes d’entretiens d’Arthur Jatteau montrent un rapport dilettante et dépréciatif aux méthodes qualitatives. Un enquêté suggère l’expression « d’essais randomisés incontrôlés4 » (p. 277). Il renvoie par-là au décalage entre la vision du promoteur5 d’une étude et de sa concrétisation par ses assistants de recherche. Surtout, Jatteau souligne l’absence d’analyse réflexive sur l’enquête du terrain, au point que celle-ci semble n’être conçue que sur un mode utilitariste : la fonction quasi-exclusive du terrain serait de pouvoir le mentionner que l’on s’y est déplacé.
- 6 Paru en 1979, Laboratory Life : The Social Construction of Scientific Facts est un classique de la (...)
9Loin de se réduire une technique, l’expérimentation aléatoire a une dimension politique. Jatteau le montre en étudiant l’écosystème des publications. Il met en avant les stratégies de publication des promoteurs des RCT, calquées sur le modèle anglo-saxon de la « thèse à essai » : les expérimentations aléatoires sont conçues en vue de la publication d’un ou plusieurs articles scientifiques. Il est inenvisageable d’en réaliser une qui ne soit pas convertible, valorisable, dans le champ académique. Les randomistes s’apparentent à la figure du « capitaliste » décrite par Latour et Woolgar6. Chaque expérimentation donne lieu à la recherche de « publishable units » (p. 340), des artefacts publiables qui pourront en être extrait. Grâce aux entretiens, Jatteau montre que ces stratégies doivent être comprises au regard du contexte de pression à la publication dans lequel elles se forment et se déploient. Cette double injonction – à coïncider à la technique des RCT et à publier – est parfois source de tension pour les randomistes.
- 7 Sur 1000 expérimentations aléatoires réalisées par le J-PAL, il en dénombre trente qui ont trouvé u (...)
10Au-delà du modèle politique de la science qui ressort du système des publication, les RCT sont politiques par leurs effets sur l’action publique. Jatteau montre d’abord qu’ils sont faiblement utilisés par les politiques publiques7, ceci en raison d’un décalage dans les rationalités respectives des chercheurs et des décideurs. Tandis que les premiers sont des « chronophiles », les seconds sont « chronophobes ». Cependant, il souligne que les expérimentations aléatoires renforcent la croyance du politique dans le chiffre, contribuant ainsi à la diffusion d’une philosophie du nombre dans l’art de gouverner. Le randomiste serait ainsi aux politiques publiques ce que l’ingénieur est à la physique : un technicien capable de définir non plus les lois de la matière, mais celles du social.
11Le travail d’Arthur Jatteau est salutaire à maints égards. D’une part, dans une période où l’usage du chiffre, des courbes et de la statistique essaime dans l’espace public, il propose une analyse critique, fondée scientifiquement, sur une technique quantitative consacrée. D’autre part, il permet de nourrir les débats, politique et scientifique, sur l’interdisciplinarité : si les RCT ont une indéniable utilité, ils ne sauraient être les outils exclusifs de l’analyse des politiques publiques : ils sont un instrument parmi d’autres dont l’usage doit être réfléchi, le tout étant de « faire primer le sens sur les disciplines » (p. 16).
Notes
1 Nous emploierons l’acronyme RCT au cours de ce compte-rendu, se référant à l’anglais : « randomized controlled trials ». Nous parlerons également « d’expérimentations aléatoires »
2 Ces solutions comportent d’après Arthur Jatteau un certain nombre de biais. Par exemple, celui lié à l’implication des expérimentateurs eux-mêmes : l’investissement des équipes investigatrices est susceptible de varier suivant leur proximité dans le domaine des essais.
3 Lordon Frédéric, « Le désir de "faire science" », Actes de la recherche en sciences sociales, n° 119, 1997, p. 27-35
4 Traduction : « randomized out of controlled trials ».
5 Le promoteur est celui qui finance et conçoit théoriquement l’étude. Les assistants de recherche sont ceux qui participent à sa mise en place sur le terrain
6 Paru en 1979, Laboratory Life : The Social Construction of Scientific Facts est un classique de la sociologie des sciences. Il s’agit d’une enquête anthropologique menée par Bruno Latour au sein du laboratoire de neuroendocrinologie de Roger Guillemin, prix Nobel de médecine en 1978. L’observation de la division du travail et des stratégies de valorisation de la recherche, amène Latour à conclure que le directeur du laboratoire est « un capitaliste par excellence, puisqu’il peut voir son capital augmenter de façon substantielle sans avoir à s’engager directement dans le travail lui-même. Son travail est celui d’un investisseur à plein temps » (p. 238). L’investigation apprend en effet que la crédibilité acquise par le directeur lui permet d’être davantage un manager qu’un technicien. Il peut choisir ses collaborateurs, ses instruments et ses machines en fonction du capital (publications, financements…) que ceux-ci lui rapporteront
7 Sur 1000 expérimentations aléatoires réalisées par le J-PAL, il en dénombre trente qui ont trouvé une concrétisation dans des politiques publiques.
Haut de pagePour citer cet article
Référence électronique
Ali Choukroun, « Jatteau Arthur, Faire la preuve par le chiffre. Le cas des expérimentations aléatoires en économie », Lectures [En ligne], Les comptes rendus, mis en ligne le 26 mai 2021, consulté le 07 décembre 2024. URL : http://0-journals-openedition-org.catalogue.libraries.london.ac.uk/lectures/49555 ; DOI : https://0-doi-org.catalogue.libraries.london.ac.uk/10.4000/lectures.49555
Haut de pageDroits d’auteur
Le texte et les autres éléments (illustrations, fichiers annexes importés), sont « Tous droits réservés », sauf mention contraire.
Haut de page