Pascal Pansu, Nicole Dubois, Jean-Léon Beauvois, Dis-moi qui te cite, et je saurai ce que tu vaux. Que mesure vraiment la bibliométrie ?

Texte intégral
- 1 « Nous avons en particulier négligé le cas de quelques rares collègues qui avancent, ce qui nous p (...)
1Disons-le tout de suite – le nom de la collection « Points de vue & Débats scientifiques » l'indique assez clairement – ce petit livre est surtout un essai critique sur l'utilisation des indicateurs bibliométriques en recherche et sur les conséquences de certaines pratiques hégémoniques de publication. Il fait par ailleurs suite à un certain nombre d'articles publiés sur ce sujet par ses auteurs dans des revues françaises et internationales. Une fois neutralisée dès l'introduction la question de l'importance d'une évaluation des chercheurs, reconnue et défendue par les auteurs comme une nécessité sociale1, ce livre réussit le tour de force de rassembler en une centaine de pages à la fois une introduction sérieuse à la bibliométrie d'impact, la restitution d'une petite étude empirique sur ses usages et une discussion engagée sur ses conséquences dans le développement international de la recherche avec propositions d'amélioration à l'appui. Par contre, précisons-le avant d'aller plus avant dans la présentation du contenu, certains propos, surtout concernant les conséquences hégémoniques des indicateurs, sont assez situés dans le champ disciplinaire d'origine des auteurs, la psychologie sociale.
2L'évaluation des pratiques est une nécessité organisationnelle du fonctionnement du pouvoir social que les auteurs font remonter – de manière peut-être un peu excessive – au Néolithique et à l'apparition des « structures de délégation ». À partir du moment où il existe des différences de performance entre les agents, « toute structure organisationnelle, quelle qu'elle soit, doit organiser l'évaluation de ses agents sociaux » (p. 13). Ces constatations forment le point de départ du livre : « l'évaluation est donc socialement nécessaire et n'est pas problématique en tant que telle. Ce qui peut l'être, en revanche, c'est le dispositif d'évaluation qui tend à s'imposer » (p. 15)
- 2 La bibliométrie d'impact correspond au versant évaluatif de la scientométrie qui s'oppose à un ver (...)
3La scientométrie, discipline dédiée à l'étude des sciences par la bibliométrie, a connu dans la seconde moitié du XXe siècle un développement important à la fois conceptuel et technique. Les indicateurs de bibliométrie d'impact2 visent à évaluer l'influence des productions scientifiques. Un des moyens privilégiés pour suivre l'importance d'un article dans la cité scientifique est alors de considérer les citations qu'il reçoit. Plusieurs indicateurs existent, que les auteurs passent en revue. Derrière l'apparente objectivité de ces indicateurs, ils soulignent les nombreuses hétérogénéités qui limitent la portée des comparaisons : par exemple, toutes les revues n'étant pas indexées, les zones géographiques et disciplinaires ont des couvertures inégales, qui vont dépendre de la base de données considérée. De plus, leur signification peut varier suivant les domaines de recherche, leurs pratiques et temporalités spécifiques. Qu'en conclure alors, sinon qu'il faut reconnaître leurs limites sans tomber dans la simple dénonciation, et qu' « aucun n'est vraiment satisfaisant et aucun ne doit être utilisé seul » (p. 39).
4Les usages des indicateurs bibliométriques en France sont alors envisagés à travers une petite enquête auprès d'universitaires. Le faible retour du questionnaire (N=128) limite toute prétention statistique, mais permet de retracer les clivages connus qui existent sur les pratiques des indicateurs d'impact. Car les différents domaines scientifiques se distinguent quant au débit et au statut des publications, sur les comportements stratégiques dans le choix de la revue où publier, et plus généralement sur le degré de familiarité avec la bibliométrie. En synthèse, sur un continuum allant d'un pôle constitué par les sciences humaines vers celui que les auteurs qualifient de sciences « dures » – en fait, proche des pratiques des sciences médicales – on passe d'une pratique de publication inscrite dans une temporalité longue et le contexte national, privilégiant encore le format du livre, peu orientée par les indicateurs bibliométriques – voire critique à leur propos –, vers une plus grande connaissance de ces indicateurs et à leur utilisation accrue dans le cadre de publications plus fréquentes dans les grandes revues anglo-saxonnes.
5Mais dans les cas où ils sont utilisés, que mesurent vraiment les indicateurs bibliométriques ? La thèse défendue par les auteurs, qui guide leur propos, est « que les pratiques effectives d'évaluation de la recherche ont détourné l'idée d'impact de celle d'influence scientifique au profit de valeurs comme les modes et la consommation » (p. 75), diluant l'influence scientifique dans une conception plus large de la réputation. Pour mesurer vraiment l'influence scientifique d'une source, ces indicateurs devraient selon le propos répondre à un certain nombre de critères comme le fait de ne pas influencer en retour les thématiques choisies par les chercheurs, ne pas dépendre d'un choix arbitraire de revues référencées dans les bases de données ou encore ne pas privilégier une littérature nationale par rapport à d'autres. Circonvenant à cela, les indicateurs ne sont plus des instruments de mesure mais participent à produire une régulation sociale de la recherche comparable à un marché dirigé vers la consommation. Ils mesurent en fait « d'abord et directement l'insertion d'un chercheur ou d'un laboratoire [ou d'un journal] dans un groupe dominant ou un réseau intellectuel » (p. 86)
- 3 Sans pour autant sortir du champ scientifique : « Les dominants imposent, par leur seule existenc (...)
6Car la conclusion de l'ouvrage, et le cœur de la critique, née du double constat du caractère socialement situé de la psychologie social et de la captation de la discipline par un réseau intellectuel majoritairement anglo-saxon, individualiste et libéral, qui domine3, la diffusion des articles. Ainsi, « la bibliométrie d'impact, et ce qu'elle prescrit comme pratiques scientifiques, participe de la sorte à la propagation de cet imaginaire [individualiste et libéral] comme source unique de références acceptables » (p. 90). Cela conduit les auteurs à faire des propositions de politique éditoriales ou de bases de données internationales équilibrées pour y remédier. Ces propositions paraissent cependant autant de vœux pieux quand on constate que leur mise en œuvre nécessiterait de redéfinir les intérêts privés des éditeurs de journaux ou d'index de citations.
- 4 Voir par exemple le numéro de la Revue d'Anthropologie des Connaissances dirigée par P. Loségo et (...)
- 5 Par exemple, Chubin D. et Hackett J., « Peerless science : Peer review and US science policy », Su (...)
- 6 Zarca B, L'univers des mathématiciens, PUR, 2012
7En résumé, en plus de constituer une introduction au sujet, cet essai défend la thèse que la bibliométrie aujourd'hui « mesure l'insertion dans un réseau de chercheurs très majoritairement étasuniens » (p. 109) et souligne les mécanismes d'exclusion, ou d'inégalités, qui touchent les acteurs à l'extérieur de ces réseaux. Ce faisant, le texte soulève un certain nombre de questions très actuelles concernant les politiques scientifiques. On pourrait cependant discuter le fait que les deux effets rapprochés par les auteurs, les indicateurs d'évaluation bibliométrique d'une part, et les effets de modes et de réseaux de l'autre, soient vraiment autant liés qu'ils le laissent apparaître. En effet, la sociologie des sciences ne manque pas de travaux sur la « science dans les pays non-hégémoniques »4 qui tendent à se voir imposer des thématiques par les programmes européens ou nord-américains, ou encore qui s'intéressent à l'effet « conservateur » du peer review5. Cela inciterait à séparer les effets de la ségrégation ou de mode de ceux liés aux indicateurs. Par ailleurs, le raisonnement sur l'hégémonie des présupposés « culturels » de certaines théories anglo-saxonnes en psychologie social sur d'autres modes de pensée se doit d'être généralisé avec précaution à d'autres disciplines : le cas des mathématiques témoigne au contraire d'une forte internationalisation des pratiques6. Toujours est-il que cet essai a trois vertus : la première est de rappeler l'origine des indicateurs et leur très forte dépendance aux bases de données (d'acteurs privés) qui permettent leur construction ; la seconde est de souligner la grande hétérogénéité des usages qui en sont faits et des situations qu'ils tentent de subsumer sous un même calcul ; la troisième est d'ouvrir le débat hors du cadre national de l'évaluation pour envisager les effets au niveau international sur la dynamique de la recherche.
Notes
1 « Nous avons en particulier négligé le cas de quelques rares collègues qui avancent, ce qui nous paraît une position intenable, que le travail de recherche, purement intellectuel, dont la valeur peut n'apparaître qu'à long terme, ne peut et ne doit pas être évalué, même par les pairs » (p. 7)
2 La bibliométrie d'impact correspond au versant évaluatif de la scientométrie qui s'oppose à un versant descriptif, par exemple l'analyse de réseaux des co-citations
3 Sans pour autant sortir du champ scientifique : « Les dominants imposent, par leur seule existence, comme norme universelle, les principes qu'ils engagent dans leur propre pratique », Bourdieu P., « Science de la science et réflexivité », 2001
4 Voir par exemple le numéro de la Revue d'Anthropologie des Connaissances dirigée par P. Loségo et R. Arvanitis en 2008, 3(2)
5 Par exemple, Chubin D. et Hackett J., « Peerless science : Peer review and US science policy », Suny Press, 1990.
6 Zarca B, L'univers des mathématiciens, PUR, 2012
Haut de pagePour citer cet article
Référence électronique
Emilien Schultz, « Pascal Pansu, Nicole Dubois, Jean-Léon Beauvois, Dis-moi qui te cite, et je saurai ce que tu vaux. Que mesure vraiment la bibliométrie ? », Lectures [En ligne], Les comptes rendus, mis en ligne le 07 mai 2013, consulté le 19 février 2025. URL : http://0-journals-openedition-org.catalogue.libraries.london.ac.uk/lectures/11416 ; DOI : https://0-doi-org.catalogue.libraries.london.ac.uk/10.4000/lectures.11416
Haut de pageDroits d’auteur
Le texte et les autres éléments (illustrations, fichiers annexes importés), sont « Tous droits réservés », sauf mention contraire.
Haut de page