• 1 Ces dimensions ont été établies à partir de 179 entretiens semi-directifs conduits dans 7 universit (...)

2Les dispositifs d’évaluation de la recherche peuvent être répartis en deux grandes « familles » : l’évaluation par les pairs (peer review) et l’évaluation par les indicateurs. Dans la première famille, des pairs réalisent un examen approfondi et contextuel des activités de recherche. Celui-ci peut prendre différentes formes : lectures critiques (d’articles, de rapports d’activité, de projets) ; échanges avec les évalués et entre évaluateurs (visite de laboratoires, auditions, délibérations des évaluateurs). L’évaluation par les pairs repose plutôt sur des connaissances qualitatives, ce qui n’exclut pas le recours à des indicateurs. Elle aboutit à des jugements qualitatifs (rédaction d’avis, de recommandations) ou synthétiques (notations, classements uni ou multidimensionnels). Dans la deuxième famille, l’évaluation se passe du recours direct aux pairs. La connaissance des activités de recherche repose uniquement sur des indicateurs, sur les moyens et les résultats (financements, contrats, recrutements, thèses, publications, facteur d’impact des revues, citation des articles, etc.). Les connaissances mobilisées par ces deux familles de systèmes d’évaluation ont été caractérisées selon cinq dimensions (Gläser, Lange et al., 2010) : la richesse, la validité, l’actualité, la comparabilité et la légitimité (tableau 1)1.

• 2 Voir cet écart à propos des publications Butler (2004) ou des financements contractuels Laudel (200 (...)
• 3 Dans les universités allemandes, même les universitaires aux scores bibliométriques très élevés res (...)

3Les connaissances sont tout d’abord plus ou moins riches, selon leur niveau de détail, leur exhaustivité, etc. L’évaluation par les pairs mobilise généralement des connaissances plus riches que l’évaluation par les indicateurs. Ainsi, la lecture d’un rapport d’activité apporte une connaissance plus fine des programmes de recherche que le seul décompte de collaborations, de contrats ou de publications. Cette connaissance détaillée permet d’estimer le potentiel de certaines recherches, de réfléchir à l’adéquation entre des moyens et des objectifs, etc. Néanmoins, les évaluations par les pairs produisent parfois des connaissances assez pauvres, par exemple les notations unidimensionnelles. Ensuite, les connaissances sont plus ou moins valides, selon leur capacité à rendre compte de la qualité des recherches. Lors de l’évaluation par les pairs, les auditions sont généralement considérées comme plus valides que la seule lecture d’un bilan d’activité2. Les évaluations par indicateurs peuvent produire des connaissances peu valides car l’interprétation des mesures en terme de qualité reste délicate. La bibliométrie induit des artefacts désormais bien connus. Ainsi, le taux de citation d’un article renvoie à d’autres caractéristiques qu’à la qualité (auto-citation, citations critiques plutôt que laudatives, propension à citer davantage ses compatriotes, les auteurs connus, les revues prestigieuses, etc. (Rostaing, 1996). L’absence de discussions avec des pairs sur la pertinence des mesures est considérée comme une limite de la validité de l’évaluation par indicateurs3. L’actualité des connaissances dépend principalement de la périodicité des évaluations : une évaluation biannuelle mobilise a priori des connaissances plus actuelles qu’une évaluation quinquennale. Les connaissances mobilisées sont aussi plus ou moins comparables, à l’intérieur ou entre plusieurs vagues d’évaluation. Pour les deux familles d’évaluation, la comparabilité dépend du mode de restitution des résultats. Les recommandations et synthèses qualitatives offrent de plus faibles possibilités de comparaison que les classements ou les notes. Enfin, les connaissances bénéficient d’une plus ou moins grande légitimité auprès des collectivités scientifiques, selon leur adéquation avec leurs pratiques et leurs normes. L’évaluation par indicateurs est de ce fait globalement moins légitime, toutefois la légitimité de l’évaluation par les pairs varie fortement selon les dispositifs : les interactions entre évaluateurs et évalués sont plus légitimes que les évaluations à distance (fondées sur des lectures) ; les synthèses qualitatives davantage que les notations ou les classements (Gläser, Lange et al. 2010).

• 4 C’est pourquoi cette terminologie parait plus satisfaisante que celle de Kogan (op. cit.) reprise p (...)

4Peu de systèmes d’évaluation s’appuient entièrement sur des indicateurs. Les universités australiennes sont évaluées de la sorte depuis le milieu des années 1990 : les principaux indicateurs portent sur les contrats, la formation doctorale et les publications (Gläser, Laudel, 2007 ; Geuna et Martin, 2003). En définitive, la plupart des pays implantent diverses configurations d’une évaluation par les pairs. C’est le cas de la création en France de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES). Des observateurs (Dodier, 2009) soulignent que l’AERES ne fait pas entrer l’évaluation dans le règne du quantitatif, mais qu’elle modifie considérablement le travail des pairs et les attentes à leur encontre. Cette remarque plaide pour une qualification précise des connaissances mobilisées et produites par l’évaluation par les pairs. L’évaluation de la qualité de la recherche s’inscrit certes dans des tendances communes (Sousa et Hendriks, 2007) : relâchement du contrôle centralisé des tutelles et autonomie croissante des opérateurs, passage d’un contrôle bureaucratique ex ante à une évaluation ex post des résultats. Toutefois, elle emprunte des voies diversifiées. Celles-ci peuvent être rattachées à deux grands systèmes (Kogan, 1989 cité par Geuna et Martin, 2003 ; Gläser, 2007) qui mobilisent des connaissances de nature très différente. Les systèmes d’évaluation intrusifs font appel à des évaluateurs qui acquièrent une connaissance approfondie des activités ; dans les systèmes dits compétitifs, ils compilent les informations nécessaires à une notation comparative des entités évaluées. À l’évidence, ces idéaux-types apparaissent rarement sous une forme pure, en particulier à l’échelle d’un pays. Toutefois, ils permettent de caractériser la conception de l’évaluation qui prime dans une politique nationale de recherche, et de comprendre les formes de connaissances des activités qui sont privilégiées. Par ailleurs, l’adoption d’un système ne présume pas de ses usages politiques et des conséquences de l’évaluation sur le système de recherches4.

• 5 Voir à ce propos le travail du comité consultatif universitaire (Academic Advisory Council) de Bass (...)

5Les pouvoirs publics, les universités ou les établissements de recherche, peuvent développer des systèmes d’évaluation qualifiés d’« intrusifs ». Ceux-ci s’appuient sur une connaissance approfondie de chaque entité évaluée et s’articulent étroitement à la mise en œuvre de réformes. La richesse et la validité des connaissances permettent ici de formuler un diagnostic précis et d’élaborer des scénarii d’évolution. Par ailleurs, une forte légitimité auprès des acteurs évalués facilite l’élaboration et la mise en œuvre des réformes5. Enfin, la priorité allant à la résolution de problèmes spécifiques, la comparaison de connaissances produites lors de plusieurs évaluations n’est pas primordiale.

• 6 Certains décideurs s’appuient sur des évaluations intrusives pour mettre en oeuvre des réformes rad (...)

6Dès lors, les systèmes intrusifs recourent prioritairement aux dispositifs qui produisent des connaissances riches, valides et légitimes : visites de sites, auditions, lecture extensive de certaines publications et de documents produits pour l’évaluation. Cela n’exclut pas l’usage de mesures synthétiques de l’activité, notamment en matière de publications. Les évaluations se concluent généralement par un bilan qualitatif des forces et des faiblesses, et par des propositions (restructurations organisationnelles, politique d’emploi scientifique, investissement dans des équipements, définition des programmes de recherche, etc.). Ces analyses sont généralement diffusées auprès des seuls évalués. Enfin, les résultats s’accompagnent d’incitations ou de sanctions6.

• 7 Voir Lucas (2006) à propos du RaE britannique.
• 8 La Grande-Bretagne et l’Australie sont ici exemplaires : Barker (2007) ; Gläser et Laudel (2007).
• 9 Voir l’exemple du financement « à la performance » en place dans les Länder allemands ces dix derni (...)
• 10 Certains systèmes d’évaluation par indicateurs sont également des prescripteurs indirects. C’est le (...)

7Ces systèmes d’évaluation s’inscrivent généralement dans une conception de l’action publique fondée sur le nouveau management public. Les mécanismes marchands ou quasi-marchands, et en particulier la concurrence, y jouent un rôle important (Ferlie, Musselin et al., 2008). Par ailleurs, les tutelles « pilotent à distance » (De Boer, Enders et al., 2006) les opérateurs, fixant une stratégie globale mais leur laissant une grande autonomie pour définir et mettre en œuvre les politiques concrètes. Évaluation et réformes constituent ici des processus distincts. Les évaluateurs diffusent des connaissances comparables sur les performances relatives, en vue d’informer la prise de décision des opérateurs de recherche, de leurs compétiteurs et de leurs financeurs. Corollaire au primat de la comparaison, les connaissances peuvent être pauvres, et les exigences de validité peu élevées. Enfin, destinées à plusieurs parties prenantes, les évaluations ne sont pas nécessairement très légitimes auprès des collectivités scientifiques7. Dès lors, les évaluations compétitives reposent principalement sur des mesures, ce qui n’exclut pas le recours à certaines connaissances qualitatives. Le cas échéant, le recueil et la restitution des données suivent des procédures standardisées, gage de comparabilité des évaluations. Le résultat à l’évaluation conditionne directement le financement de la recherche dans certains pays8, tandis qu’il reste pratiquement sans conséquences dans d’autres9. Enfin, l’évaluation peut être indirectement prescriptive lorsqu’elle apporte des signaux à plusieurs parties prenantes (agences publiques, entreprises, étudiants, etc.). C’est le cas des notations et des classements réalisés par des agences, dont la prolifération structure par exemple le champ du management (Wedlin, 2006)10.

• 11 Cette étude comparative a été réalisée dans le cadre du contrat européen MEHEM (Mapping European Hi (...)

8Trois exemples11 européens illustrent l’opposition entre ces deux idéaux-types, ainsi que les emprunts qui conduisent éventuellement à des formes d’hybridation. Archétype d’un système compétitif, le Royaume-Uni s’est tout d’abord récemment rapproché d’un système intrusif. L’Italie a ensuite introduit un système compétitif inspiré de l’exemple britannique, mais aux conséquences plus limitées. Enfin, l’Allemagne présente la situation originale du développement parallèle de deux systèmes, l’un compétitif et l’autre intrusif.

• 12 Le RaE a été très étudié. Nous nous appuyons ici sur une publication récente (Martin et Whitley (20 (...)
• 13 University Grant Council, puis Universities Funding Council (1988), enfin Higher Education Funding (...)
• 14 Voir note précédente.

9Le RAE12 est introduit en 1986 dans un contexte de réduction des dépenses publiques et de développement du nouveau management public (Henkel, 1999). L’objectif explicite est de réallouer les budgets récurrents vers les entités les plus performantes. Le RAE est ainsi géré par l’instance gouvernementale chargée d’attribuer ces financements13. Six cycles d’évaluation ont été conduits (en 1986, 1989, 1992, 1996, 2001 et 2008) selon différentes méthodes. Les données évaluées ont changé : en 1986 les cinq meilleures publications des quatre dernières années ; en 1989 une à deux publications (au choix) par membre permanent ; en 1992 toutes les publications, avec possibilité d’inclure seulement les chercheurs considérés comme « actifs » ; enfin, depuis 1996, quatre publications maximum (au choix) par « chercheur actif ». Les évaluations sont conduites par environ 70 comités disciplinaires, dont le nombre et la composition sont du ressort des HEFC14. Depuis 2001, ces comités ont pour consigne d’évaluer la qualité des publications indépendamment de leur support (ouvrages, revues, actes de conférences, etc.), ce qui supposerait de les lire intégralement. En pratique, les standards nationaux ou internationaux, et notamment le classement ou la réputation des revues, orientent largement les jugements. Le prochain cycle d’évaluation (dénommé Research Evaluation Framework) introduira un changement majeur : dans les sciences pour l’ingénieur et les sciences exactes, l’évaluation par les pairs (jugée trop coûteuse) sera remplacée par une évaluation par indicateurs. Les résultats ont été restitués sous plusieurs formes : en 1986, notation sur une échelle en 4 catégories ; en 1989, notation sur une échelle de 1 à 5 ; en 1996, notation sur une échelle en 7 catégories et possibilité de noter des sous-unités (par exemple, les équipes d’un département). Un changement important intervient en 2008 : la note est remplacée par un « profil de qualité » (quality profile), qui précise la répartition des activités entre les différents niveaux de qualité. Par exemple, un département aura 15 % de la recherche de niveau « 4 étoiles » (« Qualité de niveau mondial en termes d’originalité, de pertinence et de rigueur »), 30 % de niveau 3 étoiles (qualité de niveau international), etc. Enfin, les conséquences des évaluations s’alourdissent. En 1989, 50 % des financements dédiés à la recherche sont attribués en fonction de la note obtenue, en 1992 ce pourcentage passe à 90 %. Les exercices successifs du RAE se caractérisent aussi par une concentration croissante des financements sur les unités les mieux évaluées, les plus mal évaluées n’obtenant plus de financement (Barker, 2007 ; Lucas, 2006 ; Henkel, 2000).

• 15 Comme une partie des financements dépend du nombre de chercheurs, exclure des « inactifs » augmente (...)

10Le RAE est emblématique des « systèmes d’évaluation compétitifs avec des conséquences fortes sur la recherche » (Martin et Whitley, 2010). Il instaure un jeu à somme nulle entre les universités, mais également entre les départements ou les équipes. Il produit des incitations très fortes aux restructurations organisationnelles (qui se sont traduites par des fermetures), à des stratégies de recrutement des meilleurs scientifiques, à la définition d’une politique scientifique claire, etc. (ibid.). Ce système compétitif produit et restitue des connaissances hautement comparables, bien que le remplacement en 2008 de la note unique par des « profils de qualité » diminue cette comparabilité. Les connaissances sont assez pauvres puisque limitées à une sélection de publications (avec un primat aux revues internationales) et à des indicateurs de rayonnement scientifique (distinctions, activités éditoriales, etc.). À présent, les profils de qualité apportent aux départements évalués une connaissance plus fine de leurs atouts et de leurs faiblesses que la note unique. L’actualité des connaissances est également limitée par l’espacement croissant des cycles d’évaluation (à présent tous les sept ans). Enfin, leur degré de validité, ainsi que leur légitimité portent à débats. Des observateurs avancent que le RAE impose une définition étroite et standardisée de la qualité, plus pertinente dans certains domaines : les sciences exactes, les approches les plus conventionnelles, les revues généralistes (mieux « cotées » que les revues spécialisées), les travaux disciplinaires. Ils justifient leurs interrogations sur la validité des connaissances par la forte sensibilité de la mesure à l’instrument. L’apprentissage des règles (privilégier les thèmes ou les approches qui se publient le « mieux », calculer le nombre optimal de chercheurs « actifs »15) expliquerait ainsi l’amélioration d’ensemble des scores au RAE, mesurée par la hausse de la proportion des chercheurs rattachés aux départements les mieux notés (23 % en 1992, 31 % en 1996 et 55 % en 2001 ; Martin et Whitley, 2010). La légitimité des données du RAE est enfin discutée. Si le principe d’évaluation par des comités disciplinaires est globalement légitime, la collecte et le traitement des données sont jugés très coûteux (pour les évaluateurs comme pour les unités évaluées). Surtout, le lien majeur entre résultats au RAE et financement de la recherche est très controversé. Certains observateurs soulignent que le RAE a amélioré la performance de la recherche britannique, mais d’autres insistent sur ses effets délétères : abandon des recherches moins rentables ; découragement des chercheurs jugés inactifs ; course à la publication aux dépens de l’enseignement ; renforcement du contrôle hiérarchique au mépris de la collégialité, etc. Plus globalement, le RAE est considéré comme emblématique d’une « ‘marchandisation’ du travail académique, le travail des académiques étant de plus en plus transformé en un bien dont le RAE détermine la valeur » (ibid., p. 20).

• 16 Cette partie s’appuie sur les principales publications en langue anglaise sur le VTR.
• 17 Source : <http://vtr2006.cineca.it/Final Report>.

11Le VTR16 représente une innovation institutionnelle (Minelli, Rebora et al., 2008) : il rompt en effet avec une approche bureaucratique de l’évaluation, centrée sur le respect de règles administratives. Conduit entre 2001 et 2003, le premier cycle d’évaluation a porté sur 77 universités et 25 institutions de recherche : il est ainsi trop tôt pour évaluer avec certitude ses effets sur le système de recherches italien. Comme le RAE, le VTR est un système d’évaluation centralisé, géré par une instance ministérielle, le Comité national pour l’évaluation de la recherche (CIVR). Il s’agit aussi d’une évaluation par les pairs à visée compétitive, instaurée pour informer l’attribution d’une partie des financements récurrents. Dans le détail, le RAE et le VTR diffèrent toutefois largement. Tout d’abord, le VTR a porté sur un large ensemble de « productions de recherche » (articles, livres, actes de colloque, brevets, etc.), complétées par différentes informations (mobilité internationale, formation à la recherche, projets et contrats de recherche, transfert technologique). Le nombre de « productions de recherche » par entité évaluée s’élève au plus à la moitié du personnel titulaire (en équivalents temps plein, les enseignants chercheurs comptant pour un demi équivalent temps plein). Les données à évaluer (au total, environ 17000) ont ensuite été transmises à 20 comités disciplinaires composés de 5 à 17 membres (selon le volume à évaluer). Ceux-ci ont été nommés par le CIVR, après un travail conjoint avec les collectivités scientifiques (appel à propositions pour obtenir des listes de membres possibles, définition des critères de sélection des membres, élaboration des règles générales de fonctionnement du VTR). Les comités ont désigné à leur tour plus de 6000 experts italiens et internationaux chargés de l’évaluation. Pour chaque production de recherche, les experts ont rédigé une appréciation qualitative et attribué une note (excellent, bon, acceptable, insuffisant) en tenant compte de quatre dimensions (qualité, pertinence, originalité ou innovation, portée internationale). Les comités disciplinaires ont synthétisé les évaluations et produit un rapport en trois parties : un jugement final sur l’entité évaluée (consensus report) ; une note par entité évaluée et par domaine disciplinaire (area ranking list : une production de recherche « excellente » compte pour 1 point, une « bonne » pour 0,8, « acceptable » pour 0,6 et « insuffisante » pour 0,2) ; enfin un rapport (aera final report) indiquant les points forts et les points faibles. Par ailleurs, le CIVR a calculé un indice d’excellence (proportion de productions excellentes) et a établi des bilans par secteur disciplinaire. Tous les résultats par établissement et par discipline sont publiés sur son site. En revanche, les données individuelles ne sont pas publiques. Enfin, il est prévu d’attribuer 30 % du budget recherche en fonction des résultats au VTR17 : la notation de la qualité doit peser pour plus de la moitié dans le calcul ; viennent ensuite les données complémentaires rassemblées dans le consensus report. Toutefois, l’application de cette règle est encore incertaine.

• 18 Idem.

12Le VTR peut être qualifié de système d’évaluation compétitif aux conséquences intermédiaires : il encourage en effet, comme le RAE, la compétition entre établissements et entre départements (Minelli et al., 2008). Par ailleurs, il se rapproche par certains aspects des systèmes d’évaluation intrusifs : en particulier, le aera final report fournit des recommandations détaillées. La notation des productions de recherche et l’attribution de notes globales assurent la forte comparabilité des connaissances produites. Les données évaluées sont par ailleurs plus riches que celles du RAE, et incluent une large gamme de productions de recherche et une connaissance fine des « entrants » à l’activité. Les observateurs attribuent une validité élevée aux connaissances mobilisées et produites. Ils soulignent notamment que le CIVR (comité national pour l’évaluation de la recherche) n’a pas imposé de définition standardisée de la qualité, « la qualité scientifique étant ce que les comités [NB disciplinaires] décident qu’elle soit » (Minelli et al., 2008). L’« excellence » est ainsi une appréciation relative, réservée aux productions de recherche se situant « dans les 20 % les mieux évalués selon une échelle de valeur partagée par la communauté scientifique internationale »18. Des auteurs apprécient cette validité à l’absence d’effet Saint Matthieu (Merton, 1973), autrement dit à la faible sensibilité de l’évaluation à la réputation des universités ou des départements (Reale, Barbara et al., 2006). Des artefacts sont toutefois relevés, et notamment la sensibilité des résultats à certains choix stratégiques : en choisissant de soumettre à évaluation un petit nombre de productions de recherche, les universités accroissent leurs chances d’obtenir un fort pourcentage de productions excellentes. Enfin, les données du VTR sont assez légitimes auprès des collectivités scientifiques. Les chercheurs soutiennent l’absence de standardisation des critères de qualité, le choix des productions de recherche soumises à évaluation, enfin leur participation au choix des experts, à la définition des critères et des procédures. De ce fait, les scientifiques ont vu dans le VTR le prolongement aux exercices d’évaluation coutumiers dans la profession (Minelli, Rebora et al., 2008). L’absence de lien avéré entre le premier VTR et les décisions budgétaires a certainement accru la légitimité de l’exercice.

• 19 Pour des analyses de cette dimension compétitive voir Bleiklie et Lange (2010) ; Lange et Krücken ( (...)

13Introduite en 2004 par le gouvernement fédéral, l’initiative pour l’excellence (EI) vise à lutter contre deux faiblesses apparentes de la recherche allemande : son éclatement entre universités et institutions non universitaires, la faible visibilité internationale de la recherche universitaire (reflétée par la place des universités allemandes dans les classements internationaux). L’EI est un outil pour ramener la recherche dans des universités considérées comme le « centre organisationnel de la science » (Strohschneider, 2009). Le dispositif repose sur l’allocation, entre 2006 et 2011, d’1,9 milliards d’euros vers des universités dites « d’élite ». L’EI instaure clairement un système d’évaluation compétitif, aux conséquences intermédiaires sur la recherche allemande. Les fonds s’ajoutent aux financements récurrents et sont attribués à l’issue d’une compétition entre les projets présentés par les universités19. Issu d’un compromis entre le gouvernement fédéral et les Länder, le dispositif respecte les prérogatives de ces derniers en matière de gouvernement des universités. En 2007 et 2008, les appels à projets ont concerné trois grands domaines : les écoles doctorales ; la recherche, avec comme cible la recherche reconnue à l’échelle internationale, les programmes pluridisciplinaires et la collaboration entre universités, institutions de recherche (instituts Max-Planck, Fraunhofer, Helmholtz, et Leibniz), écoles (Fachhochschulen) et entreprises ; enfin, les plans de développement. Particulièrement médiatisé, ce dernier domaine doit permettre aux universités de s’élever au rang des établissements les plus prestigieux à l’international. Les projets relatifs aux écoles doctorales et à la recherche ont été évalués par la Deutsche Forschungsgemeinschaft (DFG, principale agence publique de financement de la recherche), tandis que le Conseil de la science (Wissenschaftsrat, WR, instance consultative sur la politique scientifique auprès du gouvernement fédéral, des Länder et de la communauté scientifique) a évalué les plans de développement. La DFG et le WR ont constitué des comités d’experts composés en moyenne de 60 % de membres étrangers. Les décisions finales d’attribution des financements ont été prises par un jury composé de représentants du gouvernement fédéral et des Länder. Ce jury a largement entériné les décisions des comités d’experts relatifs aux écoles doctorales et à la recherche, et n’a exercé une marge de manœuvre que pour les plans de développement des universités. Les financements se sont élevés à 44,7 millions d’euros par an attribués à 39 écoles doctorales ; 235,9 millions d’euros par an à 37 « clusters d’excellence » ; enfin 131,1 millions d’euros par an à neuf universités « d’élite ». Le gouvernement fédéral et les Länder ont récemment conclu un accord pour une seconde EI à conduire de 2012 à 2017 avec un budget de 2,7 milliards d’euros. Les résultats de la première campagne sont d’ores et déjà notables, en particulier le rapprochement des universités et des institutions de recherche au sein des écoles doctorales et des clusters d’excellence. Dans un cas, l’EI a même suscité la fusion d’une université et d’un centre de recherche (création de l’Institut technologique de Karlsruhe, issu de l’université technologique et du centre Helmholtz). Plus généralement, même les universités non sélectionnées ont cherché à renforcer leurs liens avec les centres de recherche, de telles collaborations devenant un atout décisif pour obtenir des financements.