1. Introduction

2Il est vrai que l’évaluation des dispositifs est longtemps restée une pratique faiblement répandue en France et souvent considérée avec suspicion (Duru-Bellat & Jarousse, 2001). La mise en place de l’évaluation, quel que soit son domaine d’application, a dû faire face à de nombreux obstacles de nature socio-politique, administrative ou technique (Nioche, 1982). Il n’est donc pas surprenant que les pratiques d’évaluation aient mis du temps à se diffuser. Néanmoins, ce processus semble s’être accéléré ces dernières années et la place occupée par l’évaluation dans l’ensemble des activités des établissements, des enseignants et des chercheurs ou dans les politiques de l’enseignement supérieur, n’a cessé de se renforcer (Fave-Bonnet, 2010). L’évaluation constitue, à la base, un outil de transparence légitime de la part des agents de la fonction publique. Elle est rendue incontournable dans un contexte de ressources raréfiées. L’évaluation apparaît alors comme une contrepartie nécessaire au renforcement de l’autonomie des établissements dans le sens où elle doit faciliter l’appréciation de leur capacité à atteindre les objectifs stratégiques qu’ils se sont fixés (Belloc, 2003). En signant la Déclaration de Bologne, le 19 juin 1999, la France s’est inscrite dans une coopération avec les autres états en matière d’assurance qualité. Ces différentes évolutions ont indéniablement renforcé la place de l’évaluation. Il reste que cette « fièvre de l’évaluation » qui a conduit à un usage massif et faiblement régulé des démarches évaluatives porte en elle de nombreux risques de dérives (Hadji, 2012).

3En l’absence de travaux antérieurs sur l’évaluation des IUT, nous consacrons la première partie de cet article à la manière dont la démarche s’est inspirée des pratiques existantes tout en préservant une certaine spécificité liée au caractère original des IUT. Nous nous intéressons, dans une deuxième partie, au processus d’évaluation élaboré à l’intention des IUT au début des années 2000. Nous soulignons le rôle des différents acteurs qui ont pris part à sa conception et qui la font vivre depuis une quinzaine d’année. Enfin, dans une troisième partie, nous proposons une analyse des forces et des faiblesses du dispositif en vigueur et nous tentons d’explorer les axes de progrès envisageables.

2. Un dispositif progressivement structuré mais jamais évalué

4Comment les IUT sont-ils passés d’une évaluation rare, aléatoire et disparate à un dispositif systématique et fortement institué ? Quels sont les principes fondamentaux qui ont présidé à l’élaboration de la démarche conçue pour les IUT ? Quelles en ont été les principales inspirations ? De quelle manière la spécificité du dispositif IUT a-t-elle été prise en considération à cette occasion ? Quelle a été l’implication des acteurs du réseau des IUT ? Plusieurs ressources ont été mobilisées pour répondre à cette série de questions. Les rapports du comité national d’évaluation (CNE) nous ont éclairé sur la place réservée aux IUT dans le dispositif d’évaluation des universités jusqu’à la fin des années 90. Plusieurs textes législatifs nous ont renseigné sur les missions confiées aux commissions nationales chargées de l’évaluation des IUT à partir des années 2000. Cette exploration a été complétée par un rappel des caractéristiques spécifiques du dispositif IUT ainsi que par une présentation des acteurs du réseau des IUT. Nous distinguons à cette occasion les acteurs du « réseau institutionnel des IUT » et les acteurs du « réseau associatif des IUT » dont la complémentarité a joué un rôle important pour la diffusion des démarches évaluatives. Enfin, ont été mis à contribution les circulaires du ministère, les documents de travail confiés aux équipes locales pour réaliser une auto-évaluation de leur composante ainsi que les documents destinés à consigner les synthèses des expertises et les avis formulés par les commissions nationales.

5La présentation de l’élaboration du dispositif d’évaluation des IUT et de leurs départements est prolongée par un examen de celui-ci. Le dispositif mis en place pour les IUT a-t-il permis d’atteindre les objectifs pour lesquels il avait été conçu à l’origine ? Dans quelle mesure a-t-il permis une amélioration des pratiques de la part des équipes d’animation des IUT ? A-t-il favorisé une meilleure prise en compte des IUT dans les projets de contractualisation de leur université ? Enfin, ce dispositif a-t-il été capable d’échapper aux dérives fréquemment dénoncées concernant l’évaluation ? Cette analyse des forces et des faiblesses du dispositif a été nourrie par la lecture de documents produits par les équipes locales faisant l’objet de l’évaluation et par les expertises réalisées par la commission consultative nationale (CCN) des IUT et les commissions pédagogiques nationales de spécialité (CPN). Elle a été complétée par des témoignages émanant d’acteurs de l’évaluation : représentants de la DGESIP, de l’assemblée des directeurs d’IUT (ADIUT) et de l’union nationale des présidents d’IUT (UNPIUT), experts de la CCN et des CPN, responsables d’IUT et de départements... Elle a également été alimentée par une expérience d’une dizaine d’années à la direction d’un IUT, incluant le pilotage local de trois évaluations, une participation à de nombreuses expertises pour le compte de la commission pédagogique nationale du diplôme universitaire de technologie (DUT) Gestion Logistique et Transport, puis pour le compte de la CCN des IUT et des engagements nationaux illustrés par l’animation de la commission alternance et insertion professionnelle de l’ADIUT et par le pilotage national des enquêtes sur le devenir des diplômés de DUT.

3. De l’évaluation des politiques publiques à l’évaluation des universités françaises

7Le dispositif d’évaluation mis en place pour les IUT s’inscrit dans un prolongement naturel des démarches évaluatives initiées pour les universités. Ces démarches ont été marquées par la montée progressive de l’évaluation publique dont l’émergence de la Loi organique relative aux lois de finance (LOLF) constitue une étape importante. Elles ont été renforcées par la volonté de développement des collaborations européennes dans l’enseignement supérieur et la montée en puissance des démarches qualité qui l’ont accompagnée.

3.1. La montée en puissance de l’évaluation publique

8Les années 60 sont marquées par plusieurs réformes et tentatives de modernisation inachevées du secteur public comme le planning programming budgeting system aux Etats-Unis ou la rationalisation des choix budgétaires (RCB) en France. La RCB traduit une tentative d’éclairage des choix publics et vise à améliorer la procédure budgétaire par une mise sur pied de budgets de programmes doublant le budget classique en offrant une présentation des crédits par programme dotés chacun d’objectifs et d’indicateurs (Gibert, 2008). La RCB privilégie des méthodes d’évaluation a priori ou ex ante des programmes d’action publique, se focalisant, une fois les objectifs des projets définis, sur leur évaluation par le biais d’études coûts-bénéfice ou coûts-efficacité (Amar & Berthier, 2007). Une prise en compte insuffisante du contexte politique, un manque de transparence et de collaboration entre le ministère des finances et les autres ministères, ajoutées aux ruptures macroéconomiques successives de 1975 et 1982 expliquent son échec (Perret, 2006). La plupart des pays vont alors se lancer dans le new management public, adaptant au secteur public des méthodes de management traditionnellement réservées au secteur privé et s’efforçant d’atténuer les divergences et le cloisonnement de gestion entre ces deux secteurs. La France, pour sa part, n’entreprendra ce virage que bien plus tard. Les réflexions engagées par son administration au cours des années 1984-1986, alimentées et prolongées par divers travaux vont déboucher sur la circulaire du 23 février 1989 relative au renouveau du service public. Celui-ci substitue à une « logique de procédure », une « logique de responsabilité », visant à assurer un meilleur suivi matériel des politiques en maîtrisant davantage leurs effets. Cette politique cherche également à donner au public l’image d’une plus grande rationalité de l’action administrative tout en accroissant la motivation et la mobilisation des fonctionnaires (Rangeon, 1993). La forte dépendance des instances qui accompagneront sa mise en place (comité interministériel de l’évaluation, conseil scientifique de l’évaluation, conseil national d’évaluation…) à l’égard des aléas politiques constituera cependant l’une de ses principales difficultés (Lascoumes & Varone, 2006).

9C’est finalement avec l’introduction de la LOLF, promulguée le 1^er août 2001, que la France entre dans un processus de convergence avec les pratiques budgétaires de nombreux états de l’Organisation de coopération et de développement économique. Son objectif principal réside dans la recherche d’un meilleur pilotage des dépenses publiques et dans une responsabilité accrue de ses gestionnaires. La LOLF propose une nouvelle architecture du budget de l'Etat segmenté en 34 missions interministérielles ou ministérielles, 132 programmes qui regroupent les crédits destinés à mettre en œuvre une action ou un ensemble cohérent d’actions relevant d’un même ministère et 580 actions qui détaillent les finalités des politiques publiques et qui identifient la destination de la dépense. Cette réforme vise également au renfort du rôle du parlement qui examine la totalité du budget et procède à un vote pour chacune des missions. Dans le même temps, la LOLF impose aux administrations de déterminer les objectifs et les programmes à partir desquels leur seront attribués les crédits budgétaires, offrant une plus grande marge de liberté aux 132 responsables de programmes dans la gestion des moyens qui leur sont alloués. Chaque responsable de programme définit stratégies, objectifs et indicateurs de performance, relatifs aux politiques publiques dont il a la charge. Cette mesure de la performance est introduite par les articles 51 et 54 de la LOLF qui prévoient pour chaque programme, des projets annuels de performances annexés aux projets de loi de finances initiaux et des rapports annuels de performances, annexés aux projets de loi de règlement qui clôturent l’exercice budgétaire. Les gestionnaires peuvent, au sein d’un programme, réaffecter les crédits (principe de fongibilité) comme bon leur semble avec toutefois l’impossibilité d’augmenter les crédits consacrés au personnel. Des indicateurs de résultat et de qualité évaluent les programmes, ce qui permet de justifier ou d’ajuster les sommes affectées aux différentes missions. Le texte de loi accorde ainsi une place explicite à l’évaluation des performances en lui donnant une valeur constitutionnelle (Lascoumes & Varone, 2006).

10Ces différentes évolutions favorisent l’émergence progressive de l’évaluation des universités et par conséquent de ses composantes, accordant une part prépondérante à la définition des objectifs et à la capacité des établissements à les atteindre.

3.2. L’évaluation progressive des universités françaises

11Si les universités n’ont pas échappé au souci grandissant de l’évaluation des politiques publiques, il faut néanmoins attendre le milieu des années 80 pour assister à une généralisation de la démarche et le début des années 90 pour assister au véritable essor de l’évaluation dans les universités en Europe (Fave-Bonnet, 2003).

12La loi du 26 janvier 1984 sur l’enseignement supérieur institue la création d’une autorité administrative indépendante, le CNE des établissements publics à caractère scientifique, culturel et professionnel. Une évaluation institutionnelle systématisée de chaque établissement remplace alors les traditionnelles évaluations « au coup par coup » (Némitz, 1993). La démarche d’évaluation portée par le CNE (2006) prévoit trois temps forts : 1) l’évaluation interne de l’établissement, 2) son évaluation externe, et 3) la rédaction d’un rapport final. En marge de ces travaux d’évaluation, le CNE engage régulièrement des réflexions thématiques et réalise des évaluations disciplinaires. Chaque année, il adresse un rapport au Président de la République. Les années impaires, ce rapport présente les conclusions des commissions et des groupes de travail qu’il institue pour éclairer telle ou telle grande question qui se pose à l’enseignement supérieur en France (CNE, 1992). En 20 ans, le CNE a affiné ses méthodes et ses outils et a abouti, en 2003, à la publication du Livre des références : les références de l'assurance de la qualité dans les établissements d'enseignement supérieur, afin d’aider les établissements dans leur auto-évaluation (Fave-Bonnet, 2007).

13La politique contractuelle entre l’Etat et les établissements d’enseignement supérieur, d'abord consacrée à la recherche, puis à l'ensemble des activités des universités, les appels à projets européens ou encore la contractualisation entre les régions et les universités vont constituer autant d’occasion de renforcer la place de l’évaluation. Deux événements vont toutefois jouer un rôle prépondérant sur cette question au cours des années 2000 : la mise en place de la LOLF prolongée par l’instauration de la Loi liberté et responsabilités des universités (LRU), d’une part, et l’émergence du processus de Bologne et la montée en puissance des démarches qualité, d’autre part.

14La diffusion des pratiques initiées par la LOLF conduit, dans l’enseignement supérieur, à une phase expérimentale organisée dès 2004 et étendue à l’ensemble des établissements pour les budgets 2006 et 2007 (Billon, Dizambourg, Gille & Védrine, 2007). La Mission recherche et enseignement supérieur finance l’essentiel de la mise en œuvre des politiques publiques dans le domaine de l’enseignement supérieur et de la recherche. Elle se décline en une douzaine de programmes dont les programmes 150 (formations supérieures et recherche universitaire) et 231 (vie étudiante). Chaque programme se compose d’une série d’objectifs. La prise en compte de la performance lors de la détermination des moyens accordés aux universités françaises est renforcée par l’émergence d’un nouveau modèle d’allocation des moyens, qui remplace le modèle système analytique de répartition des moyens utilisé depuis 1994. Le nouveau système de répartition des moyens à la performance et à l’activité distingue, parmi les crédits alloués aux universités, deux enveloppes principales consacrées à l’enseignement, d’une part, et à la recherche, d’autre part. Chacune de ces enveloppes se compose de deux parties : la première dédiée à l’activité (80 %), la seconde à la performance (20 %).

15Le processus de Bologne constitue, quant à lui, un engagement à construire un espace européen de l'enseignement supérieur favorisant la reconnaissance internationale des diplômes et la mobilité des étudiants et des enseignants. Il repose sur un cadre commun construit autour de trois idées clés : 1) une organisation des études en trois cycles (Licence-Master-Doctorat), 2) des outils de reconnaissance académiques et professionnels (European Credit Transfert System, cadre de certification, suppléments aux diplômes…), et 3) la mise en place d’un système d’assurance qualité sur la base d’un référentiel commun : le European Standards and Guidelines. La conférence ministérielle de Prague, en 2001, est l’occasion pour les ministres responsables de l’enseignement supérieur d’encourager une coopération renforcée et une reconnaissance mutuelle des systèmes nationaux de garantie de la qualité. La conférence de Berlin, en 2003, confirme cette direction tout en soulignant que cette garantie de la qualité incombe à chaque établissement. Le réseau européen pour la garantie de la qualité dans l’enseignement supérieur est chargé de mettre au point, en coopération, avec l’European University Association, l’European association of Higher Education Institutions et le National Unions of Students in Europe, une série de références, de procédures et de lignes d’orientation qui puissent garantir un consensus. La conférence de Bergen, en 2005, les valide. Un forum annuel sur la garantie de la qualité, initié en 2006, et un registre d’agences chargées de la garantie de la qualité, créé en 2008, complètent le dispositif européen.

16Les perspectives aussi bien nationales qu’internationales ont changé et les institutions d’évaluation ont dû s’adapter à de nouvelles réalités. Le CNE va s’efforcer de participer à ces transformations. Mais la tentative de modernisation de l’ancien CNE n’aura pas le succès escompté et l’idée de confier à un organisme unique l’évaluation des activités de l’enseignement supérieur et de la recherche va finalement l’emporter (Macarie-Floréa, 2010). Cette recherche d’une simplification des dispositifs d’évaluation et le rôle participatif dans la contractualisation entre le ministère et les établissements conduit à la création, le 18 avril 2006, de l’agence d’évaluation de la recherche et de l’enseignement (AERES) par regroupement du CNE avec le comité national d’évaluation de la recherche et la mission scientifique technique et pédagogique. Sans avoir le statut d’agence d’accréditation, ce rôle étant en France dévolu à l’Etat, l’AERES constitue un maillon intermédiaire dans la négociation contractuelle, par les avis qu’elle formule à l’égard des établissements, et sur lequel le ministère peut s’appuyer pour leur accorder l’habilitation. L’évaluation n’est plus centrée sur les processus que les établissements mettent en œuvre, mais sur les résultats qu’ils obtiennent et donc leur performance au sens où l’entend la LOLF. Les résultats ont, plus qu’auparavant, une vocation d’aide à la décision (Cytermann, 2010). Les référentiels d’évaluation des établissements et des formations ainsi que des structures de recherche de l’AERES s’appuyent sur les références européennes pour le management de la qualité. Le 13 décembre 2007, le conseil de l’agence valide la charte de l’évaluation qui énonce un ensemble de principes fondamentaux chargés de garantir la qualité de l’évaluation. L’évaluation par les pairs, l’analyse des stratégies basée sur un nombre de mesures et d’indicateurs qui rendent compte des résultats des différentes actions de l’établissement au niveau local, national et international, le principe de débat contradictoire avec l’établissement évalué et la publicité des résultats en constituent les principaux éléments. En 2011, l’AERES sera inscrite au registre européen (European Quality Assurance Registrer).

17Pourtant, dans le prolongement des assises de l’enseignement supérieur qui se sont déroulées de juillet à novembre 2012, plusieurs voix s’élèvent pour remettre en cause le dispositif d’évaluation piloté par l’AERES (Académie des sciences, 2012 ; Berger, 2012 ; Le Déaut, 2013) dénonçant tour à tour l’extrême lourdeur administrative, la complexité des documents qu’elle invite à produire, le montant élevé de son budget de fonctionnement, l’inefficacité du résultat produit, les modalités de notation… Sur la base de ces critiques, le protocole a été assoupli, avec des indicateurs moins normés et une tonalité générale moins prescriptive. Mais considérant les critiques, de simples ajustements ne suffisent pas (Endrizzi, 2014). En conséquence, la loi n° 2013-660 du 22 juillet 2013 relative à l’enseignement supérieur et à la recherche substitue à l’AERES, le haut conseil de l’évaluation de la recherche et de l’enseignement supérieur. L’une des principales conséquences repose sur l’idée d’accréditer les établissements qui devront faire la preuve de leur capacité à gérer l’auto-évaluation interne.

18Evaluation par les pairs, élaboration d’indicateurs destinés à mesurer les actions engagées, confrontation avec les acteurs de terrain constitueront autant d’éléments mobilisés pour définir le processus d’évaluation des IUT.

4. Le développement progressif de l’évaluation en IUT

19Le dispositif imaginé pour évaluer les IUT et les DUT s’inspire de certaines orientations qui ont marqué le développement de l’évaluation des universités tout en prenant en compte la singularité de leur composante technologique.

4.1. Le cadre initial de création des IUT

20La création des IUT, au milieu des années 60, vise à répondre à plusieurs défis posés à la société française : la gestion des flux résultant d’une première massification des entrants dans l’enseignement supérieur, un niveau et une persistance des taux élevés d'insuccès parmi les inscrits en facultés, et enfin les besoins exprimés par les entreprises en matière de relève de la maîtrise, des cadres et des ingénieurs « maison ». Pour relever ces défis, plusieurs réformes de structure ont été envisagées sous la responsabilité du ministre de l’éducation nationale (Bernard, 1995). Un groupe de travail, la « Commission des Dix-Huit », est chargé de formuler des propositions à la fois sur l’amont et l’aval du baccalauréat, et une sous-commission est chargée d’imaginer une nouvelle structure administrative et pédagogique susceptible d’accueillir les nouveaux bacheliers. La commission siège de janvier à juin 1965 sur un projet d’instituts de formation supérieure technique (IFTS) dégageant trois idées majeures : 1) l'orientation des étudiants, soit vers les IFTS soit vers la faculté, sera réalisée au niveau du baccalauréat, 2) les IFTS assureront une formation technique supérieure, et 3) l'enseignement dispensé, d'une durée de deux ans, sera plus concret que celui des facultés. Parmi les pistes explorées, il est même envisagé que les IFTS soient des établissements autonomes intégrant une troisième année. Le principe de leur création est adopté en conseil des ministres, le 9 septembre 1965. Recourant au décret du 31 juillet 1920 pour créer les IUT qui vont se substituer finalement aux IFTS, les responsables de l’époque affirment, au final, que ces établissements sont partie intégrante de l’université (Bernard, 1995). Les IUT sont créés par le décret organique du 7 janvier 1966 lequel précise les grandes lignes de ce nouveau dispositif. Les textes qui suivront confirmeront le caractère original de ces instituts. Composantes des universités, les IUT bénéficient d’une autonomie de gestion importante. Pilotés par un conseil d’institut composé d’une proportion significative de membres extérieurs à l’université, ils sont présidés par un représentant du monde économique. Le diplôme qui les structure est le DUT, décliné en une vingtaine de spécialités. Chaque spécialité dispose d’un référentiel national de formation associant disciplines transversales et disciplines spécialisées, proposant une diversité de formes pédagogiques (cours magistraux, travaux dirigés, travaux pratiques) et garantissant une ouverture professionnelle progressivement réaffirmée (projets tuteurés, stages, accompagnement au projet personnel et professionnel). La composition des équipes pédagogiques repose sur une mixité des intervenants (enseignants-chercheurs, enseignants du second degré, personnels associés à statut temporaire, vacataires professionnels…) et une forte implication de leur part dans les tâches collectives (direction, responsabilité de diplômes, responsabilité de stages ou des relations avec les milieux professionnels…).

21Le développement des IUT n’est pas linéaire. Deux périodes assez courtes vont largement contribuer à leur constitution du dispositif. La première période, de 1966 à 1970, correspond aux années de son lancement, les années 1991 à 1997 à la mise en place du Plan Université 2000. Notons que 63 % des IUT, 80 % des spécialités qu’ils proposent et 60 % des départements qui les composent seront ouverts durant ces deux périodes qui correspondent à deux périodes de massification des entrants dans le supérieur. La seconde période bénéficie toutefois d’un engagement sans précédent des collectivités locales, dans le prolongement des lois de décentralisation et des premiers contrats de plans état-régions qui prendront une part prépondérante dans le financement des investissements dédiés aux universités (Marchand & Gravot, 1999). Les deux autres périodes, bien que plus longues, n’auront qu’une contribution modeste à l’essor du dispositif. Mais les IUT vont aussi progressivement diversifier leur offre de formation, passant d’un mono-produit, le DUT en formation initiale, à la construction de voies alternatives : formation continue, années spéciales permettant l’obtention d’un DUT en un an pour les candidats déjà titulaires d’un diplôme à « bac+2 », alternance sous contrat salarié, diplôme national de technologie spécialisée, diplôme d'université d'études technologiques internationales, diplôme universitaire de stage technologique international, validation des acquis de l’expérience... A partir de l’année 2000, les IUT vont renforcer significativement leur offre de formation en participant très activement à l’émergence, puis au pilotage des licences professionnelles. Les IUT ont accueilli 30 623 étudiants en licence professionnelle en 2012-2013, soit plus de 60 % de l’ensemble des inscrits dans ce diplôme (RERS, 2013).

4.2. Le double pilotage des IUT

22Evoquer le réseau des IUT nécessite de faire la distinction entre un « réseau institutionnel » porté par les commissions nationales dont les actions sont encadrées par des textes de loi et un « réseau associatif » construit autour de l’ADIUT, de l’UNPIUT et des responsables des départements de formation et ayant pour vocation la mutualisation et la capitalisation des expériences individuelles des instituts. On ne peut comprendre la manière dont l’évaluation a été organisée sans connaître les rôles respectifs de ces réseaux.

24Afin de lutter contre l’échec constaté dans les premiers cycles universitaires au début des années 60, la création des IUT s’accompagne d’importantes réflexions sur les orientations pédagogiques nouvelles pouvant contribuer à y remédier. A cet effet, la Direction de l’enseignement supérieur lance un programme de recherches pédagogiques sur les méthodes d’enseignement dans ses nouveaux instituts (Laot, 2010). L’Institut national pour la formation des adultes de Nancy se voit confier l’organisation des quatre premiers colloques sur l’enseignement des méthodes d’expression en français et en langue étrangère, les méthodes permettant l’homogénéisation des étudiants issus de diverses origines, l’enseignement des mathématiques dans les spécialités secondaires et la formation des adultes dans les IUT. Ces manifestations ont sans doute participé au développement d’une identité collective et d’une recherche de mutualisation qui va accompagner le développement progressif des IUT et se renforcer avec le temps. Parallèlement à la structuration de la CCN et des CPN, de nouvelles instances vont ainsi émerger prenant la forme d’associations de type loi 1901 et favorisant la constitution progressive d’un réseau national. L'ADIUT et l’UNPIUT constituent les interlocuteurs privilégiés du ministère, de la Conférence des présidents d'université (CPU) et des organisations professionnelles et syndicales. L’ADIUT contribue au pilotage du réseau des IUT à travers l’activité de son bureau et de ses nombreuses commissions. Animées par des enseignants et des personnels administratifs des IUT, celles-ci couvrent des domaines d’activités aussi variés que les relations internationales, la recherche, l’innovation et le transfert de technologie, le pilotage, statistiques et moyens, la pédagogie, la vie étudiante, la formation continue et l’alternance, la communication… L’UNPIUT, pour sa part, favorise la confrontation des expériences, veille au respect de la loi et des règlements et participe au rayonnement des IUT grâce à une coopération étroite avec l’ADIUT. Enfin, les assemblées de chefs de départements réunissent régulièrement les responsables des départements d’une même spécialité. Ces réunions permettent d’échanger sur les pratiques et de diffuser les expérimentations les plus intéressantes. Elles sont également l’occasion d’engager des projets collectifs (enquêtes métiers, concours, séminaires d’études…). Elles constituent pour les nouveaux responsables une source d’information précieuse et contribuent indéniablement à l’homogénéité du dispositif. Elles sont un partenaire précieux pour les CPN et offrent pour les personnels des IUT un vecteur de communication complémentaire de celui des directeurs.

4.3. L’absence d’évaluation généralisée avant 2000

26Nous avons prolongé ce travail par l’exploration de sept rapports annuels adressés aux présidents de la République (1992, 1994, 1995, 1996, 1999, 2002 et 2004). Le premier constat se confirme. Les sujets relatifs aux IUT restent relativement marginaux. Les thèmes traités sont en nombre limité à l’exception de la question du recrutement qui revient fréquemment pour mettre en évidence la prédilection des IUT pour les bacheliers généraux. Les propos tenus restent souvent généraux et ne sont pas éclairés par des comparaisons locales. La difficulté à développer des activités de recherche constitue un autre centre d’intérêt pour certains rapports, qu’il s’agisse d’enseignants-chercheurs en poste dans des antennes délocalisées ou des agrégés de l’enseignement secondaire ne pouvant accéder à des emplois de maîtres de conférences. Concernant la professionnalisation des IUT, les rapports se révèlent plus discrets, sauf à déplorer régulièrement l’absence d’enquêtes de suivi des diplômés. Quant aux licences professionnelles, diplôme largement développé et porté par les IUT, les rapports insistent plutôt sur les risques quant à la confusion que peuvent ajouter ces nouveaux diplômes au dispositif pédagogique des universités en raison de leur « caractère foisonnant » et de la tendance inflationniste des projets.

27Les IUT ne sont donc pas absents des évaluations consacrées aux universités, mais l’analyse de ces composantes mérite sans doute d’être renforcée et affinée au regard de la diversité des réalités locales, ce que devrait permettre une évaluation individuelle systématique de ces composantes. Au-delà de l’examen hétérogène des IUT se pose la question de leur intégration dans la stratégie contractuelle des universités. Cette situation va fournir un argument au ministère pour favoriser une généralisation de l’évaluation à tous les IUT.

4.4. Vers une évaluation systématique des IUT

28A la fin de l’année 2001, la directrice des enseignements supérieurs adresse un courrier aux directeurs des IUT les informant de la mise en place d’un dispositif d’évaluation dont la première campagne s’étendra sur quatre ans. Le courrier insiste sur le souhait du ministère de mettre fin à une singularité des IUT qui voulait que l’habilitation d’une formation soit concomitante à l’ouverture d’un département et considérée comme définitive. Le courrier indique également une volonté de meilleure prise en compte de la composante IUT dans la définition de la politique contractuelle des universités. Enfin, au-delà de l’examen des situations locales, elle espère que les travaux engagés permettront d’apporter des éclairages utiles pour le pilotage national du dispositif IUT. Plusieurs principes vont guider la mise en place du nouveau dispositif. Les évaluations seront récurrentes et calées sur la contractualisation des universités. Elles seront toutefois réalisées un an avant celle-ci afin que les enseignements tirés de l’évaluation des IUT et les projets portés par leurs équipes puissent trouver leur place dans le projet d’établissement. Le ministère décide de confier le pilotage de l’évaluation à la CCN, celle-ci devant s’appuyer sur les expertises des CPN pour ce qui est des départements d’IUT. La procédure retenue s’inspire du schéma mis en place par le CNE et conforme aux directives européennes. Une évaluation interne prévoit la constitution d’un dossier par IUT, intégrant des sous-dossiers pour chaque département. Le Cahier d’analyse, à destination des IUT, présent dans le guide du CNE (2001) est largement enrichi. Un complément ultérieur consistera à établir un lien entre les différentes rubriques du rapport devant être rédigé par le directeur de l’IUT et les objectifs tels qu’ils sont mentionnés dans le projet annuel de performance des LOLF. Les objectifs qui relèvent des deux programmes mentionnés préalablement, les programmes 150 et 231, sont ainsi mis en perspective avec les thèmes traités dans le dossier. Les rapports produits par les directeurs d’IUT et les chefs de département comprennent trois parties principales : 1) un examen rapide des forces et des faiblesses de l’IUT ou du département, 2) un bilan exhaustif des quatre dernières années de fonctionnement, dont la présentation se doit de respecter une série précise d’items, et 3) quelques pages de prospectives précisant les principaux objectifs que se fixe la composante pour la nouvelle période contractuelle. Ces rapports sont alimentés par les données collectées en local et qui alimentent les tableaux dont la structure est définie nationalement et qui couvrent plusieurs thématiques (offre de formation, pédagogie, patrimoine, gestion…). Une fois validés par les différents conseils de l’université (conseil d’institut, conseil de la formation et de la vie étudiante, conseil d’administration), les documents définitifs sont transmis au ministère. Le processus est illustré à la figure 1.

29Les services du ministère mettent les différents documents à la disposition des membres des commissions nationales. Chaque commission désigne des experts chargés d’examiner les rapports. Cet examen des rapports précède des visites d’experts sur le terrain à la rencontre des différents acteurs : équipes de direction de l’université, équipes de direction de l’IUT, équipes pédagogiques, étudiants, représentants des services communs, partenaires issus du monde économique… Le principe le plus souvent admis consiste à former des binômes d’experts composés d’un universitaire et d’un représentant du monde économique. Ceux-ci organisent le déroulement des visites en concertation avec les responsables locaux. Les expertises des CPN sont initiées les premières afin de permettre aux membres de la CCN de disposer des évaluations des départements préalablement à leur visite des IUT. Outre les documents transmis par les IUT, les experts CPN et CCN disposent des expertises précédentes de la composante et de ses départements. Les experts disposent pour leurs missions de deux types de documents de référence : l’arrêté des DUT et les programmes pédagogiques nationaux (PPN) des spécialités. L’arrêté 2005, relatif au diplôme universitaire de technologie dans l’espace européen comprend une vingtaine d’articles qui concernent : 1) les conditions d’accès et de recrutement au DUT, 2) les modalités pédagogiques générales à l’ensemble des spécialités, 3) les mesures ayant trait à la professionnalisation du diplôme, 4) les dispositifs attendus en matière d’accompagnement et de remédiation des étudiants, 5) les dispositifs d’évaluation des enseignements par les étudiants... Les PPN font, quant à eux, l’objet d’une déclinaison extrêmement précise pour chaque spécialité. Ils comprennent une description de l’environnement professionnel des diplômes et le détail de la structure des programmes pédagogiques et du contenu des disciplines enseignées. La vague contractuelle, engagée début 2014, s’appuiera sur des maquettes pédagogiques rénovées courant 2013. A l’issue des visites de terrain, les experts produisent leur rapport. Celui-ci fait l’objet d’une présentation en commission et débouche sur un avis qui est proposé en conclusion au document de synthèse. L’avis relatif à l’évaluation des IUT est soumis au Conseil national de l’enseignement supérieur et de la recherche. Ce n’est qu’à l’issue de cette étape que la DGESIP porte les résultats à la connaissance des intéressés (rectorats, universités et directions des IUT). Afin de garantir une plus grande homogénéité des expertises, les documents à destination des membres de la CCN et des CPN ont été normalisés.

30Les contributions des commissions nationales à l’élaboration du dispositif d’évaluation ont été significatives, répondant au souhait initial du ministère d’un processus co-construit. Elles ont notamment participé à la définition des rubriques structurant les rapports d’auto-évaluation et à l’élaboration des grilles d’analyse destinées aux experts. Le réseau que nous avons qualifié d’associatif n’a pas été en reste. L’ADIUT et l’UNPIUT, au-delà de la présence de leurs représentants au sein de la CCN, ont joué un rôle de courroie de transmission auprès des acteurs du terrain. L’ADIUT a notamment mobilisé ses différentes commissions afin de contribuer à l’élaboration des modèles de rapport d’auto-évaluation. Ces commissions ont participé à la constitution de nombreux tableaux de bord servant de base à l’auto-évaluation des IUT et de leurs départements. Au-delà de ces contributions, l’ADIUT a joué un rôle essentiel dans la diffusion de la démarche auprès de l’ensemble des directeurs d’IUT. Le séminaire annuel des nouveaux directeurs a été l’occasion de sensibiliser les nouveaux collègues à l’importance de la démarche d’évaluation et de les familiariser avec la procédure. Ce travail a été prolongé par des journées de travail élargies aux personnels chargés d’animer la démarche évaluative au sein de leurs IUT ou de leurs départements. Les assemblées de chefs de département ont joué un rôle similaire auprès des responsables de départements, les plus aguerris accompagnant leurs nouveaux collègues. Ces divers engagements soulignent aussi le caractère formatif privilégié par la démarche évaluative des IUT.

31Malgré le remplacement du CNE par l’AERES la mission confiée à la CCN et aux CPN a été reconduite régulièrement. Les trois premières campagnes d’évaluation ont permis aux experts d’échanger de manière informelle sur le dispositif privilégié. Plusieurs travaux complémentaires ont conduit à une amélioration des fiches de synthèse qui servent de trame aux experts des CPN ou de la CCN. A l’issue de chaque vague, un bilan à chaud des évaluations a été initié par les présidents de la CCN. Cependant, aucun travail de fond n’a été engagé pour évaluer le dispositif dans sa globalité et les vagues se sont enchaînées sans bouleversement notoire.

5. L’examen du dispositif d’évaluation des IUT et des DUT

32La quatrième campagne d’évaluation des IUT et des DUT a été engagée au début du mois de mars 2014 par la DGESIP. Les références à la LOLF, qui ne figuraient pas dans la démarche initiale, ont été intégrées lors des dernières vagues d’évaluation. Hormis le passage d’une évaluation quadriennale à une évaluation quinquennale, la seule nouveauté porte sur une référence explicite à la démarche d’accréditation qui doit se mettre en place en prolongement de la loi du 22 juillet 2013 relative à l’enseignement supérieur et la recherche. C’est l’arrêté du 22 janvier 2014 qui en fixe les modalités pour ce qui concerne la question de la mise en perspective de l’offre de formation au niveau du site universitaire. Si d’apparence, le processus d’évaluation des IUT semble à présent bien rodé, il n’a cependant jamais fait l’objet d’une analyse de fond et les transformations qu’il a pu connaître sont restées marginales. Compte tenu de l’importance prise aujourd’hui par l’évaluation dans l’activité des équipes d’animation des IUT, du nombre d’acteurs qu’elle mobilise à l’occasion de chaque nouvelle vague et des réactions, positives ou négatives, qu’elle suscite, il paraissait nécessaire d’en proposer un premier examen, même sommaire. Il nous a semblé que cet examen du dispositif devait se faire à la lumière des débats et, surtout, des recommandations qui ont pu être formulées ces dernières années à propos de la démarche évaluative.

5.1. Une évaluation génératrice de tensions qu’il convient de limiter

33Le dispositif d’évaluation des IUT et de ses départements pouvait-il se passer d’une évaluation ? La réponse à cette question est double : à la fois cette généralisation de l’évaluation à tous les IUT était inéluctable, mais sans doute également utile. Inéluctable, car comme Hadji (2012) nous le rappelle, l’évaluation est devenue une activité omniprésente, à laquelle rien ne semble pouvoir échapper. Pour lui, aucune pratique sociale, aucun acteur, n’est à l’abri… Utile, car l’une des grandes difficultés rencontrées par la plupart des équipes d’animation de diplômes est le sentiment d’être, pour l’essentiel du temps, dans de l’opérationnalité immédiate. Il est donc nécessaire de provoquer des temps privilégiant retours réflexifs, analyses des pratiques et de leur sens, projections vers le futur… Pour autant, Hadji (2012) milite pour que cette activité évaluative se fasse « dans les limites d’une saine raison ». Cela suppose, pour lui, de s’inscrire dans une démarche méthodologiquement légitime en répondant à trois impératifs : 1) respecter les fondamentaux de l’activité évaluative en prenant soin de distinguer l’évaluation de l’usage qui en est fait, 2) ne jamais perdre de vue le questionnement qui donne sens à l’évaluation, et 3) ne pas succomber à la religion du chiffre. Mais cela suppose également de se demander quelles fins poursuivies par l’évaluation peuvent être considérées comme socialement légitimes. Cela suppose de se donner une éthique de l’évaluation. L’absence de prise en compte de ces fondamentaux a, sans doute, été à l’origine de bien des tensions qui ont pu se développer en réaction à la propagation des démarches évaluatives.

34Face à ces tensions qui interpellent, en premier lieu, les modalités de mise en œuvre et de gestion des processus évaluatifs, Romainville (2013) propose de procéder à plusieurs rééquilibrages par rapport à cinq domaines :

• Le dimensionnement des dispositifs élaborés ;

• La place laissée au débat par la standardisation nécessaire des procédures ;

• Les valeurs réellement portées par la démarche ;

• Sa réelle contribution à l’amélioration des pratiques ;

• La part des différents acteurs dans le processus.

35Même s’il se questionne plus largement sur le sens et les limites des démarches qualité, Lanarès (2014) évoque certains couples de tension qui se révèlent dans la pratique et qui peuvent alimenter la réflexion sur l’évaluation :

• documentation et réflexivité ;

• transparence et confidentialité ;

• autorité et autogestion ;

• spécificité et uniformité.

36Rechercher une moindre tension, un plus juste équilibre entre documentation et réflexivité en matière d’évaluation peut nous amener à nous questionner sur la place accordée à la collecte d’éléments quantitatifs ou qualitatifs qui, lorsqu’ils sont trop ambitieux, peuvent détourner les acteurs d’une réflexion pourtant essentielle portant sur les pratiques en cours ou les orientations futures. Réduire les tensions entre transparence et confidentialité nous interroge sur le niveau de publicité qui doit être réservé aux enjeux de l’évaluation, au dispositif mis en œuvre, mais également aux résultats produits. Arbitrer entre autorité et autogestion sur le terrain de l’évaluation peut permettre de s’interroger sur le rôle de l’évaluation au regard de l’autonomie laissée aux acteurs et notamment sur le rôle respectif évalué-évaluateur. Cela pose également la question d’une contrepartie que constituerait l’évaluation en retour d’une autonomie accrue. Quant à établir une juste pondération entre spécificité et uniformité, cela participe à la réflexion sur la capacité à contextualiser une évaluation pour tenir compte des environnements spécifiques du diplôme notamment de son adaptation locale. C’est aussi se questionner sur le niveau d’exigence adapté entre un respect des référentiels et les potentialités d’innovation des équipes.

37C’est à la lumière de ces différentes réflexions, mais également en rappelant les objectifs qui avaient été privilégiés lors de l’élaboration de la démarche que nous nous proposons d’identifier les forces et les faiblesses du dispositif conçu pour les IUT en 2001 et reconduit au gré des campagnes et des vagues d’évaluation successives.

5.2. Un dispositif présentant plusieurs atouts…

38Les IUT ont bénéficié pendant de très nombreuses années d’un statut particulier. A la fin des années 90, ils constituaient l’une des rares filières de l’enseignement supérieur à se soustraire à l’évaluation, du moins à une évaluation généralisée. L’introduction de l’évaluation dans la fonction publique ayant souvent été présentée comme le résultat d’une inspiration du management des entreprises privées, on aurait pu penser que cette pratique serait rapidement initiée au sein des IUT. Il y a bien eu au plan local quelques expérimentations allant dans le sens d’un contrôle de la performance (démarche qualité pour les activités de formation continue, enquêtes sur les trajectoires des diplômés…). Ces démarches sont toutefois restées marginales et sectorielles. La généralisation engagée au début des années 2000 a eu le mérite de rompre avec cette situation et d’engager l’ensemble du dispositif vers une réflexion plus systématique sur ses pratiques. Au final, les IUT sont passés d’une évaluation rare et aléatoire à une évaluation systématique, récurrente et fortement instituée. Aujourd’hui, tous les IUT et chacun de leurs départements en activité font l’objet d’une évaluation régulière permettant d’apprécier la qualité de la mise en œuvre des référentiels nationaux dans un contexte local particulier, mais également de la prise en compte des évolutions régulières de ces référentiels. Si une telle démarche conserve un caractère de contrôle, sa mise en place semble s’être opérée sans grande tension. Il peut être intéressant de s’interroger sur les facteurs pouvant expliquer que la transition entre une quasi-inexistence d’évaluation et un dispositif fortement structuré ait été aussi rapide. Ces facteurs sont multiples.

40Les dispositifs d’évaluation mis en place par le CNE, puis par l’AERES, en conformité avec les directives européennes, étaient très attentifs quant au fait que l’évaluation soit réalisée par les pairs. En ce qui concerne les IUT, deux particularités nécessitaient d’être prises en compte : le fait que les équipes pédagogiques présentent une forte mixité des enseignants et la forte implication des professionnels à toutes les étapes du processus de formation. Les enseignants du second degré ont vocation à enseigner en IUT, mais également à occuper des fonctions d’animation d’équipes et de représentation dans les commissions nationales. Il est donc pleinement légitime qu’ils aient été acteurs du processus d’évaluation. La participation des acteurs externes aux universités, qu’il s’agisse des représentants des branches professionnelles ou inter-professionnelles, des représentants des différents syndicats de salariés ou encore des personnalités qualifiées, a favorisé une diversité de lecture des projets et renforcé la vigilance quant à la prise en compte de la dimension professionnelle des diplômes.

41Outre le fait de permettre un élargissement de la notion des pairs l’implication des commissions nationales dans l’évaluation a permis de créer un lien direct entre l’élaboration des programmes et l’évaluation de leur mise en application. Les membres de ces commissions conduisent leurs expertises sur la base de documents dont ils ont contribué à l’écriture. L’implication des membres des commissions nationales dans la rénovation des programmes leur permet d’avoir une attention particulière lors des expertises quant au respect des prescriptions formulées dans les référentiels de formation et leur confère, sans doute, une certaine légitimité aux yeux des évalués. A l’inverse, la confrontation à la réalité du terrain lors des visites et de leur restitution en commission leur permet de mesurer l’impact des mesures prises à l’occasion de la rénovation des programmes, que celles-ci aient permis des améliorations significatives ou qu’elles se soient heurtées à une réalité s’accommodant difficilement des prescriptions formulées nationalement. Cette confrontation à la réalité du terrain offre également la possibilité d’un dialogue entre évalués et évaluateurs. Celui-ci est essentiel si l’on veut que le jugement de valeur formulé à l’occasion de l’évaluation soit véritablement « un acte d’information éclairante et enrichissante permettant d’avoir une meilleure connaissance de la réalité, d’entrevoir des voies d’une amélioration possible et d’être encouragés à suivre ces voies » (Hadji, 2012, p. 287). C’est aussi la condition pour que la fonction de contrôle ne prenne pas le pas sur les autres fonctions de l’évaluation.

42Forte implication des acteurs, formation des équipes à l’évaluation, identification des marges de progrès individuelles aussi bien que collectives, valorisation des expérimentations, contribution aux débats locaux et nationaux sont autant de signes traduisant une volonté collective de concourir à une amélioration des pratiques. Il n’est donc pas surprenant que l’évaluation ait favorisé l’émergence d’expériences originales. Trois d’entre elles peuvent être rapidement évoquées.

43Les rapports du CNE avaient déploré, à de nombreuses reprises, l’absence d’enquêtes permettant de mesurer les trajectoires des diplômés issus des IUT. Le groupe de co-pilotage de l’évaluation DES – ADIUT avait ressenti, dès le début des années 2000, la nécessité de pouvoir disposer d’informations collectées par l’ensemble des IUT selon un protocole commun. A l’époque, de trop rares expérimentations étaient conduites localement. Au plan national, quelques spécialités, comme Gestion logistique et transport ou Organisation et génie de la production, en manque de candidats en dépit d’une bonne insertion professionnelle de leurs diplômés, avaient monté leur propre dispositif d’enquêtes en vue de renforcer leur communication auprès du grand public. Avec l’aide de responsables du centre d’études et de recherches sur les qualifications, un projet d’enquêtes fut élaboré par la DES et l’ADIUT. S’adressant à l’ensemble des diplômés de DUT, quel que soit leur parcours (formation initiale, formation continue, années spéciales, alternance…) et quelle que soit leur trajectoire post-DUT, elles reposèrent sur l’émergence d’un dispositif en partie décentralisé. Si le pilotage, le choix de la méthode, l’élaboration du questionnaire furent définis nationalement, l’administration des enquêtes et les relances furent assurées par les départements de formation. Plus de 250 000 questionnaires ont ainsi été collectés en 11 années apportant des informations précieuses sur les conditions de l’insertion mais également sur les trajectoires d’études privilégiées à l’issue du DUT (Le Nir & Spennato, 2012). Ces informations ont été mobilisées aussi bien pour communiquer, alimenter les débats au sein du réseau, aider aux réflexions relatives à l’évolution des maquettes pédagogiques, mais aussi pour nourrir les évaluations internes et externes des IUT et de leurs départements.

44Dans le prolongement de ces enquêtes, deux autres expérimentations ont été observées localement. La première concerne l’émergence de démarches qualité aussi bien portées par des IUT de manière individuelle (IUT de Montpellier pour les licences professionnelles, IUT d’Aix-Marseille pour les formations par alternance), que de manière collective (les IUT strasbourgeois ou les IUT de l’Académie du Rhône). Ces démarches répondent au souci des équipes qui les engagent de s’inscrire dans un processus d’amélioration continue et de disposer d’éléments précieux pour alimenter les évaluations successives. Ces dispositifs ont pris la forme d’engagements de services vis-à-vis des candidats, des étudiants, des vacataires et ont abouti, dans certains cas, à des certifications. La seconde expérimentation porte sur le développement d’outils d’informatique décisionnelle destinés au pilotage des IUT. Observé aussi bien localement que nationalement, cette évolution répond au souci des acteurs d’améliorer la fiabilité des données produites. Elle vise également à limiter la charge de travail induite par la production d’informations devant servir à la phase d’auto-évaluation des composantes au profit d’un temps suffisant pour produire un diagnostic collectif et réfléchir aux perspectives qui s’offrent aux équipes locales. Les responsables de diplômes accèdent à des interfaces permettant l’interrogation des bases de données existantes au sein de l’IUT, en disposant d’une panoplie de filtres leur permettant l’extraction en temps réel de tableaux, graphiques et, si nécessaire, de jeux de données sur lesquels ils peuvent procéder à quelques traitements complémentaires.

45Si les acteurs des IUT ont globalement adhéré au principe d’une évaluation régulière leur imposant de dresser un bilan précis de leur situation tout en les incitant à formuler de nouveaux projets pour la période contractuelle à venir, le déroulement des vagues successives a permis de mettre en évidence certaines limites de la démarche engagée.

5.3. …mais également des limites

46L’analyse du dispositif évaluatif élaboré pour les IUT révèle plusieurs points forts. Elle s’accompagne néanmoins de quelques interrogations.

47On peut considérer que l’objectif visant à favoriser une évaluation régulière des formations portées par les IUT a été au moins partiellement atteint. Les conséquences d’une « bonne » ou d’une « mauvaise » évaluation restent, en revanche, plus délicates à mesurer pour les équipes. La nécessité de repasser par une réhabilitation régulière des diplômes peut être source de tension ou de stress à l’approche de la vague qui les concerne. Pour autant, les conséquences objectives restent limitées. A ce jour, aucun département n’a perdu son habilitation. Deux situations ont toutefois pu être observées : d’une part, la fermeture de départements à l’initiative d’IUT et, d’autre part, la demande de contre-visites à mi-parcours par les experts. La première solution, qui reste exceptionnelle, a abouti à un redéploiement des ressources des départements fermés pour renforcer l’offre existante ou accompagner une nouvelle ouverture de département. La possibilité de préconiser une nouvelle visite sans attendre l’issue de la période contractuelle a, en revanche, été largement utilisée. Ces contre-visites, si elles peuvent inciter les équipes locales à prendre rapidement en compte les avis des commissions et à corriger rapidement ce qui peut l’être, présentent l’inconvénient majeur d’alourdir les vagues d’évaluations suivantes. Les retards fréquents constatés dans leur mise en œuvre comportent le risque de les rendre inefficaces en raison du délai raccourci entre leur tenue et la programmation d’une nouvelle évaluation, contribuant à en limiter la portée. Ces difficultés mettent en évidence le problème du dimensionnement du dispositif. D’autres indices renforcent cette conviction. Le délai nécessaire pour organiser une vague complète est supérieur à un an. La connaissance des avis des CPN relatifs aux départements est essentielle pour préparer dans de bonnes conditions les visites d’un IUT. Il n’est cependant pas rare qu’un expert ne dispose que d’une partie de ces avis. Les évalués observent, quant à eux, l’importance du temps écoulé entre la transmission de leur dossier et les avis définitifs portés sur la composante ou ses départements. Sans prétendre à l’exhaustivité sur cette question, on sent bien que l’effort de structuration du dispositif porte en lui des risques, notamment le risque que « les acteurs impliqués dans une forme instituée d’évaluation se montrent rapidement épuisés par son technicisme et son formalisme » (Romainville, 2013, p. 314).

48La généralisation de l’évaluation visait à favoriser une meilleure prise en compte des IUT dans la démarche contractuelle des universités. A l’issue de trois campagnes successives le doute subsiste. L’un des inconvénients majeurs du dispositif est qu’il donne le sentiment de s’interrompre au moment où les avis définitifs sont formulés et transmis aux équipes locales. La procédure telle qu’elle a été initialement conçue ne s’arrête pourtant pas à ce stade. Le fait de placer l’évaluation des IUT un an avant le début des travaux de contractualisation de l’université visait à mieux intégrer les projets des IUT dans ceux qu’elle portait auprès du ministère. Cependant, aucune étude de fond n’a été menée à ce jour sur cette question alors que cet objectif a été réaffirmé à chaque nouvelle vague. Le courrier adressé le 4 mars 2014 aux directeurs de la vague A en témoigne, précisant que : « L’évaluation des IUT et des DUT s’effectuera, d’une part, avec le souci d’une meilleure intégration des instituts dans la politique de l’université et, d’autre part, avec la volonté d’améliorer la qualité des formations dispensées » (courrier de la DGESIP, ministère de l’enseignement supérieur et de la recherche, N° 2014-0110 du 4 mars 2014, p. 1).

49Il aurait pourtant été intéressant que les équipes locales mesurent les effets de la démarche sur la prise en compte de leurs projets dans le cadre de la contractualisation de leur université, ou tout au moins qu’elles disposent d’une mesure de leur contribution, positive ou négative, au financement de leur université de rattachement. Les négociations contractuelles auxquelles les directeurs d’IUT sont insuffisamment associés ne permettent pas d’évaluer les conséquences de leur performance au sens de la LOLF. La LRU a entraîné une nette évolution vers la centralisation des décisions et des processus renforçant le niveau établissement. Certains IUT, en raison de leur statut dérogatoire, de leur capacité à capter des ressources complémentaires aux dotations ministérielles et universitaires et des relations entretenues avec des interlocuteurs extérieurs à l’université (associations, nationales, entreprises, conseils régionaux, ministères…), sont parvenus à conserver ou retrouver de l’autonomie (Musselin, Barrier, Boubal & Soubiron, 2012). Mais cette tendance s’est opérée aux prix de vives tensions à l’intérieur des universités et s’accompagne d’une forte hétérogénéité entre IUT. L’élaboration de contrats d’objectifs et de moyens entre chaque université et son IUT, réclamée par le ministère et fruit du travail d’un comité de suivi national associant des représentants de la DGESIP, de la CPU, l’ADIUT et l’UNPIUT, n’a été, pour l’instant, que très partiellement engagée. Cette situation a contribué à renforcer la conviction des équipes des IUT que si l’évaluation est finalement utile pour susciter, en interne, réflexions et projets, ses conséquences externes restent limitées. La mise en perspective de la charge requise par l’évaluation et les retombées concrètes pour les équipes ne peut alors qu’interroger.

50Un dernier objectif, assigné à l’évaluation, reposait sur la conception d’indicateurs de pilotage nationaux basés sur les éclairages apportés par la compilation des situations individuelles. Le ministère et les représentants de l’ADIUT convergeaient vers cet objectif qui présentait également l’intérêt de fournir à la plupart des IUT les moyens de s’étalonner au regard des tendances nationales. Cet objectif s’est révélé tributaire de la capacité des évalués à produire des informations quantitatives et qualitatives en très grand nombre. La forte implication des acteurs du réseau des IUT pour définir, sur chaque sujet, une série de tableaux de bord adaptés s’est accompagnée d’une tendance inflationniste renforcée au fil des différentes campagnes. Mais, dans le même temps, personne ne semble s’être véritablement inquiété de la capacité des équipes à informer de manière satisfaisante ces tableaux de bord. Or, les ambitions en matière de collecte d’informations se sont souvent heurtées à une diversité des équipes dans leur capacité à y répondre.

51Pour mieux nous en convaincre, nous avons mené un examen systématique des tableaux de bord mis à la disposition des experts par les départements de la spécialité Gestion logistique et transport (GLT) entre 2010 et 2013, couvrant une campagne d’évaluation dans son intégralité. Nous avons focalisé notre attention sur cinq variables clés relatives aux candidatures, aux inscriptions, aux disponibilités de bourses, à la réussite au diplôme et aux trajectoires des diplômés. A l’examen des fichiers transmis par l’ensemble des départements de la spécialité GLT, un premier constat s’impose. Deux fichiers fournis par les vingt-deux départements sont absents ou inexploitables, tandis qu’un département n’a été en capacité de ne renseigner que deux des cinq séries de tableaux de bord communiqués par les services de la DGESIP. L’examen des autres tableaux fournis soulignent les difficultés d’un département à l’autre : absence de capacités d’accueil, reconstitution partielle des cohortes de réussite en deux ou trois ans, données non significatives ou incohérentes avec les informations remontées au national lors des enquêtes sur le devenir des diplômés…). A ces difficultés s’ajoutent quelques données pour le moins surprenantes (taux de boursier supérieur à 80 %, taux de réussite de 100 % au DUT en quatre semestres…). Enfin, la confrontation des données produites en local avec les informations connues au plan national ajoute aux interrogations.

52La publication annuelle de l’ouvrage Repères et références statistiques, par la Direction de l’évaluation, de la prospective et de la performance offre de précieux cadrages nationaux. Nous avons pu comparer les taux de réussite en deux ou trois ans, relativement stables d’une année à l’autre, avec les informations reconstituées à partir du déclaratif des départements. L’écart constaté est supérieur à 5 %. Ces constats ne sont évidemment pas propres à la spécialité GLT et seraient, sans doute, identiques aussi bien pour les autres spécialités que pour les IUT dans leur ensemble. Il n’en demeure pas moins qu’ils questionnent, au moins partiellement, sur l’opérationnalité des outils et invitent à une certaine prudence notamment lorsque l’on cherche à tirer des enseignements nationaux de l’agrégation de constats locaux. Ne convient-il pas d’affirmer une moindre ambition sur la quantité de données à produire au profit d’une plus grande fiabilité ? Romainville (2013) nous rappelle que la mesure n’est pas l’évaluation, la place laissée au débat, à l’argumentation, à l’appréciation qualitative constitue des étapes importantes. Elles ne peuvent être esquivées au profit d’une production d’informations trop abondante. Les évalués, qui prétextent régulièrement qu’ils n’ont pas disposé d’un temps suffisant pour développer davantage les aspects prospectifs du dossier, ou les experts, qui se plaignent du temps considérable consacré à vérifier la pertinence des données fournies au détriment de l’analyse et de la formulation de préconisations, méritent d’être entendus. Le recueil et l’exploitation des informations sont essentiels et il convient, comme le recommande Hadji (2012), de ne pas s’interdire de pousser, aussi loin que nécessaire, l’effort de quantification, mais bien de se garder de croire ou de laisser croire que la production de ces données constitue en soi un critère de bonne évaluation. L’expérience accumulée au fil des vagues doit être davantage mobilisée pour alléger le dispositif et le rendre plus fiable.

53Si à l’issue d’une vague, les membres des commissions nationales ont l’habitude de partager un certain nombre de réflexions quant aux modifications à apporter à la démarche, celle-ci ne fait pas l’objet d’un véritable retour réflexif. Si on ne peut nier que les réflexions engagées à l’occasion et dans le prolongement de l’évaluation concourent à alimenter les débats nationaux (accueil des publics diversifiés, pratiques alternatives comme l’alternance ou les années spéciales, nature de la professionnalisation pratiquée par les équipes, tendance des diplômés à différer leur entrée dans la vie active…), cette contribution souffre d’une sous-exploitation des informations pourtant conséquentes produites lors des campagnes d’évaluation. Quant aux méthodes et aux indicateurs mobilisés, un examen évaluatif du dispositif pourrait conduire à la simplification du recueil des informations en réduisant, au moins partiellement, les indicateurs de références tout en fournissant des échelles de référence pour chaque famille d’indicateurs. Cette démarche renforcerait les capacités d’autodiagnostic des évalués, tout en permettant aux experts de disposer d’une information susceptible de faciliter l’identification de certains niveaux de performance locaux, comme de certaines insuffisances. Par ailleurs, il serait utile de produire un état des lieux des bases de données disponibles auprès des services du ministère. On peut penser qu’en comparaison avec le début des années 2000, certaines informations sont aujourd’hui plus facilement accessibles, ce qui permettrait de diminuer la charge des équipes locales.

54Un dernier aspect témoigne de la relative sous-exploitation du dispositif d’évaluation : la publicité de ses résultats. Une première réflexion gagnerait à être menée sur les conséquences d’une procédure extrêmement longue et qui, au fil des avis des différentes instances concernées, donne le sentiment de produire des appréciations réductrices au regard des ressources produites. Une seconde réflexion mériterait d’être engagée concernant la communication des résultats de l’évaluation qui, aujourd’hui, se limite aux principaux responsables de l’université et de l’IUT.

6. Conclusion

55Après plus de quarante années d’existence, les IUT sont entrés dans un dispositif généralisé d’évaluation s’adressant à leurs diverses activités comme à leur organisation. La priorité donnée à une co-construction du dispositif avec le ministère a permis de mobiliser les importantes ressources collectives développées par le réseau, mais également de contribuer à une rapide diffusion des pratiques évaluatives auprès des équipes. De nouvelles collaborations en ont découlé (élaboration d’un dispositif d’enquêtes auprès des diplômés, diffusion du projet personnel et professionnel…), tout en maintenant les exigences en matière de professionnalisation à un moment où beaucoup de jeunes tendent à différer leur entrée dans la vie active. Il reste que le dispositif développé depuis 15 ans mériterait certains rééquilibrages pour gagner en efficacité et en crédibilité. Une amélioration du dispositif d’évaluation passe par un renforcement de sa propre expertise. Le temps et la charge d’un tel exercice est évidemment important, mais peut sans doute constituer, s’il est mené avec célérité, un investissement pour l’avenir.

56Au plan local, les résultats sont plus contrastés. En dépit des efforts du réseau, l’hétérogénéité des équipes peut avoir eu tendance à se creuser. Imaginé comme un processus d’amélioration continue pour certains, l’évaluation reste avant tout un passage contraint pour d’autres. La mise en place de démarches qualités initiées par les IUT strasbourgeois et prolongé par les IUT de l’Académie de Lyon souligne le souci croissant de certaines équipes de renforcer leur performance tout en s’inscrivant dans des démarches collectives favorisant l’échange de bonnes pratiques. La maîtrise des données quantitatives nécessaire à l’élaboration des auto-évaluations et le souci de lutter contre leur aspect chronophage voient se développer ponctuellement des outils d’informatique décisionnelle. La recherche d’une meilleure intégration des IUT dans la politique contractuelle de leur université reste néanmoins un objectif toujours d’actualité. La multiplication des engagements contractuels à travers les politiques régionales de soutien aux universités, les politiques en matière d’apprentissage, le développement des pratiques liées aux bonus qualité formation… nécessitent également de mettre en cohérence des démarches qui entraînent l’élaboration de dispositifs présentant de fortes similitudes : gestion de projet, innovations, suivi des opérations, bilans prospectifs…, sauf à conduire à l’épuisement des acteurs, ou au mieux à leur dispersion. L’élaboration de contrats d’objectifs et de moyens doit jouer un rôle crucial dans la mise en cohérence de ces divers engagements.

57La LRU avait pour vocation de favoriser une plus grande autonomie des acteurs. Les démarches centralisatrices qu’elle a souvent induites constituent un handicap au développement de cette autonomie et à la responsabilisation des équipes. Il ne faudrait pas qu’un regard trop souvent rivé sur le classement de Shanghai ne détourne certaines composantes universitaires de leur rôle fondamental en matière d’animation des territoires.