Introduction

1Le préambule de la Charte de l’évaluation de la Société Française de l’Evaluation énonce que « L’évaluation vise à produire des connaissances sur les actions publiques, notamment quant à leurs effets, dans le double but de permettre aux citoyens d’en apprécier la valeur et d’aider les décideurs à en améliorer la pertinence, l’efficacité, l’efficience, la cohérence et les impacts. L’évaluation contribue ainsi à rationaliser la prise de décision publique (…) »

2Les analyses d’utilisation des évaluations réalisées jusqu’à présent montrent pourtant un bilan médiocre en termes d’utilité effective, c’est-à-dire d’effets améliorants des politiques évaluées. Dans leur majorité, les connaissances produites par les évaluations sont peu utilisées par les décideurs ou les responsables opérationnels des programmes. Cette sous-utilisation tient pour une part à la faiblesse de la culture de l’évaluation qui a marqué les gestionnaires jusqu’à présent. Elle tient pour une autre part à une intégration insuffisante de l’évaluation à la gestion des politiques et des programmes.

3En effet, l’évaluation est souvent conduite indépendamment de la conduite des programmes évalués, selon une temporalité différente de celle de la décision publique. Les responsables de l’évaluation s’évertuent alors, une fois les travaux achevés et les recommandations rédigées, à les communiquer aux responsables concernés comme on porte la bonne parole. Ceci à un point tel que la communication prend une importance excessive dans l’évaluation.

5On observe, au-delà de ces cas trop rares, que les déterminants de l’utilité effective des évaluations sont en grande partie d’ordre organisationnel et institutionnel : le processus d’évaluation et l’organisation de la fonction évaluation dans les institutions publiques doivent viser explicitement l’évolution des programmes évalués.

6Sur le plan méthodologique, un continuum de l’évaluation doit être établi de l’identification du problème à traiter à la mise en œuvre d’une solution. Les recommandations en sont le pivot : le travail d’analyse évaluative y aboutit et l’utilisation opérationnelle de l’évaluation se fonde sur elles.

7Produire des recommandations dans la perspective de leur utilisation relève essentiellement de l’organisation de l’évaluation : la perspective et la conduite du projet d’évaluation d’une part, le positionnement de l’évaluation dans chaque institution d’autre part. Ces deux niveaux dépendent du commanditaire de l’évaluation.

8Dans cette perspective, la question-clé de la production de recommandations utiles va être traitée sous deux angles successivement :

• La production de recommandations potentiellement utiles au cours des travaux d’évaluation ;

• La production de recommandations effectivement utiles, c’est-à-dire réellement prises en considération.

9Le présent texte traite de la problématique de l’utilité des recommandations et de l’évolution de l’évaluation à l’ADEME dans cette perspective.

10La première partie présente les conditions de la production de recommandations potentiellement, puis effectivement utiles. Leur potentiel d’utilisation doit être élevé, leur rédaction doit impliquer les services opérationnels, l’évaluation doit déboucher sur des options alternatives complètes, l’organisation de l’institution commanditaire doit prévoir et organiser la prise en compte de ces alternatives.

11La seconde partie illustre cette problématique telle qu’elle se rencontre et qu’elle est prise en compte dans le cas de l’ADEME. Après avoir présenté l’évolution et le cadre institutionnel actuel de l’évaluation et comment la préoccupation de l’utilisation s’inscrit dans le processus général d’organisation de l’évaluation, deux évolutions majeures de la pratique ADEME sont présentées : la plus forte implication des comités de pilotage dans la formulation des recommandations puis la formalisation et le suivi de plans d’action consécutifs aux évaluations.

Utilité potentielle et utilité effective des recommandations

Qu’est-ce qu’une recommandation utile ?

12Pour être utile, une recommandation doit posséder trois traits qui requièrent chacun une organisation et un déroulement approprié de l’évaluation :

• Avoir un potentiel d’utilisation élevé : elle doit être en phase avec les questions évaluatives et découler rigoureusement de l’analyse et des conclusions réalisées par l’évaluateur. Cette qualité découle de l’organisation et du pilotage du travail d’évaluation.

• Etre ajustée à l’intervention évaluée : sa description et sa formulation doivent lui permettre de s’insérer directement dans cette intervention. Il est souhaitable qu’elle soit élaborée, à partir des conclusions de l’évaluation, par ou avec des spécialistes de l’action dans le domaine évalué.

• Etre effectivement prise en compte et déboucher sur son intégration à l’intervention évaluée. L’évaluation doit être intégrée au système de gestion du commanditaire : en amont, elle doit être décidée au niveau le plus élevé dans le but d’améliorer une intervention ; en aval, une procédure doit organiser le traitement des recommandations et, le cas échéant, le suivi de leur mise en œuvre.

Obtenir un potentiel d’utilisation élevé

13L’analyse, réalisée au Commissariat général du Plan par Benoît Lajudie, de nombreux rapports d’évaluation produits dans le cadre régional entre 1995 et 2004 met en évidence des faiblesses dans la cohérence logique des travaux d’évaluation.

14En effet, dans une évaluation, les choses commencent par les questions évaluatives, se poursuivent par l’analyse de la situation effective et la formulation de conclusions pour parvenir aux recommandations. L’utilité des recommandations dépend du traitement de la chaîne questions/conclusions/recommandations. Une recommandation est utilisable lorsqu’elle répond au problème à l’origine de la question évaluative. Les analyses mentionnées ci-dessus montrent que ce n’était pas toujours le cas.

15Ce constat corroborait les conclusions d’une méta-évaluation (au sens de l’évaluation de l’évaluation) réalisée en 2001 en Limousin (Conseil régional du Limousin, Euréval, 2001). On a recherché, au cours de cette méta-évaluation, pour chacune des questions posées dans les cahiers des charges, les correspondances avec les conclusions (la conclusion est-elle une réponse à la question ?), avec les recommandations (la recommandation découle-t-elle de la conclusion ?) et avec les événements postérieurs (les recommandations ont-elles été prises en considération ?). Il est apparu, au cours de cette analyse, que les recommandations constituent une charnière de l’évaluation :

• En amont, elles découlent du travail d’analyse. Leur utilité potentielle dépend de la complétude des questions évaluatives, c’est-à-dire la cohérence questions – conclusions – recommandations. L’observation du cas étudié montre qu’elle est variable : il existe des questions sans conclusions et/ ou recommandations, des questions traitées mais non posées, des recommandations sans questions ni conclusions. Cette variabilité a été confirmée par l’observation d’évaluations plus nombreuses ;

• En aval, les recommandations amorcent l’utilisation de l’évaluation. Leur utilité effective s’apprécie à partir des événements postérieurs à l’évaluation. Dans le cas de l’ADEME, étudié en seconde partie, on a observé des correspondance complète question – conclusion – recommandation – événement postérieur (7 questions sur 39), c’est-à-dire d’une anticipation des enjeux réussie. En l’espèce, 6 évaluations sur 11 ne comportent aucune anticipation réussie.

16Cette cohérence est un réquisit de l’utilité des recommandations. Elle indique leur potentiel d’utilisation. Il est fréquent que des recommandations soient importées sous forme « standard » de travaux conduits par ailleurs ou proviennent de l’intuition des évaluateurs. Le gestionnaire de l’évaluation peut, par un contrôle de qualité très simple, contrôler la cohérence des réponses aux questions évaluatives et obtenir une bonne utilité potentielle des recommandations. Il peut ainsi assurer facilement une conduite d’évaluation axée sur son utilisation.

Rédiger des recommandations en impliquant les services opérationnels

17Des évaluations prometteuses dans la partie analyse et conclusions sont parfois décevantes dans la partie propositions. Ce défaut provient en partie du facteur vu précédemment, mais découle également de carences dans la production des recommandations.

a. Les deux temps de la recommandation

18Une recommandation est une proposition pour l’action issue du processus d’évaluation. Dans un premier temps, l’analyse met à jour un point-clé qui donne lieu à une conclusion. Ce point-clé est lié à ce sur quoi doit porter une action correctrice. Dans un second temps, un mode opératoire visant à remédier au problème est proposé : c’est la recommandation. On peut distinguer deux temps dans la recommandation :

• La description du point-clé à traiter, c’est l’objet de la recommandation, le point porteur d’enjeu pour l’efficacité de l’intervention évaluée, qu’il y a lieu de prendre en compte dans l’action. Son identification s’est faite pendant le processus d’évaluation. Décrire l’objet de la recommandation consiste à identifier un problème à régler (dire pourquoi c’est un problème, ce qu’on risque à ne pas le résoudre, etc.), indiquer ses causes, puis énoncer ce qu’il faut faire ;

• La formulation d’une modalité d’action destinée à être mise en œuvre par le maître d’ouvrage de l’intervention évaluée. La recommandation indique alors comment faire. Les recommandations faibles sont constituées d’une formulation peu pertinente de la dimension opérationnelle. L’évaluateur s’en tient à l’énoncé de formules banales, proches de l’énoncé du point à traiter. Ces recommandations sont souvent établies en dehors des responsables opérationnels, dont elles ne suscitent pas l’intérêt, pourtant nécessaire à leur prise en compte ultérieure. Elles préparent mal l’avenir.

b. Une logique de compétences dans le processus d’évaluation

19Considérée sous l’angle de leur genèse, les recommandations mobilisent successivement deux compétences différentes, selon qu’il s’agit de l’évaluateur ou du responsable opérationnel.

20Le savoir-faire de l’évaluateur. Les travaux d’évaluation requièrent, de sa part, des compétences d’analyse : caractérisation de résultats et/ou d’impacts, analyse et explication des écarts avec les objectifs (décomposition des chaînes logiques) et identification des points forts, des points faibles et des voies d’amélioration. Ces compétences permettent a minima d’identifier l’objet des recommandations. L’évaluateur peut aussi disposer de compétences opérationnelles dans certains domaines, ou de la capacité à mobiliser les compétences d’experts opérationnels.

21Le savoir-faire du responsable opérationnel. La formulation de recommandations précises relève d’un savoir-faire différent et complémentaire : élaborer des modalités d’action. Les acteurs opérationnels possèdent cette compétence. Ils disposent d’une expérience de terrain. Ils connaissent, de surcroît, leurs marges de manœuvre. L’évaluation leur apporte des connaissances sur les résultats et les impacts des actions qu’ils mettent en œuvre. Les recommandations, puis les évolutions des politiques évaluées qui peuvent s’ensuivre découlent donc d’un dialogue, d’un travail commun des évaluateurs et des acteurs opérationnels. Les évaluateurs identifient les marges de progression, les acteurs opérationnels les traduisent en actes. Les recommandations sont coproduites.

c. Organiser l’évaluation pour produire des recommandations effectivement utiles

22Les travaux d’évaluation peuvent alors être décomposés en deux temps :

• La réalisation des travaux d’évaluation où l’évaluateur est au premier plan. Il joue le rôle central, en liaison avec l’instance et le responsable de l’évaluation. Ce temps dure jusqu’à l’identification des questions-clés, c’està-dire la définition de l’objet des recommandations ;

• La formulation de recommandations opérationnelles où les responsables opérationnels sont au premier plan. Ils travaillent en liaison avec l’évaluateur pour élaborer des modalités d’action aptes à corriger l’intervention évaluée.

d. Il existe plusieurs façons d’organiser la production de recommandations utiles

23Il est important que l’évaluateur ne travaille pas seul à la formulation des recommandations. On compte autant de raisons de lui demander un dialogue avec les responsables opérationnels dans la phase d’élaboration des recommandations qu’à le faire travailler avec eux dans la phase d’analyse. De nombreuses formules sont envisageables. Les instances peuvent se charger de la rédaction des recommandations, des séminaires de sortie des évaluations peuvent être organisés avec les services opérationnels… L’essentiel est que les recommandations soient coproduites.

L’évaluation doit déboucher sur des options alternatives complètes

24Produire des recommandations ne suffit pas à assurer leur utilité. Pour être effectivement opérationnelles, elles doivent être intégrées à une version améliorée de l’intervention évaluée. L’élaboration de cette nouvelle version de l’intervention doit être intégrée au processus d’évaluation. Dans le schéma d’évaluation classique, le temps de la production des recommandations et celui de leur utilisation sont séparés. De nombreux évaluateurs pensent que les travaux doivent s’achever au stade des recommandations. La suite étant l’affaire de l’institution commanditaire de l’évaluation, elle se situerait hors du champ de l’évaluation. Notre conception est différente : une finalité de l’évaluation étant de « rationaliser la prise de décision publique », il faut tenir compte des modalités de prise en considération des recommandations dans le processus de décision consécutif à l’évaluation.

25Ainsi, l’élaboration d’options alternatives opérationnelles constitue-t-elle un temps et non une suite de l’évaluation. Ces options sont des ré-élaborations des interventions évaluées en fonction des connaissances nouvelles issues de l’évaluation. Elles intègrent les leçons de l’expérience issues de l’évaluation. On appelle parfois cette étape la « ré-ingénierie » de l’action publique

26Cette version n+1 peut être assortie de variantes. Elle est élaborée, en liaison avec l’évaluateur ou sur la base de son travail, par les responsables opérationnels légitimes et compétents. Elle est proposée au maître d’ouvrage dans ou avec le rapport d’évaluation.

L’institutionnalisation doit rendre obligatoire la prise en compte des options alternatives

27Il ne suffit pas que le rapport d’évaluation comprenne une proposition de variantes post-évaluation de l’intervention évaluée, il faut que celle-ci soit effectivement prise en compte. La solution institutionnelle appropriée est une organisation qui implique dans l’évaluation les responsables des institutions concernées au plus haut niveau : présidence, direction générale, comité de direction, … pour réaliser une programmation raisonnée des travaux. Un comité d’évaluation peut les éclairer à ce niveau, en travaillant avec des responsables d’évaluation professionnalisés.

28Une procédure doit formaliser ce lien : les évaluations doivent être décidées au plus haut niveau en fonction de besoins avérés en matière de gestion publique et, autant que possible, en fonction d’une programmation pluriannuelle de l’évaluation découlant de la hiérarchisation des enjeux évaluatifs. Les décisions d’évaluer sont alors prises en fonction des questions posées à l’institution. Il existe alors une demande d’évaluation et le problème de la concordance des temps de l’évaluation et de la décision est réglé. Les évaluations sont prises en compte par les services opérationnels qui proposent des plans de ré-ingénierie au comité de direction. Celui-ci prend des décisions et, le cas échéant, le comité d’évaluation de l’institution assure le suivi de la mise en œuvre des décisions.

29Ce schéma se met en place dans un nombre croissant d’institutions en France et connaît deux variantes : un service évaluation auprès des directions générales (ou secrétariats généraux) et un comité d’évaluation articulé au comité de direction. Toutefois, le degré de transposition directe des recommandations dans l’action évaluée n’est pas un critère absolu de la mesure de leur utilité. En effet, la décision dépend de facteurs multiples, parmi lesquels les éléments issus de l’évaluation. Il suffit que les recommandations soient prises en considération et la pertinence de leur prise en compte sincèrement étudiée.

30Si la conception d’une évaluation comme outil de la modernisation de la gestion publique se développe et si l’institutionnalisation selon les grandes lignes décrites ci-dessus s’étend, la France affiche néanmoins des résultats modestes et on y observe une grande variété de situations. Nous avons pu observer, dans un Etat trop complexe pour être uniforme, des pratiques remarquables, exemplaires et pionnières. Celle de l’ADEME en fait partie et illustre comment l’organisation de l’évaluation peut favoriser la réingénierie de l’action.

La pratique de l’évaluation de l’ADEME

31L’Agence de l’Environnement et de la Maîtrise de l’Energie (ADEME), établissement public à caractère industriel et commercial, participe à la mise en œuvre des politiques publiques dans les domaines de l’environnement, de l’énergie et du développement durable. Afin de leur permettre de progresser dans leur démarche environnementale, l’Agence met à disposition des entreprises, des collectivités locales, des pouvoirs publics et du grand public, ses capacités d’expertise et de conseil. Elle aide en outre au financement de projets, de la recherche à la mise en œuvre et ce, dans les domaines suivants : la gestion des déchets, la préservation des sols, l’efficacité énergétique et les énergies renouvelables, la qualité de l’air et la lutte contre le bruit.

32La diversité des domaines d’intervention et des cibles bénéficiaires ainsi que la complexité des enjeux (combinant le local et le global, le court et le très long terme) donnent une importance toute particulière à une activité d’évaluation visant à éclairer le pilotage stratégique de l’activité de l’Agence.

Quelques dates clefs de l’évolution de l’évaluation à l’ADEME

33L’activité d’évaluation est relativement ancienne à l’ADEME. Dès 1992, portée par une mission puis un service dédié, l’évaluation est pensée à vocation stratégique et s’inscrit dans un processus visant à éclairer les décisions concernant les actions en cours et futures. La dénomination du service « programmation et évaluation des actions » (SPEA) affiche clairement l’ambition de lier étroitement l’exercice d’évaluation à la génération d’actions nouvelles.

34Paradoxalement, cette ambition de disposer d’une évaluation à visée stratégique, suivant les canons de l’évaluation des politiques publiques récemment édictés par le Conseil Scientifique de l’Evaluation, a précédé le souci de plus court terme de disposer d’un suivi performant au jour le jour (reporting) de l’activité. Fin 1998, le SPEA est alors chargé d’élaborer un outil de suivi de l’activité pour remédier à cette carence et devient à la fois chargé du suivi et de l’évaluation à vocation stratégique. Cette double mission suivie et évaluation va apporter une certaine confusion, brouillant le message de l’évaluation comme modalité d’apprentissage organisationnel.

a. Un processus accéléré d’institutionnalisation de l’évaluation depuis 2006

35La confusion entre activité de suivi et d’évaluation va pousser à distinguer deux pôles au sein du service évaluation puis, plus radicalement, à scinder le service en deux, avec des ingénieurs recentrés sur l’évaluation au sein d’un service « Observation, économie et évaluation » et une activité de suivi prise en charge par un nouveau service « Performance et contrôle de gestion ». L’organisation de l’ADEME a le mérite de différencier ces différentes activités de pilotage de l’action. Un coup d’œil sur l’organigramme suffit ainsi à identifier où se situent les principales fonctions de ces activités et leurs « cœurs de métiers ». L’évaluation est rattachée à la direction de la stratégie, l’audit à la direction de l’inspection générale et le contrôle de gestion à la direction des affaires financières.

36Cette clarification des rôles a permis une meilleure visibilité et une légitimité accrue de l’évaluation au sein de l’organisation. Cette montée en puissance de l’évaluation (une cinquantaine d’évaluations menées depuis 2000) s’est accompagnée du développement de notes formalisant l’ensemble du processus de l’évaluation (stratégie de programmation, pilotage, valorisation), d’outils, de guides et de formation visant à fournir aux équipes des repères de méthode pour concevoir et développer une évaluation (ressources accessibles via une rubrique intranet dédiée à l’évaluation).

37La création du Comité d’évaluation en 2006 renforce cette institutionnalisation de l’évaluation. Présidé par le président de l’ADEME et composée des directeurs exécutifs et opérationnels de l’Agence, ainsi que de représentants des délégués régionaux, ce comité qui se réunit 3 à 4 fois par an est l’instance d’orientation et de pilotage des travaux d’évaluation de l’Agence. Il définit ainsi les objectifs et les priorités de l’ADEME en matière d’évaluation, notamment la programmation pluriannuelle des évaluations stratégiques. En amont, il valide les mandats des évaluations à lancer. Il est également l’instance de restitution des travaux d’évaluation et il est en particulier chargé de valider et de suivre la mise en œuvre des plans d’actions élaborés suite aux évaluations par les directions commanditaires.

38L’activité évaluation apparaît désormais comme un objectif prioritaire dans les documents stratégiques de l’Agence et fait l’objet d’engagements vis-à -vis des tutelles (contrat de plan Etat- ADEME (CPEA), 2000-2006 [1]). Le Contrat d’objectifs entre l’Etat et l’ADEME (COB) pour la période 20072010 fixe ainsi comme objectif prioritaire de « faire de l’évaluation une composante incontournable de la conception, du pilotage et de l’évolution des programmes et de la stratégie de l’Agence. » Les évaluations, à visée stratégique, doivent permettre ainsi de rendre compte et d’éclairer les enjeux et les choix dans les différentes activités et les domaines d’intervention mis en exergue par le Contrat d’objectifs. Cette ambition se traduit dans le CPEA par l’objectif de « mener chaque année au moins une évaluation par activité et par domaine. » « La mise en œuvre des plans d’action consécutifs aux évaluations » constitue un autre objectif du Contrat d’objectifs. (ADEME, 2006 [2]) La finalité même de l’évaluation et son inscription comme objectif prioritaire dans les documents d’orientation stratégiques signés avec l’Etat expliquent l’attention toute particulière que porte l’ADEME à l’utilité et à l’utilisation des évaluations et à la volonté de faire progresser sa pratique dans ce sens.

39L’évolution depuis deux à trois ans de la pratique ADEME de l’évaluation concerne ainsi principalement la phase d’élaboration et de mise en œuvre des recommandations suite à deux constats qui font écho aux insuffisances développées dans la première partie :

• Une insuffisante appropriation des recommandations ;

• L’absence d’incitation à passer à l’action suite aux recommandations.

40L’ADEME a apporté deux évolutions majeures à sa pratique pour répondre à ces constats :

• Une plus forte implication du comité de pilotage dans la formulation des recommandations ;

• La formalisation de plan d’actions suite aux évaluations.

41Avant de préciser les éléments de constat et les réponses apportées par l’ADEME, nous présentons comment la préoccupation de l’utilisation est intégrée tout au long du processus de l’évaluation, notamment lors de la programmation. Car il est important de rappeler, pour une évaluation utile et utilisée, que les questions de la valorisation et de l’utilisation de l’évaluation ne doivent pas se poser une fois le rapport final en main, mais dès l’amont de l’évaluation.

L’utilisation de l’évaluation : une préoccupation présente tout au long du processus d’évaluation

42La programmation pluriannuelle des évaluations est habituellement calée sur la période du contrat d’objectif signé avec les tutelles. Le choix des projets d’évaluation est fondé sur un exercice de rétro-planning partant de la date à laquelle devront être disponibles les résultats de l’évaluation. Sachant qu’une évaluation dure en moyenne 10 mois et que les résultats des évaluations doivent être disponibles 4 à 6 mois avant la prise de décision pour véritablement éclairer le choix, il est facile de juger du moment opportun du lancement de l’évaluation.

43Il faut s’assurer que les résultats de l’évaluation seront disponibles au bon moment pour éclairer les choix de l’action future est fondamental. C’est une évidence…, mais sans programmation et ce calage des travaux à lancer sur l’agenda des décisions, il devient impossible d’atteindre cet objectif. L’exercice de programmation est donc un exercice essentiel dans la perspective d’une évaluation utile.

• Le mandat d’évaluation : est un document soumis au Comité d’évaluation qui précise les enjeux et l’utilisation escomptée des résultats de l’évaluation. La validation du mandat permet au pôle évaluation et à la direction concernée par l’évaluation d’aller plus loin notamment dans la rédaction du cahier des charges.

• L’appel d’offre (le cahier des charges) reprend l’utilisation escomptée des résultats de l’évaluation. Le travail d’évaluation du bureau d’études est ainsi positionné par rapport à des échéances décisionnelles concernant l’action évaluée. L’ensemble du processus amont de l’évaluation est ainsi orienté vers l’objectif d’utilisation de l’évaluation. Ce processus est représenté dans le tableau 1.

44

45Revenons aux deux évolutions majeures de la pratique de l’évaluation à l’ADEME qui visent à créer les conditions de production des recommandations utiles d’une part, et à faciliter la réingénierie de l’action suite aux recommandations d’autre part.

La production de recommandations utiles : une plus forte implication du comité de pilotage/instance d’évaluation dans la formulation des recommandations

46Généralement, le bureau d’études présente en fin de mission les principaux résultats de l’évaluation et propose des recommandations d’actions qui sont soumise à discussion aux membres du comité de pilotage. Cette réunion de discussion et validation se mue bien souvent en une réunion de validation relativement « passive » des recommandations formulées par le bureau d’études avec très peu de discussion sur le fond et d’enrichissement de ce qui est présenté : tout le monde est d’accord sur la pertinence des propositions qui découlent en fait de constats et d’analyses intermédiaires qui ont déjà été discutés et validés par cette même instance. Il est donc logique qu’il n’y ait pas de remise en cause de la validation de ce qui est in fine proposée, d’autant moins que les recommandations proposées se limitent le plus souvent, à énoncer des point clés et à dire ce qu’il faudrait faire. Le deuxième temps de la recommandation comme formulation d’une modalité d’action n’est pas véritablement abordé. Ainsi, les recommandations sont formulées en des termes suffisamment vagues pour ménager une porte de sortie et ne pas engager trop brutalement à l’action.

47L’enjeu est donc de créer les conditions d’accéder au deuxième temps de la recommandation : la formulation d’une modalité d’action calibrée en fonction de la réalité et des marges de manœuvre de l’organisation. On dépasse ici le champ de compétences de l’évaluateur et la question est de savoir comment mobiliser le savoir faire du responsable opérationnel pour aborder ce deuxième temps de la recommandation nécessaire à la production de recommandations utiles. Une façon est retenue par l’ADEME d’organiser la production de recommandations utiles en amont de la réunion de validation finale et de dédier une réunion à la formulation de recommandations par les membres du comité de pilotage. Il s’agit à partir de pistes de réflexions proposées par le bureau d’études d’amener le comité à formuler des recommandations pouvant effectivement se traduire par une évolution de l’action.

48Cette réunion dédiée, animée par le bureau d’études, est désormais systématiquement prévue dans les évaluations pilotées par l’Agence. Elle doit évidemment être clairement affichée dans le cahier des charges de l’évaluation, et ce rôle de formulation de recommandations doit également être bien compris des membres du comité de pilotage, notamment externes qui pourraient ne pas se sentir légitimes pour faire des recommandations, notamment de niveau stratégique.

49On peut lever l’embarras en rappelant que recommandation ne vaut pas décision. Dans le cas de l’Agence, la séparation entre comité de pilotage/ instance d’évaluation et le décideur (même si le décideur participe le plus souvent au comité de pilotage lorsqu’il s’agit d’une évaluation stratégique) est clairement définie. Le travail du comité de pilotage s’arrête à la formulation de recommandations aussi opérationnelles et partagées soient telles, c’est-à-dire s’inscrivant dans un calendrier fixé. La décision, qui se traduit dans le cas de l’Agence, par la formulation d’un plan d’action, appartient au décideur.

50Précisément, l’obligation pour la direction commanditaire de l’évaluation d’élaborer un plan d’action suite à une évaluation constitue la deuxième évolution majeure de la pratique de l’ADEME pour favoriser l’utilisation de l’évaluation.

Créer les conditions de la réingénierie de l’action : la formalisation et le suivi des plans d’action consécutifs aux évaluations

51Dans la pratique de l’évaluation à l’Agence avant 2006, il n’existait aucun processus ou outil mis en place pour faciliter la réingénierie de l’action suite à l’évaluation. La prise en compte des résultats de l’évaluation et le devenir des recommandations restaient aléatoires, difficiles à identifier et à suivre dans le temps.

52La valorisation constitue une étape de l’évaluation au même titre que la programmation, la conception ou le pilotage de l’évaluation et elle doit, à ce titre, être organisée. Faire connaître l’évaluation est le meilleur moyen de ne pas l’oublier au fond d’un tiroir. Pour organiser et faciliter le passage entre évaluation et décision et avoir une lisibilité du devenir et de l’utilisation de l’évaluation, un plan de valorisation des évaluations a été élaboré en 2006 (ADEME, 2006) destiné à fixer quelques règles de valorisation et à clarifier les différentes modalités du porté à connaissance, d’appropriation et de mise en oeuvre des résultats d’une évaluation.

53Outre la présentation aux instances internes d’orientation de l’activité de l’Agence et la mise en commun des résultats des évaluations (rapports, fiches de synthèse) sur une rubrique dédiée à l’évaluation sur le réseau intranet, le plan de valorisation précise le niveau de diffusion et encourage la valorisation externe (articles, présentation à des colloques) des travaux d’évaluations. Un suivi des actions de valorisation est assuré par le pôle évaluation de l’Agence et un tableau de suivi de la valorisation des évaluations est ainsi périodiquement présenté au Comité d’évaluation.

54La formalisation d’un plan d’actions suite aux évaluations est la principale évolution de la pratique de l’évaluation prévue dans le plan de valorisation. Ce plan d’action constitue le pont permettant de relier évaluation et réingénierie de l’action. Toute évaluation doit désormais faire l’objet d’un plan d’action précisant les suites que le décideur entend donner aux recommandations de l’évaluation.

« Le plan d’actions traduit l’assimilation des recommandations et la responsabilité/liberté que garde le décideur ou le responsable du programme d’endosser ou pas tout ou partie des recommandations. Ce plan d’actions précise les actions à entreprendre dans un calendrier donné et par un acteur bien identifié (au sein d’une direction opérationnelle, d’un département, d’un groupe interne). Ces suites à donner peuvent être de natures diverses (mise en œuvre de telle ou telle recommandation, études complémentaires à lancer, chantier de réflexion à lancer,…). ». (Plan de valorisation, ADEME, octobre 2006)

55L’obligation de formaliser un plan d’action ne doit pas être confondue avec une obligation d’engager une action en réponse à chaque recommandation. Il se peut que le décideur ne soit pas en accord avec la recommandation et décide de ne pas lui donner suite. Cela ne pose pas de problème particulier si les raisons de ce positionnement vis-à-vis de telle recommandation sont explicitées. Le plan d’action oblige a minima à se positionner par rapport aux recommandations. Evidemment, si la phase d’élaboration des recommandations a été convenablement menée, la quasi-totalité des recommandations doivent être suivies d’actions. Ces actions doivent être formulées dans un calendrier donné et le responsable de la mise en œuvre de l’action identifié ainsi que les autres acteurs (en interne mais aussi à l’externe) concernés par la mise en œuvre.

56La formalisation d‘un plan d’action est un élément important vers la réingénierie de l’action et d’autant plus efficace s’il s’insère dans un processus de validation et de suivi de sa mise en œuvre qui fait intervenir les responsables décisionnels au plus haut niveau.de l’organisation. Outre l’existence même de ce plan d’action, l’intérêt de la pratique ADEME est d’inscrire ce plan d’action dans un processus de validation et de suivi faisant intervenir le Comité d’évaluation. En effet, chaque plan d’action élaboré généralement par la direction commanditaire de l’évaluation fait l’objet d’une présentation par la direction ou département concerné devant le Comité d’évaluation pour validation.

57A chaque réunion du Comité d’évaluation (3 à 4 réunions par an), un suivi est ensuite fait à l’aide d’un tableau de suivi de mise en œuvre de plans d’actions élaborés par le pôle évaluation. Le Comité d’évaluation est ainsi alerté si une difficulté est identifiée et peut demander des comptes à la direction responsable sur les raisons du non respect du plan d’action prévu. Cette « pression » est possible parce que le niveau de validation et de suivi est celui de la présidence et des directeurs exécutifs et opérationnels (Comité d’évaluation). On trouve ici une illustration de l’importance de disposer à la fois des outils, des processus et de l’organisation institutionnelle de l’évaluation appropriée à l’utilité et à l’utilisation de l’évaluation. Ces plans d’action constituent des documents interne d’orientation stratégique de l’activité. Il s’agit de documents dans lesquels une direction s’engage à agir par rapport à telle ou telle recommandation. Cet engagement est pris vis-à-vis des instances décisionnelles de l’Agence et non vis-à-vis de la société civile. A ce titre, ils ne sont pas diffusées et valorisées à l’externe, hormis aux personnalités extérieures participant aux comités de pilotage de ces évaluations.

Phase de valorisation des évaluations

a. Bilan de la mise en œuvre des plans d’action

58Il n’existe pas de difficulté particulière à la mise en œuvre des plans d’action (au-delà de dérapages par rapport au calendrier prévisionnel de mise en œuvre). Le suivi effectué par le pôle évaluation de la mise en œuvre des plans d’action (une douzaine de plans d’action à fin 2009) a permis d’identifier seulement deux à trois points de difficultés qui ont été soumis au Comité d’évaluation (tableau 2).

59Ce bilan positif est rassurant sur l’efficacité des outils et processus mis en place pour favoriser la réingénierie de l’action. On peut cependant s’étonner, lorsque l’on connaît la difficulté à engager le changement, de l’absence de difficultés. Une action facile à mettre en œuvre n’est-elle pas le signe d’une action qui impacte peu sur la conduite réelle de la politique menée ? Un point de vigilance, notamment dans le travail de validation du Comité d’évaluation, concerne l’ambition des actions prévues qui doit être en adéquation avec les constats de l’évaluation et les enjeux soulevés par la politique publique. Il s’agit là pour l’ADEME d’un point à approfondir dans sa volonté d’améliorer la prise en compte et l’impact de l’évaluation dans la réingénierie de l’action.

60

Conclusion

61Conçue, organisée, pratiquée et utilisée l’évaluation est un outil effectif et utile d’aide à la gestion publique. Les recommandations y occupent une place déterminante. Leur utilité dépend d’une série de facteurs qui tiennent simultanément à la définition des projets d’évaluation, à leur insertion dans le calendrier de l’activité du maître d’ouvrage, à l’organisation des travaux, à l’implication des services opérationnels, globalement à l’institutionnalisation de l’évaluation et à l’engagement des responsables au plus haut niveau. On peut ainsi conclure que la production de recommandations utiles est la résultante d’une série de facteurs qui prennent corps dans l’organisation globale de l’évaluation. Cette conclusion s’accompagne d’une observation d’importance : si l’évaluateur contribue à la bonne évaluation, le commanditaire a une responsabilité déterminante, et depuis l’instant où l’idée d’évaluer commence à germer.

62Si nous avons beaucoup parlé de l’évaluation utile, nous n’avons pas démontré, sur la base d’éléments tangibles, que les recommandations les mieux conçues et appliquées étaient utiles par définition. Il reste à s’assurer qu’elles ont bien répondu aux enjeux soulevés dans l’évaluation et correspondent à une véritable réingénierie de l’action publique susceptible d’en améliorer la pertinence et l’efficacité. Cette vérification relève de l’évaluation de l’intervention modifiée par l’évaluation. C’est ainsi que l’évaluation est un processus sans fin qui doit, lui aussi, intégrer les leçons de l’expérience.