1Depuis leur première parution, au début des années 2000, les enquêtes PISA (Programme international pour le suivi des acquis des élèves) connaissent en Fédération Wallonie-Bruxelles (FWB) une médiatisation importante et sans précédent pour des études relatives à l’enseignement. Ces enquêtes, organisées par l’OCDE (Organisation pour la coopération et le développement économiques) tous les trois ans, visent à évaluer les acquis des élèves de 15 ans en mathématique, science et lecture, au sein des pays membres de l’organisation et de pays partenaires. Dans la presse écrite, elles font non seulement l’objet de publications et d’analyses spécifiques lors de chaque nouveau cycle, mais elles sont aussi évoquées très régulièrement, par divers acteurs, dans des articles ayant trait à des sujets variés. Outre les journalistes, une multitude d’acteurs, internes ou externes au champ scolaire, s’empare et mobilise ainsi les études PISA pour discuter de diverses questions relatives à l’éducation.
2L’analyse présentée dans cette contribution s’appuie sur une étude plus large, que nous avons réalisée sur la réception et l’usage des enquêtes PISA en Belgique francophone, interrogeant spécifiquement le rapport entre connaissances formalisées et action publique (Cattonar, Mangez, Delvaux et al., 2009). Dans le cadre de cette étude, nous avons mené des entretiens approfondis (n = 25) auprès de divers acteurs intervenant dans l’action publique en éducation (membres du ministère de l’enseignement, de l’administration scolaire, de syndicats d’enseignants, de pouvoirs organisateurs, de partis politiques, etc.) et nous avons analysé les débats parlementaires (n = 104) et articles de la presse écrite quotidienne (n = 109) faisant référence à PISA, en nous concentrant sur les premiers mois suivant la diffusion officielle des résultats de l’enquête et en nous limitant aux trois premiers cycles de PISA (dont les résultats ont été publiés en décembre 2001, 2004 et 2007). Pour cet article, nous avons actualisé notre analyse en considérant également les articles parus à l’occasion des deux derniers cycles de PISA (à partir de décembre 2010 et 2013). Les articles de presse, auxquels nous nous intéressons plus particulièrement dans cet article, proviennent des deux principaux quotidiens en Belgique francophone, Le Soir et La Libre Belgique.
3Depuis sa première édition, PISA a été cité dans plus de 250 articles parus dans chacun de ces deux quotidiens (environ 80 articles par cycle de trois ans, excepté le premier cycle pour lequel on compte environ une cinquantaine d’articles). Outre les journalistes (auteurs principaux d’environ un tiers des articles), ce sont surtout les ministres de l’enseignement, les membres de partis politiques et des chercheurs universitaires (en sciences de l’éducation, en économie et en sociologie principalement) qui s’expriment au sujet de PISA (sous forme d’entretiens ou de prise de parole directe). On retrouve ensuite des représentants des organisations syndicales et patronales, des mouvements pédagogiques, des associations de parents, des professionnels de l’éducation (directeurs d’école, enseignants, inspecteurs), etc.
- 1 À titre indicatif, durant la même période, les études internationales Pirls et Timss sont citées re (...)
4Nos observations indiquent ainsi une très forte présence des enquêtes PISA dans l’espace médiatique (tout comme au sein des débats parlementaires), sans commune mesure par rapport à d’autres études nationales et internationales1, qui pourtant apportent des connaissances similaires sur le système éducatif en FWB. Cette forte occupation de l’espace public tient probablement, en partie, aux propriétés de l’instrument : le nombre important de pays couverts (quasi tous les pays européens) ; l’extrême attention accordée à la validité technique de l’outil ; la régularité de la périodicité d’enquête ; le fait qu’il mesure des performances et permet d’établir des classements dont les usagers peuvent aisément se saisir. Les stratégies de communication de l’OCDE participent sans doute aussi au succès médiatique.
5Dans cette contribution, nous examinons les usages médiatiques des enquêtes PISA : comment sont-elles mobilisées dans la presse écrite en FWB ? comment les différents types d’acteurs s’en emparent-ils ? quelles logiques d’utilisation peut-on distinguer ? avec quels effets sur les débats et l’action publique en éducation ?
6L’analyse de contenu des articles de presse montre que PISA est un outil peu questionné au niveau méthodologique, idéologique ou politique. On observe très peu de discussions sur les aspects techniques et scientifiques du dispositif d’enquête, sur l’orientation idéologique de PISA et de l’OCDE, ou encore sur la pertinence politique de l’outil. On retrouve plutôt un assez large consensus autour de la qualité, de la fiabilité et de l’utilité politique de PISA : « même si les critiques à l’égard de l’OCDE sont récurrentes (libéralisme, vision utilitariste de l’enseignement comme outil de croissance économique), PISA constitue une référence mondiale » écrit, par exemple, un journaliste (La Libre Belgique, 08/12/2010).
7Les résultats de l’enquête sont ainsi souvent perçus par les acteurs impliqués comme un simple reflet de la réalité. Rares sont ceux qui soulignent le fait que PISA ne permet pas d’observer la réalité mais seulement des données chiffrées relatives à la réalité, produites elles-mêmes au moyen de certaines techniques d’observation et moyennant un certain nombre de choix (méthodologiques, épistémologiques et politiques). Dans le vocabulaire de Luhmann (2012), on pourrait dire que les acteurs restent essentiellement au niveau des observations de premier ordre (qui permettent à l’observateur d’avoir le sentiment d’observer la réalité « telle qu’elle est ») en ne passant que rarement au niveau des observations de second ordre (qui consistent à observer l’observateur et ses techniques d’observation). En observant le monde à travers PISA, les acteurs ont le sentiment – décrit comme une « illusion » par Luhmann (2012, p. 50) – d’observer la réalité, alors qu’ils n’observent, en réalité, qu’un certain codage (nécessairement sélectif) de la réalité. L’outil lui-même échappe (en grande partie) à l’observation, il reste (pratiquement) invisible.
8Lorsque l’on se situe au niveau des observations de second ordre, c’est-à-dire lorsque l’on observe les observateurs et leur manière d’observer, il devient évident que « la réalité telle qu’elle est » est inaccessible ; il devient évident que (toutes) les observations sont nécessairement sélectives et tributaires des techniques d’observation et d’une série de choix opérés, consciemment ou non, par les observateurs. Notre propre contribution dans le cadre de cet article se situe au niveau des observations de deuxième (ou de troisième) ordre puisque nous observons la manière dont d’autres observateurs observent PISA.
9C’est à ce niveau d’analyse de deuxième ou troisième ordre également que l’on doit situer une partie de la littérature relative aux instruments de l’action publique, qui considère que celle-ci se construit et se structure autant par les instruments que par ses contenus ou l’énoncé de ses finalités (Lascoumes et Le Galès, 2010, p. 325). Les observations de second ordre permettent de montrer que les instruments d’action publique ne sont jamais neutres : ils produisent une certaine version de la réalité, ils codent la réalité d’une certaine manière. Leur forme, leur mode de fonctionnement, leur rationalité propre résultent de rapports sociaux, en même temps qu’ils en sont les dépositaires : ils promeuvent, parfois implicitement, une certaine manière d’organiser l’action des acteurs (gouvernants, gouvernés) et leurs interactions, en ce compris les rapports entre l’État et la société civile.
10Dans cette perspective, PISA ne constitue pas simplement un outil qui produit des connaissances sur les acquis des élèves et le fonctionnement des systèmes éducatifs. Plus fondamentalement, c’est un dispositif qui tend à redéfinir le rôle des acteurs (en particulier le rôle des usagers, des pouvoirs publics et autres pouvoirs organisateurs de l’enseignement, de l’OCDE). Il porte aussi en lui et véhicule une conception spécifique de la réalité scolaire – concevant l’école comme un système de production de compétences à mesurer –, et de ce que doivent être les pratiques des acteurs scolaires – attribuant en particulier à l’État un rôle de pilotage.
11La signification sociologique d’un instrument tel que PISA ne se comprend cependant pas uniquement au regard des caractéristiques du dispositif. Dans la pratique, les effets des instruments sont tributaires de deux autres facteurs. D’une part, les instruments s’inscrivent toujours dans un contexte, lui-même inscrit dans une histoire. D’autre part, les instruments n’existent que lorsqu’ils sont utilisés par des acteurs déterminés. Autrement dit, pour comprendre la portée d’un instrument tel que PISA, il est nécessaire de tenir compte du contexte socio-politique et de la manière dont il est utilisé par les acteurs (Mangez et Cattonar, 2010).
- 2 Consociatif : Une démocratie consociative, néologisme inventé par le politologue néerlandais Arendt (...)
12En Belgique francophone, il faut souligner le caractère consociatif2 de ce contexte, qui renvoie à l’existence de plusieurs « piliers », catholique et laïque, se traduisant, dans le champ scolaire, par la coexistence de plusieurs « réseaux d’enseignement ». Historiquement, ce contexte consociatif n’a pas été favorable au développement et à l’utilisation d’outils de connaissances objectivées, comme les évaluations externes, sur lesquels les politiques auraient pu s’appuyer (Mangez, 2010). Dans ce contexte caractérisé par un État central relativement faible et des réseaux d’enseignement relativement autonomes, les politiques éducatives se construisent avant tout sur la base de compromis entre les acteurs des différents piliers et c’est plutôt la « logique de la discrétion » qui prévaut (Mangez, 2009) : afin de préserver l’autonomie de chacun et de rendre possible la construction de compromis, on préfère ne pas savoir et ne pas se mêler de ce que fait l’autre réseau. Depuis le milieu des années 1990, ce contexte a cependant connu des changements significatifs, et l’on assiste à la montée d’une logique de pilotage et d’évaluation externe. C’est dans ce contexte en transformation, favorable à son utilisation, que la première enquête PISA a été diffusée en Belgique francophone : à un moment où, justement, le manque d’évaluation externe et de pilotage du système éducatif va être posé comme problématique, notamment par un rapport produit par l’OCDE dans les années 1990.
13Nos observations montrent en outre qu’une relative variété d’observateurs se réfère à PISA dans l’espace public, notamment médiatique. Dans la presse, outre les journalistes eux-mêmes, des acteurs politiques et des acteurs de la société civile commentent et analysent les résultats de l’enquête. Chaque type d’observateur est, inévitablement, sélectif et opère des choix en fonction notamment de la position qu’il occupe – dans le système médiatique, politique ou social. Comme le souligne Luhmann (2012), chaque observateur est limité dans ses capacités d’observation par son auto-organisation (ses structures internes). Autrement dit, si l’outil est sélectif et ne présente qu’une version possible de la réalité, les observations que les observateurs font de PISA sont elles-mêmes sélectives à leur tour. En témoigne le fait que la manière d’observer et de recoder PISA diffère selon la position des acteurs. C’est ce que nous allons développer dans la suite de l’article.
14Les contraintes du système médiatique lui imposent de produire de la nouveauté (des news). La presse quotidienne en particulier, comme son nom l’indique, doit produire quotidiennement quelque chose de neuf (ou, au moins en donner l’impression). Contrairement aux autres types d’acteurs (notamment politiques), elle ne peut pas simplement redire aujourd’hui ce qu’elle a dit hier. Les stratégies de communication mises en œuvre par l’OCDE sont clairement conçues pour capter l’attention du système médiatique et lui permettre de réaliser, avec une certaine facilité (conférence de presse, création d’un momentum, utilisation de graphiques et de formules chocs), sa fonction d’information.
15Si l’outil lui-même ne fait guère l’objet d’observations particulières dans les médias, les « résultats » – du moins, certains résultats – des enquêtes PISA y trouvent régulièrement leur place. Ce sont surtout les résultats relatifs au niveau des élèves, à la moyenne et au rang de la FWB dans le classement comparatif des pays participants qui occupent une place dominante, et cela malgré les efforts déployés par les chercheurs en charge de l’analyse, lors des conférences de presse notamment, pour minimiser ce type de lecture. La description qui est faite de l’enseignement en FWB à partir de ces résultats est alors largement négative, souvent à l’aide de formules « choc » : « Le bulletin francophone est déplorable » (La Libre Belgique, 4/12/2001), « Bonnets d’âne pour les ados francophones » (Le Soir, 11/12/2001), etc. Seule une partie des savoirs produits à partir des enquêtes PISA est publiée et discutée, souvent de manière peu approfondie et peu nuancée. Ainsi, par exemple, les savoirs produits à partir des questionnaires optionnels sont plus rarement commentés.
16La nécessité pour le système médiatique de produire des news a été rencontrée aisément lors des premières éditions de l’enquête. Les premiers résultats de l’enquête, publiés en 2001, ont été propices à la production d’un « électrochoc » médiatique. Plusieurs personnes interviewées parlent à ce sujet d’une « véritable gifle » infligée par PISA. Les termes utilisés dans la presse sont éloquents : « catastrophique » (La Libre Belgique, 04/12/2001), « alarmant » (Le Soir, 05/12/2001), « cruel » (La Libre Belgique, 10/12/2001), un « cauchemar » (Le Soir, 05/12/2001), une « bombe » (Le Soir, 04/01/2002), un « choc » (La Libre Belgique, 05/12/2001).
17Le caractère répétitif de PISA est susceptible de poser une difficulté au système médiatique : comment dire (encore) quelque chose quand les choses ont déjà été dites ? Comment parler des « mauvais résultats » de la FWB en 2010 ou en 2013 lorsque l’on en a déjà parlé en 2001, en 2004 et en 2007 ? Il est toujours possible de répéter les formules chocs ou d’en inventer de nouvelles. Une autre manière de procéder consiste à faire précisément de la répétition de l’information une information : une fois de plus, les résultats sont déplorables, « on avait fini par s’y habituer » (Le Soir, 08/12/2010). Une des forces de PISA tient au fait que l’enquête produit des résultats comparables au fil des éditions successives : la comparaison entre nouveaux et anciens résultats apporte une information nouvelle utile à la perpétuation de PISA dans l’espace médiatique. Dans le même ordre d’idées, la nécessité de répéter des informations en bonne partie identiques conduit le système médiatique à amplifier les petites variations observées : « notre école progresse mais reste très moyenne », on observe « un léger mieux » (Le Soir, 08/12/2010). Le système produit ainsi une information en dépit du manque de nouvelles informations.
18Enfin, on note aussi, au fil du temps, certaines évolutions dans la nature des sélections opérées par le système médiatique. Si le cœur de cible a toujours été centré sur les résultats moyens et sur la comparaison de la moyenne avec la moyenne des autres pays, une attention accrue semble accordée à la variance des résultats. À partir du deuxième cycle de PISA (2003), les articles de presse ont progressivement mis davantage l’accent sur les écarts de performance entre élèves et entre établissements, sur la ségrégation du système éducatif et son caractère inégalitaire : « PISA : le fossé se creuse entre “bonnes” et “mauvaises” écoles » titrait par exemple un quotidien lors de la dernière édition de PISA (La Libre Belgique, 04/12/2013). À ce propos, plusieurs acteurs interviewés soulignent l’effet de la médiatisation de PISA sur la conscientisation et la socialisation du grand public au problème des inégalités entre les élèves.
19Le système médiatique est ainsi susceptible de faire évoluer la manière dont les usagers et le grand public peuvent à leur tour se saisir de PISA. Nous reviendrons plus largement sur le rapport des usagers aux enquêtes PISA plus loin dans le texte. Examinons, avant cela, le codage politique de PISA.
20Notre analyse des débats parlementaires et médiatiques montre que les acteurs politiques se réfèrent à PISA principalement à partir des articles de presse parus à son sujet, plus rarement à partir des sources premières (rapports produits par l’OCDE ou le centre d’étude national). Pour ces acteurs, les enquêtes PISA peuvent (en théorie) constituer une ressource utile dans le processus d’identification de problèmes et de prise de décisions. Dans les faits, elles paraissent effectivement, grâce notamment à leur médiatisation, avoir joué un certain rôle dans la désignation (naming) des problèmes publics jugés importants en éducation (par exemple, la ségrégation du système éducatif). En particulier, elles ont contribué à renforcer la définition des problèmes de l’enseignement en termes d’inefficacité et d’inégalité (Maroy et Mangez, 2008). Depuis la première diffusion des enquêtes PISA en 2001, le système éducatif belge est ainsi largement décrit dans la presse comme « inefficace » et « inéquitable ». Plus encore, on peut avancer que PISA participe à faire évoluer les catégories de perception de la réalité scolaire, qui sont davantage statistiques, macro-sociales (au niveau du système) et comparatives (entre pays, entre groupes d’élèves, entre types d’écoles, etc.).
21En même temps, l’usage de PISA par les acteurs politiques est ambigu. Si les débats publics (parlementaires et médiatiques) mobilisent PISA au sujet de toutes les politiques éducatives prises ces dernières années, les décisions elles-mêmes ne proviennent pas d’une analyse des résultats des enquêtes PISA. On fait plutôt jouer à PISA un rôle de légitimation. Les résultats de l’enquête se prêtent d’ailleurs à des interprétations contrastées et sont utilisés pour légitimer des décisions diverses et variées, parfois opposées. Les divergences d’interprétation des résultats concernent autant la définition des problèmes que les études PISA mettraient en évidence (faiblesse versus disparités des résultats, inefficacité versus inégalité du système, etc.), que les explications et les solutions qu’elles suggèreraient pour y remédier (régulation du système par le marché versus régulation par l’État, réformes structurelles versus réformes pédagogiques, etc.). Les résultats de PISA tendent ainsi à être intégrés au sein de différents « récits de politique publique » (Radaelli, 2000) qui s’inscrivent, en grande partie, dans les clivages traditionnels propres au contexte belge (opposant, de manière schématique, les partis dits de « gauche » aux partis dits de « droite », le réseau d’enseignement officiel au réseau libre, les chercheurs en sciences de l’éducation aux chercheurs en économie, etc.) (Mangez et Cattonar, 2010). Autrement dit, les études PISA ne modifient pas les lignes de clivage du débat politique en éducation : elles sont plutôt utilisées, dans une logique rhétorique, pour légitimer des prises de position politiques préexistantes, sans permettre manifestement de trancher entre elles.
22En ce sens, en Belgique francophone, PISA ne semble pas être utilisé, comme le souhaitent ses promoteurs (l’OCDE), en tant qu’outil d’aide à la décision, c’est-à-dire en tant qu’outil d’évaluation externe des systèmes éducatifs qui produit des connaissances objectivées permettant aux décideurs nationaux de poser les meilleurs choix au niveau des politiques éducatives. Plusieurs acteurs politiques soulignent néanmoins le fait que la médiatisation des enquêtes PISA, en venant « dramatiser les termes des débats », a apporté un « coup d’aiguillon » à certaines propositions politiques et a accéléré leur mise à l’agenda du gouvernement. C’est, par exemple, le cas de la mise sur pied du pilotage de l’enseignement et des évaluations externes ou la question de la mixité sociale dans les écoles.
23PISA, comme d’autres outils d’évaluation externe liés au New Public Management, contribue indissociablement à transformer la société et ce que la société sait à propos d’elle-même. Une société qui s’observe elle-même au moyen d’instruments comme PISA n’est pas comparable à une société qui ne produit pas ce genre de dispositif d’auto-observation. Les effets de PISA peuvent donc aller bien au-delà du savoir qui est généré et produire une transformation du monde dans lequel ce savoir est produit.
24Au niveau sociétal, en induisant de nouvelles formes de communication et d’interpellation entre acteurs, les enquêtes PISA rendent possible une certaine réorganisation des rôles tenus par différents types d’acteurs et contribuent au développement de ce que Rosanvallon (2006) appelle une « démocratie de surveillance ». Dans ce type de société, selon Rosanvallon, le fondement démocratique ne repose plus principalement sur les urnes et la représentation. Le contrôle du pouvoir par la population s’exerce plutôt (ou aussi) au moyen de mécanismes qui permettent aux citoyens de contrôler les actions et les performances des acteurs publics, de l’État et de ses mandataires. Notre analyse suggère que PISA, dans le contexte belge francophone, fonctionne comme un instrument d’interpellation et de surveillance livré au grand public, qui remodèle les rapports sociaux entre les usagers et les pourvoyeurs de services éducatifs.
25On trouve des indices de cette transformation dans notre matériau. Ainsi, il est significatif de constater que certains acteurs politiques parlent de PISA comme d’une « épée de Damoclès » qui pèse sur eux, qui les somme de réagir et de rendre des comptes. Ils doivent eux aussi justifier leurs actions par rapport aux « mauvais résultats » à PISA et aux moyens d’y remédier. La presse en parle ainsi en termes de « test très attendu » (La Libre Belgique, 07/12/2004 et 05/12/2007, Le Soir, 04/12/2007) et « redouté » (Le Soir, 04/12/2007) par les décideurs politiques. PISA devient alors aussi un moyen d’interpeller les décideurs politiques : « La ministre compte-t-elle tirer les leçons de Pisa ? » (Le Soir, 15/12/2010), « Retenir les leçons de PISA et agir » (La Libre Belgique, 04/12/2013), « La Communauté française ne progresse pas, le gouvernement persiste dans ses mauvais choix » (La Libre Belgique, 08/12/2010).
26La médiatisation de PISA semble ainsi faire jouer à l’OCDE un rôle de « tiers évaluateur » (Rosanvallon, 2006) : elle offre aux citoyens (usagers) un moyen d’interpeller, de surveiller, de maintenir une certaine pression sur les acteurs institutionnels. La médiatisation de PISA participe de la sorte à une transformation du rapport entre l’État et la société civile, qui désormais place ses élites sous surveillance (Mangez et Cattonar, 2010).
*
**
27En Belgique francophone, les enquêtes PISA sont devenues, dès leur première édition, un référent incontournable : tous les débats publics en éducation y font référence, notamment dans la presse écrite. Différentes catégories d’acteurs mobilisent PISA selon des logiques diverses, variant en fonction de leurs positions. PISA offre aux acteurs médiatiques diverses occasions de produire de la nouveauté. L’enquête se prête manifestement bien à la médiatisation. Les acteurs politiques, quant à eux, l’utilisent surtout pour légitimer, dans l’espace médiatique, des prises de positions préexistantes, ce qui invalide partiellement le discours officiel de l’OCDE, qui présente PISA comme un instrument d’aide à la décision. Auprès des usagers, la médiatisation de PISA tend à faire fonctionner l’enquête comme un instrument d’interpellation et de surveillance des pouvoirs publics, sommés de justifier les résultats de leurs politiques. C’est donc un outil dont la (forte) médiatisation contribue à alimenter une nouvelle exigence de reddition de comptes à l’égard des pouvoirs publics.
28Au-delà de ces constats, il faut relever l’impact cognitif de la médiatisation des études PISA auprès du grand public. Celle-ci contribue en effet à la construction sociale de la « réalité » scolaire en Belgique francophone : en diffusant un certain « cadre d’interprétation du monde » (Muller, 2000), elle participe d’une évolution de la manière d’envisager la réalité scolaire, désormais davantage perçue comme un « système de production de résultats (des compétences) mesurables » (et moins, par exemple, comme une instance de socialisation des jeunes). PISA, comme tout outil d’évaluation externe, code la réalité scolaire d’une certaine manière mais ce codage est rarement pensé et débattu en tant que tel par les acteurs qui s’y réfèrent. PISA véhicule un certain nombre d’orientations en matière pédagogique, curriculaire et plus largement en matière de finalités éducatives, qui semblent échapper en bonne partie aux usagers, qui ne voient souvent dans PISA qu’un diagnostic « objectif » et « neutre » porté sur leur système éducatif. En pesant sur les acteurs institutionnels, armée des résultats de l’enquête, l’opinion publique participe alors, sans l’avoir choisi (car le débat public n’a pas eu lieu), voire même sans en avoir conscience, à la promotion des orientations dont l’instrument est le dépositaire (Mangez et Cattonar, 2010). Comme le relève Salais (2010) à propos des indicateurs statistiques de manière générale, un des problèmes soulevés par un tel usage, réside dans l’absence de processus collectif de délibération démocratique : ni les catégories de perception et de codage de la réalité sociale (ici scolaire), ni les orientations que l’instrument sous-tend et promeut n’ont été débattues démocratiquement.