1. Introduction

2L’objectif de cet article est de partir de la recherche concernant les variétés spécialisées de l’anglais et de voir en quoi le travail mené sur les genres spécialisés, plus précisément, peut nous permettre de revisiter la question de l’évaluation en ASP. Nous nous demandons ainsi s’il faut créer un cadre spécifique pour identifier et décrire les contenus langagiers spécifiques à chaque genre spécialisé, ou s’il est possible de s’appuyer sur un cadre de référence commun fondé sur une approche communicationnelle. Dans cet objectif, nous commençons par définir le concept de genre spécialisé et expliquer son utilité pour l’enseignement, en langues de spécialité. Puis nous envisageons les critères qui fondent l’évaluation, en langue générale et spécialisée, afin de mettre à jour l’existence d’un continuum entre pratiques, allant du plus général au plus spécifique. Nous montrons, à partir d’exemples d’évaluation de l’anglais en licence de biotechnologies santé à Grenoble, en quoi les genres spécialisés peuvent offrir un outil très utile pour restreindre le cadre de communication dans lequel les étudiants sont testés en cours de langue spécialisée, sans pour autant changer la nature des descripteurs et des critères qui peuvent être utilisés pour l’évaluation.

2. Les genres de discours spécialisés dans l’enseignement d’une langue spécialisée

2.1. Définir le genre de discours spécialisé

3La recherche en ASP, notamment dans un contexte anglo-saxon, est souvent orientée vers la production de supports d’enseignement à destination de groupes d’étudiants spécifiques dont les besoins langagiers sont définis à partir de l’observation de la situation de communication visée (Johns 2013 : 6). Contrairement aux ressources développées dans un cours de langue générale, il s’agit alors de répondre à un besoin particulier, ancré dans un contexte disciplinaire ou professionnel. Comme le souligne Michel Petit (2010 : § 28), on ne saurait en aucun cas réduire l’étude d’une variété de langue à l’étude de ses genres de discours. Cependant, le concept de genre a toujours été central dans la description de ces variétés. Dans son article sur l’histoire de la recherche en langue de spécialité, ou plus précisément « English for Specific Purposes », Ann Johns (2013 : 7) souligne que les toutes premières études qui peuvent entrer dans la catégorie étaient des comparaisons de structures grammaticales dans différents textes regroupés par genre. Elle souligne également le caractère essentiel de la publication par Swales de l’ouvrage Genre Analysis (1990) et la grande influence qu’il a pu avoir sur le développement de ce champ de recherche par la suite, surtout à la fin du XX^e siècle. Nous retiendrons la définition générale suivante des genres de discours comme « patrons sociocommunicatifs et historiques que les groupes sociaux se donnent pour organiser les formes de la langue en discours » (Adam 2011 : 33). Le concept de genre de discours a été repris par différents mouvements littéraires et linguistiques, conduisant parfois à une instabilité dans sa définition : « tantôt est pris en compte de façon préférentielle l’ancrage social du discours, tantôt sa nature communicationnelle, tantôt les régularités compositionnelles des textes, tantôt les caractéristiques formelles des textes produits » (Charaudeau & Maingueneau 2002 : 280). Cependant ce qui est commun à chaque définition est que les données compositionnelles et formelles concernant le discours sont situées dans un contexte de communication.

4Cet ancrage communicationnel explique la richesse du concept de genre, à la fois pour l’enseignement d’une langue spécialisée et, plus largement, pour l’approche actionnelle du CECRL. Les dimensions formelles et pragmatiques du discours sont prises en compte et décrites comme différentes facettes d’un même concept. Ainsi, les études de genre en ASP qui furent au départ de simples descriptions des mouvements observés dans la composition des textes ont évolué vers des études plus contextualisées visant à comprendre pourquoi les genres respectent une certaine structure formelle, et comment ils parviennent à accomplir leur but de communication (Paltridge 2013). Le caractère fortement contextualisé du genre de discours semble particulièrement adapté pour développer des ressources dans un contexte d’enseignement fondé sur une perspective actionnelle, dans laquelle les membres des milieux professionnels sont pris en compte en tant qu’acteurs sociaux. Un genre spécialisé peut être enseigné de façon à ce que les étudiants soient capables de reproduire ses normes langagières, afin d’améliorer la communication des étudiants dans un contexte spécifique. Tel est le cas lorsqu’on apprend à un étudiant les caractéristiques formelles d’un article de recherche, d’une présentation scientifique orale ou d’un poster, afin de le rendre apte à communiquer efficacement dans un contexte universitaire. On peut aussi introduire le genre spécialisé comme objet de réflexion, en s’appuyant sur les connaissances préalables des étudiants. Il est alors demandé aux étudiants d’observer des textes ou d’écouter des documents sonores authentiques et de distinguer les caractéristiques prototypiques du genre de celles qui le sont moins (Tincheva 2016).

2.2. Des genres spécialisés aux compétences langagières

5Il n’y a a priori pas d’incohérence entre une approche communicationnelle des genres spécialisés et l’approche actionnelle du CECRL. Le CECRL accorde une large place au concept de tâche, lequel concept nous semble important pour l’analyse des genres spécialisés et pour l’enseignement de l’ASP. Les tâches, pour être réalistes, sont en effet inspirées par des milieux professionnels et sont mises en discours à travers des genres spécialisés. Elles sont donc inspirées par les genres dans leur conception (macro-tâches conformes à la réalité socio-culturelle) et conduisent à des apprentissages ciblés de structures particulières (micro-tâches, cf. Belan & Narcy-Combes 2011 : 86). À cause de l’importance des approches communicatives et des tâches dans le CECRL, comme dans l’analyse des genres spécialisés, il nous a semblé cohérent de puiser dans les travaux de la Commission européenne un cadre de référence commun pour décrire les contenus langagiers de tous les genres spécialisés intégrés dans notre contexte d’enseignement, ce que nous allons développer avec un exemple de parcours grenoblois d’enseignement d’anglais qui commence en licence de biotechnologies et qui s’achève en master d’industrie pour la santé.

6L’identification de genres de discours pertinents est une étape essentielle pour la structuration de nos enseignements. Tous les points de langue que nous abordons sont ancrés dans un cadre communicationnel envisagé selon des critères génériques. Afin de sélectionner des genres pertinents pour nos étudiants, nous avons procédé à une analyse de besoins à partir de questionnaires remplis par nos étudiants chaque année depuis quinze ans (grâce à des questions à choix multiples et des commentaires libres). Nous avons complété cette analyse par notre expérience d’enseignement, des échanges avec nos collègues responsables de parcours et une étude d’ouvrages en anglais recommandés par nos collègues en guise d’introduction à leur domaine de spécialité. Cette analyse de besoins nous a permis d’identifier différents genres de discours pertinents. Certains sont des genres classiques, abondamment étudiés, appartenant au monde professionnel au sens large (courriels, conversations téléphoniques, entretiens d’embauche) ou au monde universitaire (articles de recherche, essais, affiches scientifiques, communications lors d’un congrès). D’autres sont plus spécifiques au domaine de nos étudiants et moins étudiés : protocoles scientifiques, FASP (fiction à substrat professionnel) ou science-fiction en lien avec les biotechnologies, les brevets scientifiques, ou encore les articles de pharmacopée. Nous avons intégré chacun de ces genres dans le parcours de nos étudiants en tentant de respecter un principe de multi-modalité (considérer à la fois des genres écrits et des genres oraux chaque année), de variété (éviter de répéter un même point de langue d’une année sur l’autre) et de progressivité (commencer par les genres de la vulgarisation scientifique en licence et aborder les genres plus spécialisés liés à la recherche et la recherche-développement en master). Ce sont ces mêmes principes qui nous ont guidées pour la mise en place des évaluations, qui sont toutes liées à un genre discursif déterminé (Biros & Matthys 2019).

2.3. Des compétences langagières à l’évaluation

7Pour déterminer les meilleurs critères d’évaluation à mettre en place pour un cours de langue de spécialité, il peut être utile de s’interroger sur la nécessité d’évaluer les étudiants sur des compétences spécifiques plutôt que de se contenter d’utiliser des tests de langue générale. Rappelons tout d’abord qu’il n’existe pas de consensus absolu sur la nécessité de mettre en place des tests de langue spécialisée par opposition aux tests de langue généraux. Pour certains, un niveau de langue devrait pouvoir être établi sans référence à un contexte spécifique, en fonction de la capacité du candidat à communiquer dans une langue étrangère en toute situation (Luo 2019 : 160). Pourtant, même dans un test de langue générale, les examinateurs vont choisir des thématiques, et il est fort probable que la performance linguistique des candidats soit influencée par leur connaissance plus ou moins grande des thématiques choisies. Il ne nous semble donc pas qu’il existe une différence de nature entre un test de langue générale et un test de langue spécialisé. On pourrait plutôt parler de continuum entre, d’un côté, des tests ayant peu de critères contextuels déterminants et, de l’autre, des tests avec des critères contextuels fortement déterminants. On passerait ainsi de tests d’anglais général à des tests situés dans un macro-domaine spécialisé (anglais de la santé, anglais universitaire, etc.), puis à des tests très spécialisés ciblant une situation de communication définie précisément (la consultation médicale par exemple).

9L’évaluation en ASP, comme toute évaluation en langue, est fondée sur un double principe de validité et de fiabilité (Bachman 1990). Pour la langue spécialisée, le principe de validité repose sur une adéquation aussi complète que possible entre les situations langagières cibles, celles qui sont utilisées dans la « vraie vie » et qui inspirent le contenu des cours, et celles du test. En effet, la correspondance entre une tâche identifiée comme importante dans la situation langagière cible et cette même tâche en situation d’évaluation permet de déduire que la réussite de candidats à ce test prouve leur capacité à utiliser efficacement une langue étrangère pour la tâche considérée (Douglas 2000). Il est important de noter ici que les tests en langue de spécialité ne jugent pas la capacité des candidats à effectuer cette tâche dans un cadre professionnel, par exemple, ce qui dépasserait le cadre des cours de langues, mais simplement leurs compétences linguistiques pour mener cette tâche à bien (Mc Namara 1989 ; Douglas 2000).

11À partir des réflexions générales élaborées ci-dessus sur l’évaluation en langue de spécialité, nous avons mis en place un programme d’évaluation, fondé sur les genres de discours, qui concerne l’ensemble de nos étudiants de la licence biotechnologies santé et du master industrie pour la santé. Notre objectif est qu’à la fin de chaque diplôme, les étudiants soient évalués à la fois sur des compétences de production et d’expression écrites et sur des compétences de production, de compréhension et d’interaction orales. Ainsi nous pouvons donner à nos étudiants une idée de leur niveau, adossé aux descripteurs du CECRL, qui pourra leur être utile pour la préparation d’un test de langue générale ou pour leurs recherches d’emploi ou de poursuite d’études après la validation du diplôme. Nous avons fait le choix de travailler l’oral pendant tout le parcours des étudiants, mais de l’évaluer seulement en fin de licence ou de master, de façon à leur permettre de prendre confiance avant de les évaluer sur ces compétences où ils se sentent moins à l’aise. Dans le tableau 1, nous présentons de façon synthétique les tâches et les genres discursifs à partir desquels ils sont évalués.

Tableau 1 : Synthèse des évaluations

Année d’étude	Compétence langagière	Genre de discours	Tâche
L2	Compréhension écrite	Article de presse ou blog écrit par un spécialiste de la discipline	Répondre à des questions de compréhension courtes
	Production écrite	Extrait d’article de presse ou blog sur un sujet controversé en lien avec les biotechnologies santé	Résumer le point de vue de l’auteur en reformulant et argumenter pour présenter le sien
L3	Compréhension orale	Vidéo de vulgarisation	Répondre à des questions de compréhension courtes
	Expression et interaction orale	Fiction à substrat professionnel et article de recherche	Résumer les deux documents et confronter leur traitement d’un même sujet en prenant en compte les critères génériques
M1	Compréhension écrite	Demande de brevet pharmaceutique	Répondre à des questions de compréhension courtes
	Production écrite	Demande de brevet pharmaceutique	Commentaire du graphique ou des figures et production d’un résumé du document
M2	Compréhension Orale	Extrait d’une conférence ou d’un dialogue entre spécialistes	Répondre à des questions de compréhension courtes
	Expression et interaction orale	Présentation dans un congrès scientifique	Faire une présentation orale devant un enseignant spécialiste de la discipline et un enseignant de langue puis répondre aux questions, dans des conditions similaires à celles d’un congrès scientifique

12Pour chacune des évaluations décrites ci-dessus, afin de construire des tests répondant à des exigences de validité et de fiabilité, l’élaboration de grilles d’évaluation critériées a été une étape essentielle. Nous avons mis au point une méthodologie très simple que nous souhaitons détailler. La première étape consiste à identifier la situation de communication visée la plus pertinente, selon les parcours et les spécialités. La deuxième étape consiste à dresser une liste d’objectifs que nous souhaitons que les étudiants atteignent dans la tâche qu’ils accomplissent en situation d’examen. Une fois cette liste dressée, nous pouvons chercher les descripteurs du CECRL déjà existants et correspondant le mieux à ces critères. Pour ce faire, les titres des grilles, très explicites, sont fort utiles. On peut alors relever tous les descripteurs pertinents, en fonction des niveaux que l’on souhaite évaluer et des critères d’évaluation. Dans notre cas, les niveaux qui nous intéressent sont les niveaux B1, B2 et C1. Il est très rare que nos étudiants aient un niveau inférieur au niveau B1 ou supérieur au niveau C1, ainsi nous préférons nous concentrer sur ces trois niveaux. Il s’agit ensuite de réécrire les descripteurs en gardant ce qui est décrit par le CECRL concernant les recommandations linguistiques, mais en précisant le cadre de communication dans lequel la tâche s’inscrit, notamment grâce à des critères liés aux genres discursifs. Une dernière étape, essentielle, consiste à synthétiser la grille afin d’obtenir un résultat lisible rapidement, qui puisse être partagé avec l’ensemble de l’équipe enseignante et mis à disposition des étudiants. Après avoir décrit les principes de la méthodologie, nous détaillons la façon dont nous l’avons mise en œuvre pour l’évaluation de nos étudiants.

3. L’évaluation de la compréhension (orale et écrite) d’une langue spécialisée

3.1. Écriture de grilles d’évaluation de la compréhension adaptées à un genre de discours spécialisé à partir du CECRL

13Pour ce qui est de la compréhension orale, nous formulons une quinzaine de questions à réponses courtes à partir d’une vidéo ou d’un document audio sélectionné en fonction du genre de discours identifié comme pertinent pour chaque parcours. Tout d’abord, il nous faut expliquer notre choix d’utiliser des questions à réponses courtes pour les exercices de compréhension. On peut s’interroger sur les raisons qui poussent les examinateurs à privilégier ce type de questions dans les certifications, afin d’envisager dans quel but nous pouvons avoir intérêt à les utiliser aussi. Il nous semble que le premier critère tient à l’objectif de ce type d’examen. Même si une question ouverte, qui demande à l’étudiant un travail de rédaction, peut paraître plus riche et plus proche d’une situation de communication réelle, ce que l’on teste avec une telle évaluation n’est pas uniquement la compréhension. Nous allons être influencés par la qualité de l’expression du candidat, y compris dans notre évaluation de sa compréhension du document. Limiter la nécessité pour le candidat de s’exprimer permet de se concentrer sur ce qui est vraiment l’objet de notre évaluation : la compréhension. Un autre avantage de ce type de questions est qu’elles apportent facilement des données statistiques sur la réussite des candidats à chaque question. Elles permettent ainsi de définir des seuils de réussites adossés à des niveaux. Les données seraient beaucoup plus difficiles à traiter avec des évaluations de type qualitatif. Ainsi, lorsqu’on procède à l’évaluation d’un grand nombre de candidats, comme le font les organisations de certifications, le choix d’utiliser des questionnaires à réponses courtes nous semble justifié. C’est aussi un choix qui a du sens lorsqu’on gère de très grands groupes d’étudiants, comme c’est souvent le cas dans les contextes d’enseignement considérés en ASP. Avec ce type de questionnaires, le critère de fiabilité des tests peut être vérifié en comparant les statistiques obtenues avec différents groupes d’étudiants.

14Maintenant que nous avons considéré ces questions d’ordre général sur l’élaboration de critères d’évaluation de la compréhension, nous allons donner un exemple d’élaboration de grille et de questionnaire pour l’évaluation de la compréhension orale des étudiants en L3 biotechnologies. Dans la liste de descripteurs du CECRL, la distinction entre les grilles pour la compréhension de l’oral repose essentiellement sur le type de macro-genre concerné : « émissions de radio et enregistrements », « émissions de télévision, films et vidéos », « annonces et instructions », « conférence ou exposés », « conversation entre tierces personnes ». Nous avons utilisé les descripteurs de la grille nommée « Compréhension générale de l’oral » et de la grille qui correspondait le mieux au type de document que nous utilisons pour notre évaluation orale, c’est-à-dire « Comprendre des émissions de télévision, des films et des vidéos ». Il est à noter que les descripteurs du CECRL laissent entendre que ce serait la nature phonologique, stylistique et visuelle du document écouté qui permettrait de distinguer les niveaux. Ainsi pour tester un étudiant sur un niveau, B1 il faudrait utiliser seulement des documents où « le débit est relativement lent et la langue assez clairement articulée » ou des films « dans lesquels l’histoire repose largement sur l’action et l’image et où la langue est claire et directe » (Conseil de l’Europe 2018 : 69). Pour tester un étudiant sur un niveau C1 en revanche, il faudrait utiliser « un film faisant largement usage de l’argot et d’expressions idiomatiques » ou « des émissions de télévision exigeantes » (ibid.). Il y aurait donc une différence de nature entre les documents utilisés, selon les niveaux testés. Les évaluations que nous mettons en place visent pourtant à évaluer tous nos étudiants, quel que soit leur niveau. Nous allons devoir les tester à partir d’un même document. Comment s’assurer malgré tout que les niveaux B1, B2 et C1 peuvent être testés ? Il nous faut sélectionner des documents dans lesquels certains passages reposent beaucoup sur l’image et peuvent être aisément compréhensibles, même si on ne saisit pas tous les détails, tandis que d’autres passages font état d’expressions idiomatiques et de difficultés spécifiques. Parmi les questions que nous formulons, certaines portent sur les passages faciles et ont un niveau de difficulté estimé à B1, alors que d’autres portent sur des passages plus exigeants avec des niveaux de difficulté estimé à B2 ou C1.

15Nous avons identifié dans les grilles du CECRL quatre types de critères pour évaluer la compréhension orale. Tout d’abord des critères permettant de préciser le sujet du document sonore, selon qu’il décrit des éléments concrets, simples et représentés par des images, ou bien abstraits et complexes. Le deuxième critère à interroger est celui de la profondeur de la compréhension, et l’on pourra ainsi distinguer un candidat qui comprend seulement les grandes lignes du sujet, d’une part, d’un candidat qui est capable d’en restituer les détails, d’autre part. Le troisième critère est celui de la langue, qui est soit qualifiée de « standard », soit décrite comme comportant des difficultés, telles que les « expressions idiomatiques », « l’argot » et les « changements de registre ». Enfin, le quatrième critère à prendre en compte est celui de la structuration du document sonore. Si les liens et les marqueurs qui permettent de suivre le raisonnement du locuteur sont explicites, la compréhension sera plus facile. Si au contraire ces liens sont implicites, on peut considérer que la compréhension du document nécessite un niveau de langue plus avancé. Ces quatre critères vont être pris en compte dans le format final de la grille. Il nous faut à présent ajouter des éléments qui précisent le cadre de communication générique adopté pour cette évaluation. Le genre de discours sur lequel nous interrogeons nos étudiants repose sur de courts documents vidéo portant sur un sujet en lien avec leur domaine de spécialisation. Il s’agit de documents de vulgarisation, mais les sujets abordés sont complexes. Les documents sont synthétiques et présentent en général plusieurs points de vue sur une même question. Les programmes où nous trouvons de telles vidéos dans le domaine de compétence de nos étudiants sont les suivants : TED Talks, NYTimes Retroreport, Kurzgesagt Videos (In a Nutshell, YouTube Science Channel), Catalyst (Australian Science Program). Même s’il s’agit d’un même type de vidéo, la difficulté de chaque enregistrement doit être évaluée individuellement, selon les accents et les qualités d’élocution des conférenciers ou intervenants ainsi que selon le sujet et l’organisation du document. Chaque passage peut aussi être analysé à la lumière de la grille pour identifier ceux qui présentent des difficultés spécifiques. La grille présentée dans le tableau 2 a été élaborée à partir des descripteurs du CECRL et on peut y distinguer en gras les éléments que nous avons ajoutés pour cerner le cadre de communication selon des critères génériques.

Tableau 2 : Grille d’évaluation de la compréhension orale à destination des troisièmes années de licence biotechnologies santé.

	B1
Niveau d’abstraction	Peut comprendre les passages concrets, surtout s’ils sont illustrés d’images, d’une vidéo de vulgarisation portant sur son domaine de spécialisation
Niveau d’intégrité	Peut comprendre les points principaux d’une vidéo de vulgarisation portant sur son domaine de spécialisation
Variété de langue	Peut comprendre les passages où la langue utilisée est standard à condition que l’articulation soit claire et l’accent courant
Structuration	Peut distinguer les messages généraux et les points de détail à condition que les liens entre les idées soient très explicites
	B2
Niveau d’abstraction	Peut comprendre les passages concrets et abstraits d’une vidéo de vulgarisation portant sur son domaine de spécialisation
Niveau d’intégrité	Peut comprendre les points principaux et l’argumentation d’une vidéo de vulgarisation portant sur son domaine de spécialisation
Variété de langue	Peut comprendre les passages où la langue utilisée est standard et où la terminologie est celle de son domaine
Structuration	Peut suivre une argumentation complexe à condition que le sujet soit assez familier et que le plan général de l’exposé soit indiqué par des marqueurs explicites
	C1
Niveau d’abstraction	Peut comprendre les passages concrets et abstraits d’une vidéo de vulgarisation, même ceux qui ne portent pas uniquement sur son domaine de spécialisation
Niveau d’intégrité	Peut comprendre dans le détail une vidéo de vulgarisation portant sur son domaine de spécialisation
Variété de langue	Peut reconnaitre une langue complexe et soutenue au-delà de la terminologie de son domaine, notamment les passages implicites, les sous-entendus, les expressions idiomatiques, les changements de registre, les accents rares
Structuration	Peut suivre une intervention d’une certaine longueur même si elle n’est pas clairement structurée et même si les relations entre les idées sont seulement implicites.

16Son caractère synthétique nous a permis d’élaborer des questionnaires avec une classification de chaque question selon le niveau qu’elle vise à évaluer.

3.2. Exemple de questionnaire de compréhension orale

17Le test de compréhension orale avec lequel nous allons illustrer l’utilisation de la grille présentée dans la partie précédente porte sur une vidéo d’une quinzaine de minutes produite par TED. Le conférencier est le docteur Leonard Sender, oncologue spécialisé dans les cancers concernant enfants, adolescents et jeunes adultes. Dans cette vidéo longue et complexe, il présente l’histoire et les avancées récentes de l’immunothérapie pour le traitement des cancers. La structuration de son argumentation n’est pas très explicite, il passe d’un sujet à un autre sans transitions apparentes. Lui-même fait remarquer la complexité du déroulé de son exposé à la moitié de la vidéo : « Are you with me so far ? Research is a long and winding road. ». Il s’agit d’une vidéo qui devrait nous permettre de différencier les étudiants de niveau B2 des étudiants de niveau C1, le fait de comprendre des contenus implicites et complexes étant présenté dans les grilles du CECRL comme un critère pour distinguer un étudiant de niveau C1 et plus. L’intégralité du questionnaire à réponses courtes écrit pour tester la compréhension des étudiants peut être consultée en annexe 4. Les étudiants ont accès aux questions lors du visionnage de la vidéo. Ils peuvent la visionner deux fois. Il s’agit ici pour nous de présenter certaines questions, que nous avons écrites avec un certain niveau du CECRL en tête.

18La question 7 de ce questionnaire est une QROC (Question à Réponse Ouverte Courte) dont l’intitulé est le suivant : « Quote an adjective to describe the problem identified by the speaker concerning the media coverage of immunotherapy ». Cette question porte sur les deux premières minutes de la vidéo, où le conférencier critique la couverture médiatique de l’immunothérapie. Même si l’étudiant n’a pas compris les détails de ces deux premières minutes, il devrait saisir que celle-ci est considérée comme manquant de modération. Les réponses acceptables sont les suivantes : « hyperbolic », « excessive », « sensationalist », « biased », « simplistic », « exaggerated », « not moderate (enough) ». Selon nous, même un étudiant avec un niveau B1 devait être capable de réussir cette question, puisqu’il s’agit de comprendre le message général (voir la grille de compréhension orale proposée dans le tableau 1). La question 6 du questionnaire est une QRU (Question à Réponse Unique) dont l’intitulé est le suivant : « For what proportion of patients are checkpoint inhibitors an efficient cancer treatment ? ». Cette question porte sur la phrase : « Checkpoint inhibitors work for only 10 to 15 % of cancer patients ». La compréhension de cet énoncé est plutôt facile. Cependant il porte sur un point de détail de la conférence et implique un degré de reformulation. On peut donc considérer que cette question pourrait être réussie par un étudiant de niveau B2 auquel on donne accès aux questions avant l’écoute. La question 8 du questionnaire est une QROC dont l’intitulé est le suivant: « Studying the disease ‘graft vs host disease’ led to huge advances in immunotherapy because it enabled a better understanding of the role of which element in the immune system ». Cette question ouverte porte sur la phrase suivante: « While researchers were looking at ways to prevent graft vs host disease, a new cell emerged, the T cell of the immune system ». Cette phrase est suivie d’un passage sur les manières bénéfiques d’utiliser de telles cellules. Bien que cette question porte sur un détail de la vidéo et implique un degré de reformulation de la part de l’étudiant, la langue standard utilisée et la diction claire du conférencier ne rendent pas la compréhension très difficile. On peut estimer le niveau nécessaire pour réussir cette question à B2. La question 2 du questionnaire est un QROC dont l’intitulé est le suivant : « What image does the speaker use to describe T-cells ? ». Cette question porte sur la phrase : « This T-cell is a double edged-sword ». Le rythme d’élocution du conférencier pendant ce passage est assez rapide. Le terme « double-edged sword » est un terme qui ne fait pas partie de la langue standard, ni du domaine de spécialité des étudiants. On peut donc dire que la réussite à cette question est exigeante et révèle un niveau C1. C’est aussi le cas de la QRU de la question 5 : « What types of cells attack the normal cells in the disease ‘graft vs host disease’ ? ». Cette question porte sur le passage : « The immune cells from the donated material attack the patient’s normal cells ». Dans cette phrase, l’idée que ces cellules sont issues de la greffe est implicite. On peut considérer qu’un niveau C1 est nécessaire pour réussir cette question.

19Ainsi, il parait souhaitable d’écrire le questionnaire en ayant à l’esprit les niveaux du CECRL tels qu’ils sont décrits dans la grille de notation. On peut commencer par une écoute du document permettant de repérer les passages faciles et les passages plus exigeants, en identifiant des passages où le sens est implicite et en repérant des expressions idiomatiques, ainsi que des changements de registre. Sur ces passages identifiés comme difficiles, on peut écrire des questions de niveau C1. Les questions de niveau B2 peuvent être assez exigeantes mais doivent porter sur des passages plus explicites dont la terminologie est issue du domaine de spécialisation des étudiants. Enfin, les questions de niveau B1 devraient porter sur les points principaux de la vidéo et permettre d’évaluer la compréhension globale de l’ensemble plutôt qu’une compréhension fine des détails. Si les questions de niveau B1 portent sur un passage précis, il faut s’assurer que l’élocution de celui qui parle est claire et la langue qu’il utilise standard. Le fait d’avoir des questions différenciées en termes de niveau visé devrait permettre d’estimer le niveau de compréhension des étudiants sur la grille du CECRL. Un étudiant qui réussit la majorité des questions (plus de 90 % de réussite par exemple) sur la moyenne des quatre épreuves de contrôle continu et de l’examen final (voir section 2.3) peut alors être estimé comme ayant un niveau C1. Un étudiant qui ne réussit que les questions les plus simples, peut être estimé comme ayant un niveau B1. Les étudiants qui réussissent toutes les questions de niveau B1 et B2 peuvent être estimés comme ayant un niveau B2. S’ils réussissent aussi quelques questions C1, on peut estimer que leur niveau est B2+. En écrivant les questionnaires avec ces critères à l’esprit, on peut aussi habituer les étudiants à se faire tester sur des critères de compréhension qui sont communs à de nombreux tests de langue générale, qui prennent en compte des distinctions entre implicite et explicite, compréhension globale et compréhension de détail, contenus abstraits et concrets.

3.3. Résultats des étudiants pour la compréhension orale

20Ce test a été utilisé sur une promotion de 97 étudiants dont nous avons étudié les résultats afin de vérifier notre hypothèse concernant la difficulté des questions. La plateforme SIDES que nous utilisons a l’avantage de nous indiquer pour chaque question non seulement le pourcentage de réussite, mais aussi le pourcentage de discrimination. La discrimination est calculée en prenant en compte la réussite des étudiants à une question en fonction de leur note finale au test. Si ceux qui ont réussi une question sont ceux qui ont les meilleures notes globales, le taux de discrimination de la question est jugé bon. Si ceux qui ont réussi une question sont plutôt des étudiants dont les notes globales appartiennent au quart inférieur de la cohorte, la discrimination est jugée faible. Si tous les étudiants réussissent une question, la discrimination est aussi jugée faible. Puisque le pourcentage de discrimination permet de distinguer les questions où seuls les étudiants ayant un bon niveau réussissent, une question de niveau C1 devrait avoir un fort pourcentage de discrimination. Dans le tableau 3, on peut observer les statistiques de réussite et de discrimination pour chaque question.

21On voit que la question 7, identifiée comme de niveau B1, est dotée d’un taux de discrimination faible, puisque son taux de réussite est très élevé. Étant donné que nos étudiants ont en général un niveau supérieur au niveau B1, cela nous semble cohérent. Pour la question 8, identifiée comme de niveau B2, le taux de discrimination est jugé correct et le taux de réussite est de 82 %. Pour la question 2, estimée de niveau C1, le taux de réussite est de 79 % et la discrimination est jugée correcte. Pour la question 5, estimée de niveau C1, le taux de réussite est de 71 % et la discrimination est jugée bonne. Ajoutons que la question 1 présente un taux de réussite très faible et un taux de discrimination également faible, ce qui signifie qu’elle n’a pas permis de distinguer les bons étudiants. Il s’agit d’une question qui a besoin d’être reformulée, car les étudiants n’ont visiblement pas bien compris sur quoi elle portait. On voit que ces résultats nous confortent dans la plupart des cas dans notre estimation de la difficulté des questions. Bien qu’il ne s’agisse que d’un test court, qui n’est pas suffisant pour estimer le niveau CECRL de nos étudiants, il nous donne des indications pertinentes. Nos étudiants passent chaque année quatre tests de ce type en contrôle continu et un test qui fait partie de leur examen final. Ces cinq tests sont comparables, dans la mesure où ils portent tous sur un même genre spécialisé, les vidéos de vulgarisation scientifique. En combinant les résultats de ces cinq tests, tout en tenant compte du pourcentage de discrimination de chaque item, nous serions en mesure de donner une estimation assez précise du niveau de compréhension orale des étudiants. Par ailleurs, en entrainant régulièrement nos étudiants à ce type de test, avec des réponses courtes et une formulation de questions qui s’appuie sur les grilles du CECRL, nous pourrions contribuer à préparer nos étudiants à passer des tests standardisés de langue générale tout en ne sacrifiant en rien à notre objectif d’enseignement de la langue spécialisée de leur domaine.

4. L’évaluation de la production et interaction (orale et écrite) d’une langue spécialisée

4.1. Écriture de grilles d’évaluation de la production adaptées à un genre de discours spécialisé à partir du CECRL

22Pour l’évaluation de la production langagière, la correction automatique et les données quantitatives sont moins pertinentes. Cependant, on peut s’inspirer des tests de langue générale et des grilles du CECRL pour mettre en place des évaluations qui sont pertinentes. En troisième année de licence biotechnologies santé, en vue de l’évaluation de la production et de l’interaction orale, les étudiants préparent une communication d’une dizaine de minutes où ils analysent un film de fiction représentant leur domaine à la lumière d’un article scientifique. Cette tâche s’ancre pleinement dans le champ disciplinaire des étudiants (Isani & Chapon 2015), car les chercheurs considèrent souvent ces films ou ces romans comme des scénarios mettant en scène les futures répercussions possibles de certaines avancées techniques sur une société donnée, voire sur le monde entier (voir Fries 2016 pour la science-fiction portant sur les nanotechnologies). Afin de préparer les étudiants à cet exercice, nous travaillons sur la séquence narrative (Adam 2011) et sur la structure de l’article scientifique. Par ce biais, nous cherchons à développer chez nos étudiants une meilleure prise de conscience des caractéristiques de certains genres discursifs, qui leur permette d’approfondir leur analyse.

23Pour l’élaboration de la grille d’évaluation, nous avons consulté les descripteurs du CECRL qui portent à la fois sur la production orale et sur l’interaction orale. En effet, les critères d’évaluation que nous avons identifiés pour la production de ce test puisent dans ces deux compétences. On peut résumer ces critères à partir des points suivants :

1. Être capable de résumer un film à l’oral ;

2. Être capable de décrire le contenu d’un article de recherche à l’oral ;

3. Donner son opinion ;

4. Structurer son exposé oral ;

5. Avoir conscience des genres de discours et proposer une analyse de contenu de qualité ;

6. Qualité de l’expression ;

7. Capacité à comprendre et répondre aux questions de façon pertinente ;

8. Fluidité du discours et de l’intonation, qualité de la prononciation.

24Pour chacun de ces critères, nous avons identifié des descripteurs du CECRL qui pourraient être utilisés que nous présentons dans le tableau 4. Nous en avons ajouté lorsqu’aucune grille ne semblait adaptée.

Tableau 4 : Grille du CECRL utilisée en fonction des critères à évaluer

25Une fois les descripteurs identifiés, comme le manuel de référence l’indique, il est important de réaliser un travail de synthèse afin que les critères soient aisément lisibles et que les enseignants puissent s’en emparer. La grille doit aussi être associée à une notation puisque le but est aussi de noter les étudiants (examen de fin d’année). En annexe, nous présentons les descripteurs que nous avons utilisés pour élaborer l’évaluation (annexe 1) ainsi que la grille d’évaluation synthétique écrite à partir de ces descripteurs (annexe 2). La reformulation des descripteurs (passages indiqués en gras en annexes 1, 2 et 3) vise à intégrer des critères génériques qui viennent s’ajouter aux critères linguistiques d’ordre général définis par le CECRL.

26Concernant l’évaluation de la production écrite, nous allons à présent donner un exemple issu de notre enseignement en M1, pour lequel l’évaluation est fondée sur la production d’un genre de discours professionnel authentique. Nous évaluons en effet les étudiants à partir d’une production écrite en lien avec la demande de brevet pharmaceutique. Ce genre a été choisi à partir d’entretiens menés avec nos collègues spécialistes de la discipline. Ils nous ont confirmé que ces documents étaient susceptibles de jouer un rôle significatif dans la future vie professionnelle des étudiants, qu’ils se destinent à la recherche universitaire ou industrielle. De plus, comme nous avons pu l’observer lors d’une étude exploratoire non publiée, la structure, le registre et la phraséologie retrouvés dans ces documents rejoint en de nombreux points ce que l’on retrouve dans les demandes de financement de projets de recherche qui jouent eux aussi un rôle majeur, de façon croissante, à la fois dans la recherche universitaire et industrielle. Par rapport à un article de recherche, ces documents ont l’avantage d’être plus synthétiques et plus descriptifs, avec l’inclusion presque systématique de schémas et de graphiques commentés permettant de visualiser les caractéristiques spécifiques de l’invention. La description de graphique à partir de ces documents est ainsi une tâche que nous pouvons inclure dans l’évaluation. Notre enseignement autour de ce document en M1 vise à préciser son rôle, donner des exemples de demandes de brevet qui ont été marquantes socialement (par exemple une demande de brevet portant sur une séquence d’ADN), décrire la structure du document et explorer pour chaque section la phraséologie et la terminologie récurrentes. À la fin du semestre, la production écrite des étudiants est évaluée à partir de deux tâches fondées sur une demande de brevet authentique : la description du graphique qui y est intégré et un résumé de l’ensemble du document. En effet, ces deux éléments, qui existent dans le document authentique, sont supprimés dans le sujet d’examen et il s’agit pour les étudiants de les reproduire de la façon la plus authentique possible. En suivant une méthodologie similaire à celle que nous avons détaillée concernant la production orale, nous avons élaboré une grille d’évaluation pour l’évaluation de ces deux tâches que nous présentons en annexe 3. Comme dans le cas de la production orale, la reformulation des descripteurs vise à prendre en compte des critères génériques.

4.2. Exemple d’évaluation de la production et interaction orale

27Afin de voir comment la grille concernant la production et l’interaction orale peut être utilisée pour l’évaluation de travaux réels d’étudiants, nous allons observer quelques extraits des présentations orales des étudiants de L3 biotechnologies pendant l’année 2019-2020. Nous en retranscrivons quelques passages qui portent tous sur l’ouverture du récit, avec la situation initiale et la complication, ce qui nous permet d’évaluer ce point. Le premier étudiant a choisi de travailler sur le film Replicas datant de 2018. Il décrit l’ouverture du récit en ces termes :

Exemple de production étudiante 1

To beginning, Foster specialises in scientist biology and mapping of the mind’s neural pathways and reproductive human cloning. Foster takes his wife Mona and three children on a trip but on the way all but William are killed in a car crash. Determined to resuct his family he use the equipment necessary to extract his family’s neural map and to clone replacement bodies for them.

28Dans cet extrait, peu de mots de liaison sont utilisés (en gras dans le texte), tous les verbes sont au présent et on peut identifier des fautes lexicales et grammaticales (soulignées dans le texte) qui peuvent gêner la compréhension. La prononciation est aussi difficile à suivre par moment. Nous estimons que cet étudiant témoigne ici d’un niveau B1 pour ce qui est des points que nous pouvons évaluer dans cet extrait. Le deuxième étudiant a choisi de travailler sur le film My Sister’s Keeper datant de 2009. Voici l’extrait qui décrit l’ouverture du récit :

Exemple de production étudiante 2

During Kate’s childhood everything was going well until the discovery of an anemia which had led to the diagnosis of a leukemia. As a consequence, the little girl grew up until there was no possibility of remission because her leukemia was too advanced and only a bone marrow donation could save her. Nevertheless, neither her parents nor her brother were compatible. This is the reason why their solution was Anna.

29L’utilisation des mots de liaison est satisfaisante dans cet extrait. Le vocabulaire et l’utilisation des temps ne sont pas toujours précis (voir passages soulignés) mais il n’y a pas d’erreur majeure et la prononciation est suffisamment bonne pour ne pas gêner la compréhensibilité. Nous estimons que l’étudiant témoigne ici d’un niveau B2. Le troisième extrait est issu d’une présentation portant sur le film Blade Runner 2049 datant de 2017 :

Exemple de production étudiante 3

The movie begins when K is hunting down an older replicant called Morgan he manages to kill after a harsh fight. While scanning the farm where he was hidden, he finds a box buried under ground. Shortly after, he comes back to the farm and finds a date written on it, which he decides to keep secret because it is the same date as one in his memories.

30Dans cet extrait le vocabulaire est précis, la syntaxe est complexe, l’utilisation des temps et mots de liaison est bonne. L’étudiant fait par ailleurs preuve d’une excellente prononciation et intonation. Nous estimons qu’il témoigne d’un niveau C1 dans cette présentation. Nous espérons avoir donné un aperçu, avec ces quelques exemples, de la façon dont les grilles peuvent être utilisées pour l’évaluation de nos étudiants, dans le double objectif de poursuivre leur apprentissage de la langue spécialisée de leur domaine et d’améliorer leur performance dans un test de langue générale.

Conclusion 

31Revenons à la question posée au début de cet article : est-il nécessaire de développer un cadre d’évaluation spécifique pour souligner les particularités de chaque genre spécialisé ? Les exemples dans le domaine des biotechnologies ont montré que ce n’est pas nécessairement le cas, et que le CECRL peut constituer un cadre de référence commun à ces genres divers. L’adaptation des échelles de descripteurs à des contextes de communication spécifiques, recommandée dans le Volume complémentaire (Conseil de l’Europe 2018) est un gage de validité pour l’évaluation des tâches de production liées aux genres spécialisés. Le fait de s’inspirer de genres spécialisés pour les exercices de compréhension à réponse courte constitue un facteur de réussite pour les étudiants, parce qu’il leur permet de s’appuyer sur un contexte spécialisé dont ils sont familiers et qui contribue à leur motivation pour progresser. Le fait d’utiliser, grâce à la plateforme SIDES, des critères de discrimination permet d’évaluer la validité spécifique de chaque item. Dans le cadre limité de cet article, nous n’avons pas pu aborder la question de la fiabilité des évaluations mises en place, en particulier dans le cas des tests à réponse courte, mais ce point pourrait faire l’objet de recherches ultérieures. Il serait utile, en particulier, de mener une étude quantitative incluant la passation d’un même test de positionnement de langue générale en début et en fin d’année, de façon à vérifier si le fait d’ancrer les exercices à réponses courtes dans les genres spécialisés de la vulgarisation scientifique a aidé les étudiants à progresser, globalement, en compréhension. Il serait également essentiel d’élargir notre expérience concernant les genres spécialisés à d’autres domaines. Cette future recherche sera motivée par la preuve qu’intégrer le CECRL dans nos critères d’évaluation est un avantage, car ce choix permet de préparer des étudiants à passer un test de langue générale (CLES B2, IELTS, LANGUAGECERT, LINGUASKILL, TOEFL, etc.) sans pour autant renoncer à nos objectifs en ASP.