1Cette étude est inscrite dans le champ des littéracies, entendu ici dans une perspective intégrative, bien loin de la dichotomie maitrise/non-maitrise de l’écrit : cette conception de la littéracie considère l’apprentissage de l’écrit dans le temps, toujours en développement (y compris à l’âge adulte, y compris pour des scripteurs confirmés) (Boch, Grossmann & Rinck, 2015). Notre contribution porte sur un aspect particulier de la compétence écrite, à savoir la compétence lexicale, ici envisagée en réception. À l’instar de Grossmann (2005), repris par Sardier (2019), nous considérons que la compétence lexicale, loin de se réduire à une simple capacité linguistique morpho-sémantique, doit être envisagée de manière dynamique : en particulier, le cotexte a un rôle actif et régulateur à jouer dans l’interprétation du lexique. Cette perspective nous semble proche du point de vue de Marconi (1997, cité par Tremblay, 2009) qui considère la compétence lexicale comme l’habileté à utiliser le lexique en situation en faisant appel à la capacité inférentielle (connexion entre les unités lexicales) et la capacité référentielle (relation entre les unités lexicales et le monde).
2Le rôle majeur de la compétence lexicale dans la communication langagière est largement reconnu (cf. p. ex. David, 2000 ou Tremblay & Polguère, 2014). Comme le rappelle Anctil (2017), au plan de la réception, niveau d’acquisition du lexique et niveau de compréhension en lecture sont étroitement corrélés. Depuis les années 1960 en particulier pour l’anglais, est disponible une littérature abondante concernant l’évaluation du lexique en L2 (pour un état des lieux, voir Read, 2000). Concernant le français, elle l’est beaucoup moins, encore aujourd’hui : Batista et Horst (2016) font le constat d’options très réduites concernant les tests disponibles en français langue étrangère, contrairement à ce qu’on trouve pour l’anglais. En français en tant que L1, la question de l’évaluation de la compétence lexicale à l’écrit est peu explorée dans les travaux en didactique du lexique, sans doute en raison de son caractère complexe. L’une des raisons de cette complexité tient à l’absence de référentiel disponible dans ce domaine (Grossmann, 2011) : en particulier lorsqu’on cible un public adulte, comme c’est le cas ici, il est impossible de déterminer des attentes précises, ne serait-ce qu’au plan strictement quantitatif. En effet, à milieu social égal, on n’attend pas d’un lecteur de 20 ans qu’il interprète de la même façon un texte complexe qu’un sénior de 60 ans, exposé trois fois plus longtemps aux unités lexicales de la langue écrite. Le lexique tient en effet une place à part en didactique du français, notamment parce qu’il est « fortement déterminé par les usages de chaque locuteur (en production et en compréhension) » (Garcia-Debanc, Masseron & Ronveaux, 2014, 4e de couv.).
3Ainsi, à la fois centrale et mouvante, la compétence lexicale n’est pas une compétence langagière comme les autres. Ses propriétés intrinsèques rendent aussi nécessaire que difficile la réflexion portant sur son évaluation.
- 1 La conception de ce test et les mesures psychométriques réalisées pour sa validation sont présentée (...)
- 2 « designed to see whether the person being tested can notice the difference » (The Cambridge Dictio (...)
4L’entrée que nous avons choisie pour mener cette réflexion concerne le choix des distracteurs dans un test visant à évaluer la compétence lexicale en réception1. Dans un test comportant des questions à choix multiple (dorénavant QCM), chaque question est composée d’une réponse correcte et d’autres réponses incorrectes ou « distracteurs » (Revuelta, 2004, p. 217). Ceux-ci se définissent comme des réponses plausibles mais incontestablement fausses, et, selon l’UTC (2015), destinées à identifier si la personne testée est capable de faire la différence entre la bonne et la mauvaise réponse2. Un « distracteur » est ainsi nommé car il opère une « distraction » au sens étymologique de « détournement » : « The incorrect options are called distractors because they are considered to be ‘distracting’ to students with partial knowledge due to their plausibility to yield the correct option. » (Gierl, Bulut, Guo & Zhang, 2017, p. 1084) Néanmoins, malgré l’abondante littérature existant sur les tests QCM, la réflexion sur la construction et l’analyse des distracteurs n’a pas fait l’objet jusqu’à présent d’un traitement équivalent (ibid., p. 1082). Nous proposons donc de cerner les différents types de distracteurs à exploiter dans ce type de test, en fonction de leur pertinence avérée.
5La section 2 qui suit dresse un bref état des lieux des études portant sur l’efficacité comparée des distracteurs dans des tests mesurant la compétence lexicale en réception. Est ensuite présenté le protocole expérimental adopté (section 3), suivi d’une analyse comportant des hypothèses interprétatives sur les raisons de l’attraction plus ou moins forte des distracteurs étudiés (section 4). Enfin, nos observations nous amèneront à formuler des préconisations visant à aider la tâche de rationalisation à laquelle est soumis tout concepteur de test pour construire ses distracteurs, dans le champ de l’évaluation de la compétence lexicale en réception.
- 3 Cité par le CNRTL, voir sitographie.
6Dans son acception en psychologie, et dans le cadre de tests QCM, le distracteur, en tant que réponse erronée mais vraisemblable, est destinée à détourner le sujet testé des réponses exactes et à permettre au testeur d’interpréter ses choix (d’après Thinès & Lempereur, 19753). Le recours à un distracteur a ainsi pour objectif de perturber le choix du sujet afin de pouvoir établir la précision de ses compétences, ici lexicales. Néanmoins, chaque distracteur ne possède pas le même degré de difficulté et donc d’efficacité dans cette opération de perturbation :
The difficulty of a distractor depends on its attractiveness for a given population of individuals. Easy distractors can be discarded by almost all examinees, and receive few responses. On the other hand, difficult distractors have high attractiveness and response frequency. (Revuelta, 2004, p. 217)
- 4 À titre d’exemple, dans leur analyse de la compétence lexicale d’adolescents sourds et entendants, (...)
7De manière indirecte, l’étude des distracteurs choisis par les personnes soumises au test peut également informer les chercheurs sur les erreurs tendanciellement produites auprès d’un public donné, et ainsi fournir des indices de la construction de cette compétence auprès de ce même public4. En retour, l’identification de l’acquisition partielle de certaines compétences permet de fournir des indices sur la construction d’un bon distracteur. C’est l’une des deux stratégies identifiées pour créer des distracteurs (« a list of plausible but incorrect alternatives linked to common misconceptions or errors in thinking, reasoning, and problem solving », Gierl, Bulut, Guo & Zhang, 2017, p. 1088). Cette liste d’erreurs courantes est établie sur la base d’expérimentations auprès des apprenants, mais aussi à partir des connaissances et des observations de l’enseignant qui connait bien son public. L’autre stratégie repose sur la ressemblance partielle (similarity en anglais) pouvant être perçue entre la réponse correcte et le distracteur, que cette ressemblance repose sur des traits sémantiques ou structurels partagés. Ce sont ces deux stratégies que les conceptrices du test ont suivies.
- 5 « There are no reliable references about distractors because little research have been conducted on (...)
8Tant en recherche (pour un état des lieux, voir Read, 2000) que dans les tests à QCM couramment utilisés, on observe un consensus fort quant à la nécessité d’évaluer le lexique en contexte, c’est-à-dire en proposant à minima les unités lexicales dans un contexte phrastique, et non pas isolément ; les tests à grande échelle en Anglais L2 tels que ESOL, TOIC ou TOEFL en sont de bons exemples. Cela étant, si ces tests sont largement répandus et utilisent tous des distracteurs dans les questions proposées, peu d’études se sont penchées dans le détail sur le degré d’efficacité des distracteurs en fonction de leur type (Hoshino, 2013)5, alors qu’ils sont supposés déterminants dans l’établissement du niveau de difficulté de l’item testé.
9S’ils sont rares, les travaux disponibles sur la question des distracteurs dans les tests d’évaluation de la compétence lexicale chez des adultes (en L2 exclusivement, à notre connaissance) ont permis toutefois de mettre en lumière un constat fortement partagé : les distracteurs reliés sémantiquement entre eux et/ou à la lexie ciblée sont plus appropriés pour tester la compétence lexicale des candidats que les distracteurs non reliés sémantiquement (Greidanus & Nienhuis, 2001 ; Wolter, 2001). Autrement dit, un candidat manifestera une compétence lexicale plus développée s’il parvient à sélectionner la bonne réponse parmi d’autres unités lexicales ayant des liens sémantiques entre elles et/ou avec la lexie ciblée. Hoshino (2013) distingue à cet effet trois types de distracteurs :
-
- 6 « In a paradigmatic relationship, a word is classified under the same part of speech as the target (...)
- 7 Par exemple : I had started to feel very tired and I decided to try and find somewhere to ( ) a sle (...)
Les distracteurs dits « paradigmatiques6 », caractérisés par le fait qu’ils entretiennent des liens sémantiques avec la lexie ciblée et appartiennent à la même partie du discours7. En voici un exemple (cet exemple, ainsi que les deux qui suivent, sont inspirés des exemples fournis en anglais par Hoshino figurant ici en notes de bas de page) :
Ex. 1 : J’ai commencé à me sentir fatiguée et j’ai décidé de trouver un endroit pour FAIRE une petite sieste : FAIRE en concurrence avec ACCOMPLIR, REALISER, EXÉCUTER.
-
- 8 Par exemple : I had started to feel very tired and I decided to try and find somewhere to ( ) a sle (...)
Les distracteurs dits « syntagmatiques », qui entretiennent une relation de co‑occurrence avec l’un des mots du contexte de la phrase8.
Ex. 2 : J’ai commencé à me sentir fatiguée et j’ai décidé de trouver un endroit pour FAIRE une petite sieste : en concurrence avec VOULOIR, AVOIR BESOIN DE, DÉSIRER.
-
- 9 Par exemple : I had started to feel very tired and I decided to try and find somewhere to ( ) a sle (...)
Les distracteurs dits « non reliés », qui n’entretiennent aucune relation avec la lexie ciblée ou avec le contexte9.
Ex. 3 : J’ai commencé à me sentir fatiguée et j’ai décidé de trouver un endroit pour FAIRE une petite sieste : FAIRE en concurrence avec DEVINER, VOTER, JUGER.
- 10 Notre traduction de « MC vocabulary tests in sentencial contexts ».
10À partir de cette tripartition, l’étude de Hoshino (2013) explore les effets des distracteurs sur la difficulté des tests QCM en vocabulaire en contexte phrastique10. Les résultats montrent logiquement que les distracteurs paradigmatiques et syntagmatiques sont tous deux plus efficaces que les distracteurs non reliés. Autrement dit, les tests comportant ces types de distracteurs sont plus difficiles que ceux comportant des distracteurs non reliés.
11Ces résultats sont utiles à la création de tests QCM visant la compétence lexicale : nous savons désormais que le degré de difficulté d’un item ciblé varie selon que le distracteur entretient ou pas des relations (syntagmatiques ou paradigmatiques) avec la lexie cible ou avec un élément de l’énoncé, du moins en contexte L2. Mais qu’en est-il en contexte L1 ? Ces résultats demeurent-ils valables ? Observe-t-on d’autres types de distracteurs ? Si oui, quelles sont leurs caractéristiques ?
12L’absence d’études de grande ampleur dans ce domaine nous conduit dans un premier temps à mener une étude exploratoire. À partir des résultats obtenus dans un test QCM adressé à un public de niveau de première année universitaire, nous vérifierons si les deux stratégies classiques mises en œuvre dans la création des distracteurs suffisent pour rendre compte de la performance des distracteurs. Au regard des caractéristiques de ces distracteurs que nous décrirons, nous formulerons à posteriori des hypothèses interprétatives sur les causes possibles de la bonne performance d’un distracteur.
- 11 Le projet CertiRedac, voir sitographie.
13La présente étude s’inscrit dans un projet de recherche plus large portant sur la conception d’un test en compétences rédactionnelles11 qui s’adresse à un public d’adultes francophones (Boch, Sorba & Bessonneau, 2016 et 2019). Ce test vise, d’une part, à tester en réception les composantes centrales de la compétence scripturale (orthographe, ponctuation, syntaxe et lexique) et, d’autre part, à tester ces composantes en production via la rédaction d’un texte.
14Les résultats que nous présentons ici sont issus d’une passation administrée à une cohorte de 157 étudiants de première année (licences d’histoire et de sociologie) en septembre 2018 à l’Université Savoie Mont Blanc (France). Les étudiants étaient en situation d’examen, sans possibilité de recourir à un document externe.
15La rubrique « lexique » qui nous intéresse ici se présente sous la forme d’un QCM. Nous inscrivant dans une conception du lexique en tant que réseau (Polguère, 2014), nous souhaitions tester la capacité de l’apprenant à connecter les unités lexicales au sein de son lexique mental. Dans cette perspective, la synonymie est apparue comme un des moyens privilégiés. Dans la lignée des travaux de Laufer (1994), repris régulièrement par les didacticiens du lexique (voir p. ex. Ioannidou, 2008 ou Maizonniaux, 2014), nous considérons en effet que la connaissance des liens (tels que la synonymie) qui unissent une lexie à une autre constitue une des composantes fondamentales de la compétence lexicale.
16Très proche de la synonymie mais ne se confondant pas avec elle, l’autre entrée choisie pour tester la compétence lexicale relève de la reformulation paraphrastique, dont on connait bien, en didactique du lexique, le rôle majeur qu’elle joue dans la construction de la compétence lexicale, tant en L1 (cf. notamment Martinot, 2006) qu’en L2 (cf. notamment Lebas-Fraczak, 2017 ; Milićević & Tsedryk, 2011).
17Ainsi, deux types d’exercices (comprenant 5 questions chacun) ont été soumis à l’ensemble de nos sujets : un exercice de synonymie stricte (cf. fig. 1) et un exercice dit de reformulation (cf. fig. 2). Le corpus comporte donc 1570 réponses (10 réponses fournies par 157 étudiants), qui ont fait l’objet d’un traitement quantitatif et qualitatif. Pour chaque item, la liste de réponses comprend la réponse correcte et 5 distracteurs. Nous avons choisi un nombre élevé de distracteurs plausibles pour réduire le biais du hasard (Gierl, Bulut, Guo & Zhang, 2017, p. 1099).
18Voici un exemple de chacun de ces deux exercices :
La phrase comprend un mot en gras. Choisissez, parmi plusieurs propositions, celle qui vous semble correspondre au sens de ce mot dans le contexte donné.
Si le président de séance avait l’intention d’empêcher l’expression de toute opinion divergente sur ce sujet, il a lamentablement échoué.
Figure 1. – Exemple issu de l’exercice portant sur la synonymie.
|
1
|
analogue
|
|
2
|
convergente
|
|
3
|
dissonante
|
|
4
|
tranchée
|
|
T
|
Toutes les réponses
|
|
A
|
Aucune réponse
|
Complétez la deuxième phrase en choisissant la proposition qui vous semble correspondre au sens du mot en gras, dans le contexte donné.
Les partis écologiques ont exhorté la communauté internationale à prendre des mesures précises concernant la fabrication des voitures.
=> ………………… la communauté internationale doit prendre des mesures précises concernant la fabrication des voitures.
Figure 2. – Exemple issu de l’exercice de reformulation.
|
1
|
Bien que les partis écologiques l’en aient fortement dissuadée,
|
|
2
|
Malgré les menaces des partis écologiques,
|
|
3
|
Suite à la demande exprimée avec force des partis écologiques,
|
|
4
|
Suivant en cela les conseils prodigués par les partis écologiques,
|
|
T
|
Toutes les réponses
|
|
A
|
Aucune réponse
|
- 12 Pour plus d’informations sur ce test, voir Boch, Sorba & Bessonneau (2016).
19Nous précisons quatre points à propos de ces deux exemples, qui illustrent des principes généraux à la base de l’élaboration de ce test12 :
-
Les unités lexicales testées sont à la fois transversales aux disciplines et aux métiers, le test s’adressant à tout adulte francophone. Le lexique testé est à la fois abstrait et courant et concerne aussi bien des substantifs (p. ex. prérogatives), des adjectifs (p. ex. arbitraire) que des verbes (p. ex. réfuter).
-
- 13 Le corpus journalistique utilisé regroupe les journaux Le Monde, Le Figaro, Libération (2010-2015). (...)
- 14 Des analyses psychométriques traditionnelles ont été appliquées (CTT [Classical Test Theory] et IRT(...)
Les unités lexicales ciblées ont été sélectionnées à partir de différentes sources authentiques et récentes (Répertoire Monbalin, présenté dans Leclercq & Gilles, 2003 et un grand corpus de presse de quotidiens nationaux13), sur un critère de fréquence. En effet, depuis les années 2000, un consensus fort pose la fréquence comme le facteur prédominant pour tester la difficulté du lexique (voir notamment Batista & Horst, 2016 ; Gala, François, Bernhard & Fairon, 2014 ; Greidanus & Nienhuis, 2001 ; Laufer & Nation, 1999). À l’appui de ces résultats, nous avons sélectionné pour la construction de notre test des lexies plus ou moins fréquentes auxquelles nous avons attribué à priori un niveau de difficulté (facile, moyen, difficile) en fonction du degré de fréquence (moins il est fréquent, plus il est difficile). Une phase d’ajustement du niveau de difficulté a été ensuite réalisée à l’issue des tests psychométriques effectués sur les deux premières versions du test14.
-
Les solutions générales « Aucune réponse » et « Toutes les réponses » ont été intégrées au test, car elles sollicitent la vigilance cognitive du candidat et, de ce fait, limitent le caractère aléatoire dans le choix de la bonne réponse, biais classique de tout QCM (Leclercq & Gilles, 2003) : cet ajout favorise, chez le candidat, la réflexion et la lecture attentive de toutes les propositions, sans qu’il s’arrête à la première proposition qui lui semble convenir.
-
Tous les distracteurs (hormis les solutions générales) relèvent de la même partie du discours que la lexie ciblée. Ils sont présentés par ordre alphabétique et les solutions générales occupent les deux dernières places de la liste.
20Dans les figures 1 et 2, les réponses correctes sont indiquées en gras. Les autres réponses constituent donc l’ensemble des distracteurs analysés. Excepté pour les solutions générales, le choix des distracteurs répond dans tous les cas à l’exigence de produire un énoncé syntaxiquement correct et sémantiquement acceptable. Nous avons formulé en outre deux hypothèses en lien avec les réseaux sémantiques sur l’influence potentielle de l’antonymie (cf. fig. 1 : divergente/convergente) et de la paronymie (cf. fig. 2 : inhérent/inhibé) dans l’attractivité du distracteur.
21Nous présentons dans cette section les distracteurs qui ont le mieux fonctionné dans les deux exercices présentés ci-dessus (section 3). Pour chaque item, nous distinguons le « distracteur vedette » (Leclercq & Gilles, 2003) du distracteur secondaire tout en proposant des pistes explicatives.
22Le tableau 1 ci-dessous présente les résultats pour le premier exercice de synonymie stricte en indiquant la fréquence à laquelle le distracteur a été choisi. Pour une raison de significativité, nous n’avons retenu que les distracteurs dont la fréquence de choix était supérieure à 10 %, soit 11 distracteurs sur les 25 proposés dans tout l’exercice.
Tableau 1. – Les distracteurs vedette et secondaires pour l’exercice de synonymie stricte.
|
Item avec la lexie testée
(Réponse correcte, % réussite)
|
Distracteurs vedette
|
Distracteur secondaire
|
|
(1) Aucun élément de preuve n’a été fourni pour justifier cette allégation.
(affirmation, 73,5 %)
|
Dissimulation (10 %)
Aucune réponse (10 %)
|
|
|
(2) Cet éventail de possibilités n’est toutefois pas exhaustif et pourrait intégrer d’autres secteurs d’innovation.
(complet, 72 %)
|
Exigible (12 %)
|
|
|
(3) Le journal a stigmatisé l’attitude des militaires dans cette affaire.
(critiqué, 61 %)
|
Aucune réponse (21 %)
|
cautionné (10 %)
|
|
(4) Si le président de séance avait l’intention d’empêcher arbitrairement l’expression de toute opinion divergente sur ce sujet, il a lamentablement échoué.
(dissonante, 58 %)
|
Aucune réponse (18 %)
|
convergente (11 %)
tranchée (11 %)
|
|
(5) Je n’ai pas l’intention de commenter cette présentation dithyrambique.
(élogieuse, 13 %)
|
Farfelue (44 %)
|
alambiquée (17 %)
brouillonne (17 %)
|
23Dans un premier temps, on note que les distracteurs impliquant une relation avec la lexie testée fonctionnent plutôt bien, que ce lien soit de nature sémantique ou pas. Il peut s’agir d’un lien sémantique d’antonymie comme entre convergente et divergente (item 4) ou d’un lien de paronymie comme les suites de phonèmes [ɛɡz] commune à exigible et exhaustif (item 2) et [ᾶbik] commune à alambiquée et dithyrambique (item 5). On peut donc supposer que le candidat qui ne connait pas le sens de ces lexies rapproche artificiellement exigible et exhaustif ou dithyrambique et alambiquée, l’effet de paronymie pouvant induire un effet trompeur de synonymie.
- 15 Voir sitographie.
- 16 Voir sitographie.
- 17 Ce phénomène pourrait se rapprocher de ce que Partington (1998) a observé quand le sémantisme d’une (...)
24Le sémantisme de la lexie testée et de ses emplois en discours peut aussi permettre d’identifier un bon distracteur. C’est ainsi le cas de dissimulation, distracteur vedette d’allégation (item 1). En effet, si l’on observe, dans le corpus de presse mentionné note 13, les occurrences de la lexie allégation, on retrouve celle-ci fréquemment dans un environnement lexical à polarité négative (allégation frivole et sans fondement, ~ totalement inventée, ~ démentie par ses proches, ~ gênante, ~ rejetée), ce que confirment les exemples choisis par les lexicographes (allégation mensongère dans les entrées des dictionnaires de référence Le Petit Robert15 et le Trésor de la langue française16, par exemple). Ainsi, le choix de dissimulation comme synonyme d’allégation pourrait s’expliquer par un transfert d’une partie de la charge sémantique d’allégation, actualisée lors des emplois en discours, sur dissimulation17. De même, on peut avancer l’hypothèse que le sémantisme du préverbe di- dans divergente, porteur du trait /couper en deux/, fait de tranchée un bon distracteur (item 4) puisque trancher est synonyme de couper dans bon nombre de ses emplois.
25Ensuite, l’environnement textuel fourni par l’énoncé peut aussi permettre de distinguer un bon distracteur. Dans le cas du distracteur secondaire brouillonne, on peut supposer une influence de la négation présente au début de la phrase (item 5). Ainsi, la polarité négative portée par la négation ne… pas… aurait orienté le choix, par un effet de contagion, vers un distracteur de même polarité (brouillonne au sens de confuse, désordonnée). On pourrait même supposer pour cet item 5, dont les trois distracteurs ont bien fonctionné (farfelue, alambiquée, brouillonne), une influence réciproque des distracteurs les uns sur les autres. En effet, ces trois lexies possèdent en commun le trait sémantique /non-conformité par rapport à un standard/ : une présentation brouillonne n’est pas conforme au standard de la démarche méthodique, une présentation farfelue n’est pas conforme à l’attente d’un auditoire, une présentation alambiquée n’est pas conforme au standard de clarté de l’expression. Le candidat aurait ainsi choisi le distracteur vedette farfelue pour traduire cette idée de non-conformité, car il représente vraisemblablement celui dont le sens est le mieux maitrisé.
- 18 Dans le corpus de presse mentionné note 13, on dénombre 650 occurrences de la lexie stigmatiser, 21 (...)
- 19 Font acte de cautionner, par exemple : les organisations syndicales, la Caisse des dépôts, une fami (...)
26Par ailleurs, la fréquence semble bien jouer un rôle dans la construction d’un bon distracteur. Dans le cas de la lexie testée stigmatisé (item 3), le choix d’un mot également moins courant comme ici cautionné, se révèle une stratégie efficace18, car on peut supposer que la (bonne) réponse, critiqué, est écartée parce que d’un emploi beaucoup plus courant que stigmatisé ou cautionné. Le candidat rapproche ainsi les deux lexies stigmatisé et cautionné sur un critère de fréquence perçue comme similaire (basse). Le rapprochement entre les deux lexies peut également reposer sur l’origine savante des deux termes, ressentie comme telle et qui peut être saisie par des indices graphiques, comme le digramme -au- (latin cautio) pour noter le son [o] français ou le groupe consonantique complexe -gm- (grec στίγμα puis latin stigma), même si le sens des deux termes n’est pas connu. En outre, les contextes d’emploi des deux lexies peuvent également permettre un rapprochement. Si l’on sonde les corpus de presse mentionnés note 13, on constate que les deux verbes apparaissent assez souvent dans un emploi similaire : ce sont des personnes ou des entités détentrices d’une certaine autorité qui font acte de stigmatiser et de cautionner19.
27Enfin, le distracteur vedette Aucune réponse a été sélectionné à trois reprises. Ce choix nous semble correspondre à deux stratégies cognitives distinctes : (1) ce distracteur est choisi comme une valeur refuge en cas d’ignorance du sens de la lexie testée (allégation item 1, stigmatisé item 3) ; (2) ce distracteur est sélectionné quand le lien de synonymie entre la lexie testée (divergente item 4) et la bonne réponse (dissonante) n’est pas envisagé comme une réponse correcte. Dans ce second cas, ce résultat interroge la construction même de la question et le choix de la réponse correcte lors de la phase de conception.
28Pour récapituler, nous avons pu analyser des distracteurs relevant des 3 catégories énumérées supra (section 2) :
-
les distracteurs paradigmatiques peuvent entretenir un lien sémantique avec la lexie cible de plusieurs manières : par antonymie (convergente/divergente, item 4), par l’influence des emplois en discours (allégation/dissimulation, item 1 ; stigmatisé/cautionné item 3) ou par l’influence d’une partie du mot (divergente/tranchée, item 4) ;
-
les distracteurs syntagmatiques peuvent entretenir une relation de co‑occurrence avec l’un des mots du contexte immédiat de la phrase (dithyrambique/brouillonne, item 5) ou bien s’influencer les uns les autres (farfelue/alambiquée/brouillonne, item 5) ;
-
les distracteurs non reliés peuvent relever de plusieurs catégories comme la fréquence similaire ou l’origine savante commune (stigmatisé/cautionné, item 3) ou encore la paronymie (exigible et exhaustif, item 2 ; dithyrambique et alambiquée, item 5).
29Dans le second exercice de reformulation, pour chaque unité lexicale testée sont données plusieurs propositions développées. Comme pour l’exercice précédent, nous ne retenons pour notre analyse que les distracteurs ayant un seuil de sélection d’au moins 10 % (soit ici 5 distracteurs sur les 25 utilisés). Les trois exemples ci-dessous présentent la phrase avec la lexie testée en gras suivie d’un énoncé incomplet et des réponses proposées. Pour chacune d’entre elles, nous indiquons le nombre de fois où elle a été choisie (fréquence brute et pourcentage ; la réponse correcte est en gras).
1) Cette mesure ne va pas dans le bon sens : elle augmente le danger inhérent à toute zone où il y a beaucoup de circulation routière.
=> Dans les zones à forte circularité routière, le danger est ………………..
- 20 Nos calculs sont réalisés sur le nombre de réponses valides et non pas sur le nombre total de répon (...)
|
Réponses proposées
|
Fréquence brute
|
%
|
|
absorbé par la densité du trafic.
|
7
|
4,7
|
|
inhibé par la densité du trafic.
|
26
|
17,3
|
|
inséparable de la densité du trafic.
|
83
|
55,3
|
|
régulé par la densité du trafic.
|
10
|
6,7
|
|
Toutes les réponses
|
24
|
16,0
|
|
Aucune réponse
|
0
|
0
|
|
Total des réponses valides20
|
150
|
100,0
|
2) Dans cet état de crise actuel, le directeur aurait pu faire preuve d’un peu plus d’humilité dans son discours.
=> Les participants à la réunion ont regretté ……………….
|
Réponses proposées
|
Fréquence brute
|
%
|
|
de ne pas avoir été pris plus en considération par le directeur.
|
27
|
17,2
|
|
que le directeur manque à ce point de culture.
|
2
|
1,3
|
|
que le discours du directeur soit si peu modeste.
|
110
|
70,1
|
|
que le discours du directeur soit si sec.
|
13
|
8,3
|
|
Toutes les réponses
|
3
|
1,9
|
|
Aucune réponse
|
2
|
1,3
|
|
Total des réponses valides
|
157
|
100,0
|
3) Seul le contrat afférent à ce produit peut servir à trancher les questions d’ordre juridique.
=> En cas de litige, nous vous prions de consulter le contrat ……………….
|
Réponses proposées
|
Fréquence brute
|
%
|
|
affiché sur ce produit.
|
7
|
4,5
|
|
préexistant à ce produit.
|
4
|
2,6
|
|
se rapportant à ce produit.
|
105
|
68,2
|
|
signé lors de la vente de ce produit.
|
18
|
11,7
|
|
Toutes les réponses
|
19
|
12,3
|
|
Aucune réponse
|
1
|
0,6
|
|
Total des réponses valides
|
154
|
100,0
|
30Dans l’item 1, nous retrouvons un distracteur vedette relevant de la catégorie des distracteurs non reliés sémantiquement avec inhibé dont l’initiale est graphiquement et phoniquement identique à celle de la lexie cible inhérent, ce qui induit un effet de paronymie. Nous proposons de classer également dans cette catégorie le distracteur vedette de l’item 2 (de ne pas avoir été pris plus en considération par le directeur), mais pour une autre raison. Il nous semble en effet que, dans ce cas, le candidat ferait confiance à la syntaxe pour guider son choix, l’intensif plus étant présent dans les deux propositions.
- 21 Dans le corpus de presse mentionné note 13, signer est le premier co-occurrent de contrat selon le (...)
31Dans l’item 4, nous retrouvons un distracteur de type syntagmatique. En effet, la proposition signé lors de la vente de ce produit réalise la co-occurrence très courante contrat signé21. Cette réponse est ainsi très crédible, ce qui expliquerait le bon fonctionnement d’un distracteur de ce type.
32Enfin, dans les deux items 1 et 4, la solution générale Toutes les réponses a joué le rôle d’un bon distracteur. Dans ces deux items, les reformulations sont (presque) toutes sémantiquement acceptables dans le cadre de la phrase proposée. Nous postulons que ce phénomène a pu empêcher le candidat de faire fonctionner sa compétence en inférence. Ainsi, ce choix attire l’attention sur deux contraintes dans la formulation de questions de ce type issus de corpus authentiques : le contexte fourni doit être suffisamment explicite pour permettre de faire jouer l’inférence et seule une des réponses proposées doit être sémantiquement acceptable.
33Cette étude exploratoire avait pour but d’identifier les caractéristiques des bons distracteurs dans un test QCM évaluant la compétence lexicale en réception, à travers l’analyse des résultats obtenus par des étudiants à deux exercices, l’un de synonymie, l’autre de reformulation.
34Nos observations suggèrent que les distracteurs influencent les choix des candidats de manière complexe : si les résultats obtenus convergent avec la littérature sur la question de l’efficacité des distracteurs reliés sémantiquement à la lexie (que ce soit par une relation de synonymie ou d’antonymie ou des emplois similaires entre lexie cible et distracteur), ils mettent également en lumière l’efficacité de distracteurs non reliés sémantiquement : la paronymie en particulier semble exercer une influence notable. Plusieurs explications peuvent d’ailleurs se cumuler pour tenter d’expliquer pourquoi un distracteur a bien fonctionné.
35Par ailleurs, et au-delà de la question des distracteurs, il nous parait primordial d’inclure dans notre test un exercice portant sur la phraséologie, qui manquait jusqu’à présent. En effet, la phraséologie est constitutive d’environ 70 % du lexique des langues (Cavalla, 2018), et son appropriation en L1 comme en L2 représente ainsi un enjeu majeur dans le champ de la littéracie. En appui aux travaux de Tremblay et Polguère (2014), nous avons retenu pour la nouvelle version de notre test deux types d’unités phraséologiques très productives : les collocations (p. ex. prendre un risque), constituées d’une base et d’un élément collocatif, dont le sens est plus ou moins modifié et plus ou moins compositionnel, et les routines langagières (p. ex. les principaux résultats), pour lesquelles les éléments associés conservent leur sens (pour plus de détail concernant la formulation des exercices, voir Boch, 2020). Pour en revenir aux distracteurs, il sera particulièrement intéressant d’explorer, comme nous l’avons fait ici pour les exercices de synonymie et de reformulation, le comportement des étudiants dans l’exercice portant sur les unités phraséologiques : quels sont les distracteurs les plus attractifs ? Quelles hypothèses peut-on formuler à leur sujet ? Nous pourrons ainsi compléter utilement le travail amorcé dans cette contribution.
36Pour conclure, les hypothèses explicatives mentionnées ici devront être confrontées à d’autres recherches, si l’on veut dépasser le caractère exploratoire de la recherche. Une piste potentiellement productive consisterait à tester une nouvelle cohorte d’étudiants en faisant suivre la passation du test (dans sa nouvelle version, c’est-à-dire incluant l’exercice sur les unités phraséologiques) d’entretiens d’explicitation avec les sujets testés : nous serions ainsi à même de valider, de réfuter ou de compléter nos hypothèses relatives aux motivations les amenant à sélectionner tel ou tel distracteur.
Flux RSS
