Navigation – Plan du site

AccueilNuméros38(3)ArticlesFormer à évaluer des compétences ...

Articles

Former à évaluer des compétences en enseignement supérieur : un dispositif d’évaluation novateur

Nathalie Michaud et Martin Roy

Résumés

Dans le cadre d’un cours existant déjà depuis quelques années, l’objectif de cette recherche développement (Harvey et Loiselle, 2009) est d’améliorer le dispositif d’évaluation qui permet de porter un jugement sur la compétence à évaluer chez de futurs enseignants. L’origine du projet provient d’un souci d’aligner de façon plus rigoureuse et cohérente la séquence enseignement – évaluation à l’intérieur du cours. Cet article vise à documenter l’élaboration du dispositif d’évaluation novateur mis en place. Les cadres de référence retenus pour développer le nouveau dispositif sont expliqués. De plus, quelques résultats obtenus à la suite de l’administration d’un questionnaire aux étudiants sont présentés quant à l’opérationnalisation du dispositif.

Haut de page

Texte intégral

1. Introduction

1L’évaluation des apprentissages des étudiants est une tâche qui s’avère complexe et ardue pour tous les enseignants (Jorro, 2016; Leroux et Bélair, 2015; Tourmen, 2016). Cette responsabilité est lourde de conséquences, car elle a un impact direct sur le parcours scolaire et professionnel de l’étudiant (Hadji, 2012, 2015; Lemay, 2000; Merle, 2004). Ainsi, la formation universitaire des enseignants, peu importe le niveau d’enseignement, doit les préparer rigoureusement à évaluer des compétences (Jorro, 2016; Leroux et Bélair, 2015; Scallon, 2015; Tardif, 2006; Tourmen, 2016). En effet, un programme d’études formulé par compétences conduit à une transformation des pratiques évaluatives (Paquay et al., 2002; Scallon, 2004, Tardif, 2006). Or, dans un cours qui vise le développement de la compétence à évaluer chez de futurs enseignants, quel dispositif d’évaluation mettre en place afin qu’il soit cohérent avec l’enseignement des concepts en évaluation dans une approche par compétences? Autrement dit, comment appliquer les caractéristiques (Scallon, 2004; Tardif, 2006) associées à l’approche par compétences au dispositif d’évaluation utilisé dans le cours afin que celui-ci soit exemplaire? On définit un dispositif d’évaluation comme étant un ensemble organisé des éléments rattachés au processus d’évaluation permettant de certifier une compétence au terme d’un cours (Roy, 2017).

2L’origine de la recherche provient d’un souci d’aligner de façon plus rigoureuse et cohérente la séquence enseignement – évaluation à l’intérieur du cours (Biggs, 1999). Auparavant, l’enseignement présentait les caractéristiques de l’évaluation dans une approche par compétences (APC), tandis que l’évaluation était encore influencée par l’approche par objectifs (APO). Entre autres, une des tâches demandées aux étudiants consistait à bâtir un examen traditionnel (e.g. questions à items choisis, à réponses élaborées courtes et simples).

3Une recherche développement a donc été menée dans le cadre d’un cours en évaluation des apprentissages. Ce cours s’inscrit dans un programme d’études au deuxième cycle universitaire qui prépare les professionnels ayant une spécialisation disciplinaire à enseigner au cégep ou à l'université. Un enjeu scientifique du projet est de documenter l’amélioration du dispositif d’évaluation qui permet de porter un jugement sur la compétence à évaluer chez de futurs enseignants. Plusieurs objectifs spécifiques étant visés, cet article ne rend compte que d’un seul : expliquer les composantes du nouveau dispositif d’évaluation. Avant d’exposer la méthodologie utilisée et les résultats obtenus, une adaptation du modèle de Mislevy (Louis et Bédard, 2015) ainsi que les caractéristiques d’une évaluation dans une APC seront présentées, car elles ont servi de cadres de référence pour la planification et le développement du dispositif.

2. Cadres de référence

2.1 Modèle de Louis et Bédard (2015) basé sur celui de Mislevy

4Pour développer le dispositif d’évaluation, l’adaptation du modèle de Mislevy par Louis et Bédard (2015) a été utilisée. Afin de pouvoir l’appliquer de façon concrète, nous avons modifié quelque peu l’adaptation réalisée par Louis et Bédard (2015). Le tableau suivant présente le modèle modifié.

Tableau 1. Modifications du modèle Louis et Bédard (2015, p. 50) basé sur celui de Mislevy

Phase

Modèle de Louis et Bédard (2015, p.50) basé sur celui de Mislevy

Nos modifications

1re phase

Identifier le modèle théorique d’apprentissage adopté par le programme de formation.

Aucune modification.

2e phase

Choisir la compétence à évaluer et décrire :

- les différentes connaissances que recouvre la compétence;

- les différents contextes dans lesquels la compétence est généralement sollicitée.

Choisir la compétence à évaluer et :

- identifier les différentes connaissances, habiletés et attitudes (ressources internes) que recouvre la compétence;

- décrire les contextes (contexte d’exercice d’une profession, contexte d’application pratique d’une théorie, etc.) dans lesquels la compétence est généralement sollicitée ;

- planifier les tâches complexes et les critères d’évaluation (évaluation certificative);

- planifier les modalités d’évaluation en soutien à l’apprentissage (évaluation formative).

3e phase

Décrire un ensemble de situations et de tâches qui ne peuvent se réaliser efficacement que grâce à la présence de la compétence et compte tenu de la situation à laquelle chaque tâche réfère. […]

Élaborer les tâches complexes qui seront soumises aux étudiants lors de l’évaluation certificative et les grilles d’évaluation de la compétence.

4e phase

Choisir :

- la situation et la tâche complexe qui seront soumises aux étudiants lors de l’évaluation;

- la façon dont l’observation de l’exécution de la tâche sera faite;

- le modèle adéquat pour interpréter les résultats obtenus.

Déterminer la démarche (sommative, descriptive ou interprétative).

5e phase

Valider auprès de collègues les éléments retenus pour l’évaluation et qui découlent des phases 2, 3 et 4.

Valider auprès de collègues les éléments retenus pour l’évaluation et qui découlent des phases 2, 3 et 4.

6e phase

Élaborer la grille d’évaluation de la compétence.

Cette phase a été incluse à la 3e.

5Comme celui de Louis et Bédard (2015), notre modèle débute en première phase par l’identification du modèle théorique d’apprentissage adopté par le programme de formation. Notre deuxième phase demande une plus grande réflexion que celle de Louis et Bédard, car nous ne voulons pas seulement décrire les connaissances et les contextes, mais aussi les habiletés et attitudes en lien avec la compétence à développer. De surcroît, il est important de déjà planifier les évaluations formatives et certificatives. En lien avec cette planification, la troisième phase est donc d’élaborer les consignes des tâches complexes et leurs grilles d’évaluation qui permettront de certifier la compétence. Ensuite, la quatrième phase consiste à choisir la démarche pour porter un jugement final sur la compétence : sommative, descriptive ou interprétative (De Ketele, 2010, 2014). Finalement, la cinquième phrase est identique. Selon nous, parce que la grille d’évaluation doit être élaborée en parallèle avec la tâche complexe, la 6e phase est incluse à la 3e.

6Le modèle théorique d’apprentissage adopté dans le programme de formation dans lequel s’offre notre cours étant le socioconstructivisme, les caractéristiques de l’évaluation dans une approche par compétences seront maintenant présentées.

2.2 Caractéristiques de l’évaluation dans une approche par compétences

7Avant d’aborder l’évaluation dans une APC, il est important de préciser notre définition d’une compétence. Nous choisissons celle de Tardif (2006, p. 22) : « un savoir-agir complexe prenant appui sur la mobilisation et la combinaison efficaces d’une variété de ressources internes et externes à l’intérieur d’une famille de situations ».

8Les caractéristiques de l’évaluation qui sont liées à l’APC, en plus d’être enseignées lors de la formation en évaluation, doivent être appliquées au dispositif d’évaluation dans le cours. Scallon (2004) et Tardif (2006) proposent chacun neuf caractéristiques de l’évaluation dans une APC dont certaines sont communes ou complémentaires. Les tableaux 2 et 3 illustrent ces caractéristiques. D’abord, Scallon (2004) aborde les situations de performance. En ce sens, l’auteur précise qu’il faut privilégier les tâches s’étalant dans le temps (ex. dissertation) plutôt que les tests standardisés (e.g. choix multiples et vrai ou faux) qui possèdent une durée limitée, en plus de se dérouler dans un cadre artificiel, trop scolaire. À ce moment, il est important de s’assurer que les stratégies d’évaluation formative permettent de progresser dans le développement de la compétence et les modalités d’évaluation certificative permettent de juger d’un niveau d’atteinte de la compétence. En ce sens, l’enseignant doit être capable de justifier la pertinence des tâches demandées. Par ailleurs, dans le cadre d’une tâche demandant une réponse élaborée, la démarche peut être aussi importante que la réponse (Scallon, 2004) et accorde plus de liberté à l’étudiant.

9L’APC vise l’authenticité des tâches d’évaluation (Leroux et al., 2015), c’est-à-dire qu’elles « se rapprochent de la vie réelle » (Scallon, 2004, p. 17). Notamment, Tardif (2006) évoque que les tâches complexes demandent alors des réponses « construites de toutes pièces » (p. 113). Cependant, cet auteur soulève aussi l’importance de limiter les situations dans lesquelles l’étudiant doit déployer sa compétence. Il faut alors prendre en considération la place de cette compétence dans le programme de formation de l’étudiant. D’ailleurs, l’étudiant devient de plus en plus autonome dans le déploiement de ses compétences à mesure qu’il progresse dans les cours et son programme (Tardif, 2006).

10Également, Scallon (2004) évoque le caractère interactif de l’évaluation dans une APC. Ainsi, la personne évaluée est en interaction avec la personne qui évalue : elle peut alors poser des questions et recevoir des précisions. Cela renvoie, entre autres, aux stratégies d’évaluation par les pairs ou de coévaluation. Ainsi, l’étudiant devient acteur dans le cadre de l’évaluation (Scallon, 2004). Dans le même ordre d’idées, Tardif (2006) soulève « l’obligation de rendre compte de la progression dans une trajectoire de développement » (p. 105). À cet égard, l’évaluation formative est essentielle. Elle donne de l’information sur cette progression autant à l’étudiant qu’à l’enseignant. Alors, l’étudiant est plus à même de pouvoir s’autoévaluer (Scallon, 2004) et savoir où il se situe dans le développement de sa compétence, tandis que l’enseignant accumule des preuves du développement de la compétence (Tardif, 2006). Bref, l’évaluation se déroule en suivant la progression des apprentissages des étudiants (Scallon, 2004).

11De plus, l’aspect multidimensionnel est une autre caractéristique de l’évaluation dans une APC selon Scallon (2004). Il concerne les différentes ressources externes et internes inhérentes (e.g. savoirs, savoir-faire et savoir-être) à la compétence. Tardif (2006) abonde dans ce sens en précisant l’importance d’identifier toutes les ressources à mobiliser et à combiner dans la situation d’évaluation. Ainsi, l’enseignant évalue les ressources combinées et mobilisées par l’étudiant dans le cadre de la tâche et, en fin de cours, évalue les ressources qu’il possède. Cependant, Tardif (2006) met en garde que l’enseignant doit évaluer la compétence et les ressources qui la constituent et non pas les ressources comme étant des « entités séparées des compétences » (p. 106).

12Finalement, Scallon (2004) met de l’avant la notion de jugement professionnel qui est centrale dans l’APC. À la suite des changements apportés par cette nouvelle approche, il devient alors illogique de réaliser une addition des résultats de l’étudiant à différentes évaluations (Scallon, 2004). À la fin d’un cours, l’enseignant doit pouvoir poser un jugement global (Scallon, 2004) de la progression personnelle et différente de chaque étudiant dans le cours (Tardif, 2006). L’évaluation dans une approche par compétences valorise une évaluation qualitative plutôt que quantitative (Lasnier, 2014; Leroux, 2010; Mottier Lopez, 2015; Scallon, 2004). Ceci implique l’utilisation de critères multiples (Tardif, 2006) à intégrer dans les grilles d’évaluation, dont la descriptive globale (Leroux et al., 2015; Scallon, 2004; Tardif, 2006). À cet effet, l’outil d’évaluation le plus pertinent est la grille, car elle exige que l’enseignant précise ses attentes (Scallon, 2004) par rapport à la tâche demandée. En conséquence, une démarche descriptive et interprétative (De Ketele, 2010, 2014) dans cette perspective du jugement professionnel (Lafortune et Allal, 2008; Leroux et Bélair, 2015; Mottier Lopez, 2015) doit être privilégiée pour mieux rendre compte de la compétence. Les tableaux 2 et 3 résument les différentes caractéristiques retenues par les auteurs.

Tableau 2. Caractéristiques de l’évaluation dans une APC selon Scallon (2004)

Scallon (2004, p. 16-23)

Les situations de performance

L’authenticité

L’interactivité

L’aspect multidimensionnel de l’apprentissage

Les exigences, les attentes et les standards

L’importance du jugement

Les processus en tant qu’objets d’évaluation

L’intégration de l’évaluation à l’apprentissage

La participation de l’élève à l’évaluation et l’autoévaluation

Tableau 3. Caractéristiques de l’évaluation dans une APC selon Tardif (2006).

Tardif (2006, p. 105)

Rendre compte d’une progression dans une trajectoire de développement

Accorder la priorité aux compétences et non aux ressources

Déterminer les ressources mobilisées et combinées

Déterminer les ressources mobilisables et combinables

Circonscrire les situations de déploiement des compétences

Documenter la trajectoire de développement à partir de preuves partagées

Rendre compte de l’autonomisation dans le déploiement des compétences

Recourir à des critères multiples dans chaque évaluation

Intégrer les différences individuelles dans l’appréciation

3. Méthodologie

13Nous avons opté pour une recherche développement puisque nous visons « l’avancement des connaissances généré par » (Harvey et Loiselle, 2009, p. 106) notre dispositif d’évaluation novateur. Selon ces auteurs, une recherche développement doit répondre à certaines caractéristiques pour se distinguer d’une démarche de développement. Celles-ci ont été considérées dans notre démarche de recherche et le tableau 4 en fait état.

Tableau 4. Caractéristiques d’une recherche développement selon Harvey et Loiselle (2009, p. 106).

Caractère novateur du produit développé ou de l’expérience envisagée 

Description détaillée du contexte ainsi que du déroulement de l’expérience de développement

Processus de développement documenté par une collecte de données détaillées, effectuée tout au long de l’expérience de développement et de mise à l’essai du produit

Établir, par une analyse des écrits, les liens entre l’expérience de développement réalisée et un corpus de connaissances reconnu scientifiquement

Faire émerger de l’expérience les caractéristiques essentielles du produit développé

Importance de justifier toutes les modifications effectuées en cours d’élaboration

Ouverture vers des pistes de recherche dépassant l’expérience de réalisation du produit 

Obligation de rédiger et de diffuser les résultats de cette recherche

14Emprunté à Nonnon (1993, cité dans Harvey et Loiselle, 2009), les auteurs soulignent trois moments d’une recherche développement : l’émergence, l’élaboration et l’opérationnalisation. D’abord, il y a l’émergence de l’idée. Elle a été abordée au début du présent article, dans l’introduction, en soulevant la pertinence d’une telle recherche et l’intérêt des chercheurs face à celle-ci : développer un dispositif d’évaluation rigoureux et cohérent. Ensuite, il y a l’élaboration présentée dans la première section des résultats ci-dessous. Elle vise à expliciter l’ensemble du processus de construction du dispositif d’évaluation mis en place. Enfin, l’opérationnalisation, qui est la deuxième section des résultats, permet de documenter l’application du dispositif en présentant des données quant à la perception des étudiants vis-à-vis ce dispositif.

15À l’été 2017, le chercheur principal et le chargé de cours ont travaillé à modifier leur dispositif d’évaluation (étape d’élaboration) dans le cadre d’un cours de 2e cycle en évaluation qui vise à former les futurs enseignants à l’enseignement supérieur. La recherche a fait l’objet d’une demande éthique afin de recueillir des données sur les étudiants qui allaient vivre ce dispositif d’évaluation novateur. Elle s’est déroulée sur une année, à la fin de chacune des sessions Automne 2017, Hiver 2018 et Été 2018. Au total, quatre groupes ont été soumis au nouveau dispositif dont un total de 47 participants volontaires à la recherche sur une possibilité de 70 étudiants. À cet effet, un formulaire de consentement a été distribué à l’ensemble des étudiants en classe et la collecte de données a été effectuée par le chercheur principal pour les groupes du chargé de cours et vice-versa.

16Par rapport à la collecte des données lors d’une recherche développement, Harvey et Loiselle (2009) précisent que « des entrevues, des séances d’observation et des questionnaires peuvent permettre de recueillir des informations auprès des usagers durant les diverses mises à l’essai. » (p. 112). En effet, deux questionnaires en plus d’un journal de bord et une entrevue ont permis de collecter des données (étape d’opérationnalisation). Toutefois, dans le présent article, nous nous concentrerons sur quelques données obtenues par le questionnaire sur la perception des étudiants par rapport au dispositif d’évaluation novateur mis en place dans le cours. L’étudiant devait se prononcer sur l’authenticité (êtes-vous d’accord pour dire que chacune des tâches est authentique?) et la pertinence (êtes-vous d’accord pour dire qu’elles sont pertinentes?) des différents éléments constituant le dispositif d’évaluation en utilisant une échelle de 1 à 4 (tout à fait en accord à tout à fait en désaccord). De plus, il pouvait rédiger un commentaire dans l’espace réservé à cette fin.

4. Résultats

4.1. Élaboration

4.1.1 Élaboration du dispositif d’évaluation selon une adaptation du modèle de Louis et Bédard (2015) basé sur celui de Mislevy

17Comme présenté précédemment, l’adaptation du modèle de Mislevy se décline en cinq phases. Le modèle théorique d’apprentissage retenu a été identifié (1re phase), soit le socioconstructivisme. L’apprentissage est un processus actif qui se construit à l’aide des interactions de l’étudiant avec ses pairs et son enseignant (Legendre, 2005). D’ailleurs, la co-construction occasionnée par l’interaction entre le professeur et l’étudiant est particulièrement importante dans ce cours puisque nous sommes experts en évaluation des apprentissages et eux experts de leur discipline. Le dispositif d’évaluation retenu accorde donc une place importante aux stratégies d’évaluation telles que l’évaluation par les pairs et l’accompagnement par le professeur. Également, l’autoévaluation est au cœur du dispositif. Sollicitant une implication accrue de l’étudiant, celui-ci est appelé à développer une plus grande autonomie. Considérant qu’un seul cours en évaluation est inclus dans le programme de formation, il est d’autant plus important que les étudiants acquièrent cette autonomie. En effet, lorsqu’ils intègreront le marché du travail, ils devront poursuivre le développement de leur compétence.

18Lors de la 2e phase, en lien avec la compétence à développer, les ressources internes (connaissances, habiletés et attitudes) à mobiliser par les étudiants ont été identifiées. Par exemple, les étudiants doivent comprendre les valeurs, principes, caractéristiques et qualités de l’évaluation. Ils sont également invités à développer leurs habiletés à donner de la rétroaction, à s’autoévaluer, à travailler en équipe, etc. De plus, certaines attitudes sont requises dont le respect, l’écoute et la rigueur. Nous nous assurons ainsi du bon développement de la compétence sachant qu’il s’agit du seul cours d’évaluation du parcours de nos étudiants.

19En tenant compte du contexte d’exercice de l’enseignement, les tâches complexes à réaliser par les étudiants ont été spécifiées. Par exemple, la mise en contexte du travail écrit de planification d’un dispositif d’évaluation est la suivante : « Vous avez obtenu une charge d’enseignement pour un nouveau cours dans une université ou un cégep. Vous devez donc effectuer la planification de ce cours et, à cet effet, vous en êtes à la planification du dispositif d’évaluation des apprentissages. Il sera question de planification de l’évaluation diagnostique, formative et certificative. » D’abord, en lien avec un cours que les étudiants souhaitent offrir éventuellement, ils planifient un dispositif d’évaluation. Ensuite, à partir de ce dispositif, ils choisissent une tâche complexe qu’ils élaborent ainsi que l’outil d’évaluation. Par exemple, pour un cours d’histoire de la civilisation occidentale, un étudiant propose un dossier thématique pour un musée comme tâche complexe. De plus, en équipe, ils bâtissent une activité d’apprentissage sur un thème en lien avec l’évaluation. L’équipe doit faire vivre cette activité aux autres étudiants. L’écriture d’un journal de bord est aussi incluse dans le dispositif d’évaluation et comporte deux volets. Le premier volet consiste à produire un travail réflexif sur chacun des thèmes afin de présenter les apprentissages réalisés, les liens établis avec les autres thèmes abordés en classe ou leur expérience et leur utilisation potentielle. Lors du dernier cours, le deuxième volet est une présentation orale en classe des principaux éléments consignés dans le journal de bord. Cette tâche vise à évaluer le propos des étudiants par rapport à leurs apprentissages sous forme de réflexion sur le développement de la compétence à évaluer des apprentissages. En lien avec chaque travail exigé, des critères d’évaluation ont été élaborés. Enfin, nous avons planifié les modalités d’évaluation en soutien à l’apprentissage. Le tableau 5 résume l’ensemble de la planification des modalités d’évaluation.

Tableau 5. Planification des modalités d’évaluation formative et certificative

Modalités d’évaluation formative (f) et certificative (c)

Critères d’évaluation

Planification d’un dispositif d’évaluation (individuellement) :

- Accompagnement des étudiants (f)

- Dépôt de versions provisoires (f)

- Évaluation par les pairs (f)

- Version finale (c)

Cohérence de la planification, complétude des éléments, clarté et pertinence des descriptions, pertinence des justifications, clarté des explications

Élaboration d’une tâche complexe et sa grille d’évaluation (individuellement) :

- Accompagnement des étudiants (f)

- Dépôt de versions provisoires (f)

- Évaluation par les pairs (f)

- Version finale (c)

Pertinence de la tâche, authenticité de la mise en contexte, clarté de la production ou de la performance et des consignes, pertinence des critères d’évaluation, clarté des descriptions des échelons, clarté de l’explication de la démarche

Activité d’apprentissage (en équipe) :

- Remise du plan de présentation et des références (f)

- Accompagnement des équipes (f)

- Remise d’une version finale et présentation (c)

Pertinence et clarté des informations, utilisation juste du vocabulaire lié à l’évaluation

Journal de bord (individuellement) :

- Version finale (c)

Pertinence et clarté des informations, utilisation juste du vocabulaire lié à l’évaluation

Réflexion sur le développement de la compétence (individuellement) :

- Présentation (c)

Identification claire des apprentissages réalisés, réflexion approfondie de ses points forts et à améliorer, utilisation juste du vocabulaire lié à l’évaluation

f = formative et c = certificative

20Une fois la planification du dispositif d’évaluation complétée, pour chaque tâche demandée, les formateurs ont rédigé les cahiers de consignes s’adressant aux étudiants ainsi que les grilles d’évaluation descriptive (3e phase). Le défi consiste à décrire clairement ce que les étudiants doivent réaliser pour attester de leur compétence. Les grilles d’évaluation, en plus de renseigner les étudiants sur les attentes, leur donnent l’occasion de s’autoévaluer et ainsi améliorer leurs productions avant la remise finale. La figure 1 donne un exemple d’une grille élaborée pour juger de la qualité et de la tâche complexe, et sa grille d’évaluation.

Figure 1. Extrait de la grille d’évaluation descriptive globale utilisée pour juger de la qualité de la tâche complexe et sa grille d’évaluation

CRITÈRES D’ÉVALUATION : Pertinence de la tâche, authenticité de la mise en contexte, clarté de la production ou de la performance et des consignes, pertinence des critères d’évaluation, clarté des descriptions des échelons, clarté de l’explication de la démarche
Très satisfaisant La tâche complexe est très pertinente. Elle est en lien avec la compétence du cours.La mise en contexte permet de rendre la tâche la plus authentique que possible. La production ou performance attendue ainsi que les consignes sont très bien décrites, dans un langage clair pour les étudiants.La grille d’évaluation est élaborée à l’aide de critères qui sont en lien avec le devis ministériel. Les échelons sont très bien décrits et permettent aux étudiants de bien comprendre les attentes. La grille est très bien détaillée et permet de poser un jugement valide.La démarche (sommative ou interprétative) est clairement expliquée. Bref, par cette production exemplaire (tâche et grille), l’étudiant démontre qu’il a mobilisé plusieurs ressources, autant internes qu’externes, et permet d’inférer qu’il a développé toutes les habiletés nécessaires afin d’élaborer des tâches complexes et des grilles d’évaluation de façon très rigoureuse.

21L’avant-dernière phase (4e) a consisté à choisir la démarche permettant de certifier la compétence. La démarche descriptive combinée à une démarche interprétative (De Ketele 2010, 2014) ont été retenues, à cause de leur potentialité à favoriser le jugement professionnel. Pour l’exercer, une grille d’évaluation descriptive globale a été produite. Le jugement final doit se traduire par une notation littérale (A+, A, A-, etc.) selon les règles de l'Université. C'est en se basant sur les grilles descriptives de chacune des productions et des performances pour lesquelles un jugement (très satisfaisant, satisfaisant, etc.) a été établi. La figure 2 présente la métagrille utilisée pour attribuer la cote finale.

Figure 2. Grille d’évaluation descriptive globale utilisée pour porter le jugement final sur la compétence de l’étudiant à évaluer des apprentissages

Très satisfaisant

A+

A

A-

L’étudiant démontre par l’ensemble de ses productions qu’il a développé de façon très satisfaisante sa compétence à évaluer les apprentissages. De façon générale, les productions répondent très bien aux exigences. Elles ne demandent aucune ou très peu d’améliorations.

Satisfaisant

B+

B

B-

C+

L’étudiant démontre par l’ensemble de ses productions qu’il a développé de façon satisfaisante sa compétence à évaluer les apprentissages. De façon générale, les productions répondent bien aux exigences. Elles nécessitent quelques améliorations.

Assez satisfaisant

C

C-

D+

D

L’étudiant démontre par l’ensemble de ses productions qu’il a développé de façon assez satisfaisante sa compétence à évaluer les apprentissages. De façon générale, les productions répondent de façon minimale aux exigences. Elles nécessitent plusieurs améliorations.

Insatisfaisant

E

L’étudiant démontre par l’ensemble de ses productions qu’il n’a pas développé de façon satisfaisante sa compétence à évaluer les apprentissages. De façon générale, les productions sont en deçà des exigences.

22La cinquième et dernière phase consiste à valider auprès de collègues les éléments retenus lors de chacune des étapes. Comme le projet a été développé conjointement par un chargé de cours et un professeur, une étroite collaboration a été exercée tout au long du processus. Le tableau 6 résume notre démarche par rapport au modèle de Mislevy adapté par Louis et Bédard (2015, p.50) que nous avons modifié.

Tableau 6. Notre démarche suivant l’adaptation du modèle de Mislevy par Louis et Bédard (2015, p. 50) modifiée

Phase

Adaptation du modèle de Mislevy par Louis et Bédard (2015, p.50) modifiée

Notre démarche

1re phase

Identifier le modèle théorique d’apprentissage adopté par le programme de formation.

Nous avons utilisé le socioconstructivisme comme modèle théorique d’apprentissage en cohérence avec celui utilisé dans le programme dans lequel le cours est offert.

2e phase

En lien avec la compétence à développer,

- identifier les différentes connaissances, habiletés et attitudes (ressources internes) que recouvre la compétence;

- décrire les contextes (contexte d’exercice d’une profession, contexte d’application pratique d’une théorie, etc.) dans lesquels la compétence est généralement sollicitée;

- planifier les tâches complexes et les critères d’évaluation;

- planifier les modalités d’évaluation en soutien à l’apprentissage.

En lien avec la compétence à évaluer des apprentissages,

nous avons identifié l’ensemble des connaissances (ex. qualités de l’évaluation), habiletés (ex. travailler en équipe) et attitudes (ex. rigueur) que recouvre cette compétence, en plus de décrire les contextes (ex. enseigner au cégep) dans lesquels cette compétence est généralement sollicitée;

nous avons planifié l’ensemble des tâches complexes (ex. planification d’un dispositif d’évaluation) et leurs critères d’évaluation (ex. cohérence de la planification), ainsi que les modalités d’évaluation en soutien à l’apprentissage (ex. accompagnement et évaluation par les pairs).

3e phase

Élaborer les tâches complexes qui seront soumises aux étudiants lors de l’évaluation certificative et les grilles d’évaluation de la compétence.

Nous avons élaboré les tâches complexes qui seront soumises aux étudiants lors de l’évaluation certificative et les grilles d’évaluation de la compétence sous forme de cahiers de consignes.

4e phase

Déterminer la démarche (sommative, descriptive ou interprétative)

Nous avons fait le choix d’utiliser une démarche descriptive et interprétative (De Ketele, 2010, 2014).

5e phase

Valider auprès de collègues les éléments retenus pour l’évaluation et qui découlent des phases 2, 3 et 4.

La collaboration étroite entre le professeur et le chargé de cours a permis d’assurer la validité du processus.

23L’élaboration du dispositif en lien avec notre modèle ayant été présenté, dans ce qui suit, nous allons l’expliquer en tenant compte des caractéristiques de l’évaluation dans une approche par compétences.

4.1.2 Élaboration du dispositif d’évaluation en fonction des caractéristiques de l’évaluation

24L’ensemble du processus d’élaboration du dispositif dont fait l’objet cette recherche développement sera décrit en fonction des caractéristiques de l’évaluation dans une APC. Toutes les tâches évaluatives développées proposent des situations de productions (Scallon, 2004) qui visent l’authenticité de la compétence (Scallon, 2004) à évaluer des apprentissages en enseignement supérieur. D’ailleurs, chaque tâche possède son propre cahier des consignes qui contient une mise en contexte, une description de la production ou la performance attendue, les consignes et la grille d’évaluation (Leroux et al., 2015). Les tâches proposées aux étudiants qui rappelons-le, sont de futurs enseignants, ont été modifiées afin d’être plus authentiques (Leroux et al., 2015), donc en lien avec le marché du travail (Scallon, 2004). En ce sens, la mise en contexte de la tâche de planification va comme suit : « Vous avez obtenu une charge d’enseignement pour un nouveau cours dans une université ou un cégep. Vous devez donc effectuer la planification de ce cours et, à cet effet, vous en êtes à la planification du dispositif d’évaluation des apprentissages. Il sera question de planification de l’évaluation diagnostique, formative et certificative. »

25Par ailleurs, le dispositif d’évaluation antérieur comportait une tâche qui consistait à élaborer un examen traditionnel qui évaluait des connaissances. Toutefois, l’examen étant associé à l’APO, ne s’avère pas cohérent avec les caractéristiques de l’évaluation dans une APC. En lien avec les compétences à développer et à évaluer de leurs futurs étudiants, les futurs enseignants doivent être formés à planifier et à construire des tâches complexes et des grilles d’évaluation (Leroux et al., 2015).

26De plus, dans le nouveau dispositif, la variété des tâches évaluatives permet d’obtenir des preuves partagées de la compétence de l’étudiant (Tardif, 2006) tout en s’assurant de prendre en compte les multiples dimensions (Scallon, 2004) de la compétence à évaluer des apprentissages. En effet, le contenu de notre enseignement dans le cours vise à préparer les étudiants à la planification d’un dispositif d’évaluation, ainsi que l’élaboration d’une tâche complexe et son outil de jugement. Donc, nous nous assurons que les apprentissages réalisés en classe puissent être directement réinvestis dans les évaluations, tel que le propose Scallon (2004).

27Les consignes des tâches à réaliser sont expliquées lors des premiers cours afin que les étudiants puissent débuter leurs travaux et les peaufiner au fur et à mesure que nous abordons de nouveaux concepts en lien avec l’évaluation. Les remises n’arrivent qu’à la toute fin du cours pour être en accord avec l’idée de développement d’une compétence s’étalant dans le temps (Scallon, 2004; Tardif, 2006). Ainsi, le cours a été planifié de manière à offrir un accompagnement continu aux étudiants. Cette façon de faire est en accord avec le principe de Tardif (2006) selon lequel l’étudiant doit pouvoir développer son autonomie. Au début de la session, plusieurs concepts sont nouveaux et demandent du temps pour être assimilés. L’accompagnement de l’enseignant est alors essentiel afin de pouvoir confirmer la compréhension des étudiants quant à ces concepts pour qu’ils puissent s’améliorer dans l’élaboration de leurs travaux. Des remises provisoires sont proposées et les étudiants peuvent communiquer avec l’enseignant à tout moment s’ils désirent recevoir de la rétroaction. Aussi, l’accompagnement permet à l’étudiant de s’assurer de bien comprendre les attentes du cours (Scallon, 2004). De même, les stratégies d’autoévaluation et d’évaluation par les pairs sont mises à profit dans le cours, en accord avec le principe d’interactivité de Scallon (2004). Dans le cadre de notre cours, l’autoévaluation consiste à rédiger une réflexion comparant sa production aux attentes de la grille d’évaluation, tandis que l’évaluation par les pairs est un échange de travaux avec un collègue afin de recevoir de la rétroaction.

28La figure 1 illustrée précédemment démontre que nous évaluons la compétence de l’étudiant et non pas les différentes ressources mobilisées et combinées (Tardif, 2006). En revanche, l’ensemble des ressources mobilisables et combinables (Tardif, 2006) dans le cours sont identifiées dans le plan de cours et présentées en début de session. En outre, les outils d’évaluation ont été élaborés à l’aide de plusieurs critères d’évaluation (Tardif, 2006). Les grilles sont assez générales pour permettre aux étudiants de produire des travaux qui sont assez différents les uns des autres (Tardif, 2006), particulièrement dans un cours comme celui-ci où les étudiants se destinent à enseigner dans différentes disciplines. Par ailleurs, chacune des grilles d’évaluation descriptive globale permettent l’exercice du jugement professionnel (Scallon, 2004).

29L’élaboration du dispositif d’évaluation ayant été présenté, nous passons à l’étape de l’opérationnalisation, qui à titre de rappel, est le troisième moment d’une recherche développement.

4.2 Opérationnalisation

30Rappelons qu’un questionnaire distribué à la fin du cours a permis de recueillir entre autres la perception des étudiants quant à l’authenticité et la pertinence des différentes modalités certificatives, caractéristiques importantes de l’évaluation dans une APC. D’abord, les résultats présentés dans le tableau 7 montrent que la perception vis-à-vis l’activité d’apprentissage est assez positive quant à son authenticité. En effet, près de 94 % des étudiants ont répondu être tout à fait en accord ou plutôt en accord avec l’affirmation. Cependant, plusieurs étudiants (42 %) ne semblent pas percevoir l’authenticité du journal de bord comme tâche évaluative dans le cours. En ce sens, un étudiant évoque que « le journal de bord [lui] semblait moins complexe que les autres tâches. ». De plus, un autre étudiant soulève que « le journal de bord est vraiment intéressant et important à faire pour [les] aider à valider [leurs] acquis, mais il [lui] semble moins lié au contexte professionnel ». Toujours en lien avec l’authenticité, La perception quant aux tâches de planification d’un dispositif d’évaluation et d’élaboration d’une tâche complexe et de sa grille est très positive avec des pourcentages respectifs de 87 % et 92 %, seulement avec le choix tout à fait d’accord. D’ailleurs, un étudiant fait le lien entre les évaluations et les tâches d’un enseignant : « authentique dans la mesure où la mise en place de ces dispositifs ressemble à ce qui se fait dans la réalité ».

Tableau 7. Fréquences et pourcentages de l’accord des étudiants quant à l’authenticité des modalités d’évaluation à partir des questionnaires sur la perception de 47 étudiants.

MODALITÉS

Tout à fait en
accord

Plutôt en accord

Plutôt en désaccord

Tout à fait en désaccord

Activité d’apprentissage

31 (66 %)

13 (28 %)

2 (4 %)

1 (2 %)

Journal de bord

13 (28 %)

14 (30 %)

18 (38 %)

2 (4 %)

Planification d’un dispositif d’évaluation

41 (87 %)

6 (13 %)

0

0

Élaboration d’une tâche complexe et sa grille d’évaluation

43 (92 %)

3 (6 %)

1 (2 %)

0

31Ensuite, les résultats recueillis permettent de constater que leur perception est, de manière générale, favorable vis-à-vis la pertinence du dispositif d’évaluation tel que présenté dans le tableau 8. Effectivement, l’accompagnement offert aux étudiants est perçu comme étant pertinent (89 %). Dans ce sens, un étudiant soulève que cette modalité est « très pertinente, mais malheureusement trop laissée à [leur] discrétion d’en profiter ou non ». Les stratégies d’autoévaluation et d’évaluation par les pairs mises en place dans le cours ont une perception plus négative comme environ 20 % des étudiants ne reconnaissent pas leur pertinence. L’évaluation par les pairs serait moins pertinente, selon un étudiant, puisque « chaque étudiant progresse à son propre rythme dans ce cours ». Même constat du côté de la tâche de journal de bord qui obtient un désaccord de 33 % des étudiants. Cependant, l’activité d’apprentissage, la planification d’un dispositif d’évaluation et l’élaboration d’une tâche complexe et sa grille d’évaluation sont perçues très favorablement avec respectivement 77 %, 85 % et 87 %. Par ailleurs, un étudiant décrit que l’activité d’apprentissage leur « permet de [se] voir en action les uns les autres dans un contexte authentique tout en apprenant ».

Tableau 8. Fréquences et pourcentages de l’accord des étudiants quant à la pertinence des modalités d’évaluation à partir des questionnaires sur la perception de 47 étudiants.

MODALITÉS

Tout à fait en
accord

Plutôt en accord

Plutôt en désaccord

Tout à fait en désaccord

Accompagnement

27 (59 %)

14 (30 %)

4 (9 %)

1 (2 %)

Autoévaluation

15 (32 %)

22 (47 %)

10 (21 %)

0

Évaluation par les pairs

15 (34 %)

18 (41 %)

9 (20 %)

2 (5 %)

Activité d’apprentissage

36 (77 %)

9 (19 %)

2 (4 %)

0

Journal de bord

18 (39 %)

13 (28 %)

13 (28 %)

2 (5 %)

Planification d’un dispositif d’évaluation

40 (85 %)

7 (15 %)

0

0

Élaboration d’une tâche complexe et sa grille d’évaluation

41 (87 %)

6 (13 %)

0

0

5. Conclusion

32Le dispositif d’évaluation a été élaboré selon l’adaptation du modèle de Mislevy (Louis et Bédard, 2015) tout en appliquant les caractéristiques de l’évaluation dans une approche par compétences (Scallon, 2004; Tardif, 2006). Cette recherche contribue ainsi à assurer une plus grande cohérence entre l’enseignement et l’évaluation (Biggs, 1999). Il ambitionnait de faire vivre de façon concrète les concepts, les stratégies, etc. faisant l’objet d’apprentissage dans le cours d’évaluation par l’entremise même du dispositif. Par surcroît, nous croyons que le nouveau dispositif d’évaluation permet d’obtenir un portrait plus juste de la compétence des étudiants, car il est réalisé à la fin de la session avec l’ensemble des productions et performances des étudiants. Celui-ci mise en grande partie sur le jugement professionnel du professeur et du chargé de cours afin de ne pas penser la compétence en termes de points, mais plutôt juger du portrait global de la compétence de l’étudiant. Lorsque cette démarche est expliquée aux étudiants, plusieurs sont déstabilisés par cette façon de faire novatrice. Dans leurs parcours d’étudiants, n’ayant connu qu’une démarche évaluative qui cumule des points pour attribuer un résultat final, la démarche descriptive utilisée dans le cours est dans un premier temps incompréhensible pour eux. Au fil du cours, les étudiants construisent leurs savoirs et ainsi saisissent le concept du jugement professionnel dans une perspective qualitative.

33Cependant, la mise en œuvre du dispositif a posé certains défis. Notamment, malgré des cahiers de consignes des tâches complexes qui se voulaient les plus claires possible, des explications supplémentaires en classe ont été requises. Par ailleurs, pour les étudiants qui procrastinent dans la réalisation de leurs travaux, il est donc impossible pour eux de recevoir de la rétroaction des pairs et du professeur ou du chargé de cours qui permettrait l’amélioration de leurs productions. Cela demande alors de miser sur leur participation dans le processus d’évaluation formative associé aux évaluations certificatives. Une forte autonomie est requise de la part des étudiants et pour certains, il semble difficile de la mobiliser, même s’ils sont inscrits dans un cours de 2e cycle universitaire. Par la nature du projet, le dispositif d’évaluation est en perpétuelle amélioration : certains ajustements sont encore apportés pour s’assurer d’offrir le meilleur cours possible. Par exemple, pour favoriser l’adhésion au journal de bord, nous insistons davantage sur son utilité pour la réflexion des étudiants, alors que l’évaluation par les pairs est mieux expliquée en mettant l’emphase sur l’importance d’un regard externe. Cette recherche développement permet aux concepteurs de réfléchir à tous les éléments du dispositif d’évaluation de façon rigoureuse. D’ailleurs, la démarche utilisée peut être reproductible pour d’autres cours s’inscrivant dans un programme formulé selon l’approche par compétences.

34Également, le projet a permis de collecter beaucoup de données qui ne demandent qu’à être diffusées. En effet, des objectifs spécifiques n’ont pu être présentés dans cet article dont ceux de vérifier l’évolution des connaissances des étudiants sur les concepts en évaluation dans une APC en comparant leurs conceptions initiales à celles à la fin du cours, ainsi que de documenter la perception des étudiants quant au respect des critères de qualité par notre dispositif d’évaluation.

Haut de page

Bibliographie

Biggs, J. (1999). What the students does: Teaching for enhanced learning, Higher Education Research & Development, 18(1), 57-75.

De Ketele, J.-M. (2014). Contrôles, examens et évaluation, Dans J. Beillerot et N. Mosconi (dir.), Traité des sciences et des pratiques de l'éducation (p .407-419). Éditions Dunod.

De Ketele, J.-M. (2010). Ne pas se tromper d’évaluation. Revue française de linguistique appliquée, XV, 25-37.

Hadji, C. (2012). Faut-il avoir peur de l’évaluation? De Boeck.

Hadji, C. (2015). L'évaluation à l'école, pour la réussite de tous les élèves. Éditions Nathan.

Harvey, S. et Loiselle, J. (2009). Proposition d’un modèle de recherche développement, Recherches qualitatives, 28(2), 95-117. http://www.recherche-qualitative.qc.ca/documents/files/revue/edition_reguliere/numero28(2)/harvey(28)2.pdf

Jorro, A. (2016). Se former à l’activité évaluative. Éducation permanente, 208, 53-64.

Lafortune, L. et Allal, L. (2008). Jugement professionnel en évaluation : pratiques enseignantes au Québec et Genève. Presses de l’Université du Québec.

Lasnier, F. (2014). Les compétences de l’apprentissage à l’évaluation. Guérin universitaires.

Legendre, R. (2005). Dictionnaire actuel de l’éducation. Guérin.

Lemay, V. (2000). Évaluation scolaire et justice sociale. ERPI.

Leroux, J. L. et Bélair, L. (2015). Exercer son jugement professionnel en enseignement supérieur. Dans J. L. Leroux (dir.), Évaluer les compétences au collégial et à l’université : un guide pratique (p. 65-104). Éditions Chenelière/AQPC.

Leroux, J. L., Hébert, A. et Paquin, J. (2015). Concevoir des tâches d’évaluation en situation authentique. Dans J. L. Leroux (dir.), Évaluer les compétences au collégial et à l’université : un guide pratique (p. 157-195). Éditions Chenelière/AQPC.

Leroux, J. L. (2010). Analyse de pratiques évaluatives d’enseignantes et d’enseignants dans une approche par compétences au collégial [thèse de doctorat, Université de Sherbrooke]. Savoir UdeS. https://savoirs.usherbrooke.ca/bitstream/handle/11143/947/NR62810.pdf?sequence=1&isAllowed=y

Louis, R. et Bédard, D. (2015). Les tendances en évaluation des apprentissages en enseignement supérieur. Dans J. L. Leroux (dir.), Évaluer les compétences au collégial et à l’université : un guide pratique (p. 23-63). Éditions Chenelière/AQPC.

Merle, P. (2004). Mobilisation et découragement scolaires : l’expérience subjective des élèves. Éducation et société, 13(1), 193-208. https://0-www-cairn-info.catalogue.libraries.london.ac.uk/revue-education-et-societes-2004-1-page-193.htm#

Mottier Lopez, L. (2015). Évaluation formative et certificative des apprentissages. Enjeux pour l’enseignement. De Boeck.

Paquay, L., Defèche, N. et Dufays, J.-L. (2002). Comment concilier évaluation formative et évaluation certificative? Quels apports de l’apprenant? Dans Paquay, L., Carlier, G., Collès, L. et Huynen, A.-M., L’évaluation des compétences chez l’apprenant. Presses universitaires de Louvain.

Roy, M. (2017). Les dispositifs d’évaluation certificative mis en place pour évaluer les attitudes dans un programme du collégial : Étude de cas [mémoire de maîtrise, Université du Québec à Montréal]. Archipel. http://www.archipel.uqam.ca/9662/

Scallon, G. (2015). Des savoirs aux compétences. Exploration en évaluation des apprentissages. De Boeck.

Scallon, G. (2004). L’évaluation des apprentissages dans une approche par compétences. Éditions du renouveau pédagogique.

Tardif, J. (2006). L’évaluation des compétences : Documenter le parcours de développement. Éditions de la Chenelière.

Tourmen, C. (2016). Heurs et malheurs des évaluateurs novices : vers une didactique de l’évaluation. Éducation permanente, 208, 115-129.

Haut de page

Pour citer cet article

Référence électronique

Nathalie Michaud et Martin Roy, « Former à évaluer des compétences en enseignement supérieur : un dispositif d’évaluation novateur »Revue internationale de pédagogie de l’enseignement supérieur [En ligne], 38(3) | 2022, mis en ligne le 23 décembre 2022, consulté le 23 juin 2024. URL : http://0-journals-openedition-org.catalogue.libraries.london.ac.uk/ripes/4181 ; DOI : https://0-doi-org.catalogue.libraries.london.ac.uk/10.4000/ripes.4181

Haut de page

Auteurs

Nathalie Michaud

UQAM, Montréal, Québec, Canada, michaud.n@uqam.ca 

Martin Roy

UQAM, Montréal, Québec, Canada, roy.martin.4@uqam.ca

Haut de page

Droits d’auteur

CC-BY-NC-SA-4.0

Le texte seul est utilisable sous licence CC BY-NC-SA 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search