1Dans l’article lançant le sujet de la chronique « Débats », Peraya (2019) retrace l’histoire de l’apparition des travaux sur l’analytique de l’apprentissage en brossant un portrait assez exhaustif des possibilités d’exploitation pédagogiques dans des EIAH, tout en posant un regard critique sur les plans épistémologique, méthodologique et éthique. En réaction à ce texte, nous proposons de nous attarder sur certaines des questions pour lesquelles nos travaux de recherche ont alimenté notre réflexion. Notre réflexion porte d’abord sur les traces elles-mêmes et ce qu’elles représentent pour les apprenants, mais aussi, ultimement, pour nous, pédagogues et chercheurs en sciences de l’éducation. Nous discuterons ensuite de quelques enjeux associés à leurs usages, aussi bien pour les apprenants que pour les enseignants et les institutions. C’est à partir d’une double posture de professeurs et chercheurs en sciences de l’éducation que nous présentons quelques pistes de réflexion méthodologiques et pédagogiques sur l’analytique de l’apprentissage.
2Ayant entrepris dès 2013 certains travaux de recherche dans le domaine, à l’occasion du lancement de l’initiative de cours en ligne ouverts aux masses (MOOC) sur Edulib1, et à l’occasion d’une subvention de recherche obtenue dans le cadre de la MRI (MOOC Research Initiative), financée par la Fondation Bill et Melinda Gates, nous avons eu l’heureuse intuition de réfléchir à plusieurs des questions méthodologiques soulevées par Peraya (2019), avant même de débuter le travail d’analyse à proprement parler. Ces questionnements méthodologiques portent sur : 1) la valeur de l’analyse des données sans modèle préalable ; 2) la nature de ce qui est mesuré par les traces ; 3) la manière de construire et de modéliser ces traces ; 4) la valeur des traces sans le contexte social dans lequel l’apprentissage se déroule (Peraya, 2019, p. 7-9). Pour nous, les trois premières questions se sont posées de manière très interreliée et étaient porteuses de sens. Nous confessons d’emblée n’avoir pas anticipé la quatrième, n’ayant, a priori, que bien peu de contrôle ou de renseignements sur le contexte social des traces.
3Au moment de débuter nos travaux, la première question qui s’est posée à nous était : comment modéliser cette quantité énorme de traces pour qu’elles aient du sens, dans une perspective d’apprentissage ? Nous nous sommes d’emblée posé la question du sens des traces et de la perspective théorique à adopter. Peraya affirme que « La nécessité d’une reconstruction des traces brutes, voire de leur modélisation, à différents niveaux de recherche est d’ailleurs bien identifiée dans la littérature (notamment Settouti et al., 2007) » (Peraya, 2019, p. 8). Venant du domaine des sciences sociales et ayant été formés à une approche de modélisation statistique qu’on pourrait résumer de manière imagée par « garbage in, garbage out », nous avons consacré un effort considérable à réfléchir à la manière dont nous pourrions justement formater les traces pour qu’elles aient du sens. Il y a là une différence de posture fondamentale entre cette posture et celle de certains chercheurs provenant du champ des sciences de l’information, qui considèrent que la réduction des informations correspond à une perte de données. À nos yeux, cette perte permet plutôt une contextualisation pratique d’actions qui doivent révéler quelque chose sur le processus d’apprentissage. La question de savoir comment formater et modéliser les traces va de pair avec le questionnement sur ce que les traces sont censées mesurer et nous amener à nous interroger sur le modèle théorique explicatif qui pourrait être invoqué lors des analyses.
4Notre réponse à cette question a été de postuler que l’activité dans les traces correspond de près au concept d’engagement, et plus particulièrement au concept d’engagement comportemental, sur lequel nous nous sommes collectivement penchés il y a quelque temps (Molinari et al., 2015). En effet, « la définition de l’engagement comportemental se fonde sur l’idée de participation et d’indicateurs observables de cette participation. » (Molinari et al., 2015, p. 4). Ainsi, il nous a semblé raisonnable de postuler que les traces correspondent à l’enregistrement d’activités posées par l’apprenant, que l’on peut assimiler à des comportements de participation observables. Comme dans le cas des comportements visibles qu’on peut observer en classe, ces manifestations peuvent souvent être des manifestations d’engagement cognitif (« l’investissement des ressources cognitives et à l’effort mental déployé lors de la réalisation d’une tâche » (Molinari et al., 2015, p. 4), mais pas nécessairement. Ce choix nous a amenés à justement décider de formater les traces selon des variables ordinales correspondant à un continuum de participation dans les différents types d’activités possibles ; avec les vidéos, avec les documents, dans les tests et les quiz, dans les forums de discussion. Cette opération a diminué drastiquement le volume des traces. Ce formatage s’apparente aux activités que l’on pourrait observer en classe comme des marques d’engagement comportemental ; le regard des étudiants, le fait qu’ils sortent leurs manuels, qu’ils écrivent, etc., et également à la complexité de l’activité (par exemple, poser une question plutôt que de répondre à une question, etc.). L’engagement comportemental correspond aux signes visibles et observables de l’engagement ou du désengagement dans une tâche. C’est normalement aussi un signe de l’engagement cognitif… mais pas toujours. Ainsi, un étudiant qui nous regarde peut penser à tout autre chose. Nous pensons pouvoir faire la même analogie avec les traces.
5À partir d’une analyse de classification hiérarchique des traces, nous avons pu identifier une typologie des types d’apprenants dans les MOOC (Poellhuber, Roy et Bouchoucha, 2019), qui elle-même nous a permis de développer un modèle prédictif permettant de prédire à près de 90 % d’exactitude qui seraient les apprenants qui allaient persévérer, et ce, à partir des traces de la semaine 2 (Poellhuber et al., 2014). Or, pour tenter d’affiner et de développer ce modèle prédictif, nous avions eu recours à une variété d’échelles de motivation, sans compter des questions sur les raisons d’inscriptions et les intentions d’étude, mais dans toutes ces échelles, les seules qui contribuaient au modèle prédictif, et ce, d’une manière peu importante, étaient les sous-échelles des buts intrinsèques et des buts extrinsèques du MSLQ (Motivated Strategies for Learning Questionnaire) de Pintrich et al. (1993).
6Voilà donc une surprise ! Se pourrait-il que les traces en dévoilent finalement plus que les échelles auto-rapportées, validées sur le plan psychométrique, du moins dans un dispositif d’apprentissage ouvert ? Dans une autre analyse fondée sur des équations structurelles sur des échelles de motivation qui visent à prédire l’engagement tel que mesuré par les traces, nous sommes arrivés à un résultat semblable (Poellhuber, Roy et Bouchoucha, 2016). Troublant… Ces résultats soulèvent une réflexion sur les traces qui contredisent, dans une certaine mesure, ce que les apprenants rapportent vouloir faire. En pratique, alors que les données auto-rapportées se situent dans un moment et dans un contexte précis, les traces numériques correspondent à un suivi constant des gestes posés. Il semble y avoir une contradiction entre ce que les apprenants disent et ce qu’ils font, en contexte de MOOC. On pourrait invoquer la question du biais social associé aux démarches d’investigation par questionnaires. Cependant, cette distinction entre les perceptions ou intentions déclarées et les gestes posés demeure étonnante. La tentation de recourir à une explication psychanalytique est ici très forte. Nous nous demandons donc s’il se pourrait qu’à l’image de nos comportements non-verbaux que nous ne contrôlons pas consciemment, les traces en disent finalement beaucoup plus sur nous qu’on voudrait bien le croire ? Se pourrait-il que les traces en disent plus long sur notre motivation et notre engagement que ce que nous sommes capables de percevoir consciemment ?
- 2 Google, Apple, Facebook et Amazon
7Cela contredirait l’argument amené par Peraya selon lequel les traces correspondent qu’à une partie des activités et des comportements, et « demeurent une traduction très partielle et limitée des pratiques » (Peraya, 2019, p. 8). Deviendraient-elles une manifestation très crédible de la motivation et de l’engagement sous toutes leurs formes, voire de la personnalité, qui serait plutôt un révélateur d’aspects du comportement qui ne sont peut-être même pas dans le champ de conscience des utilisateurs ? N’y aurait-il pas justement là une partie de l’explication de la puissance des algorithmes développés par les GAFA2 ? En effet, bien que jamais directement invoqué à notre connaissance dans la littérature du domaine de l’analytique de l’apprentissage, l’idée que les traces en disent finalement beaucoup plus sur nous que ce que nous souhaitons consciemment dévoiler a déjà été exploitée par les grands détenteurs de nos données personnelles. Ainsi, « on peut comme Michal Kosinski l’a montré, établir un profil psychologique à partir de ces informations : ainsi, avec 10 likes, on fait un profil analogue à celui que ferait de nous une vague connaissance, avec 100 ce que ferait un membre de notre famille ou un collègue » (Pascot, 2019, p. 5). Il est à noter que Park, Kosinski et leurs collègues sont à l’origine de la collecte de données visant à établir un profil de personnalité automatique dans le cadre de l’affaire Cambridge Analytica (Park et al., 2015). Si l’idée que les traces en disent peut-être davantage que ce que l’on voudrait bien ne circule pas vraiment dans la littérature sur l’analytique de l’apprentissage, elle semble toutefois bien en vie dans l’univers des GAFA. Si c’est bien le cas, le défi de les modéliser et de les interpréter en ce sens redevient entier et la simplification en fonction de l’engagement comportemental est peut-être à revoir. La question de comment les modéliser en fonction de cette nouvelle interprétation redevient entière. Vu sous cet angle, les traces deviennent des données personnelles ultrasensibles et les questions éthiques reliées à leur usage et à la confidentialité des renseignements personnels deviennent encore plus cruciales.
8Par ailleurs, pour répondre à l’argument du caractère très partiel et limité des traces, nous proposons que dans la mesure où l’apprentissage se déroule essentiellement à distance et que cet apprentissage se réalise principalement à partir de ressources disponibles via un environnement numérique d’apprentissage, les traces captent une partie importante, voire essentielle des activités. Toutefois, il est vrai que ces traces numériques mettent dans l’ombre des pratiques non prévues des ressources. On pourrait évoquer des correspondances avec la catachrèse dans le modèle de Rabardel (1995). Par exemple, des commentaires anecdotiques de participants à des entrevues réalisées en contexte de MOOC indiquent que certains participants téléchargent tout le matériel pour le partager avec des collègues ou amis, ou encore visionnent à plusieurs ces ressources. Il serait peut-être plus juste de parler d’un usage non anticipé que d’un véritable détournement de la ressource, mais dans ce cas, le dispositif vécu diffère du dispositif prévu (Paquelin, 2009) et les traces numériques ne captent pas cela.
9Les bénéfices potentiels de l’analytique de l’apprentissage sont nombreux et commencent à être bien documentés. Ils semblent de nature à répondre aux deux principaux défis de l’enseignement à distance ; la persévérance et le suivi personnalisé des étudiants « à risque ». La formation à distance (FAD) implique de la part des étudiants une plus grande autonomie et davantage d’autorégulation (Cosnefroy, 2012), et ceux qui persévèrent jusqu’à la fin sont ceux qui ont de meilleures stratégies de gestion du temps et de l’espace (Roy, Bachand et Boivin, 2015). Les faibles compétences des étudiants à cet égard semblent d’ailleurs un facteur ayant une incidence importante sur les taux d’abandon en FAD (Lee et Choi, 2011).
10Plus particulièrement, les tableaux de bord pourraient permettre aux enseignants, tuteurs ou encadrants d’identifier tôt les apprenants en difficulté de manière à mieux les encadrer (Govaerts et al., 2012 ; Herodotou et al., 2017). Fournir de la rétroaction aux apprenants qui en ont besoin constitue un enjeu très important (Govaerts et al., 2012) puisque les apprenants qui ont le plus besoin de soutien y recourent peu de leur propre initiative (Glikman, 2002 ; Poellhuber, 2007). L’offre d’encadrement n’est en définitive utilisée que par quelques étudiants qui formulent une demande claire en ce sens (Sclater, 2016). Ainsi, les bénéfices potentiels de l’analytique de l’apprentissage semblent bien réels sur le plan pédagogique, aussi bien pour les apprenants qu’on pourrait aider à s’autoréguler que pour les enseignants et encadrants, en leur fournissant des outils. Mais comment y parvenir ? Comment le faire en respectant les lois qui régissent la confidentialité des renseignements personnels, mais surtout, les principes éthiques qui devraient sous-tendre les actions ? En fin de chronique, Peraya souligne ces questions et préoccupations éthiques et déontologiques, qui constituent certainement la préoccupation la plus importante qui marque le domaine. Et l’avenir de l’analytique de l’apprentissage passe par des pistes de réponses crédibles à ces préoccupations.
11Ces questions éthiques se posent aussi bien au moment de la collecte qu’au moment de l’analyse et du retour des résultats de ces analyses par le biais des tableaux de bord par exemple. Il faut comprendre que derrière le potentiel de l’analytique de l’apprentissage, il ne s’agit uniquement d’utiliser les données d’un individu, mais bien celles de milliers d’apprenants, pour identifier des pratiques et des comportements typiques et atypiques. Ce faisant, dans une certaine mesure, on se retrouve à « profiter » des données des uns, pour aider les autres. Dans ce cadre, comment peut-on respecter une démarche éthique ? D’une part, il nous semble important de nous intéresser d’abord et avant tout aux données et pratiques qui peuvent être en lien avec l’apprentissage et la réussite, plutôt qu’à l’ensemble données existantes sur chaque utilisateur, ce qui pourrait alors s’apparenter à du profilage. L’argument d’utilité des données et variables ciblées devrait prévaloir sur celui d’exhaustivité.
12Sur le plan de la collecte, le consentement libre et éclairé est au coeur des enjeux éthique. Alors que les GAFA de ce monde semblent fort peu soucieux de la protection des renseignements personnels de leurs usagers et sont plutôt opaques sur les usages qu’ils font des données des utilisateurs, les établissements d’enseignement se doivent d’être plus transparents. Dans les travaux exploratoires que nous avons menés, entérinés par les comités éthiques institutionnels, la piste de solution passait par un consentement général inclus dans le formulaire d’inscription, renseignant sur le type d’utilisation qui serait faite des données, dans un langage facilement accessible, ce qui contraste avec les pratiques plutôt obscures des GAFA. Elle passait aussi par l’anonymisation manuelle irréversible par un tiers des identifiants des utilisateurs. Si le travail ne concerne que l’analyse a posteriori des traces, c’est amplement suffisant, mais si le but est de développer des tableaux de bord à retourner aux enseignants et aux apprenants, cela pose des difficultés pratiques considérables, voire insurmontables. Il y aurait bien sûr la possibilité d’un mécanisme d’anonymisation, qui, sans être parfaitement irréversible, ne pourrait être réversible que par ceux qui connaissent l’algorithme. Un mécanisme de protection pour l’accès à l’algorithme serait alors nécessaire.
13Certains envisagent la possibilité d’introduire un mécanisme simple d’ « opting out ». Cette idée semble prometteuse, mais les systèmes de logs sont configurés par défaut pour collecter toutes les traces et empêcher de collecter des traces dans les logs pour quelques individus particuliers dans un environnement numérique d’apprentissage représente un défi technique très important. L’opting out passerait donc presque nécessairement par un retrait après coup des traces. Elle nécessite donc l’identification des apprenants, et présente des défis techniques considérables pour l’opérationnalisation, dans des systèmes qui n’ont pas été conçus pour cela.
14En ce qui concerne les défis éthiques des analyses retournées aux apprenants ou aux enseignants, une piste de solution nous semble liée à la posture qui est prise par les chercheurs et les établissements. On pourrait suggérer de se fonder à la fois sur les principes de la théorie de l’autodétermination (Ryan et Deci, 2000), qui vise à faire en sorte que les choix et les comportements soient de plus en plus auto-régulés (plutôt qu’hétéro-régulés), ainsi que sur les principes de la psychologie positive, qui visent à favoriser le fonctionnement optimal des individus plutôt qu’à focaliser sur leurs manques. Une telle posture théorique et quasi « philosophique » orienterait le choix du genre d’interventions proposées et des composantes des tableaux de bord eux-mêmes. Cela voudrait dire de laisser une large part de contrôle et de choix aux apprenants dans l’utilisation et la configuration des tableaux de bord qui les concernent. Cela signifierait aussi de planifier des interventions qui visent à satisfaire les besoins de compétence, d’affiliation et de contrôle, et qui visent aussi à obtenir des effets positifs sur le plan du bien-être des apprenants. Cette posture aiderait peut-être à prévenir certaines des dérives possibles avec les analytiques.
15D’ailleurs, il suffit d’essayer le nouveau système Korbit3 pour découvrir que des moyens simples peuvent être mis en place. L’approche adoptée consiste à proposer des questions sporadiques pour s’assurer que le moyen proposé cadre avec les besoins de l’apprenant. Ainsi, lorsqu’un apprenant quitte la plateforme Korbit, deux questions lui sont posées : pourquoi quittez-vous ? Avons-nous offert le support nécessaire pour vous garder engagé ? À noter que cette plateforme est l’une des premières du genre où la navigation et l’aide sont complètement réalisées par l’intelligence artificielle, basée sur l’analytique de l’apprentissage.
16Une des difficultés qui n’a pas été relevée dans la chronique de lancement est celle de l’adoption des tableaux de bord. En effet, bien que leurs avantages qui semblent de mieux en mieux documentés, l’adoption du tableau de bord par les enseignants semble problématique (Paquelin, 2017). Malgré les coûts et les efforts importants de développement des tableaux de bord, il semble qu’ils ne soient pas toujours utilisés par les apprenants ou les enseignants (Fritz, 2011 ; Herodotou et al., 2017 ; West et al., 2016). Or, dans une discussion que nous avons tenu récemment avec des conseillers technopédagogiques du réseau collégial lors d’une présentation portant justement sur les possibilités de l’analytique de l’apprentissage, ceux-ci ont suggéré que la tiédeur des enseignants face aux tableaux de bord pourrait être liée à une crainte que les données sur l’engagement et la réussite des étudiants ne soient finalement utilisées pour l’évaluation des enseignants et ont relevé une forte opposition des syndicats d’enseignants aux analytiques. Si on offre une clause d’opting out aux apprenants, ne devrait-on pas aussi le faire pour les enseignants ? Et si on vise la satisfaction des besoins psychologiques fondamentaux des apprenants et leur bien-être, ne devrait-on pas miser sur les mêmes éléments pour les enseignants ?
17Cette piste d’opérationnalisation par un opting out des tableaux de bord (plutôt qu’un opting out à la collecte des données) semble à priori beaucoup plus facilement praticable que l’anonymisation irréversible ou l’opting out complet. Les apprenants (ou les enseignants) pourraient choisir un opting out pour les utilisations qui sont faites de leurs données plutôt que pour la collecte elle-même. Ce serait déjà une amélioration considérable par rapport aux pratiques des GAFA. On pourrait imaginer un apprenant qui souhaite que ses données ne soient pas fournies à ses enseignants et qui décide s’il veut être comparé à d’autres, etc. Les tableaux de bord évolutifs pourraient d’abord mettre l’accent sur des régulations externes aux apprenants qui sont moins autodéterminés, mais tout en proposant graduellement des régulations plus internes. Des tableaux de bord destinés aux enseignants pourraient aussi suggérer des pistes de régulations de plus en plus internes pour les apprenants.
18Dans une discussion avec des conseillers pédagogiques du réseau des répondants TIC lors d’une de leurs rencontres statutaires, plusieurs ont imaginé que d’autres intervenants que les enseignants pourraient faire un usage approprié des traces ; conseillers d’orientation, aides pédagogiques individuels qui accompagnent les étudiants dans leurs choix de cours et leur cheminement scolaire. Proposer à un étudiant d’envoyer un courriel ou de prendre un rendez-vous avec un professionnel non enseignant constituerait peut-être un genre d’intervention à la fois soutenante et peu intrusive.
19D’autres conseillers pédagogiques ont soulevé l’intérêt de recueillir aussi des données qualitatives, permettant en quelque sorte de donner plus de sens aux traces, et de mieux comprendre le contexte dans lequel ces micro-comportements se déroulent.
20Par ailleurs, malgré les bénéfices potentiels de l’analytique de l’apprentissage pour les apprenants, les enseignants, les tuteurs et d’autres catégories de personnel appelées à intervenir auprès des étudiants, les dérives demeurent possibles, notamment sur le plan de l’institution. Avec des bases de données de milliers, voire de millions de logs, il sera possible d’en connaître beaucoup sur les habitudes des utilisateurs (heure et lieu de connexion, sujets d’intérêt, etc.). Les établissements pourraient alors offrir des services adaptés payants ou suggérer des ressources pédagogiques payantes, dans une perspective de rentabilité. Ces données pourraient être vendues ou échangées à des sociétés privées dans le domaine de l’éducation. Mais ceci pourrait provoquer un sentiment d’être constamment épié, veut-on cela de nos institutions d’enseignement ? Une forme d’évaluation des enseignants pourrait aussi se développer.
21L’adoption d’une démarche éthique dans l’analytique de l’apprentissage passerait par l’adoption de politiques institutionnelles claires et transparentes sur la question et par l’introduction de garde-fous préservant l’intérêt des apprenants et des enseignants. Dans ce contexte, il vaut mieux viser sur le bien-être des apprenants et des enseignants, en favorisant l’autorégulation et la satisfaction des besoins de compétence, d’affiliation et de contrôle. Il faut que tout ceci soit fait en cohésion avec les éléments pédagogiques des cours et des programmes et les pratiques des enseignants. Ainsi, l’ensemble des acteurs impliqués doivent se sentir en contrôle et avoir confiance dans le système mis en place. Ils doivent avoir la possibilité d’un opting in ou d’un opting out, et on doit surtout préparer les systèmes pour que les apprenants et les enseignants bénéficient des avantages induits par l’analytique, et non devenir des produits qu’on peut manipuler.
Flux RSS
