Ces derniers temps, nous avons parlé mauvaise interprétation d’indicateurs fondés sur les traces, ou learning analytics si vous préférez. Pour des articles fondateurs sur cette thématique, allez jeter un oeil à cette publication : Learning Analytics et Study Behaviour: A Pilot Study. C’est assez ancien, ce n’est pas nécessairement d’une portée extraordinaire, mais je trouve qu’il a le mérite d’avoir posé le problème des difficultés d’interprétation des traces. Par ailleurs, j’ai particulièrement apprécié le fait qu’il confronte ces interprétations à des entretiens auprès des apprenants, selon une logique de méthodes mixtes. Et il a regardé le décalage entre ce que ses enquêtés lui disaient et ce qu’il avait constaté dans les rapport d’utilisation de la plateforme, Lectopia en l’occurence. C’était une série de podcasts, de conférences, centralisés sur une plateforme. Un cas typique d’utilisation de ressources pédagogiques dans l’enseignement supérieur. Il démontra à partir d’exemple le décalage qui pouvait existait entre une interprétation de sens commun et la réalité du vécu des étudiants.
À titre personnel, j’avais fait un article plus qualitatif (au sens recherches qualitatives) sur cette question avec mon collègue Georges-Louis Baron, explorant la question de l’utilisation de tableaux de bord numériques dans un contexte d’évaluation par compétences.. En l’occurrence, la focale était une plateforme, le CNEC. On pouvait y créer des questions, des hypothèses, des protocoles, dans un contexte de démarche d’investigation niveau école primaire ou collège. Or à chaque fois qu’un élève créait une question de recherche, etc, il l’envoyait à l’enseignant et l’enseignant faisait des modifications… Il y avait des allers retours, c’est ce qu’on appelle la rédaction incrémentale.
A chaque fois qu’il y avait une incrémentation d’un groupe avec l’enseignant, un indicateur évoluait. On avait des tableaux de bord derrière, en tout cas qui étaient destinés à être produits, qui permettent de suivre le nombre d’itérations. Alors imaginons maintenant que l’on veuille évaluer sur la base de ces traces et considérer que le nombre d’itérations entre en compte dans la note ou dans l’évaluation des compétences, soit en positif, soit en négatif. On peut dire s’il y a beaucoup d’itérations, c’est que le groupe d’apprenants a du mal à comprendre, et donc ce n’est pas forcément très positif pour la note.
Mais imaginons maintenant que pour un groupe donné, tout passe par l’écrit sur les interactions. Et pour le deuxième groupe, l’enseignant, plutôt que de passer par la machine, pour gagner du temps, va interagir et donner à peu près le même type de retour au groupe 2. Toutes choses égales par ailleurs, dans un cas, l’interaction est passée par l’écrit, aura bien été collectée dans les traces, dans l’autre cas, elle ne l’aura pas été et à cause de ça, si on fait des tableaux de bord, on observera des différences, alors qu’au fond les apprenants ont montré des performances analogues.
La plateforme ne sait pas ce qui se passe dans la classe. La plateforme ne sait pas que vous avez interagi à l’oral avec vos apprenants et du coup, elle est aveugle à toutes les caractéristiques de la situation didactique. Et du coup, quand l’on va utiliser des traces et des visualisations de tableau de bord, pour suivre finement ce qui se passe, que ce soit dans une classe ou à distance, on va toujours avoir ce petit type de biais qui va affecter notre jugement sur ce qui est en train de se passer. Même quand l’on ne fait pas face à ce biais, il peut y avoir des effets pervers. Si l’on dit aux apprenants, plus vous avez d’idées, plus vous soumettez des idées dans l’application, meilleure sera votre note ou votre évaluation. Évidemment, il y a beaucoup de gens qui vont artificiellement se mettre à soumettre plus d’idées.
Quand un apprenant a un intérêt à affecter un indicateur pour une note ou autre, il va pouvoir faire un peu ce qu’on appelle « gaming the system ». A condition d’avoir compris le fonctionnement des traces, il va transformer son comportement pour s’adapter aux récompenses proposées par le système. Ca c’est un autre point que je trouve assez intéressant de garder à l’esprit. Quand l’on analyse des traces, c’est « est-ce que les apprenants savent qu’ils sont suivis et qu’il y a une forme traçage des utilisations qu’ils font des ressources ? ».
Dernier point, il ne faut pas se faire avoir par le fait que l’indicateur est souvent l’arbre qui masque la forêt. Dans les MOOC, il y a tout ce qui est taux de certification. Finalement, quand on regarde seulement les personnes qui ont eu le certificat du cours, on oublie qu’il y a beaucoup de personnes qui n’ont jamais eu le certificat, et qui ont quand même téléchargé toutes les vidéos, qui ont vu une partie conséquente. Du coup on sous-estime le nombre de personnes actives.
Ensuite donc, raison pour laquelle il y a souvent besoin de conduire des entretiens pour pouvoir capturer ce qu’il se passe dans la partie immergée de l’iceberg. Parce que beaucoup de choses ne peuvent pas être tracées, on l’a déjà dit en introduction de cette vidéo, notamment le devenir des ressources une fois téléchargées. Si vous voulez aller plus loin, je vous renvoie à un article intitulé « Analyse de l’utilisation des vidéos pédagogiques des MOOC par les non-certifiés », où j’approfondis la question. Au passage, je rédige actuellement un ouvrage sur la thématique des indicateurs dans l’apprentissage en ligne ; je vous tiendrai au courant …