Interprétation erronée de learning analytics : un approfondissement

Ces derniers temps, nous avons parlé mauvaise interprétation d’indicateurs fondés sur les traces, ou learning analytics si vous préférez. Pour des articles fondateurs sur cette thématique, allez jeter un oeil à cette publication : Learning Analytics et Study Behaviour: A Pilot Study. C’est assez ancien, ce n’est pas nécessairement  d’une portée extraordinaire,  mais je trouve qu’il a le mérite d’avoir posé le problème des difficultés d’interprétation des traces. Par ailleurs, j’ai particulièrement apprécié le fait qu’il confronte ces interprétations à des entretiens auprès des apprenants, selon une logique de méthodes mixtes. Et il a regardé le décalage entre ce que ses enquêtés lui disaient et ce qu’il avait constaté dans les rapport d’utilisation de la plateforme, Lectopia en l’occurence. C’était une série de podcasts, de conférences, centralisés sur une plateforme. Un cas typique d’utilisation de ressources pédagogiques  dans l’enseignement supérieur. Il démontra à partir d’exemple le décalage qui pouvait existait entre une interprétation de sens commun et la réalité du vécu des étudiants.

À titre personnel, j’avais fait un article plus qualitatif (au sens recherches qualitatives) sur cette question avec mon collègue Georges-Louis Baron,  explorant la question de l’utilisation de tableaux de bord numériques dans un contexte d’évaluation par compétences.. En l’occurrence, la focale était une plateforme, le CNEC. On pouvait y créer des questions, des hypothèses, des protocoles, dans un contexte de démarche d’investigation niveau école primaire ou collège. Or à chaque fois qu’un élève créait une question de recherche, etc,  il l’envoyait à l’enseignant et l’enseignant faisait des modifications… Il y avait des allers retours, c’est ce qu’on appelle la rédaction incrémentale.

A chaque fois qu’il y avait une incrémentation d’un groupe avec l’enseignant, un indicateur évoluait. On avait des tableaux de bord derrière,  en tout cas qui étaient destinés à être produits, qui permettent de suivre le nombre d’itérations. Alors imaginons maintenant que l’on veuille évaluer sur la base de ces traces et considérer que le nombre d’itérations entre en compte dans la note  ou dans l’évaluation des compétences, soit en positif, soit en négatif.  On peut dire s’il y a beaucoup d’itérations, c’est que le groupe d’apprenants a du mal à comprendre, et donc ce n’est pas forcément très positif pour la note.

Mais imaginons maintenant que pour un groupe donné, tout passe par l’écrit sur les interactions. Et pour le deuxième groupe, l’enseignant, plutôt que de passer par la machine, pour gagner du temps, va interagir et donner à peu près  le même type de retour au groupe 2. Toutes choses égales par ailleurs, dans un cas, l’interaction est passée par l’écrit,  aura bien été collectée dans les traces, dans l’autre cas, elle ne l’aura pas été et à cause de ça, si on fait des tableaux de bord, on observera des différences, alors qu’au fond les apprenants ont montré des performances analogues.

La plateforme ne sait pas ce qui se passe dans la classe. La plateforme ne sait pas que vous avez interagi à l’oral avec vos apprenants et du coup, elle est aveugle  à toutes les caractéristiques de la situation didactique. Et du coup, quand l’on va utiliser des traces et des visualisations de tableau de bord, pour suivre finement ce qui se passe, que ce soit dans une classe ou à distance, on va toujours avoir  ce petit type de biais  qui va affecter notre jugement sur ce qui est en train de se passer. Même quand l’on ne fait pas face à ce biais, il peut y avoir des effets pervers. Si l’on dit aux apprenants, plus vous avez d’idées, plus vous soumettez des idées dans l’application,  meilleure sera votre note ou votre évaluation. Évidemment, il y a beaucoup de gens qui vont artificiellement se mettre à soumettre plus d’idées.

Quand un apprenant a un intérêt à affecter un indicateur pour une note ou autre, il va pouvoir faire un peu ce qu’on appelle « gaming the system ». A condition d’avoir compris le fonctionnement des traces, il va transformer son comportement pour s’adapter aux récompenses proposées par le système. Ca c’est un autre point que je trouve assez intéressant de garder à l’esprit. Quand l’on analyse des traces, c’est « est-ce que les apprenants  savent qu’ils sont suivis et qu’il y a une forme traçage  des utilisations qu’ils font des ressources ? ».

Dernier point, il ne faut pas se faire avoir par le fait que l’indicateur est souvent l’arbre qui masque la forêt. Dans les MOOC, il y a tout ce qui est taux de certification.  Finalement, quand on regarde seulement les personnes  qui ont eu le certificat du cours, on oublie qu’il y a beaucoup de personnes  qui n’ont jamais eu le certificat, et qui ont quand même téléchargé  toutes les vidéos,  qui ont vu une partie conséquente.  Du coup on sous-estime le nombre de personnes actives.

Ensuite donc, raison pour laquelle il y a souvent besoin  de conduire des entretiens pour pouvoir capturer  ce qu’il se passe dans la partie immergée de l’iceberg.  Parce que beaucoup de choses ne peuvent pas être tracées,  on l’a déjà dit en introduction de cette vidéo,  notamment le devenir des ressources une fois téléchargées.  Si vous voulez aller plus loin, je vous renvoie à un article intitulé « Analyse de l’utilisation des vidéos pédagogiques des MOOC par les non-certifiés », où j’approfondis la question. Au passage, je rédige actuellement un ouvrage sur la thématique des indicateurs dans l’apprentissage en ligne ; je vous tiendrai au courant …

Leave a Comment

Filed under Non classé

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *