Suivre à la trace l’utilisation de ressources pédagogiques

Dans ce billet (auquel j’ai associé une vidéo), j’aimerais vous parler du suivi de l’utilisation  de ressources pédagogiques. J’ai envie de suivre une approche panoramique, centrée sur la question de ce qu’on appelle les traces :  les traces d’interaction, les traces d’apprentissage, ou les traces d’activités, selon les auteurs. Il y a plusieurs terminologies. On va parler ici simplement de traces.  On va revenir sur un échantillon de types de traces qui peuvent être collectées pour suivre l’utilisation des ressources, et sur quelques analyses classiques et ainsi que sur leurs limites.

Pour mieux comprendre ce dont on parle, un petit panorama des traces généralement collectées s’impose à nous. En premier lieu, il y a la question du visionnage de vidéos. A partir du moment où vous êtes sur une plateforme où vous avez intégré une ressource, vous pouvez, pour un apprenant donné, savoir si la vidéo a été visionnée ou non, et si oui jusqu’à quel point. Ensuite, il y a tout ce qui est réalisation de quiz (date, score, réponse choisie), il y a tout ce qui est activité dans les forums. Vous pouvez avoir des forums de discussion autour des ressources que vous aurez créées ou intégrées. Enfin, il y a tout ce qui est question de navigation sur une plateforme, d’une page à une autre en quelque sorte.

Ce qu’ont quasiment tous les sites d’hébergement de ressources, tous les LMS, c’est une analogie avec ce qu’on peut trouver sur des plateformes comme Google Analytics. On sait quelle page a été visitée, par combien de personnes, le temps de visite moyen, et éventuellement la page précédemment visitée. Sans savoir exactement comment les ressources ont été utilisées, sans même avoir à faire la moindre analyse personnalisée de traces, vous pouvez accéder à ce type d’informations. Pas besoin d’analyste, il faut simplement avoir installé l’outil de suivi des usages.

Quant à la réalisation de quiz, on a besoin de traces un peu plus précises, qui ne sont pas données directement par des outils comme Google Analytics. Est-ce que c’est la réponse juste ou la réponse fausse qui a été choisie ?  Quel a été le temps de réponse ? Est-ce que les gens vont répondre à vos quiz en deux ou trois secondes, ou est-ce qu’ils vont réfléchir pendant plusieurs minutes ?  Le nombre d’essais avant d’arriver à la bonne réponse est parfois fourni également. Et, enfin, tout ce qui est activité dans les forums. Il y a un invariant dès que l’on s’intéresse aux vidéos, quiz ou forums : on a presque toujours l’identifiant de l’utilisateur, et de la ressource concernée, ainsi qu’un timestamp, un horodatage de chaque action qui est faite.

Si vous voulez faire une analyse plus fine que ce que donnent généralement les LMS, vous avez parfois la possibilité de télécharger les données. Une fois que vous avez les logs, vous allez par exemple pouvoir suivre des trajectoires d’apprenants d’un point A à un point B,  voir toutes les étapes par lesquelles il est passé, analyser des séquences d’action; les outils classiquement installés n’autorisent pas ce niveau de détail, il va falloir coder.

Si vous voulez vous professionnaliser, vous allez vous rendre compte les learning analytics, c’est de l’informatique, un monde de frustration face aux problèmes techniques. Par exemple, imaginons que vous utilisez plusieurs plateformes Moodle de plusieurs établissements (ou parfois du même établissement) et que vous vouliez mutualiser en un seul endroit les traces des plateformes, vous allez souffrir.  Vous allez vous rendre compte que,  simplement du fait que vous avez des versions de Moodle différentes, vos traces ne pourront pas être facilement mutualisées.  Car qui dit différences de versions dit différentes versions de tables de données.

Ça, c’est une première difficulté. Ensuite, la deuxième difficulté, où est-ce que l’on stocke ? Problème légal (RGPD), et technique (volume). Imaginons qu’il y a trop de données pour que vous puissiez traiter sur votre ordinateur. Comment est-ce qu’on fait circuler les logs ? Comment on mutualise des traces ?  Il y a ce qu’on appelle les LRS, pour Learning Record Store. C’est une approche à connaître également quand l’on veut aller dans ce type de direction.

Enfin, il faut être clair par rapport aux objectifs.  Si vous pensez qu’avec les traces, vous pouvez faire des merveilles et savoir ce qui est dans la tête de vos apprenants,  vous serez assez rapidement déçus. J’en ai parlé dans un billet sur ce blog il y a quelques années. Ce n’est pas parce qu’on a une bonne visibilité sur les comportements des apprenants qu’on a une bonne visibilité sur leurs apprentissages. L’on ne peut pas faire facilement d’inférence entre ce qui a été fait en termes d’actions, de comportements, et les acquis possibles. Ou alors, quand on peut le faire, c’est dans un nombre très limité de cas où le dispositif a été vraiment conçu spécifiquement pour cela. Je ne vais pas rentrer dans quels cas c’est faisable, mais cela reste assez rare en définitive.

Du coup, voilà, j’ai fait un petit panorama  sur la question des traces. Et maintenant, si vous voulez aller plus loin, je vous renvoie aux multiples billets que j’ai faits ces dernières années sur ce type de question.

Leave a Comment

Filed under Non classé

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *