Dans ce billet, j’aimerais vous parler du suivi d’utilisation de ressources pédagogiques à travers la question des learning analytics (en français, les traces d’activité, ou traces d’interaction), avec une focale sur la question des erreurs d’interprétation. Quand un cours est sur une plateforme, il est intéressant d’essayer de suivre ce qu’il advient de ses ressources. Gare néanmoins aux interprétations erronées des indicateurs mobilisés, puisque l’on n’a pas nécessairement toutes les informations à notre disposition pour interpréter ce que l’on voit, ce qui peut déboucher sur des conclusions fausses, avec tous les problèmes afférents que l’on peut imaginer.
Commençons par la métaphore de l’iceberg. Quand vous suivez l’utilisation de ressources sur une plateforme, vous voyez uniquement ce qu’il se passe sur cette dernière. C’est en quelque sorte la partie émergée de l’iceberg. Il y a toute une partie immergée, invisible, comme par exemple ce qui se passe notamment sur l’ordinateur de l’apprenant, une fois les ressources téléchargées. Or ces utilisations cachées au regard de l’analyste représentent parfois une partie beaucoup plus importante que la partie émergée de l’iceberg. Il y a quelques années j’avais d’ailleurs fait un article de recherche sur la question, avec pour focale les interactions entre participants.
Autre cas typique, la visioconférence. Vous pouvez déterminer qui se connecte, et pour combien de temps. Dans Teams, cette information est disponible grâce à l’outil Insights. Impossible de savoir en revanche si les apprenants font autre chose en même temps, ou s’ils prennent des notes. Or un indicateur donné équivalent pour deux personnes peut recouvrir des réalités bien différentes.
Vient enfin la question des artefacts. Il fut un temps où pour une plateforme Moodle, je suivais le nombre d’inscriptions à la plateforme au fil du temps. Or nous avions constaté un énorme pic de désinscription suivi d’un pic de réinscriptions. Après enquête, nous avions compris que les administrateurs de la plateforme avaient désinscrit puis réinscrit des milliers, voire des dizaines de milliers de personnes. Cet événement a artificiellement augmenté le nombre d’inscriptions pour une année donnée. Dès lors, si nous n’avions pas regardé ce qui se passait du point de vue des désinscriptions, j’aurais pu croire, si j’avais regardé uniquement l’événement « inscription », à une dynamique ascendante brutale d’une année sur l’autre. Eh bien non, ce n’était pas le cas. Ce n’est pas nécessairement une erreur technique, mais simplement un changement de comportement des administrateurs qui va faire conduire, en l’absence d’une analyse fouillée, à effectuer une grave erreur d’interprétation. Et tout est un peu comme ça dans l’analyse de traces.
Compte tenu de la complexité de l’interprétation des indicateurs issus de ces traces, difficile, en l’absence de formation spécifique, de mettre entre les mains des praticiens des tableaux de bord sensés étayer leur jugement. Une question à méditer …