Dans ce billet, nous allons parler learning analytics, et des différentes échelles pour les appréhender. L’on va commencer à une échelle « micro », celle des traces laissées sur une vidéo donnée, pour aller à celle d’une plateforme prise dans son ensemble, dont l’audience est répartie parfois sur plusieurs continents. En d’autres termes, nous nous proposons de faire un bref voyage de l’infiniment petit, à l’infiniment grand.
Il existe pour toute vidéo une gamme d’événements susceptibles d’être enregistrés : lecture, pause, sauter 30 secondes d’une vidéo, rejouer les dix dernières secondes. On peut ainsi voir que sur une partie donnée d’une vidéo, certains types d’événements sont plus fréquents que d’autres. Ainsi, on pourra détecter sur une portion une tendance anormale à visionner plusieurs fois une séquence. Le travail d’interprétation doit être fait manuellement : il peut s’agir d’un concept compliqué à comprendre, d’un défaut technique, etc. Seul un examen de la ressource et des discussions avec les apprenants permettent d’en savoir plus.
A l’échelle supérieure, on mobilise les learning analytics dans un cours pris dans son ensemble, un MOOC et ses milliers d’inscrits par exemple. On pourra analyser comment évolue l’engagement des apprenants, mesuré en termes de nombre de connexions, évolue au fil des semaines par exemple. Des types de traces que laissent les apprenants et qui peuvent nous permettre de mieux appréhender ce qui se passe à l’échelle d’un cours. Donc ça, c’était un cours que j’avais analysé pendant ma thèse. Où on voyait au fil des modules que les personnes qui faisaient que télécharger les vidéos au début étaient quand même minoritaires. Il y avait un engagement et après ça ne veut pas dire qu’ils disparaissent. Il n’y a pas nécessairement. Même s’il y a moins de messages sur les forums, même s’il y a moins de visionnage de vidéos, il faut se méfier. Il peut y avoir des téléchargements. Donc ça analyse à l’échelle d’un cours. Donc ça, c’est un peu la même, la même information avec une autre visualisation. Vous voyez semaine après semaine les différentes proportions d’apprenants.
On peut enfin viser des échelles plus grandes encore, ce que l’on pourrait nommer « l’infiniment grand » en quelque sorte, en raisonnant désormais à l’échelle d’une plateforme. Sur edX, Harvard et le MIT ont été friands d’analyses portant sur des centaines de milliers de personnes (cherchez Ho et al. 2013, 2014 et 2015). En ce qui me concerne, pendant ma thèse et ensuite avec des collègues, j’avais analysé à l’échelle de FUN le comportement d’inscription. Plus d’un million d’inscriptions. Difficile d’aller plus loin : il faudrait suivre les apprenants d’une plateforme à l’autre, de FUN MOOC à Coursera en passant par edX. Ce serait illégal dans le mesure où il faudrait croiser des bases de données issues de services et acteurs différents.
Toutes les échelles présentent un intérêt, de la micro à la macro. Même si les techniques mobilisées sur le plan informatique restent souvent les mêmes, la démarche intellectuelle est néanmoins distincte. Plus l’on voit large, plus le regard sociologique gagne en pertinence. Or il est rare de trouver des chercheurs ayant à la fois une appétence pour l’analyse de traces et la capacité à analyser de tels résultats au prisme des sciences humaines et sociales.