Recherches sur les MOOC : de l’importance des traces d’activité (ou Learning Analytics)

En marge du phénomène MOOC, une communauté scientifique constituée pour l’essentiel de chercheurs en informatique et en sciences de l’éducation s’est progressivement formée autour de cet objet hétéroclite. Les travaux issus de ces recherches sont encore mal connus de la communauté enseignante. Nous parlerons d’abord des recherches visant à décrire les usages à partir des traces d’apprentissage récoltées par les plates-formes d’enseignement, avant de nous pencher sur les recherches s’inscrivant dans une démarche plus expérimentale (avec en prime deux vidéos que j’ai conçues pour le MOOC EFSUP sur la recherche et les MOOC).

Le succès médiatique qu’ont connu les MOOC tient sans doute autant au prestige des établissements impliqués qu’à leurs statistiques. Les inscrits d’un cours se comptent par milliers, par dizaines de milliers, parfois par centaines de milliers ; un cours peut délivrer des centaines, voire des milliers de certificats, et les taux de certification c’est-à-dire la proportion des inscrits qui obtiennent le certificat, sont généralement inférieurs à 10%. L’interprétation de telles statistiques au prisme de la formation initiale fait courir le risque d’interprétations inadaptées au contexte de l’apprentissage en ligne.

Avant de tirer des conclusions rapides sur la base de ces statistiques, il est important de comprendre mieux la diversité des usages, que l’on soit chercheur, enseignant, ou que l’on occupe davantage un rôle de décideur. Il faut dépasser la vision monolithique qui consiste à catégoriser les participants entre d’une part ceux qui obtiennent le certificat et qui réalisent l’ensemble des activités prescrites, et d’autre part les non-certifiés, qui ne feraient rien ou si peu. Un certain nombre de recherches se sont attachées à aller au-delà de cette distinction en permettant d’appréhender les usages qui se développent autour des cours de la part des certifiés comme celles des certifiés.

Pour ce faire, les chercheurs disposent d’une source de données particulièrement riche : les traces d’activité (plus ou moins la traduction de Learning Analytics pour les anglophones). Chaque action réalisée sur les plates-formes hébergeant les cours est collectée, datée et archivée : le clic sur le bouton lecture d’une vidéo, le rendu d’un quiz, ou la simple visite des forums de discussion. Même une note peut constituer une trace d’activité. Après un travail d’anonymisation nécessaire au respect de la vie privée, ces traces permettent de suivre les trajectoires individuelles de chacun des utilisateurs. Les recherches sur ces vastes jeux de données de traces rassemblent essentiellement des informaticiens et s’inscrivent dans un champ que l’on nomme en anglais l’Educational Data Mining.

Si l’utilisation des traces d’activité est ancienne, le degré de détail et les volumes de données récoltées représentent en revanche une relative nouveauté. On trouve notamment de nombreux travaux sur la base des données récoltées sur les plates-formes de MOOC américaines Coursera ou  edX, avec des bases de données sur plusieurs centaines de milliers d’utilisateurs. Les rapports de Harvard et du MIT sur leurs cours d’edX montrent qu’il arrive que la moitié des inscrits ne se connectent jamais au cours, ce qui doit nous amener à reconsidérer la manière dont nous concevons le calcul des taux de certification.

C’est ce type d’approche qui m’a par exemple permis de montrer sur la base de six MOOC organisés sur Coursera que les personnes qui ne terminaient pas les MOOC représentaient néanmoins la majeure partie de la consommation de vidéo au sein du cours, notamment via leur activité de téléchargement, en orange sur cette figure. A l’échelle de Coursera, l’analyse des traces d’activité a notamment permis de démontrer que les personnes qui terminaient le cours en ne regardant que les vidéos, étaient deux fois plus nombreux que les certifiés. Dans le contexte de l’apprentissage en ligne, un utilisateur peut s’approprier le cours de multiples manières, et les traces d’apprentissage permettent notamment de refléter ce phénomène.

Les traces d’activité peuvent aussi être utilisées dans le cadre de recherches appliquées s’inscrivant dans une recherche expérimentale sur le fonctionnement d’une formation. Ainsi, un certain nombre de chercheurs utilisent les traces pour mesurer l’impact de tel ou tel choix pédagogique sur les comportements des participants. C’est l’un des avantages qu’offrent certaines plates-formes de MOOC : il est possible d’expérimenter différents scénarios pédagogiques sur différents groupes d’utilisateurs au sein du même cours, selon une logique que l’on nomme parfois de manière vulgarisée « l’A/B testing ».

Les vastes audiences que rassemblent parfois ces cours constituent un terrain d’expérimentation idéal à cet égard. Imaginons que l’on veuille déterminer si les participants sont plus actifs lorsque l’on rend leur progression au sein d’un cours publique. Pour une moitié des inscrits, on rend les notes publiques, tandis qu’on les garde privées pour la seconde moitié. On suit ensuite les trajectoires des deux groupes d’apprenants en termes d’usages. On peut répondre par cette approche à toutes sortes de questions, qui n’ont d’ailleurs pas toujours trait à des questions pédagogiques : préférence pour tel ou tel type de support vidéo, impact de telle ou tel type de relance par mail sur la persistance des utilisateurs, et ainsi de suite.

Les traces d’activité représentent certes un outil de choix pour appréhender les usages qui se développent autour des MOOC, pour mettre en place des expérimentations, mais par définition elles ne permettent d’une part de capturer que ce qui se passe sur la plate-forme d’enseignement et d’autre part de décrire les phénomènes plus qu’elle ne les explique. On pourra déterminer via les traces d’apprentissage que nombreux sont les inscrits qui téléchargent l’ensemble du cours. Mais que font-ils des vidéos téléchargées ? Quelles sont les motivations qui sous-tendent ces comportements ? Difficile de répondre à ces questions sans réaliser un travail de terrain mobilisant les approches plus qualitatives issues des sciences humaines et sociales.