Un des grands classiques quand l’on veut analyser ce qu’il advient des ressources pédagogiques d’un cours mis en ligne, c’est l’identification de trajectoires d’apprenants. En somme, l’on s’intéresse ici à la séquence des actions d’un apprenant, et non plus seulement à des métriques généralistes comme le nombre de vidéos vues. L’ordre dans lequel sont faites ces actions importe. Dans ce billet, nous nous penchons sur quelques exemples concepts de base.
L’idée est de penser ici chaque séquence pédagogique comme une séquence « d’états » dans lequel se trouve l’apprenant, état qui peut être défini sur la base de l’intensité de l’investissement. Ma nemesis Réné Kizilcec (nemesis car je suis jaloux de son succès, on s’entend, car il a publié dans Science avec des learning analytics de MOOC), avait publié il y a dix ans déjà un article sur les MOOC intitulé Deconstructing learners’ engagement et qui expliquait vraiment bien le concept.
Commençons par imaginer une analyse basique que vous pourriez faire avec des données de notes, sans même avoir à parler de learning analytics. Imaginez que vous ayez une demi-douzaine d’apprenants dont vous suivez les notes d’un devoir à l’autre, l’état correspondant alors au rang au sein de la classe. Le premier a eu 19 au premier devoir, moins de la moyenne au second, et ainsi de suite. Avec l’analyse de séquence, l’idée n’est pas de regarder la note moyenne, mais de faire ressortir des trajectoires type de notes.
Avec les learning analytics, on va pouvoir suivre les formes d’investissement au fil des modules, et non plus au fil des devoirs. Un visionneur va se cantonner à regarder des vidéos sans faire de devoir ou de quiz. Puis il y a ceux qui ne font que télécharger des vidéos d’un module, c’est-à-dire que c’est des téléchargeurs. Une personne engagée fait tout ce que l’équipe pédagogique demande. La proportion relative des différents états va évoluer au fil du cours, et l’on peut utiliser un tapis de séquence pour voir toutes les trajectoires d’un coup. On utilise parfois ce que l’on appelle des diagrammes de Sankey pour produire des viz plus sexy.
On peut aussi suivre des étudiants au sein d’un curriculum scolaire avec ces techniques, pourquoi pas ? On prend des licences en mathématiques, et l’on verra qu’une partie enchaîne sur le cours d’informatique avancé, d’autres vont aller sur des mathématiques ou de la physique, etc. Dans la vidéo qui accompagne ce billet, je vous ai mis un chord diagram pour illustrer ces mouvements.
Tapis de séquence, chord diagram, sankey, ce sont des visualisations assez classiques en analyse de données, qui peuvent être mobilisées dans ces analyses de trajectoire. En guise de conclusion, il est vrai que les analyses de trajectoires individuelles peuvent être difficiles à interpréter et à visualiser, même si elles peuvent avoir leur intérêt pour comprendre le parcours d’un étudiant. Mais si l’on sait agréger à l’échelle d’un groupe, et si l’on maîtrise l’analyse de données, les tableaux de bord vous permettront très efficacement de capturer des dynamiques intéressantes. Et si vous voulez aller plus loin, il y a un chantier qui apparaît, qui mérite d’être exploré : c’est ce qu’on appelle l’Educational Process Mining, qui est un champ dans lequel on va essayer de révéler des trajectoires, par exemple les trajectoires qui vont être le plus efficaces pour réussir ou non un MOOC.