Quel Mooqueur êtes-vous ?

http://www.dreamstime.com/stock-photo-3d-small-people-complicated-question-image19385560Pouvoir catégoriser les apprenants via les learning analytics, c’est l’un des principaux axes de recherche de la communauté scientifique. Je vous propose de revenir brièvement sur une étude réalisée conjointement par des chercheurs de Cornell et de Stanford, et qui mérite le détour. Explications.

Un jeune doctorant de Stanford, René Kizilcec, avait déjà fait un papier qui avait eu un certain impact, sur la question de la catégorisation en fonction de la manière dont les participants se désengagent. Pour mémoire, voici une de ses figures, où il montre comment d’une semaine à l’autre on passe d’une catégorie d’apprenant à une autre (d’actif à inactif par exemple).

Image1

Celle d’Anderson et al. est légèrement différente. L’originalité de cette étude est d’abord qu’elle s’est penchée sur deux MOOC organisés sur Coursera ayant été répétés trois fois chacun : le « Machine Learning » (ML)  de Stanford et le  « Probabilistic Graphical Models » (PGM). Autre intérêt de l’étude : ils se sont penchés sur les forums, l’utilisation des vidéos et la participation aux activités (des quizz).

Image2

Voilà par exemple une table qui reprend les principales statistiques du cours. Vous voyez que pour le ML, on a une dynamique ascendante, avec un nombre d’inscrits qui double entre la deuxième et la troisième édition du cours. Au contraire, pour PGM, une hausse suivie d’une baisse. Pas très loin de ce qu’on a fait d’ailleurs pour le papier pour le colloque EMOOC 2015.

Les chercheurs se sont intéressés à un gradient de comportement entre ceux qui, à une extrémité, regardent les vidéos et ne participent à aucune activité : ils les appellent les « Viewers« , nous les appelleront les « auditeurs libres ». Et à l’autre extrémité, vous avez ceux qui vont faire les exercices sans consulter les vidéos, probablement parce qu’ils connaissent déjà le contenu du cours. Ils les appellent les « Solvers« , nettement plus rares. Et vous avez tout une population entre les deux qui fait des deux. On les appelle les « All-rounders« . Quand on regarde la distribution à l’échelle d’un MOOC (ML1 pour première édition du Machine Learning), cela donne ça.

Image3

Mais ils sont allés un peu plus loin. Ils distinguent par exemple les auditeurs libres, qui regardent les vidéos en streaming, des Collectionneurs qui ne font que télécharger les vidéos, au même titre qu’on téléchargerait un manuel en pdf dans l’optique de le lire plus tard. Pour avoir collectionné un ou deux MOOC, je me reconnais bien dans cette dernière catégorie. Et enfin, une dernière catégorie, qui prend en compte l’activité effective dans les MOOC, les Bystanders. Ce sont un peu les « Touristes« , qui ne font rien ou presque. Le problème avec la classification Viewers/Solvers/All-rounders était relativement indépendante du temps passé sur le MOOC. Il fallait former une catégorie à part pour palier à ce problème. Ils sont même allés plus loin en rajoutant une catégorie, les Archéologues, qui vont parcourir le cours une fois celui-ci terminé. Quand on a raté une date par exemple.

Ils ont en quelque sort décomposé leur audience à la lueur de cette classification. Magie, on se rend compte que la hausse du nombre d’inscrits s’accompagne de beaucoup de Bystanders, mais dans l’ensemble, les proportions des différents types d’utilisateurs sont relativement stables. Ce sont des résultats somme toute assez proches de ce que j’ai pu constater dans les quelques MOOC que j’ai pu analyser.

Image4

Autre point amusant de l’étude, ils regardent le type de participants que l’on recrute en fonction de la date d’inscription. On constate que ceux qui s’inscrivent six mois à l’avance sont avant tout des touristes. La raison en est simple, on oublie. Et les rappels par mail, bien qu’ils existent, sont noyés dans le flux d’information quotidien. Les plus actifs sont en général ceux qui s’inscrivent au commencement du MOOC. D’où l’intérêt de ne pas lancer les inscriptions trop longtemps à l’avance, et de rendre le cours aussi visible que possible au moment du lancement. Une fois que le cours a commencé, les inscrits sont surtout auditeurs libres, touristes et collectionneurs, moins de bosseurs.

Image1

Ils concluent sur une problématique intéressante. Est-ce que la note finale est proportionnelle aux nombres d’exercices réalisés, ou à nombre d’exercices égal observe-t-on une certaine diversité de notes. Dans le premier cas, la note reflète avant tout l’engagement, alors que dans le second, elle reflète vraiment la maîtrise du sujet, davantage dans la logique de nos examens (PGM). Vous voyez que ceux qui ont eu la note maximale (100), ne sont pas nécessairement ceux qui ont soumis le plus de quizz. Ce sont des types de MOOC très différents et la plupart des MOOC actuels sont dans une logique de quizz comme reflet d’engagement. Il y en a déjà trop peu qui participent aux activités, si en plus on les saque en leur disant quand ils sont mauvais, où va-t-on ? Mais à mon sens, si on veut que le certificat d’un MOOC ait de la valeur sur le marché du travail, il faudra créer des MOOC qui pratiquent un peu la sélection, d’une manière ou d’une autre.

C’est une étude très intéressante. Parfois pas très problématisée je trouve, on a des résultats dans tous les sens, mais vraiment intéressante. En tout cas cela donne une idée du type d’analyse que l’on peut réaliser sur un MOOC après coup, pour comprendre un peu comment se comportent les participants de votre MOOC. Bonne lecture !

3 Comments

Filed under Non classé

3 Responses to Quel Mooqueur êtes-vous ?

  1. Dede

    Ce serait amusant de faire l’étude du MOOCAZ 2 dispensée sur la plateforme sauvage FUN qui ne prend pas en compte les résultats des activités et se contente des quiz pour la certification. Bilan : Pas un certifie cette session !

    Quand la technique refuse de se soumettre à la statistique et se tire une balle dans le pied… 🙂

    • matthieu-cisel

      Dans le combat éternel de l’homme contre la machine, la machine remporte cette manche et gagne par KO. 🙂

      PS : c’est un bug technique d’edX qui est en cours de traitement … cela va être résolu j’en suis sûr

      • Dede

        La chance actuelle est que les étudiants ne se plaignent pas trop, mais si ce problème n’était pas résolu rapidement, FUN qui se veut être une vitrine sur l’université française serait des plus contreproductives tant pour elle-même que pour les établissements partenaires… Une forme de perdant-perdant.
        En l’absence de communication sérieuse en la matière de la part de FUN, son professionnalisme est mis en doute, puis sera mis en question et à la patience et la compréhension succèderont la colère et l’abandon au profit de concurrents plus efficaces et plus surs.
        (Car tous les MOOCs échus cette année pressentent des problèmes d’attestation.)

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *