Ce que la recherche dit sur les MOOC : les Superposteurs

Aujourd’hui, nous continuons notre cycle d’analyses d’articles de recherche, avec un papier publié (encore) dans Learning at Scale : Superposter Behavior in MOOC forum. La dernière fois, nous avions parlé de petites expériences avec les chatrooms réalisées à l’échelle d’un MOOC de taille modeste. Cette fois-ci je vous propose de passer à l’échelle supérieure. L’équipe de recherche a travaillé sur les données de 44 MOOC organisés sur Coursera pour observer les comportements des utilisateurs sur les forums. Oui, 44 MOOC, pour 70.000 fils de discussion, vous avez bien lu ! Un vrai travail de fond que je vous propose d’explorer le temps d’un article.

Les Superposteurs (je n’ai pas trouvé de meilleure traduction) sont ces participants qui représentent à eux seuls une partie substantielle de l’activité des forums … Ils répondent à toutes les questions, et interviennent dans toutes les discussions. Pourquoi s’intéresser à eux me direz-vous ? Parce que, quand il y a un enseignant pour dix mille participants, on a intérêt à jouer à fond la carte des interactions entre les participants. Pour l’entraide pour les devoirs, pour le caractère « vivant » de la formation. Le forum est un des outils de choix pour inciter les gens à aller jusqu’au bout de la formation.

Beaucoup considèrent les superposteurs comme des participants « modèle », encourageant les uns et les autres à prendre part aux discussions, par leur simple existence. Mais est-ce vraiment le cas ? Après tout, rien ne dit que leurs contributions sont de qualité … Peut-être sont-ils simplement en train de « troller » ou de « spammer » le MOOC ? Peut-être contribuent-ils au mutisme de la vaste « majorité silencieuse » du MOOC (En général, plus de 80% des inscrits ne pipent mot) ? Eh bien, c’est ce qu’on voulu savoir les auteurs du papier. Alors suivons-les dans leur démarche.

Première constatation, les superposteurs sont en général inscrits dans de nombreux MOOC (on les appelle souvent les serial MOOCers), ont de meilleures notes, et adoptent en général cette attitude dans les différents MOOC qu’ils suivent. Ce n’est pas qu’une passion momentanée pour un cours (même si le cas existe), c’est presque un trait de personnalité.  Ensuite, ils rédigent des contributions plus longues (en taille), et répondent plus rapidement que la moyenne. Ce qui m’a plu dans ce papier, c’est qu’ils ont fait la distinction entre les superposters « quantitatifs » (en nombre de messages postés), et les superposters « qualitatifs », lié à la qualité des messages postés. Dans ce dernier cas, les expérimentateurs se sont basés sur les votes reçus pour chaque « post ». Pas vraiment moyen de faire autrement de toute façon, on ne va pas lire chaque message pour juger sa qualité. En plus c’est subjectif, la qualité d’une contribution. Du coup, ils définissent un « score » pour chaque participant, sur la base du nombre de votes reçus par post. Et pour un cours donné, le top 5% (sur la base de ce score) est rangé dans la catégorie « Superposter qualitatif ».

Pour les connaître un peu mieux sur le plan démographique, ils ont naturellement utilisé des questionnaires. 7% des participants y ont répondu, contre 100% des superposteurs. Joli taux de réponse. Dieu que j’aimerais qu’ils soient tous comme ça quand je poste un questionnaire. Eh bien ils semblerait qu’ils soient plus âgés que la population moyenne du MOOC. C’est un peu les vieux sages du MOOC, qui viennent éclairer les autres participants de leurs lumières. Intéressant ce type de croisement variable démographique vs. learning analytics non ?

Autre constatation, ce sont plus des gens qui interviennent dans des fils de discussion ou répondent à des questions que des gens qui initient des fils de discussion. Pour un participant lambda, le ratio réponse/initiation de fil est de 6. Pour un superposteur, il est de 10. Ils voulaient également voir si les contributions étaient vraiment centrées sur le sujet. Pour trois cours, ils ont pris les 3 superposters les plus actifs, et ils ont classé manuellement les 2000 posts de cette douzaine de personnes, un par un (ça c’est un travail pour « Super Stagaire »). Dans 3 des 4 cours, 80% des messages étaient « on-topic », centrés sur le sujet du cours. Dans le dernier MOOC, « Writing in the Sciences », seulement 40%. Ils ont dû parlé cuisine j’imagine. Bon, pour le coup je n’ai pas vraiment été convaincu sur le plan scientifique. Seulement quatre cours, et trois individus par cours, ça fait douze points. Un peu cavalier d’extrapoler dans ces conditions.

Dernier résultat que je voulais vous présenter : l’activité des superposters n’impacte pas négativement l’activité des autres participants du cours. A vrai dire, on observe une forte corrélation entre leur activité et celle des autres participants, que ce soit du point de vue quantitatif, ou du point de vue qualitatif. Résultat des courses : les superposteurs sont positifs pour l’activité de votre cours (ou en tout cas ils ne sont pas négatifs, vu qu’on ne peut pas faire ici la différence entre causalité et corrélation). De mon point de vue, je vous recommande d’avoir dans votre équipe pédagogique un community manager qui ait un peu ce profil-là. Qui aime écrire, qui aime répondre aux gens. Cela ne réduit pas les participants au silence ; bien au contraire, ils apprécieront. J’ai pu constater à plusieurs reprises que les espaces dans lesquels j’étais le plus actif étaient également ceux où la sauce prenait le mieux. Enfin, pour le coup, c’est un conseil, pas un résultat scientifique, on s’entend.

Voilà qui est tout pour cet article. J’espère que vous appréciez les analyses d’articles recherche. Je trouve que ça permet d’élever un peu le débat. Je sais pas pour vous, mais moi ça finit par me lasser les questions du genre « est-ce que le numérique va remplacer les profs, le système éducatif, résoudre la faim dans le monde » et autres tartes à la crème du même acabit. Du coup, ce n’est qu’un début, et vous verrez probablement d’autres articles du même genre revenir dans les mois à venir …