Ce que la recherche dit sur les MOOC : l’exemple des chatrooms

La scénarisation des interactions entre participants est l’une des principales étapes de la conception d’un MOOC, nous en avons déjà parlé dans un billet cet été. Naturellement, il y a de nombreuses façons d’aborder la question. Nous allons en discuter à travers plusieurs billets centrés sur des papiers de recherche. D’une part, cela vous donnera un aperçu des recherches en cours, et d’autre part, cela enrichit les réflexions autour de la conception. Je vous propose de commencer par un petit papier centré sur les Chatrooms (salles de discussion virtuelles), intitulé Chatrooms in MOOCs : All talk and no action, et publié dans la nouvelle conf. américaine spécialisée dans les MOOC, Learning At Scale.

Avant d’entamer le billet, petite digression. Pourquoi analyser des billets de recherche ? Tout d’abord, pour les collègues concepteurs. Les vidéos du MOOC « Monter un MOOC de A à Z », au nombre d’une cinquantaine, sont très généralistes, et soulèvent des questions davantage qu’elles n’apportent de réponses. La raison en est simple, c’est le problème de l’obsolescence. Les questions soulevées dans les vidéos seront toujours pertinentes, même dans 1000 ans alors que la façon d’y répondre sera fonction du public, de l’objectif, de la technologie. Au vu de la vitesse d’évolution du mouvement MOOC, je préfère ne pas réserver des vidéos, coûteuses au demeurant, pour des résultats qui n’ont qu’une durée de vie limitée. Le billet est donc mieux adapté pour les analyses de recherches en cours. Ces articles ne concernent pas que les collègues chercheurs ou même les concepteurs de MOOC (même s’ils s’adressent avant tout à eux), cela vous permettra de mieux comprendre les évolutions en cours dans le domaine des MOOC.

Depuis le début de l’été, je me suis replongé dans la bibliographie après quelques mois d’interruption liés au MOOCAZ. Dieu que la communauté de chercheurs a été productive ces derniers temps. Par chance, une étudiante du labo a fait son mémoire bibliographique sur les MOOC, mémoire centré sur les interactions au sein des MOOC, ce qui m’a permis de rattraper un tant soit peu mon retard. Prenons notre premier article Chatrooms in MOOCs : All talk and no action. Il tombe à pic, j’étais justement en train de réfléchir à la mise en place d’une chatroom pour la deuxième version du MOOC, à titre expérimental (mais pas en faisant une expérience à proprement parler). Ce n’est pas tout à fait la première tentative, et aux temps reculés de la première édition du MOOC Gestion de Projet, nous avions fait des essais avec Studyroom; il y avait même des avatars qui pouvaient se déplacer dans une salle virtuelle. Un peu gadget, mais marrant. Malheureusement la salle virtuelle a disparu depuis, la startup n’ayant pas trouvé de modèle économique. Mais revenons à nos moutons.

Ce papier est issu d’une expérience menée par une équipe de Berkeley sur le CS.169.1x, un cours de design de software dispensé tour à tour sur Coursera et edX. Engineering Software As A Service, pour les intimes. Ce qu’il y a de bien avec edX, c’est qu’il y a la possibilité de faire de l’A/B testing. Je m’explique, l’A/B testing consiste à affecter les participants à des versions du MOOC légèrement différentes dans l’objectif de réaliser des expériences. Les gens ne décident bien sûr pas à quelle condition ils sont affectés, et ne peuvent pas communiquer avec les participants affectés à d’autres conditions, pour ne pas fausser le design expérimental, mais ils sont bien évidemment tenus au courant. Ce ne sont pas des « hamsters » sur lesquels on expérimente sans les tenir au courant. Hé, ho, c’est pas Facebook ici.

Grosso modo, les chercheurs ont mis en place trois conditions. Dans un cas il n’y a pas de chatroom, dans la deuxième, une chatroom peu visible (basée sur un outil open source, qwebirc), et dans le troisième cas, une chatroom particulièrement visible. Ils partent d’une bonne demi-douzaine d’hypothèses. L’idée est de tester l’impact de la chatroom, mais aussi de questions d’ergonomie, sur des variables souvent associées au ‘succès’ de la formation : Rétention des participants, notes obtenues, mais aussi des paramètres plus subjectifs comme le sentiment d’appartenance à une communauté (ce sentiment étant mesuré à partir d’un questionnaire-type dit de Rovai). Mais ils se posent également des questions sur les interférences éventuelles entre chatroom et forums. Voyons ce qu’ils trouvent.

Résultat des courses, 14.000 inscrits, dont 1400 ont accepté de participer à l’expérience, 8000 messages postés en tout dans la chatroom, dont un bon quart par l’équipe pédagogique. Ca paraît beaucoup comme ça, mais en fait pour une chatroom ce n’est pas terrible. Première étape, ils ont dû séparer toutes les conversations qui s’entrelaçaient. Le boulot de stagiaire par excellence. Heureusement, il n’y avait pas tant de trafic, une dizaine de messages par heure en moyenne, ce qui a facilité les choses. Des pics le mercredi avant de rendre les devoirs – classique- et des creux le vendredi – classique aussi, c’est le week-end.

Ils concluent qu’il n’y a pas vraiment d’impact significatif sur les différents paramètres qu’ils ont suivi (rétention, notes, sentiment d’appartenance à une communauté), et donc que cela ne vaut pas le coup de mettre trop d’énergie là-dedans, même si naturellement c’est un plus et que cela n’impacte pas négativement l’apprentissage. Le seul résultat digne d’intérêt, c’est qu’on voit que l’overlap entre les gens qui utilisent les forums et ceux qui utilisent les forums n’est pas si élevés.

Ah si, une chose marrante qu’ils ont faite : catégoriser les participants de manière qualitative, en fonction du contenu de leurs message. Grosso modo, il y a les « Greeters » (ceux qui ne font que dire « Bonjour »), les sociabiliseurs (ceux qui parlent de tout sauf du cours), ceux qui ne font que poser des questions, et ceux qui se spécialisent dans le fait de répondre (Answerers). Ils comparent les différentes catégories sur le plan quantitatif. Cela permet de conclure sur l’intérêt de la chose sur le plan pédagogique. Si les gens viennent juste y parler popotte, pas la peine d’investir des fonds publics. Heureusement, ce n’est pas le cas, et la chatroom a plutôt servi.

Pas mal de limitations malheureusement pour tirer des conclusions fortes. Pas assez d’activité sur les chatrooms, entre autres. Rien à voir avec les papiers qui vont faire des études transversales sur une cinquantaine de MOOC, avec plusieurs centaines de milliers de messages postés. On reviendra à l’occasion sur ce type de papier un peu plus ambitieux. Bref, un petit article qui ne paie pas de mine, mais qui reflète assez bien la façon d’expérimenter au sein d’un MOOC, l’A/B testing. Preuve qu’on peut tester scientifiquement des concepts au sein d’un MOOC, un peu comme dans un laboratoire. En l’occurence, des choses parfois très pratiques, comme l’endroit où l’on met une chatroom, mais ça peut être beaucoup plus intéressant.