MOOC : la question des systèmes de réputation

http://www.dreamstime.com/stock-photo-3d-small-people-complicated-question-image19385560Aujourd’hui, on continue notre série d’analyse d’articles de recherche. Je vous en ai sélectionné un petit sur la question des forums de MOOC, et en particulier sur le problème des systèmes de réputation. Vous savez, ces badges qu’on gagne en répondant aux posts des gens, en recevant des votes pour ses réponses, etc. Un principe popularisé entre autres par des sites comme Stackoverflow (spécialisé dans l’apprentissage de la programmation). Eh bien, l’équipe du CS.169.1x (Engineering Software As A Service) nous a encore pondu une petite expérience qui ne paie pas de mine.

Le papier s’appelle Should your MOOC use a reputation system ?. Vous vous rappelez le billet sur les chatrooms  ? Et bien c’est la même équipe, avec le même cours, et du coup, à peu près la même approche. Seule différence, dans cette édition, seulement 6000 inscrits, contre 14.000 l’autre fois. C’est marrant, je suis coutumier des MOOC français qui dépassent les 10.000. Preuve que les audiences d’un MOOC ne suivent pas nécessairement une courbe ascendante, ou qu’edX n’est pas si visible que ça après tout (et qu’au fond les américains aussi n’ont pas non plus toujours des chiffres spectaculaires, il ne faut pas se laisser berner par les success stories).

Comme d’habitude, ils coupent la population du MOOC en deux – c’est le principe de l’A/B testing – et chacun a le droit à des versions légèrement différentes de la formation. Dans un cas le système de réputation est activé (on l’appellera le forum « complet »), et dans l’autre il ne l’est pas. Le système de réputation est un système où l’on gagne des badges (affichés publiquement) en postant, en répondant, en recevant des « votes » pour ses posts. Cela permet de pondérer la valeur des réponses en quelque sorte, d’encourager à répondre, de créer une communauté. Le principe est popularisé depuis des années, et Coursera l’a intégré depuis quelques temps déjà (même si c’est une version très basique, avec seulement des badges en or/argent/bronze, alors que sur Stackoverflow, il y a des « étiquettes » associées à chaque type de comportement).

Les forums de MOOC sont des forums comme les autres, mais vu le contexte dans lequel ils sont utilisés, ils ont un certain nombre de défauts : beaucoup trop de messages, pas toujours très avenants, et pas assez de régulation (vu le volume on peut comprendre). Un effet repoussoir pour un certain nombre de participants (seule une minorité les consulte, et une minorité encore plus restreinte y poste des messages). D’où l’intérêt de ce type de recherche si on souhaite les améliorer. Comme d’habitude, l’équipe a choisi des paramètres comme l’abandon, les notes obtenues, et le sentiment d’appartenance à une communauté. Ils ont ajouté à la liste des indicateurs spécifiques de la qualité des forums : nombre de questions restées sans réponse et temps de réponse.

Premier constat, 15% des inscrits ont eu accès aux forums expérimentaux, et pour un nombre de participants équivalent (500 dans chaque), il y a eu plus de posts dans le forum « complet » (avec les fonctionnalités comme le système de réputation) : 800 contre 500. Néanmoins, c’est étonnamment bas. Même pour des « petits » MOOC français avec 5000 inscrits, je suis habitué à des chiffres compris entre 1500 et 5000 posts. Autre constat amusant, les dix participants les plus actifs ont contribué à eux seuls pour 54% (forum complet) et 32% des posts. Dans un cas, un seul participant a été à l’origine à lui seul du quart des messages. On les appelle les « Superposteurs » (nous y reviendrons).  Bon, après cette approche descriptive, un peu de croisement de variables, comme d’habitude.

Résultat classique s’il en est, les gens qui utilisent plus les forums ont des meilleurs notes et abandonnent moins que les autres. Quand on s’implique, on s’implique partout. Dans les devoirs, les forums. Et l’inverse est vrai aussi. Mais attention, c’est une corrélation, pas une causalité, on est bien d’accord là-dessus. Ce n’est pas parce qu’ils utilisent le forum qu’ils ont de meilleures notes, on est d’accord là-dessus. Ça, on peut pas le prouver aussi facilement. Pas de quoi fouetter un chat a priori, même moi je l’ai vu dans les MOOC que j’ai étudiés. En revanche, l’introduction d’un système de réputation n’augmente pas les notes, ni le taux de rétention, ni le sentiment d’appartenance à une communauté. Y avait pas vraiment de raison a priori, donc c’est pas plus surprenant que ça. Les seuls résultats « positifs », c’est les indicateurs de qualité du forum (temps à la première réponse et questions restées sans réponse), qui grimpent considérablement. On voit que cela favorise considérablement l’apparition de « Superposters »dont on parlait l’autre fois. Bon, là, j’ai envie de dire, c’est le but des systèmes de réputation, donc c’est plutôt l’inverse qui auraient été surprenant.

Pour conclure, un petit questionnaire optionnel en fin de cours pour les participants, leur demandant pourquoi ils aidaient les autres. Seulement 50 réponses par expérience. Mais c’est très bas tout ça. Dans Gestion de Projet, on en avait déjà 900 à la fin de la première édition. Tout le monde répond « Non, mais moi je fais ça pour aider les autres, ma réputation sur les forums ou mieux apprendre, moi c’est pas ce que je cherche, ce qui compte pour moi, c’est l’altruisme, la solidarité vous comprenez. » Bullshit. Le fait que les systèmes de réputation marchent montre bien le contraire non ? On est avant tout intéressés par l’image qu’on donne aux autres, et je ne vois aucun mal à cela.

Bon, voilà pour ce petit papier qui est sympathique sans être révolutionnaire. Vous comprenez bien que ce n’était pas l’intention de toute façon. Ce sont avant tout des profs du MOOC qui publient sur les résultats de leur propre cours (chapeau d’ailleurs !), ils se cherchent et comme ils sont un peu scientifiques sur les bords, ils mettent en place des petites manips. Moi je trouve ça pas mal, même si les résultats ne sont pas transcendants. En tout cas la démarche est appréciable.

Un dernier mot sur les systèmes de réputation. Je pense qu’à terme, ils transcenderont les simples forums pour couvrir des aspects plus variés du MOOC : participation aux devoirs, aux activités, aux projets proposés, consultation des ressources. On peut même imaginer qu’ils dépassent le cadre restreint d’un MOOC, pour s’étendre à l’ensemble d’une plate-forme comme Coursera, FUN ou autre. Qui sait même, des systèmes de réputation trans-plates-formes, avec un « profil » étudiant compatible sur les plates-formes d’apprentissage en ligne ? Une utopie ? Allez voir Degreed  et on en reparle … Mais bon, pour le moment, cela reste de la MOOC-fiction.

Be Sociable, Share!

Leave a Comment

Filed under Non classé

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *