Nuançons l’intérêt de l’expérimentation au sein des MOOC

La méthode expérimentale, connue parfois sous le nom de l’A/B testing et plébiscitée par nombre de chercheurs quantitativistes, consiste à proposer des versions plus ou moins distinctes du même cours à différentes cohortes afin de déterminer l’impact des variables testées sur un indicateur de performance quelconque (taux de certification, note, etc). La scientificité apparente de la démarche – corollaire probable de son appartenance au paradigme de la falsifiabilité poppérienne – tend à faire oublier que la généralisabilité des résultats qui en découlent n’est pas nécessairement à la mesure de leur robustesse.

J’ai recensé un certain nombre d’expériences de ce type, portant sur des questions diverses et variées : préférence pour tel ou tel type de support vidéo, impact de la nature des relances par courriel sur la mobilisation des inscrits, de la visibilité des notes sur la persévérance au sein du cours, des systèmes de badges ou de l’emplacement d’un outil de conversation sur les interactions entre participants. Les auteurs de ces recherches tendant parfois à oublier que des résultats issus d’expériences isolées ne sauraient être généralisés sans avoir été répliqués dans des contextes variés. Dans le jargon de la recherche, on nomme cela le problème de la validité externe.

Si en théorie la réplication sur un grand nombre de cours est possible du fait de l’existence de plates-formes centralisées comme Coursera, edX, ou FUN, un certain nombre d’obstacles freinent le passage à l’échelle de nombre de ces expérimentations. Il est certes probable que l’opportunité que les plates-formes de MOOC offrent aux expérimentateurs n’ait pas de précédent dans l’histoire des sciences de l’éducation. Les cours sur lesquels expérimenter se comptent par centaines, et les apprenants par centaines de milliers. Un certain nombre des expériences que nous avons évoquées peuvent ainsi être étendues sans nécessiter d’investissement important de la part des équipes pédagogiques. Mais est-ce que ce sont les paramètres les plus faciles à faire varier dont la connaissance de l’influence est la plus intéressante ?

S’il est relativement facile de mesurer l’impact sur le comportement d’apprenants de choix ergonomiques, ou de fonctionnalités de la plate-forme, il est en revanche difficile en pratique de mettre en place, à l’échelle de plusieurs cours, des expériences nécessitant un investissement conséquent de la part de nombreuses équipes pédagogiques. On ne testera pas à grande échelle l’impact du choix de telle ou telle approche pédagogique, pas plus que l’on ne parviendra à persuader des dizaines de concepteurs de décupler leurs investissements pour tester les préférences des utilisateurs pour tel ou tel type de support vidéo.

La conclusion de ce message est simple. Dans les MOOC, et dans le domaine de l’éducation en général, il faut apprendre à tester l’impact de différents choix sans faire systématiquement appel à la méthode expérimentale. Car réduire la complexité de situations en maîtrisant des variables a sans doute des impacts positifs en termes de validité interne, c’est-à-dire en termes de robustesse des résultats, mais ce peut être au prix de la validité externe, leur capacité à être généralisés. Il existe des techniques plus qualitatives pour appréhender l’impact des scénarios pédagogiques. Apprenons à les maîtriser (et moi le premier).

Be Sociable, Share!

1 Comment

Filed under Non classé

One Response to Nuançons l’intérêt de l’expérimentation au sein des MOOC

  1. Cédric Levorec

    Sans compter que ces « méthodes » raisonnent sur des apprenants présumés interchangeables, qui sont devenus des abstractions. Sont-ils vraiment anonymes dans ces expériences ? N’y a-t-il aucun biais culturel ? A-t-on vraiment éliminé les combinaisons notoirement inefficaces, ou bien sacrifie-t-on cyniquement une partie du panel pour la beauté de l’expérience ?
    Sans faire de procès d’intention à quiconque, si la recherche médicale fonctionnait ainsi, elle rencontrerait quelques monstrueux problèmes d’éthique… Comme on dit : quand on aime, on ne compte pas 🙂

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *