En absence de consensus quant aux modalités d’évaluation de la qualité d’un MOOC – les critères classiques de la formation à distance étant passablement inadaptés à ce contexte – les taux de certification ont régulièrement été utilisés en guise d’indicateur de qualité du dispositif. Le mode de calcul de cet indicateur repose néanmoins sur un certain nombre d’hypothèses qui méritent d’être discutées. Au niveau de l’apprenant, cette manière de procéder suppose implicitement que l’obtention de la certification constitue la seule manière de terminer un MOOC d’une part, et que l’inscription à la formation s’accompagne nécessairement de l’intention de le terminer d’autre part. Quelques mots sur ces questions. Dernier point que nous aborderons aujourd’hui : la forte hétérogénéité des dispositifs de formation. Les MOOC ne sont pas soumis à un quelconque standard, et cela limite la comparabilité des taux de certification, au sein d’une plate-forme donnée, ou entre plates-formes.
Dès les premières analyses des traces d’apprentissage de MOOC, Kizilcec (2013) a montré sur un échantillon restreint de cours qu’il existait d’autres modes de suivi du cours que l’obtention du certificat, un certain nombre d’utilisateurs se contentant par exemple de consulter les ressources du cours sans participer aux activités. Dans la mesure où les non-certifiés représentent la grande majorité des inscrits, il importe de chercher à estimer si leurs usages du cours sont suffisamment importants pour justifier la mise en place d’autres formes de taux de certification, élargis, prenant en compte les autres modes d’appropriation du cours. J’ai par exemple constaté dans mes analyses que certaines personnes réalisaient la quasi-totalité des activités prescrites sans pour autant en obtenir le certificat, que dans certains cas, nombreux étaient ceux qui téléchargeaient les vidéos au fur et à mesure qu’elles étaient rendues accessibles. Néanmoins, ce cas reste marginal, et le problème vient, à mes yeux, surtout de la proportion des participants qui s’inscrivent au cours sans intention de le commencer, et qu’il est particulièrement difficile de quantifier.
En effet, il est délicat de prendre comme base de calcul des individus qui n’avaient jamais eu l’intention de terminer le cours, ou même de s’y investir un tant soit peu (Liyanagunawerda 2014). Il ressort des analyses faites durant ma thèse que la majorité des inscrits découvrent le cours en naviguant sur la plate-forme sur lequel il est diffusé, et n’avaient pas l’intention de se former en amont sur le sujet de la formation. Le fait que l’étape d’inscription soit nécessaire pour pouvoir accéder aux contenus fait que l’on regroupe sous la même dénomination les inscrits peu enclins à s’engager, qu’ils naviguent pour le plaisir ou qu’ils préfèrent tester le cours avant de fixer leurs choix, et ceux qui se disent déterminés à terminer la formation.
La collecte de données quant aux intentions des participants pose deux types de problèmes méthodologiques, liés notamment au biais d’auto-sélection. A moins d’imposer à toute personne de répondre à la question de l’intention avant de pouvoir accéder au cours – ce que fait par exemple Coursera – cette approche ne permet pas d’avoir une vision représentative des intentions des participants. J’ai par conséquent cherché à identifier un certain nombre de situations correspondant à une absence d’intention de s’engager dans le cours : simple curiosité pour le concept de MOOC, inscriptions simultanées à de multiples cours, oubli de la date de commencement ou au contraire arrivée trop tardive au sein du cours, et enfin, utilisateurs ayant clairement défini leurs objectifs, objectifs qui ne coïncidaient pas nécessairement avec les prescriptions de l’équipe pédagogique. La prise en compte des différents modes de complétion d’un cours d’une part et des différents types d’intentions d’autre part permet de construire une vision plus nuancée des taux de certification.
Je vous propose que l’on revienne maintenant sur les différences entre dispositifs, qui grèvent sensiblement la possibilité de comparer les taux de certification. J’ai par exemple constaté que les écarts moyens en termes de charge de travail estimée par les concepteurs pouvaient varier d’un ordre de grandeur d’une plate-forme d’hébergement à l’autre. L’analyse des données des agrégateurs de MOOC (comme Class Central) montre par exemple que, si l’on se base sur les estimations données par leurs concepteurs, les cours des plates-formes Coursera ou edX imposent une charge de travail deux fois supérieure à ceux que l’on trouve sur la plate-forme FUN. Cette hétérogénéité dans la charge de travail et le niveau d’exigence se manifeste notamment au niveau de la structure du cours; la durée cumulée de vidéo à consulter, le nombre de quiz à réaliser varie d’un facteur dix sur les seuls cours que j’ai étudiés; alors que l’évaluation de la plupart des cours repose principalement sur des questions fermées, seuls quelques-uns proposent des questions ouvertes évaluées par les pairs.
Ces différences de structure traduisent sans doute des différences dans la fonction que les concepteurs attribuent aux MOOC. Motivés tantôt par la volonté d’expérimenter un format innovant, sans véritable objectif chiffré, tantôt par une volonté de communiquer, les vues divergent quant au public visé. Les uns considèrent que ce sont avant tout des outils de vulgarisation destinés au grand public, tandis que d’autres les voient comme des formations à part entières, destinées à être intégrées en formation initiale ou continue. J’ai souvent perçu une tension entre d’une part la recherche d’un niveau d’exigence équivalent à celui d’une formation académique et d’autre part la volonté de se mettre au niveau supposé des inscrits. Certains concepteurs adoptent une position intermédiaire, en mêlant au sein de la même formation des contenus adaptés à chacun des public visés, ou en diminuant le niveau d’exigence des activités proposés tout en conservant au sein des vidéos pédagogiques un niveau de discours équivalent à celui tenu au sein d’une formation universitaire. Alors que certains concepteurs considèrent que le certificat qu’ils délivrent valide des acquis, au point de mettre en place des dispositifs de lutte contre la triche et le plagiat, la plupart n’y attachent pas une grande valeur en termes de validation d’acquis. Dans l’ensemble, les concepteurs qui voient dans les MOOC un outil de formation validant des acquis et dont le niveau d’exigence doit être celui que l’on peut attendre de l’éducation formelle restent minoritaires.
Pour conclure, je dirais que le taux de certification, on fait avec, mais on voit bien que ce n’est pas optimal. On ne mesure qu’une partie de l’activité, cela ne prend pas vraiment en compte la logique qui sous-tend l’inscription, et il est difficile de comparer les cours les uns aux autres tant ceux-ci divergent pas leurs objectifs et leurs structures. Voilà, je laisse ça comme ça, et je rappelle que vous pouvez lire ma thèse à cette adresse si vous avez envie. Je vous préviens, malgré un nombre infini de lectures, un certain nombre de coquilles semblent être passées. Soyez indulgents et tâchez de vous concentrer sur le fond. Cela m’arrive de faire des fautes d’inattention car je ne dors pas assez, mais il ne faut pas jeter le bébé avec l’eau du bain.