MOOC: ce que les taux d’abandon signifient

Sur Coursera, environ 10% des participants inscrits à un cours vont jusqu’au bout. Le record y est détenu par le cours de programmation Functional Programming in Scala: 20% des 50.000 participants avaient obtenu la certification l’hiver dernier. Le MOOC Gestion de Projet a « doublé » le record du monde, 37% des inscrits ayant obtenu le certificat basique. Les raisons en sont multiples: taille réduite, durée courte, pédagogie différenciée et recrutement qualitatif sont les principales à mes yeux. Au-delà de la bataille de chiffres autour du nombre d’inscrits et des taux de certification, cherchons à comprendre ce qui sous-tend les taux d’abandon observés.

Les critiques sur les taux d’abandon élevés relèvent à mon sens d’une erreur d’interprétation. L’erreur consiste à plaquer sur les MOOC des raisonnements adaptés à l’université ou a des formations payantes, et qui n’ont que peu de sens dans le contexte actuel. Dans ce billet, nous discuterons de ce qui se cache derrière les taux d’abandon en proposant deux points de vue, celui de Rémi Bachelet, enseignant à l’origine du MOOC Gestion de Projet, et le mien.

 Rémi Bachelet:

Le chiffre le plus souvent cité dans un MOOC est celui des inscrits totaux : c’est le plus gros, le plus impressionnant, le plus « Massif ». 160.000, 230.000, et même 3600 ça en jette !

Mais en fait, ses défauts sont rédhibitoires : calculé sur cette base, le taux final de réussite apparaît minuscule.. et surtout faux puisque la majorité des « inscrits » n’ont en fait jamais accompli d’acte « engageant » (au mieux donné leur mél, mais quand on est enregistré sur Coursera c’est en fait un clic sur un bouton).

Pour moi il faut calculer au moins deux ratios
1/ le « no-show », terme utilisé en hôtellerie pour désigner un client qui ne se présente pas à sa réservation. Sur les gros MOOC, ce taux est énorme, couramment plus de 70%, et ces derniers temps, il tend à croître avec l’augmentation de l’offre.
2/ une fois que l’étudiant est effectivement présent (par un acte à définir : se connecter à l’aide de son mot de passe, regarder une vidéo, répondre à un questionnaire) on peut mesurer le taux de réussite, par rapport à un objectif donné (rendre un devoir, réussir le certificat). Le taux de réussite final peut être calculé comme le produit de taux de réussite intermédiaires (à l’issue de chaque semaine, par exemple). C’est là leur coeur des analytics qui permettent une compréhension fine des difficultés des étudiants afin de piloter et d’améliorer un MOOC.

En attendant et à titre préliminaire, voici une feuille de calcul avec une estimation des taux de réussite du MOOC Gestion de Projet.

34% pour le taux de « no-show »
57% pour le taux réussite réél du certificat basique
78% pour le taux réussite réél du certificat avancé

Nombre de participants aux devoirs 1 à 24 du certificat basique et à l’examen final du MOOC GdP

Les indicateurs mesurables utilisés sont à chaque fois la base de départ la plus large possible des participants à un certificat, qui font un acte « engageant » à ce sujet, que l’on compare au taux final de réussite : celui des certifiés.

Par rapport aux autres MOOC ces taux sont très bons, tout comme les taux de satisfaction relevés par notre questionnaire de mi-parcours.
Aux questions comme « évaluez la qualité des supports de ce MOOC », ou bien « celle de la plate-forme » ou « du prof », on obtient d’excellents résultats : sur 1300 réponses on a respectivement 4, 2 et 1% des répondants qui disent qu’ils sont « moyens » et 0% « mauvais » ou « très mauvais »… des taux de satisfaction supérieurs à 95% donc .. Soviétique !
Cependant avec un peu de recul, il est normal d’avoir un taux de satisfaction important, puisque les étudiants qui ne sont pas satisfaits du cours vont « voter avec leurs pieds » et s’en aller. Pour eux c’est tout l’intérêt d’un MOOC : entrée libre et gratuite, sortie tout aussi libre et gratuite.

Autre paramètre à prendre en compte, il faudrait segmenter les différents publics : le taux d’abandon ne sera bien sûr pas le même avec des étudiants de notre université/grande école que l’on « incite fortement à s’inscrire » et dont les notes compteront pour leurs études … et des apprenants « libres d’aller et de venir »… et le taux de satisfaction non plus, d’ailleurs, mais cette fois-ci en sens inverse : avec des « apprenants contraints » on aura un taux de satisfaction plus bas.
Dans le cas du MOOC GdP #1 nous n’avions que des participants « libres », mais nous espérons bien que la prochaine édition, en plus d’être ouverte à tous, pourra également être intégrée à des cursus (l’essai avec les étudiants des mines de Douai a été positif http://goo.gl/WQNbd)

Quelle conclusion en tirer ? Le MOOC GdP a été bien apprécié, au prix d’un gros travail de l’équipe et d’une solidarité de nos apprenants qui n’ont souvent pas hésité à “donner un coup de main”. 

Mais ces taux seront-ils reproductibles une fois l’effet de nouveauté passé ? S’il y a plus d’inscrits ? Sans doute pas, mais nous ferons notre possible pour qu’ils restent élevés, en pilotant l’organisation et en améliorant le programme ! 

Matthieu Cisel:

Beaucoup d’analyses tendent à considérer les inscrits au même titre que des étudiants, et donc une non-certification au même titre qu’un abandon. Elles ignorent sciemment ou non que nous ne sommes pas dans le contexte d’une université. Les participants aux MOOC ne sont pas des étudiants inscrits dans un cursus et qui abandonnent le cours. En effet, les motivations qui poussent à s’inscrire sont diverses: certains viennent certes avec l’intention de passer le certificat, mais beaucoup plus nombreux sont ceux qui utilisent le MOOC en tant qu’auditeurs libres et qui n’ont absolument pas la moindre intention d’obtenir une certification. L’équipe de Coursera insiste d’ailleurs régulièrement sur ce point.

Le cours de Princeton World History since 1300 est presque devenu un cas d’école: 0.8% des 83.000 participants inscrits avaient rendu les quatre ou cinq dissertations demandées. En revanche, nous étions probablement beaucoup plus nombreux à avoir regardé toutes les vidéos. J’étais moi-même allé au bout de ces plus de vingt-cinq heures de cours passionnantes. En revanche, je n’avais eu ni le temps ni l’envie de passer plusieurs heures par semaine à rédiger les dissertations demandées, d’autant qu’il n’y avait pas de certificat à la clef.

Il est possible d’aller plus loin dans la classification des utilisateurs. Plusieurs catégories de participants ont été définies sur la base des comportements observés au sein des MOOC. Les lurkers sont les participants qui s’inscrivent sans jamais suivre le cours (ou seulement une ou deux vidéos), et correspondent peu ou prou au no-show. Les auditeurs libres sont ceux qui visionnent le contenu des vidéos sans rendre les devoirs, et passent éventuellement un peu de temps à lire les forums mais y sans participer eux-mêmes. A la différence des auditeurs libres, les participants passifs rendent les devoirs, mais sans être actifs sur les forums, tandis que les participants actifs correspondent au niveau maximal d’engagement; ils passent les examens, rendent la majorité des devoirs, et participent sur les forums. Certains auteurs proposent également la catégorie Drop-in, qui correspond aux participants qui ne sont actifs que pour certains sujets.

Sur Coursera, le taux de no-show est particulièrement élevé. Christine Vauffray avait un jour utilisé une métaphore qui m’avait beaucoup plu. Coursera est un peu comme un hypermarché, avec des centaines de cours dans les rayons. Face à une telle abondance de cours gratuits, beaucoup (dont je fais partie) succombent à la tentation de mettre dans leur caddie tous ceux qui les intéressent (jusqu’à devoir visionner plus 24 h de cours par jour). Mais au moment de passer à la caisse, ils réalisent qu’ils ont eu les yeux plus gros que le ventre, et doivent aller remettre les cours dans leurs rayons. C’est mon à mon sens ce qui explique l’extraordinaire taux de no-show observé au sein de Coursera, et c’est ce qui fait la distinction entre un recrutement quantitatif, et un recrutement plus qualitatif (cf. Où trouver 10.000 étudiants?).

A mon sens, il est utile de garder à l’esprit la diversité des motivations qui sous-tendent l’inscription à un MOOC lorsque l’on parle des taux d’abandon. Les 90% de personnes qui ne passent pas la certification ne correspondent pas uniquement à de l’abandon. Beaucoup sont des auditeurs libres qui utilisent le cours à la manière d’une émission de télé, ou d’une série. Les auditeurs libres peuvent représenter la majorité des participants dans certains cours. Bien sûr certains abandonnent, mais cela ne signifie pas nécessairement que la pédagogie des MOOC soit mauvaise. D’autres facteurs sont à prendre en compte, comme le niveau de difficulté du cours ou la disponibilité. Lorsqu’un cours nécessite plus de 5h de travail personnel par semaine, il est difficile de maintenir une régularité dans son travail pendant parfois plusieurs mois d’affilée, d’autant que la grande majorité des participants suivent les MOOC sur leur temps libre. La pédagogie et la qualité du cours en général ont un impact sur le taux d’abandon, cela va sans dire. Mais mieux vaut chercher à comprendre la dynamique du phénomène avant de jeter les MOOC aux orties sous prétexte qu’ils ne certifient « que » quelques milliers de personnes sur les dizaines de milliers qui y participent.

Source Photo