Retour sur les fameux « faibles taux de complétion des MOOC »

http://www.dreamstime.com/stock-photo-3d-small-people-complicated-question-image19385560La quatrième et dernière itération du MOOC « Monter un MOOC de A à Z » vient d’être lancée ce matin. Il y a un peu plus de 1900 inscrits, et une petite quarantaine de projets a déjà été proposée sur Ideascale. C’est une formidable occasion de procrastiner (un peu) dans mon travail de rédaction et de recherche de post-doctorat. En attendant, je poursuis tout de même mon travail de rédaction en parallèle. En gros, l’axe principal demeure la critique de l’usage indiscriminé des indicateurs de performance. Dans la première partie, j’adopte une approche quantitative basée sur les traces d’apprentissage pour montrer qu’il est relativement délicat de comparer les cours les uns aux autres si l’on ne sait pas précisément ce que l’on mesure. Naturellement un des chapitres est dédié aux taux de complétion. Aujourd’hui, je vous présente dans un court billet la manière dont je souhaiterais présenter ce chapitre. N’hésitez pas à critiquer ou à suggérer des approches alternatives (et excusez-moi si je maintiens les nounouiements inhérents à ce style rédactionnel).

« La question du décrochage s’est immiscée rapidement dans le débat sur les MOOC, aussi bien dans les médias que dans les discours institutionnels, contribuant à polariser les réflexions entre les pro et les anti-MOOC. La proportion des inscrits obtenant l’éventuel certificat, autrement appelée taux de complétion, varie en effet entre quelques dixièmes de pourcent  et environ 30% (Gestion de projet) ; elle ne dépasse que rarement la barre de 10%. [Là, ne vous inquiétez pas, j’appuierai mes propos avec des statistiques solides]

  Sebastian Thrun, l’une des figures parmi les plus prestigieuses du mouvement MOOC, a contribué à alimenter cette polémique en qualifiant de “ lousy product” les MOOC qu’il avait conçus sur la base des taux d’attrition observés à l’un des cours de sa plate-forme, Udacity. On comprend aisément qu’au vu des investissements consentis pour la création de MOOC, les taux de complétion aient constitué un indicateur de choix pour mesurer le succès d’un MOOC. Bien que relativement facile à calculer et à appréhender, son usage indiscriminé soulève néanmoins un certain nombre de questions d’une part sur les intentions des personnes qui s’inscrivent et d’autre part sur la valeur à accorder à ces inscriptions.

Dans quelle mesure s’inscrire à un cours correspond-t-elle à une volonté de le suivre jusqu’à son terme ? On ne peut exclure la possibilité que certains ne s’inscrivent que pour avoir la possibilité de visionner quelques vidéos et pas davantage, pour pouvoir télécharger quelques ressources, ou pour toute autre raison n’impliquant pas nécessairement la volonté d’obtenir le précieux certificat. Il nous faut donc repenser le mode de calcul des taux de complétion au prisme de l’intentionnalité et des comportements effectifs des inscrits.

Le deuxième aspect de la réflexion sur les taux de complétion portera sur la valeur des certificats eux-mêmes. Les certificats de MOOC ne sont à ce jour associés à des crédits ECTS qu’à titre exceptionnel. Il n’y a par conséquent pour le moment aucune règle explicite à même de contraindre les conditions de leur délivrance. L’investissement nécessaire pour les obtenir peut donc varier considérablement d’un cours à l’autre, tant en termes de volume horaire qu’en termes de degré d’exigence des activités requises.

Nous nous pencherons sur les positions des concepteurs vis-à-vis des taux de complétion d’une part et de la valeur des certificats qu’ils délivrent d’autre part. Dans quelle mesure cherchent-ils à maximiser les taux de complétion, à lutter contre les différentes formes de décrochage, et dans quelle mesure estiment-ils que c’est un paramètre qui n’est pas sous leur contrôle et/ou dont ils ne sont pas comptables ? Dans quelle mesure considèrent-ils que leur certificat valide des acquis, dans quelle mesure estiment-ils que leur rôle premier est de contribuer à la motivation d’aller jusqu’au bout de la formation ? »

Bon, on pourra dire tout ce qu’on veut sur les taux de complétion, une approche un peu documentée et scientifique de la question n’est pas de trop, et même si c’est un peu tarte à la crème comme sujet, je n’ai absolument aucun scrupule à y dédier une cinquantaine de pages. Je ferai pareil avec des variables dont on parle moins (volume d’interactions, consultation des ressources, etc).

Be Sociable, Share!

9 Comments

Filed under Non classé

9 Responses to Retour sur les fameux « faibles taux de complétion des MOOC »

  1. Leslie

    Merci Matthieu, hâte de lire tout la prose !
    C’est exactement le thème que j’ai traité dans mon mémoire recherche sur l’abandon et la réussite dans les MOOC. Ce sujet est passionnant car je trouve très frustrant d’être comptée dans les taux d’échec d’un MOOC dès que je n’obtiens pas l’attestation alors que ce n’était pas mon objectif !

    Cette première lecture a l’air prometteuse, au plaisir d’en lire plus d’ici peu !

    Leslie

  2. Hubert

    je participe depuis 3 ans à un cours de yoga. Quel rapport me direz-vous avec ce sujet? Je constate que si le nombre de participants ne varie par d’une semaine à l’autre (une douzaine),en réalité, le nombre de personnes qui assistent réellement assidument aux entrainements n’est que de 6(et cela ne veut pas dire qu’elle n’ont pas un taux d’absentéisme entre 10 et 20%), mais le nombre de personnes qui n’ont assisté qu’à 1 ou 2 cours ou plusieurs cours pendant ces 3 ans dépassent les 50. En fait, les 6 ne représentent que 10% de l’ensemble des personnes qui ont participé au moins à 1 entrainement sur les 3 dernière années, tout en représentant 50 % du groupe actuel
    Cette problématique de l’abandon dans les MOOC ou les formations à distances peuvent trouver des explications semblables à d’autres domaines où les abandons sont parfois aussi fréquents.
    Dans ce contexte, on peut facilement comprendre l’abandon des personnes qui se sont inscrit par curiosité sans volonté de suivre réellement le cours, mais sans doute moins les personnes qui semblent réellement motivées et qui répondent aux questionnaires d’enquête qu’elles consacreront 4 ou 6 heures par semaines à la formation.
    Par rapport à mon expérience (en tant que participant, mais aussi en tant que témoins), plusieurs motifs sont parfois avancés:
    – le fait que cela ne répond pas réellement ou totalement aux besoins de la personne (l’effort demandé est trop important par rapport à la satisfaction ressentie ou souhaitée);
    – le temps estimé ou les plages horaires prévues ne correspondent pas à la réalité (« le samedi matin, c’était chouette pour aller au yoga, mais je me rends compte que j’hypothèque une partie du temps que je peux partager avec mon conjoint ou mes enfants », « je pensais réalisé mes devoirs avant de regarder le film du soir avec mon épouse, mais je constate que c’est trop court et que je rate systématiquement le début »…Par rapport au temps, je me rappelle un pensionné qui était au cours de photo et qui a abandonné …faute de temps;
    – autre argument, la concurrence avec d’autres activités personnels ou non (ma belle-mère est malade et je dois accompagner régulièrement mon épouse à l’hôpital pour la voir; mon activité tombe en même temps que le piano de mon fils et je dois l’y conduire);
    -dans les groupes auxquels j’ai participé, je constate que c’est les anciens qui nouent le plus de contact entre eux; parfois ces contacts existent, mais ils sont rare; par exemple, au yoga, après 3 ans, je ne connais que 3 prénoms (une ancienne comme moi, m’a appelé « Monsieur » dans un magasin car elle ne connaissait non plus mon prénom; dans un cours de natation que j’ai participé pendant deux ans, il n’existait aucun échange entre les participants (bien sûr, on avait la tête le plus souvent dans l’eau); le fait de peu échanger peut répondre à un besoin d’intimité, mais paradoxalement, le fait de nouer peu de contact rend moins difficile l’abandon d’un groupe.
    – dans un processus de formation, l’abandon peut être lié à des événements inopinés, qui ont un impact sur votre vie d’une ou deux semaines maximum(une grippe, un voyage à l’étranger, un décès dans la famille); dans une formation de 5 semaines, cela représente plus de 20 % du temps réel.
    -une faible assiduité renforce une faible assiduité: plus je trouve des arguments réel ou pas pour ne pas me rendre successivement à un ou plusieurs entrainement successif aboutira au fait que je n’irai plus à cette activité parce qu’il y a longtemps que je n’y suis plus allé.

  3. Diaz caroline

    Et que dire de ces questionnaires qui visent juste à mesurer la complétude et qui sont dénués de tout intérêt ? Franchement cela je ne les fais plus.

  4. groomy

    J’interviens ici en tant qu’apprenant.
    Je pense que les statistiques sur les taux de complétion sont un peu biaisés.

    Ainsi, au début de l’année je me suis inscrit à un MOOC que j’ai délaissé à cause d’un autre MOOC qui me prenait tout mon temps. Une nouvelle session est ouverte et je me suis de nouveau inscrit au premier MOOC que j’ai l’intention cette fois-ci de suivre jusqu’au bout.
    Le nombre d’inscrits à un MOOC est donc faussé si l’apprenant ne se désinscrit pas. Pour corriger, il faudrait lui donner la possibilité de transférer son inscription actuelle à une future session. Cela n’existe pas actuellement.

    Mon inscription a « Monter un MOOC de A à Z » sera également considéré comme un abandon. En effet, je ne suis pas prêt de créer un MOOC, mais plutôt une ressource de type REL. Je ne participe donc pas aux devoirs et à la correction par les pairs (cela viendra peut-être dans une session ultérieure !)
    Donc des apprenants, pourtant assidus, ne sont pas pris en compte par vos statistiques. Il faudrait que chacun puisse indiquer quels sont les chapitres étudiés (cela existe sur la plate-forme FutureLearn) et mettre dans une catégorie spécifique ceux qui sont allés jusqu’au bout de la formation sous forme d’auditeurs libres.

  5. CaraZen

    Bonjour Mathieu,
    Pour ma part, les raisons à l’origine d’un abandon de MOOC ont été les suivantes :
    – le MOOC n’avait pas un niveau informatif suffisant. Quand 2 billets de blog remplacent une capsule vidéo de 10 minutes, je préfère lire.
    – trop de ressources indiquées en complément des capsules, et par conséquent un investissement de temps bien supérieur à celui annoncé par les créateurs. En outre, certaines ressources s’avèrent redondantes. Or, avant d’avoir ouvert le lien et parcouru, comment savoir ? En amont, une meilleure estimation du temps nécessaire et l’apprentissage et un meilleur tri des ressources proposées constituent donc deux axes d’amélioration,
    – éliminer le biais « Je minimise le pré-requis » pour favoriser inconsciemment l’inscription. Je m’étais inscrite à un MOOC sur l’ADN et les algorithmes. C’était un mélange de « Vous êtes peu formés » et d’implicites impliquant au contraire un certain niveau de familiarisation,
    – pour finir, des cas « fil rouge » pas toujours stimulants. Le degré d’expérience professionnelle fait que l’expérience proposée peut paraître basique ou classique, compte-tenu de la variété de situations déjà rencontrées, quand bien même le thème est, lui, nouveau.
    Des axes de développement, en somme, ou tout du moins de réflexion.

  6. Amandine Colombe

    bonjour, que diriez-vous d’utiliser « taux d’achèvement » en lieu et place de l’anglicisme « taux de complétion » ?

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *