MOOC : mesurer la réussite ?

Il y a deux ans, je participais à Educause, la grande conférence américaine sur les technologies dans l’Enseignement Supérieur – 6000 participants, une dizaine de sessions en parallèle et une exposition commerciale digne de la foire de Paris ; tout le monde se précipitait pour écouter Daphne Koller exposer sa vision et les premiers résultats de Coursera. La salle était pleine à craquer (je doute que ce thème amène une audience aussi large cette année, je vous le dirai à mon retour dans deux semaines), très attentive et suspendue aux lèvres de l’orateur.

La seule déception, me semble-t-il, fût lorsqu‘elle aborda le taux de réussite : 5 à 15%, dans le meilleur des cas. Je dois dire que je fus parmi les déçus et le restais un certain temps avant de réaliser que comparer le taux de réussite d’un MOOC à celui d’un examen classique, c’était comme comparer des pommes et des poires. Or mes professeurs m’ont toujours appris que des opérations ne pouvaient porter que sur des objets de la même espèce !

Reprenons l’acronyme : il contient Open, ce qui veut dire que le cours est ouvert à tous, sans restriction c’est-à-dire, entre autre, sans contrôle de niveau préalable.

C’est un vieux problème que nous connaissons bien dans les universités françaises. On nous reproche un taux d’échec énorme, comparé aux grandes écoles et aux IUT. Mais, justement, l’énorme différence est que la sélection à l’entrée de ces parcours établit un préalable : l’assurance que les étudiants possèdent un certain niveau, relativement homogène de surcroit, et une motivation certaine. Il en est de même pour certains lycées dont la réussite au bac frise les 100%. Ce qui est souvent oublié est le processus de choix des élèves qui a opéré en amont.

Je me souviens aussi, lorsque jeune professeur, je me retrouvais dans un amphi de rentrée, en face de 150 étudiants. Quelques rapides exercices exposés au tableau que je leur demandais de résoudre individuellement, m’apprirent rapidement que j’étais devant un problème que je ne savais résoudre : la dispersion des niveaux était telle que je ne voyais pas comment délivrer un enseignement commun.

Alors les MOOC ? On aura beau faire et exposer, dans le syllabus et le teaser, les prérequis nécessaires, cela n’empêchera jamais de nombreux enthousiastes de pécher par optimiste : ils surévaluent leur niveau ou ignorent tout simplement l’existence de ces avertissements. Il se peut aussi qu’ils pèchent par optimiste en croyant pouvoir dégager le temps nécessaire à l’étude qui peut être fort variable en fonction de ces préalables.

Donc, il est normal que le taux de réussite à un MOOC soit bas et ce n’est pas la démonstration de son inefficacité.

On peut encore ajouter beaucoup d’autres arguments pour expliquer ces résultats.

Qui a dit que tous les « mouqueurs » étaient intéressés par une attestation dont la valeur, le plus souvent, n’a pas grande signification ?

Nombreux sont ceux qui entrent dans un MOOC parce qu’ils sont intéressés par certains points seulement puis le quittent lorsqu’ils ont obtenus l’information qu’ils recherchaient. Ils peuvent également le parcourir comme cela leur convient : les premières études statistiques montrent qu’il existe une infinité de façons de « déguster » son MOOC. Certains ne regardent que les vidéos et ne s’intéressent pas aux exercices et devoirs, d’autres au contraire sautent sur ces derniers et, lorsqu’ils pensent avoir réussi, au contraire, ignorent les vidéos. D’autres encore font leur marché et picorent à droite et à gauche. Je ne mentionne même pas les touristes, les « lurkers », qui passent pour voir. Annoncer un maximum d’inscrits flatte toujours l’ego du professeur mais ce nombre serait beaucoup plus bas si on enlevait ces passagers. Cela remonterait aussi le taux de réussite final !

En bref nous ne savons pas ce que signifient les taux de réussite mesurés. Il existe des études pour décrire le comportement des étudiants des MOOC mais on ne les a pas encore interrogés, à ma connaissance, sur les façons dont ils les consomment (j’emploie ce vocabulaire volontairement). Les sociologues vont s’y pencher très vite, je l’espère, mais ces études ne sont pas simples parce que les étudiants sont dispersés dans le monde entier – c’est une caractéristique de base des MOOC – et qu’on peut imaginer qu’un participant « à temps partiel » n’est souvent pas motivé pour répondre à une telle enquête.

Comprendre les comportements des étudiants et la signification du taux de réussite des MOOC est un domaine de recherche primordial pour pouvoir comprendre à quoi sert un MOOC et comment en mesurer sa réussite.

Be Sociable, Share!

1 Comment

Filed under Non classé

One Response to MOOC : mesurer la réussite ?

  1. Thierse

    Effectivement ne comparons pas des choux et des carottes, des pommes et des poires !
    * Mes pairs en Informatique, et en particulier en Sécurité, m’ont dit de toujours ramener les « situations numériques » en situations de la « vie courante », (ex: ouvrir les dossiers d’un collègue qui les a protégés vs ouvrir l’armoire fermée à clef d’un collègue pour récupérer ce dossier si important que nous demande notre hiérarchie). Faisons cela pour les Moocs et effectivement : comment entrons nous dans un Mooc, ou dans une université, un amphi ouvert, … ? Quel est la valeur d’une attestation, d’un diplôme d’Université, … ?
    Faire parler les chiffres :
    * Les statistiques ou l’art de faire dire aux chiffres ce que l’on veut, tant que l’on ne définit pas l’échantillonnage et tant que l’on ne définit pas le vocabulaire des mots mis en abscisse et en ordonnée, ou ceux des composantes principales, … [ Et de préférence : on produit des stats : avec ce « on » bien plus discret que la signature d’un journaliste dont le journal est déjà indicateur de certains messages qu’il vaut peut-être faire passer. ]
    * Et d’attirer le chaland avec de jolies couleurs, certes très utiles (colorer les prompt du sh) pour mettre en valeur de manière pédagogique le message à faire passer. Mais aussi trompeuses (le bouton rouge pour l’eau froide … ça arrive). Et permettre avec en plus la 3D, le relief, …, des visualisations qui dépassent le GKS de Bordeaux ou d’ailleurs, DISSPLA encore que je n’ai plus suivi appelé à d’autres fonctions ou la station SG ou HP n’a plus lieu.
    EN résumé toujours méfiance sur les statistiques de pommes et de poires, de meilleur ceci ou de meilleur cela, que l’université éduque le plus grand nombre à cela, comme mon prof de stat l’a fait en son temps.
    (et merci aussi à JYE pour ces formations à … Mini6, FSTE6 et autres)

    Très bonne questions sur les MOOCs et je suivrai le CR du prochain Educause avec grand intérêt, car un aide Archi/Urba SI d’Université se doit, je pense, de suivre le mouvement global de la Formation et de la Recherche.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.