MOOC: quels indicateurs de succès ?

On mesure souvent le succès d’un MOOC sur la base du nombre d’inscrits au lancement du cours. Ce paramètre reflète certainement l’intérêt pour le thème traité à un moment donné, l’efficacité de la campagne de communication et la visibilité du site où le cours est hébergé. De là à dire qu’il reflète le succès du cours, il y a un pas. Comment mesurer de façon pertinente le succès d’un MOOC? Retour sur la question sensible des  indicateurs …

Nombreux sont les internautes qui s’inscrivent à un cours mais qui ne le commencent jamais. Ce phénomène s’appelle le no-show dans l’hôtellerie. Le taux de no-show correspond à la proportion de participants qui se sont inscrits mais qui ne sont pas allés au-delà. Il est particulièrement élevé sur des plates-formes comme Coursera. Nous avions abordé le sujet dans le billet MOOC: ce que les taux d’abandon signifient. Cet indicateur reflète surtout la qualité de la campagne de communication autour du MOOC. Celle-ci peut être efficace du point du vue quantitatif (en termes de nombre d’inscrits), en particulier si on bénéficie de l’attention des médias, sans être qualitative pour autant. Il s’agit de recruter des participants qui souhaitent véritablement s’engager dans le cours, et pas seulement une foule de curieux qui n’iront pas plus loin que l’inscription.

S’engager dans le cours certes, oui mais jusqu’où ? Comme nous l’avions souligné au cours du billet sur les taux d’abandon, il y a plusieurs niveaux d’engagement. Certains participants visionnent seulement les vidéos de cours mais ne rendent pas les devoirs, ne passent pas les examens et n’interagissent pas sur les forums. Ce sont les auditeurs libres (lurkers en anglais). Il y a ceux qui rendent les devoirs sans interagir, les participants passifs, et ceux qui rendent les devoirs et interagissent sur les forums, les participants actifs. Toutes les situations intermédiaires existent.

On peut donc calculer des taux pour chaque catégorie, en se basant, au choix, soit sur le nombre total d’inscrits, soit sur le nombre total de participants ayant effectué au moins une action après l’inscription. C’est cette dernière approche que je suivrais. Nous obtenons donc un taux d’auditeurs libres, un taux de participants passifs et un taux de participants actifs. Ces taux sont difficiles à interpréter, car il n’est pas toujours possible de faire la part des choses entre le type de public qui a été recruté (et donc le niveau d’engagement correspondant) et la qualité de la pédagogie, de l’encadrement et de l’animation, qui influence évidemment le niveau d’engagement. Quoi qu’il en soit, l’objectif de toute équipe pédagogique devrait être de maximiser le taux de participants actifs.

Le problème, c’est que ces catégories ne sont pas figées tout au long du MOOC. Un participant actif au début du cours peut cesser d’interagir sur les forums pour devenir un participant passif. Par ailleurs, au sein même des participants actifs, on peut définir plusieurs catégories sur la base du nombre et de la nature des interactions qui ont lieu sur les forums et les réseaux sociaux. Plutôt que d’étiqueter une personne pour toute la durée du MOOC, je pense qu’il est plus pertinent de raisonner à l’échelle de la semaine. Pour telle semaine de cours, quel est le ratio auditeur libre/participant passif/participant actif ?

Cette façon de procéder ne prend cependant pas en compte le fait que beaucoup de participants « abandonnent » le MOOC en cours de route. C’est déjà le cas au sein de l’université, c’est encore plus vrai sur internet, d’autant que nombreux sont ceux qui prennent sur leur temps libre pour suivre ces cours. Pour mesure ce taux d’abandon, on calcule le plus souvent le ratio entre le nombre de participants certifiés et le nombre d’inscrits au lancement du cours. C’est un indicateur assez rudimentaire qui ne tient pas compte de la diversité des motivations et des catégories de participants. Je préfère ne pas utiliser le terme taux d’abandon car il sous-entend qu’il y a eu abandon, ce qui n’est pas toujours le cas dans la mesure où beaucoup d’inscrits n’ont jamais eu l’intention d’obtenir un certificat; j’utiliserai davantage son pendant, plus neutre, le taux de certification.

Ce taux de certification ne reflète pas le fait qu’il y a plusieurs catégories de participants, avec leurs dynamiques propres. Il est à mon sens plus pertinent de calculer des taux d’attrition spécifiques pour chaque catégorie. On peut par exemple mesurer un taux d’attrition des auditeurs libres, qui correspond au ratio entre le nombre d’auditeurs libres à un instant donné et le nombre d’auditeurs libres au lancement du cours. On notera que cet indicateur ne peut être mesuré qu’a posteriori, car il est difficile de savoir à l’avance qu’un participant va être inactif. Il n’est pas toujours facile à mesurer, en particulier quand les vidéos de cours sont hébergées sur Youtube  et qu’aucune donnée sur leur visualisation n’est enregistrée par la plate-forme (comme c’est le cas pour Canvas.net).

De même, on peut calculer un taux d’attrition au sein des différents parcours (si il y a plusieurs parcours, cf. MOOC GdP avec certificat basique et certificat avancé). On considère qu’un apprenant participe à un certificat donné à partir du moment où il a effectué un acte engageant, à savoir: rendre un devoir. On peut donc calculer chaque semaine un taux d’attrition correspondant à la proportion des participants qui se sont engagés dans un certificat et qui y participent toujours. De même qu’il y a un taux d’attrition spécifique aux auditeurs libres, on peut mesurer un taux d’attrition pour le certificat basique, et pour le certificat avancé. Cela change tout. Si on calcule pour le taux de certification pour le certificat avancé du MOOC GdP on obtient environ 15% (environ 500 participants sur 3600 inscrits sont allés au bout), soit un taux d’attrition de 85%. Si on le calcule en prenant comme point de départ le nombre de participants s’étant engagés dans le certificat avancé (i.e. en rendant un devoir), on obtient environ 80% de certification, soit un taux d’attrition de 20% (600 participants avaient rendu un devoir). Je pense que cette différence entre 15 % et 80 % illustre bien la nécessité de calculer des taux d’attrition spécifiques.

Les indicateurs que nous avons décrits reflètent une vision du succès d’un xMOOC (ou assimilé), basé sur la participation aux exercices, devoirs et examens. Pour un cours connectiviste de type cMOOC, ce ne sont pas des indicateurs pertinents. Je pense qu’il est plus intéressant de raisonner en termes de participation sur les forums et les réseaux sociaux. On peut raisonner à l’échelle du cours; dans ce cas les indicateurs pertinents nombre de posts sur les forums, le nombre de tweets, le nombre de billets de blog en lien avec le cours. Mais cette façon de procéder est biaisée car il y a en général un petit nombre de participants très actifs qui peuvent donner l’illusion d’une communauté animée. L’idéal serait de définir des classes de participants sur la base du nombre de contributions: peu actifs, actifs, très actifs, hyperactifs (comment trancher ?) et de mesurer l’évolution de ces catégories tout au long du cours.

Enfin, il est important de mesurer le taux de satisfaction des participants via des questionnaires postés en fin de cours; ils leur donnent l’occasion d’évaluer le cours et d’en signaler les éventuels défauts. Ces taux sont cependant biaisés par le fait que les participants insatisfaits participent peu à ces questionnaires. Ils faut donc en interpréter les résultats avec précaution.

L’objectif de toute équipe pédagogique est  de maximiser le nombre d’inscrits, le taux de certification, la participation sous toutes ses formes, et le taux de satisfaction. Je pense qu’un xMOOC de « seulement » 1000 participants avec un taux de certification de 30% est davantage un succès qu’un MOOC de 5000 participants avec un taux de certification de 10%. Le nombre d’inscrits n’est pas à lui seul un indicateur très fiable du succès d’un cours. Quand l’équipe d’un MOOC ne fournit que cette information, c’est qu’il y a probablement anguille sous roche … Nous ne pouvons nous permettre de raisonner sur des indicateurs uniques; dans ce contexte, seule l’approche multi-indicateurs est pertinente …

Source: Flickr/Paul Jerry