MOOC: une typologie des méthodes d’évaluation

Nous ne le soulignons jamais assez, la pédagogie active est au cœur des MOOC ; c’est ce qui les distingue du format Open Courseware, dont l’essor remonte à plus d’une décennie. Dans les xMOOC proposant une certification, l’évaluation joue un rôle central. Se pose donc une question de taille : Comment évaluer des milliers de participants avec les moyens limités d’une équipe pédagogique ? Nous ferons ici un rapide tour d’horizon des différentes méthodes utilisées, en nous concentrant sur l’évaluation automatisée d’une part et l’évaluation par les pairs d’autre part.

L’évaluation automatisée recouvre un large éventail de techniques. Elle se base sur des outils assez rudimentaires comme les questionnaires à choix multiples ou les textes à trous aussi bien que sur des techniques plus avancées comme les programmes de test de codes ou d’évaluation automatisée de copies. On peut distinguer les exercices d’application du cours des tests de remémoration de contenu. Ces derniers ont pour fonction de s’assurer qu’une information a été mémorisée. Dans les MOOC, on les retrouve fréquemment au sein même des vidéos de cours, les séquences de cours magistraux de quelques minutes alternant avec des séquences de test.

Les exercices d’application ont une fonction tout autre. Leur difficulté n’est pas nécessairement liée à la simplicité apparente du type de test. Un simple QCM à quatre solutions peut nécessiter des heures de calculs. Parmi les exercices d’application, les applications numériques sont particulièrement utilisées dans les cours de sciences fondamentales (physique, statistiques, etc). La réponse donnée par le participant n’est considérée comme correcte que si elle se trouve dans une gamme de valeurs fixée par l’équipe pédagogique. L’inconvénient de cette approche est qu’elle permet de considérer comme correct un résultat juste même si le raisonnement suivi pour l’obtenir est faux, et un résultat comme faux même si le raisonnement suivi est le bon. Ce sont les limites de l’évaluation automatisée.

L’évaluation par des programmes de test est une forme d’évaluation automatisée utilisée dans les cours impliquant la rédaction de programmes informatiques. Les programmes de test permettent d’analyser de manière automatique le contenu d’un code, d’en détecter les erreurs et de faire des retours éventuels à son concepteur. Ce type de programme est bien antérieur à l’avènement des MOOC ; les plates-formes comme edX ou Coursera n’ont fait qu’intégrer ce concept. Une interface au sein d’edX permet d’exécuter une grande diversité de scripts de manière à analyser les codes rédigés par les participants. Les enseignants sont donc libres de rédiger leurs propres programmes de test ou d’utiliser des programmes existants, selon leurs besoins. Pour un retour sur l’utilisation de ce type de test, nous vous renvoyons au bilan du cours Functionnal Programming in Scala, qui a usé abondamment de ce type d’évaluation.

Une autre méthode qui mérite d’être citée est l’évaluation automatisée de copies. Cette technique a été récemment introduite au sein d’edX. Ces programmes basés sur le Machine Learning sont capables d’analyser et de noter des copies dans des domaines aussi variés que les sciences politiques, les langues ou la biologie. La technique implique cependant un investissement initial conséquent de la part de l’équipe pédagogique, qui doit dans un premier temps noter manuellement des dizaines de copies pour calibrer le système. Une fois calibré, le programme peut noter de manière automatisée n’importe quelle copies. Nous disposons de trop peu de recul pour juger de la pertinence de cette méthode de notation. Selon les premiers résultats publiés par le consortium edX, il existe une corrélation surprenante entre les notes données par des examinateurs professionnels et celles attribuées par le programme. Nous vous renvoyons à l’article de Christine Vauffrey pour un approfondissement de la question.

Pour terminer sur la question de l’évaluation automatisée, nous aimerions souligner que ces techniques connaissent un essor rapide au sein de la plate-forme edX, qui inclue désormais de petits laboratoires virtuels. Il est par exemple possible de faire manipuler virtuellement aux participants de petits circuits électroniques dans le cours Circuits and Electronics du MIT. Dans certains cours de biologie, il est possible de manipuler une protéine dans l’espace pour en comprendre les mécanismes de repliement. Sur edX, des points sont attribués pour la réalisation de ces activités, qui représentent donc une autre forme d’évaluation. Le développement de ces modules nécessite une certaine maîtrise de la programmation et quelques semaines de temps libre. Les exercices basés sur l’apprentissage par essai et erreur vont sans doute se multiplier dans les années à venir.

L’évaluation par les pairs consiste à faire évaluer une production d’un participant par un ou plusieurs de ses pairs. Elle permet d’une part le passage à l’échelle de l’évaluation lorsqu’il n’est pas possible de se baser sur une technique d’évaluation automatisée ; c’est la fonction diagnostique de l’évaluation. Mais elle a également une fonction pédagogique, évaluer une copie nécessite un travail de réflexion conséquent ; c’est la fonction formative de l’évaluation. Les MOOC de sciences humaines (sociologie, histoire, etc), entre autres, reposent en général sur cette méthode d’évaluation pour la notation des dissertations, essais ou autres types de productions écrites ou orales.

Nous nous sommes placés jusqu’à présent dans le cadre de l’évaluation de productions individuelles, les productions collectives peuvent également être notées via l’évaluation par les pairs. Et ce pour l’évaluation des projets eux-mêmes, qui rencontre les mêmes problématiques que l’évaluation des productions individuelles, aussi bien que pour l’évaluation des différents membres de l’équipe au sein du projet. Nous approfondirons bientôt la question de l’évaluation dans les MOOC basés sur la pédagogie par projet.

Nous n’avons dans ce billet eu qu’un bref aperçu des différentes méthodes d’évaluation utilisées au sein des MOOC, sans être exhaustifs (nous n’avons pas parlé d’auto-évaluation), et sans nous préoccuper outre mesure des contextes dans lesquels ces techniques sont appliquées. Celles-ci peuvent être combinées entre elles, scénarisées d’une infinité de façons ; une thèse ne suffirait pas à faire le tour de la diversité de leurs applications. Imaginez par exemple que l’on puisse, en fonction des réponses que vous avez données à tel ou tel exercice, sélectionner en temps réel un test qui soit parfaitement adapté à votre profil, vos connaissances  et vos objectifs d’apprentissage. Tests adaptatifs, évaluation en deux étapes, il y a sans doute encore quelques billets à écrire sur la question …