Organiser une évaluation par les pairs au sein d’un MOOC est un véritable défi. Car il faut faire en sorte que les retours soient de qualité et la notation cohérente. Il y a donc un certain nombre de questions à se poser au moment de la conception. Tout d’abord, qui participe au processus d’évaluation ? Est-ce qu’il faut nécessairement avoir rendu soi-même une production ? Est-ce que c’est obligatoire ? Si c’est obligatoire, combien de productions chaque évaluateur doit-il corriger ? Combien de temps dure la période d’évaluation ? Trois quatre jours, ou plusieurs semaines ? Est-ce qu’il y a des mécanismes incitatifs, comme des bonus pour ceux qui participent ou des malus pour ceux qui ne participent pas? Y-a-t’il une forme d’accompagnement ou de formation des évaluateurs? Enfin, l’évaluation est-elle anonyme ? Nous allons explorer rapidement ces quelques questions.
Tout d’abord, qui participe à l’évaluation ? En général, ne participent que ceux qui ont rendu un devoir. Soit les évaluateurs sont sélectionnés aléatoirement au sein des gens qui ont rendu un devoir, soit on peut avoir toujours le même groupe d’évaluateurs, mais cela implique qu’ils restent tous jusqu’au bout de la formation. Enfin, on peut envisager une approche ouverte, où tout le monde peut participer, y compris ceux qui n’ont pas rendu de devoirs, on parle alors d’open peer assessment.
Un argument avancé pour justifier l’approche “fermée”, c’est qu’il faut avoir réalisé une production soi-même pour disposer du recul nécessaire pour être un bon évaluateur. Un argument avancé pour justifier l’approche “ouverte”, c’est que les personnes qui ont réalisé eux-mêmes une production ont déjà consacré beaucoup de temps au MOOC, et rien ne dit qu’ils aient le temps et la motivation pour en plus réaliser une évaluation par les pairs; par ailleurs, rien ne prouve que le fait d’avoir fait soi-même une production confère une meilleure capacité à évaluer.
En ne laissant que les plus motivés y participer, on s’assure que les évaluations sont de qualité. Mais le risque c’est de n’avoir pas assez de monde qui s’implique dans le processus d’évaluation. Les deux approches se défendent, cet il faut raisonner au cas par cas. Si on rend le processus d’évaluation obligatoire, il faut fixer le nombre de productions à corriger.
Plus de copies à corriger signifie plus de notes par copie et donc une évaluation plus précise de chaque production. En revanche, plus de copies, c’est aussi plus de travail pour des participants qui prennent en général déjà sur leur temps libre pour suivre le cours. Certains passent plus d’une demi-heure par copie. Cinq copies à corriger, c’est parfois plus de deux heures de travail, ce qui est beaucoup compte tenu du fait que nombreux sont ceux qui n’ont que quelques heures par semaine à consacrer au cours. Le risque est de voir les participants bâcler le travail, en particulier pour les dernières copies, ce qui limite l’intérêt de l’exercice.
La question de la période d’évaluation est sensiblement la même. Elle s’étend en général de quelques jours à un peu plus d’une semaine. Laisser peu de temps pour corriger les copies, c’est prendre le risque de voir ces évaluations bâclées. Laisser trop de temps, c’est encourager la procrastination, et éventuellement courir le risque de voir l’évaluation des productions empiéter sur le suivi du reste du cours.
Ce qui est sûr, c’est que l’évaluation des productions d’autres participants n’est pas du goût de tout le monde. En général, on se plaint du manque de temps et/ou de légitimité pour évaluer une copie. Pour cette raison, les équipes pédagogiques mettent souvent en place des mécanismes incitatifs pour pousser les participants à s’investir dans l’évaluation. Dans certains cours ceux qui ne souhaitent pas y prendre part se voient retirer des points sur la note finale au devoir ; à l’inverse ceux qui y participent peuvent recevoir des bonus, comme des points ou des badges. Bref, à vous de voir si vous voulez et/ou pouvez mettre en place des mécanismes incitatifs.
Ça c’est l’aspect motivation, reste à traiter la question de la cohérence de la notation. Il va falloir mettre au point des consignes et un certain nombre de méthodes pour faciliter le processus, en particulier si vous êtes attaché à la
La mise au point des barèmes, des consignes et/ou des grilles de notation est une étape délicate, car le nombre et le choix des critères vont être déterminants dans le déroulement du processus d’évaluation. Les critères proposés peuvent être assez subjectifs (originalité de la production, etc) et laisser une grande marge de liberté aux apprenants ou au contraire être relativement directifs. De même vous décider de rendre visibles le barème et les consignes de notation en amont de la soumission du devoir. Tout dépend des objectifs et de la philosophie de l’équipe pédagogique.
Vu que les participants ne sont pas des examinateurs professionnels, si vraiment vous êtes attachés à la précision de la noation, vous pouvez aussi mettre en place des guides de formation à l’évaluation, pour chaque devoir. Ces guides vont de simples corrigés-type à des séquences vidéo où l’enseignant explique sa méthode de notation, en passant par de véritables mini-formations où l’évaluateur compare sa notation à celle de l’enseignant. Par exemple, on peut donner en amont du processus d’évaluation des copies-type à corriger, puis donner après notations la note mise par l’équipe pédagogique. Dans certains cas, on peut même décider de n’autoriser à évaluer que lorsque les notes de l’évaluateur convergent suffisamment avec celle de l’équipe pédagogique. On parle de calibration a priori. C’est presque en soi une formation.
Enfin, malgré toutes les précautions que l’on pourra prendre pour rendre l’évaluation sérieuse et précise, il est inévitable que les styles de notation diffèrent selon les individus, et que certains notent plus durement que les autres. Ce qui nous amène à la question de la méthode de calcul de la note finale.
Parfois, on se contente de calculer la médiane ou la moyenne des notes données par les différents évaluateurs. Oui mais comment faire si certains notent de manière anormalement sévère ou à l’inverse beaucoup moins sévèrement que la moyenne ? Dans la mesure du possible, si vraiment la précision de la notation est un enjeu fort, il faut éliminer les notes extrêmes, ou au moins mettre en place un système qui permet de prendre en compte les biais des uns et des autres. Pour estimer le biais de notation de chaque évaluateur, on peut glisser discrètement dans les vraies copies à corriger des copies-type dont on connaît la note. On recalcule ensuite les notes sur la base des biais estimés. On parle de calibration a posteriori.
Enfin, dernier point d’attention, l’anonymat du correcteur. C’est un élément important car il impacte de manière considérable la sévérité de la notation et la nature des commentaires laissés par les évaluateurs. Au cours du MOOC de Stanford que j’avais suivi à l’automne 2012, je me souviens avoir laissé quelques commentaires pas piqués des hannetons sur des productions que j’avais jugées complètement hors sujet, ne sachant pas que mon nom était affiché.
J’ai tout de suite reçu des mails me demandant davantage d’explications sur la sévérité de mes commentaires. J’aurais probablement été plus nuancé si j’avais su que mon nom était visible. Dans certains MOOC, cela tourne au pugilat, même si cela reste assez marginal. Selon les plates-formes, les équipes ont le choix de rendre ou non l’évaluation anonyme. A vous de voir, mais quelle que soit votre décision, communiquez-la à l’avance aux participants, et n’hésitez pas à leur dire d’être constructifs dans leurs commentaires pour prévenir d’éventuels problèmes.
L’évaluation par les pairs est un outil puissant mais complexe. Il peut être utilisé aussi bien sur des productions individuelles que sur des productions collectives. Mais il est nécessaire de se poser un certain nombre de questions en amont. Qui évalue ? Combien de productions, en combien de temps ? Comment améliore-t-on la qualité du processus ? Doit-on mettre en place des mécanismes incitatifs? Doit-on rendre ou non les évaluations anonymes ? Bref, un certain travail de réflexion est nécessaire. Le mieux que vous puissiez faire avant de prendre votre décision, c’est sans doute de lire ce qui a été écrit par les équipes pédagogiques qui sont passées par là, et si vous avez le temps, vous pouvez consulter la littérature scientifique croissante qui existe sur le domaine.
Pingback: Evaluation par les pairs | MOOC Experience