Vous-êtes vous déjà demandé comment une petite équipe pédagogique pouvait évaluer en quelques semaines les milliers de productions des participants d’un MOOC ? La réponse tient en quatre mots : évaluation par les pairs. Dans cette vidéo, je vous propose de revenir sur l’un des principaux ingrédients des MOOC.
Tout d’abord, qu’est-ce que c’est ? L’évaluation par les pairs, cela consiste à charger les participants du MOOC de s’évaluer entre eux. Par exemple, vous rendez une dissertation de philosophie le dimanche soir, et le lundi vous recevez quatre copies à corriger. Et, parallèlement, votre dissertation sera corrigée par quatre personnes. La note finale de votre devoir sera alors calculée à partir des notes reçues par les participants. Alors, qu’est-ce que l’on peut évaluer par les pairs me direz-vous ?
Eh bien à peu près tout. Des productions individuelles comme des productions collectives, des productions écrites, courtes ou longues, comme des vidéos; tout ce que l’on veut, du moment que c’est accessible en ligne. Cela peut aller du texte court à un véritable dossier de quarante pages, jusqu’à la vidéo produite avec les moyens du bord et postée sur Youtube. Soit la production en question est postée directement dans le LMS, soit elle est mise sur Internet d’une manière ou d’une autre et l’on communique alors l’URL.
Pourquoi passer par l’évaluation par les pairs me direz-vous ? Tout d’abord, simplement parce que l’évaluation automatisée a ses limites. Il est très difficile d’évaluer automatiquement la qualité d’un raisonnement par exemple, ou la qualité stylistique d’une dissertation. Mais l’objectif n’est pas uniquement de faire passer à l’échelle à peu de frais le processus d’évaluation. Ce n’est pas une évaluation “au rabais”; il y a un véritable intérêt pédagogique derrière tout cela. Autant pour celui qui évalue, que pour celui qui bénéficie de l’évaluation.
Pour l’évaluateur, cela permet de prendre un certain recul, et de comparer son propre travail à celui d’autres participants. Pour celui qui est évalué, c’est l’opportunité de recevoir des retours de plusieurs personnes aux points de vue variés, même si ce ne sont pas les retours d’examinateurs professionnels. La valeur de ces différents éléments de l’évaluation dépend beaucoup du type de MOOC et des objectifs de l’équipe. Dans certains cas, ce qui a le plus de valeur aux yeux de l’équipe, c’est le fait de se mettre dans la posture de l’évaluateur, car cela permet de prendre du recul par rapport à son propre travail. Dans d’autres cas, c’est la précision du processus de notation. Par exemple quand on s’inscrit dans une logique de validation des acquis ou de certification. Dans ce cas, il va falloir penser à la formation des évaluateurs pour s’assurer qu’ils ne notent pas n’importe comment. Il va également falloir se poser la question du plagiat. D’une part entre les participants du MOOC, et d’autre part à partir de contenus trouvés en ligne. Une grande partie des participants viennent pour s’autoformer et acquérir de nouvelles compétences est leur principale motivation, mais une partie vient pour le certificat ou l’attestation.
Il existe des outils pour détecter le plagiat entre des productions sous différents formats, à partir du moment où vous avez la main sur ces productions. Mais ils sont parfois payants. Pour ce qui est du plagiat à partir de contenus pris sur Internet, cela peut être un peu plus compliqué, même s’il existe également des outils dédiés. L’approche la plus pertinente à mon sens, c’est de scénariser l’activité de sorte à minimiser ce problème. Mieux vaut prévenir que guérir.
Enfin, dans certains MOOC, la précision de la notation a relativement peu d’importance, et ce que l’équipe valorise le plus, c’est la qualité des retours donnés par les évaluateurs. Certains cours adoptent même la technique de l’évaluation en deux étapes. Les participants doivent soumettre une nouvelle fois leur production après avoir intégré les retours des évaluateurs. Dans cette approche, ce qui a de la valeur, c’est que l’on puisse travailler et retravailler les productions dans une logique d’amélioration continue.
Ces différentes approches ne sont pas nécessairement contradictoires, tout dépend de la logique suivie et des objectifs pédagogiques de la formation. Pour résumer l’évaluation par les pairs a plusieurs intérêts : d’une part, décharger l’équipe pédagogique du travail de notation, car de toute façon elle ne peut pas évaluer des milliers de productions sans modèle économique, et d’autre part une fonction d’entraînement, car elle permet aux participants de comparer leur travail à celui des autres. Néanmoins, cette approche a ses limites, d’une part car elle implique que les évaluateurs soient motivés, et d’autre part que leur notation soit cohérente. Alors, comment faire pour que les évaluations soient de qualité bien que les examinateurs ne soient pas des professionnels, telle est la question.