Fiche-Mission: le responsable de la conception des évaluations du MOOC

Nous allons discuter aujourd’hui de la question de la répartition des tâches au sein de l’équipe pédagogique. Nous avons abordé la question dans plusieurs billets (cf. MOOC: comment aider les enseignants qui se lancent?), en nous attardant notamment sur le rôle de chef de projet et de community manager (L’organisation d’un MOOC: un travail d’équipe). Nous n’avons cependant pas beaucoup discuté d’un des rôles-clef de l’équipe, celui de concepteur des évaluations. Autant la création des cours magistraux et la conception de la trame du cours est obligatoirement à la charge de l’enseignant, autant la création des devoirs et examens peut être déléguée au moins en partie à un membre de l’équipe à condition qu’il dispose d’une certaine connaissance du domaine enseigné. Retour sur le rôle de responsable des évaluations. 

Pour la première session du MOOC Gestion de Projet, trois membres de l’équipe ont eu uniquement pour rôle de mettre au point les devoirs et examens. Mégane Cristaldi, étudiante à Centrale Lille, et Dominique Breton, un « ancien » des formations en ligne de Rémi ont créé l’étude de cas qui a servi de support au certificat avancé à partir de supports créés au préalable par Rémi Bachelet. Bruno Warin, Maître de conférences, s’est occupé de la création de l’ensemble des QCM des devoirs et de l’examen. Pour la seconde session du MOOC, c’est tout une équipe constituée de participants de la première session, avec à sa tête Bertrand Gajeot, qui a pris la responsabilité de créer la nouvelle étude de cas. Le travail est considérable. Pour illustrer ces propos, je vais me placer dans le cas particulier d’un MOOC de statistiques sur lequel je travaille actuellement.

Le choix des objectifs pédagogiques est à la charge de l’enseignant, le rôle du responsable des évaluations est uniquement de concevoir des exercices d’application pour répondre à ces objectifs. Ces-derniers se basent sur des documents et des bases de données traditionnellement utilisés en travaux dirigés. Il s’agit seulement d’adapter les énoncés au format des MOOC, à savoir l’évaluation automatisée et l’évaluation par les pairs. La différence avec les travaux dirigés en face-à-face n’est pas tant dans l’activité elle-même que dans les ressources qui permettent de les suivre. En effet, la moindre ambiguïté peut devenir problématique du fait du nombre important de participants, et conduire à une quantité ingérable de questions sur les forums. L’erreur n’est donc pas permise.

Tous les problèmes qui seront rencontrés par les étudiants doivent être envisagés et les ressources d’accompagnement permettant de les traiter (tutoriels, FAQ, etc) doivent être conçues de manière à éviter toute ambiguïté. Enfin, il faut valider la qualité des exercices proposés et des ressources d’accompagnement associées à travers un béta-test, qui permet de détecter des problèmes et questions qui n’auront pas été envisagés dans un premier temps.

Pour chacune des six semaines que dure le cours, le responsable des évaluations doit concevoir une série d’exercices automatisés ainsi qu’un devoir qui sera corrigé par les pairs. L’évaluation automatique a l’avantage d’être précise, fiable, et adaptée aux applications numériques. Elle reste cependant limitée dans la mesure où elle ne permet pas d’évaluer ni la pertinence des raisonnements qui ont conduit aux résultats, ni la justesse de l’interprétation qui en est faite. C’est pour cette raison qu’il peut être souhaitable de combiner les deux formes d’évaluation. L’évaluation automatique a deux fonctions, la première est de valider que le cours a bien été compris et mémorisé, ce sont les exercices de remémoration de contenu, la seconde est d’appliquer les concepts abordés dans les cours magistraux à travers des exercices d’application, comme nous l’avons discuté dans le billet sur la typologie des méthodes d’évaluation.

La conception des exercices de remémoration se base uniquement sur les cours magistraux. Pour chaque séquence de cinq à dix minutes de cours, un ou plusieurs QCM sont insérés dans les vidéos de cours (ce que les anglo-saxons appellent les in-video quizz). La résolution de ces exercices ne doit pas nécessiter plus que quelques instants de réflexion, une bonne compréhension du cours doit suffire pour y répondre. Il s’agit pour chaque vidéo d’identifier les points les plus importants, formuler une question pertinente, et trouver des distracteurs (les réponses fausses du QCM). Au cours des exercices d’application en revanche, les participants doivent résoudre des problèmes de statistiques à partir de jeux de données qui leur seront fournis; pour chaque question, ils devront déterminer le test statistique à appliquer et effectuer des calculs à partir des jeux de données, en utilisant le logiciel de statistiques open source R.

Pour les participants qui souhaitent aller plus loin dans l’interprétation des résultats, il est demandé de rendre chaque semaine un rapport portant sur les résultats de ces tests. Ce rapport est corrigé via l’évaluation par les pairs, selon les principes que nous avons discuté dans le billet portant sur la question. La justesse des calculs aura été validée de manière automatique au préalable, afin que les évaluateurs puissent se focaliser sur la qualité de la rédaction, la justesse de l’interprétation et l’esthétisme des figures, des éléments qui ne peuvent pas être évalués de manière automatisée. Pour chacun de ces exercices, et ce en accord avec l’enseignant en charge, le responsable évaluation doit rédiger un énoncé et fixer un barème détaillé qui sera rendu visible par les participants avant la soumission des devoirs. En addition, et ce pour chaque devoir, il devra créer une vidéo de présentation précisant les attendus, les questions pratiques (échéances, format, modes de soumission, etc) ainsi que les principales erreurs à ne pas commettre.

Il s’agit ensuite de concevoir un modèle de devoir, assez vague pour laisser une certaine marge de liberté, mais assez précis pour permettre une certaine homogénéité dans les copies et ainsi faciliter le travail d’évaluation par les pairs. La tâche finale consiste à créer des documents sur lesquels les étudiants pourront se baser pour réaliser l’évaluation par les pairs. Le corrigé des devoirs est le plus simple, mais on peut envisager de créer artificiellement des copies-types afin d’illustrer les erreurs les plus courantes. Elles servent ensuite au calibrage des évaluations par les pairs, une technique permettant de caler le procédé de notation sur celui d’un examinateur professionnel.

Une fois l’ensemble des documents créés, il s’agit de réunir et d’encadrer une petite équipe de béta-testeurs, qui testeront les évaluations et activités directement sur la plate-forme hébergeant le cours. Charge au responsable des évaluations de centraliser l’ensemble des remarques, identifier les erreurs, et d’améliorer les documents-support en fonction. La principale difficulté est de trouver des béta-testeurs présentant une certaine diversité de profils, débutants ou connaisseurs du domaine, expérimentés ou non dans l’usage des plates-formes d’apprentissage, afin de recueillir une variété aussi importante que possible de points de vue.

Nous avons discuté dans ce billet des principaux rôles du responsable des évaluations en nous basant sur le cas particulier d’un MOOC de statistiques: créer des tests automatisés ainsi que les documents nécessaires à la réalisation des devoirs et des évaluations par les pairs associées, et beta-tester le tout. Pour un cours magistral de 15 heures, il faut bien compter une centaine d’heures de travail selon la plupart des estimations. Pour la réalisation complète des évaluations, je pense qu’il est possible de monter à environ 150 ou 200 heures. C’est la raison pour laquelle je pense que cette responsabilité peut être attribuée à un doctorant-conseil ou à un moniteur, et c’est la solution que nous adoptons dans le contexte de ce cours. A noter que nombreux sont les enseignants de MOOC qui prennent entièrement cette responsabilité en sus de la création des cours magistraux, mais dans ce cas, il faut s’attendre à quelques nuits blanches …