MOOC MOOC : une erreur de pilotage ?

On fait toujours quelques erreurs en pilotant un MOOC, je peux vous l’assurer. Et vu qu’il semblerait que j’en ait fait une au cours du MOOC « Monter un MOOC de A à Z », je vous propose de l’analyser ensemble et de débattre à travers ce billet quant à savoir s’il s’agit ou non d’une erreur. J’ai bricolé une fonctionnalité d’évaluation par les pairs avec des outils Google car j’en avais absolument besoin pour le MOOC, fonctionnalité qui n’a pas très bien marché car je n’ai au début fixé aucune obligation. J’ai dû changer les consignes en cours de route, quitte à provoquer un peu de mécontentement. Erreur de pilotage ou non ?

Comme il était quasi impossible de tracer le processus manuellement (savoir qui a fait quoi), je n’ai pas imposé de participer à l’évaluation par les pairs, tout en sachant pertinemment qu’en absence de mécanisme incitatif, il serait difficile de motiver les uns et les autres. Mais suite aux critiques de la part de participants qui avaient rendu des devoirs et qui attendaient impatiemment des retours, j’ai fait marche arrière et je n’ai rien trouvé de mieux que rendre obligatoire la participation aux évaluations pour obtenir l’attestation. Je vous propose de discuter de savoir si c’était ou non une erreur avec comme fil conducteur les différents mails envoyés aux participants. Dans la suite du billet, vous aurez en italique les remarques, et le contenu des mails non.

Semaine 2

« L’étape d’évaluation par les pairs peut commencer. Contrairement à ce qui se passe dans la plupart des MOOC, tout le monde peut participer à l’évaluation anonymisée des productions, et personne n’est obligé de le faire. Ce que nous valorisons le plus, c’est la qualité des retours, et non la note. Par conséquent, ne participez que si vous êtes motivés pour faire des retours de qualité. […] Vous pouvez participer à l’évaluation des deux types de devoirs, et évaluer autant de productions que vous le désirez. L’ensemble des évaluations et des commentaires sera visible en temps réel dans l’onglet suivant, nommé “Evaluation des devoirs”, pour les analyses de MOOC comme pour les projets de MOOC. Il est également possible de commenter les commentaires directement dans la base de données. »

Début de MOOC, 25 heures pour trouver une solution d’évaluation par les pairs qui respecte le cahier des charges qu’il s’est fixé (anonymat, accessibilité des productions, etc), ce n’est pas ergonomique, mais techniquement cela marche. Je ne veux pas rendre le processus obligatoire pour ne pas surcharger les équipes-projet de travail et compte sur le reste de la communauté. L’espoir fait vivre.

Semaine 3

« La troisième semaine de la formation “Monter un MOOC de A à Z”, consacrée aux ressources pédagogiques, vient d’ouvrir. […] Nous vous rappelons par ailleurs que l’évaluation du premier devoir des analyses de MOOC et des projets de MOOC a commencé. Le processus est ouvert à tous (y compris ceux qui n’ont pas rendu de devoir) et la participation n’est pas obligatoire, mais nous vous invitons fortement à y prendre part pour permettre des retours de qualité et en nombre suffisant. Vous trouverez l’ensemble des instructions nécessaires à l’évaluation des productions dans les rubriques associées à ces activités. Par ailleurs, nous revenons plus en détail sur le processus dans ce billet de blog. »

Plus de participations aux activités que prévu initialement, mais beaucoup moins aux évaluations en revanche, où il n’y a que deux pelé trois tondus pour s’être bougés un peu. Le Matthieu hausse un peu le ton mais sans franchir le cap de l’obligation.

Semaine 4

« L’évaluation par les pairs sur une base “bénévole” n’ayant pas suscité suffisamment d’adhésion, nous la rendrons probablement obligatoire pour obtenir les attestations de réussite délivrées en fin de MOOC. Mais elles auront lieu après le rendu des derniers devoirs pour ne pas interférer avec leur réalisation. »

Là, j’espérais que le « probablement » aurait son petit effet, et que cela préparerait le terrain car je sentais bien qu’il faudrait revenir à l’obligation d’une manière ou d’une autre. Tout en espérant le contraire.

Semaine 5

Pour obtenir l’attestation de participation, il faudra avoir évalué au moins deux productions pour chaque devoir (soit au moins huit évaluations pour le parcours “Analyse”, et dix pour le parcours “Création”), en plus d’avoir rendu soi-même au moins trois devoirs bien sûr. Vous devrez sans doute évaluer des devoirs que vous n’avez pas rendu vous même. Ce travail d’évaluation est particulièrement formateur et représente l’équivalent d’un devoir à part entière. Nous vous demandons de le faire avec le plus grand sérieux.

J’ai franchi le cap. Immédiatement, de nombreuses plaintes pour ce changement de consigne. Je m’y attendais, je n’ai pas été déçu. Alors, est-ce que je rétrocède encore une fois en laissant tomber l’obligation ? Non, je pense que les plaintes de ceux qui n’ont pas eu de retour sont davantage justifiées. Il faut choisir entre Charybde et Scylla. Du coup, je m’explique plus longuement dans le mail qui suit :

Semaine 6.

« Il y a eu un certain nombre de plaintes concernant le changement de consigne. Sachez qu’en réalité il s’agit d’un retour au plan initial, car le processus d’évaluation était obligatoire à l’origine. Nous avions dû changer d’avis uniquement car le traçage manuel du processus aurait pris un temps démesuré, temps que nous n’avions pas à notre disposition. Nous rencontrons là les limites de la mise au point manuelle de fonctionnalités, problème dont nous avions parlé dans le billet MOOC : utiliser les outils Google.

En absence de mécanisme incitatif digne de ce nom, peu de gens se sont investis dans le processus d’évaluation, et nombreux se sont plaints de ne pas avoir de retours sur leur production. Il nous faut choisir entre Charybde et Scylla, et il est sans aucun doute préférable d’être critiqué pour avoir changé de consigne et de s’être adapté à la situation sur le terrain que de laisser la majorité des productions non évaluées. […] Libre à vous de participer au processus d’évaluation; une attestation n’a qu’une valeur symbolique, et il n’y a aucun crédit universitaire ou de formation à la clef pour le moment. Ce qui a vraiment de la valeur, c’est ce que vous avez appris. Et vous apprendrez beaucoup en participant au processus. […]

 Soit dit en passant, nous avons eu beaucoup de requêtes pour modifier les deadlines car un certain nombre de personnes ont voulu profiter du week-end de l’Ascension. Et nous avons cédé dès le début du MOOC.

« Nous avons reçu de nombreuses requêtes concernant le report de la deadline, car le week-end de l’Ascension n’est pas propice au travail en équipe. L’équipe a été sensible au bien fondé de ces revendications, et la deadline est désormais reportée à mercredi. Pour permettre à l’ensemble des devoirs d’être réalisés dans de bonnes conditions, il en sera désormais ainsi jusqu’à la fin du MOOC. Les devoirs seront à rendre le mercredi. »

Curieusement, pour ce type de modification, personne ne s’est plaint. D’ailleurs, nous avons fait preuve de flexibilité en acceptant des devoirs rendus longtemps après les deadlines (et qui nous ont pris autant de temps que l’ensemble des autres devoirs réunis), et nous n’avons pas reçu de doléances concernant notre flexibilité.

Était-ce une erreur que de changer les consignes en cours de route ? A mes yeux, cela aurait été une erreur que de ne pas réagir à l’évolution des indicateurs (peu d’évaluations réalisées). Cela fait partie du travail de pilotage que de s’adapter à la situation du terrain, même si je sais que c’est une mauvaise pratique. D’ailleurs, le nombre d’évaluations a considérablement augmenté après l’introduction de la consigne. Le débat est donc lancé. Vous avez tous les éléments en main. Peut-on se permettre ce genre de modification en cours de MOOC? Etait-ce une erreur de pilotage ou une nécessaire adaptation?