MOOC MOOC : une erreur de pilotage ?

On fait toujours quelques erreurs en pilotant un MOOC, je peux vous l’assurer. Et vu qu’il semblerait que j’en ait fait une au cours du MOOC « Monter un MOOC de A à Z », je vous propose de l’analyser ensemble et de débattre à travers ce billet quant à savoir s’il s’agit ou non d’une erreur. J’ai bricolé une fonctionnalité d’évaluation par les pairs avec des outils Google car j’en avais absolument besoin pour le MOOC, fonctionnalité qui n’a pas très bien marché car je n’ai au début fixé aucune obligation. J’ai dû changer les consignes en cours de route, quitte à provoquer un peu de mécontentement. Erreur de pilotage ou non ?

Comme il était quasi impossible de tracer le processus manuellement (savoir qui a fait quoi), je n’ai pas imposé de participer à l’évaluation par les pairs, tout en sachant pertinemment qu’en absence de mécanisme incitatif, il serait difficile de motiver les uns et les autres. Mais suite aux critiques de la part de participants qui avaient rendu des devoirs et qui attendaient impatiemment des retours, j’ai fait marche arrière et je n’ai rien trouvé de mieux que rendre obligatoire la participation aux évaluations pour obtenir l’attestation. Je vous propose de discuter de savoir si c’était ou non une erreur avec comme fil conducteur les différents mails envoyés aux participants. Dans la suite du billet, vous aurez en italique les remarques, et le contenu des mails non.

Semaine 2

« L’étape d’évaluation par les pairs peut commencer. Contrairement à ce qui se passe dans la plupart des MOOC, tout le monde peut participer à l’évaluation anonymisée des productions, et personne n’est obligé de le faire. Ce que nous valorisons le plus, c’est la qualité des retours, et non la note. Par conséquent, ne participez que si vous êtes motivés pour faire des retours de qualité. […] Vous pouvez participer à l’évaluation des deux types de devoirs, et évaluer autant de productions que vous le désirez. L’ensemble des évaluations et des commentaires sera visible en temps réel dans l’onglet suivant, nommé “Evaluation des devoirs”, pour les analyses de MOOC comme pour les projets de MOOC. Il est également possible de commenter les commentaires directement dans la base de données. »

Début de MOOC, 25 heures pour trouver une solution d’évaluation par les pairs qui respecte le cahier des charges qu’il s’est fixé (anonymat, accessibilité des productions, etc), ce n’est pas ergonomique, mais techniquement cela marche. Je ne veux pas rendre le processus obligatoire pour ne pas surcharger les équipes-projet de travail et compte sur le reste de la communauté. L’espoir fait vivre.

Semaine 3

« La troisième semaine de la formation “Monter un MOOC de A à Z”, consacrée aux ressources pédagogiques, vient d’ouvrir. […] Nous vous rappelons par ailleurs que l’évaluation du premier devoir des analyses de MOOC et des projets de MOOC a commencé. Le processus est ouvert à tous (y compris ceux qui n’ont pas rendu de devoir) et la participation n’est pas obligatoire, mais nous vous invitons fortement à y prendre part pour permettre des retours de qualité et en nombre suffisant. Vous trouverez l’ensemble des instructions nécessaires à l’évaluation des productions dans les rubriques associées à ces activités. Par ailleurs, nous revenons plus en détail sur le processus dans ce billet de blog. »

Plus de participations aux activités que prévu initialement, mais beaucoup moins aux évaluations en revanche, où il n’y a que deux pelé trois tondus pour s’être bougés un peu. Le Matthieu hausse un peu le ton mais sans franchir le cap de l’obligation.

Semaine 4

« L’évaluation par les pairs sur une base “bénévole” n’ayant pas suscité suffisamment d’adhésion, nous la rendrons probablement obligatoire pour obtenir les attestations de réussite délivrées en fin de MOOC. Mais elles auront lieu après le rendu des derniers devoirs pour ne pas interférer avec leur réalisation. »

Là, j’espérais que le « probablement » aurait son petit effet, et que cela préparerait le terrain car je sentais bien qu’il faudrait revenir à l’obligation d’une manière ou d’une autre. Tout en espérant le contraire.

Semaine 5

Pour obtenir l’attestation de participation, il faudra avoir évalué au moins deux productions pour chaque devoir (soit au moins huit évaluations pour le parcours “Analyse”, et dix pour le parcours “Création”), en plus d’avoir rendu soi-même au moins trois devoirs bien sûr. Vous devrez sans doute évaluer des devoirs que vous n’avez pas rendu vous même. Ce travail d’évaluation est particulièrement formateur et représente l’équivalent d’un devoir à part entière. Nous vous demandons de le faire avec le plus grand sérieux.

J’ai franchi le cap. Immédiatement, de nombreuses plaintes pour ce changement de consigne. Je m’y attendais, je n’ai pas été déçu. Alors, est-ce que je rétrocède encore une fois en laissant tomber l’obligation ? Non, je pense que les plaintes de ceux qui n’ont pas eu de retour sont davantage justifiées. Il faut choisir entre Charybde et Scylla. Du coup, je m’explique plus longuement dans le mail qui suit :

Semaine 6.

« Il y a eu un certain nombre de plaintes concernant le changement de consigne. Sachez qu’en réalité il s’agit d’un retour au plan initial, car le processus d’évaluation était obligatoire à l’origine. Nous avions dû changer d’avis uniquement car le traçage manuel du processus aurait pris un temps démesuré, temps que nous n’avions pas à notre disposition. Nous rencontrons là les limites de la mise au point manuelle de fonctionnalités, problème dont nous avions parlé dans le billet MOOC : utiliser les outils Google.

En absence de mécanisme incitatif digne de ce nom, peu de gens se sont investis dans le processus d’évaluation, et nombreux se sont plaints de ne pas avoir de retours sur leur production. Il nous faut choisir entre Charybde et Scylla, et il est sans aucun doute préférable d’être critiqué pour avoir changé de consigne et de s’être adapté à la situation sur le terrain que de laisser la majorité des productions non évaluées. […] Libre à vous de participer au processus d’évaluation; une attestation n’a qu’une valeur symbolique, et il n’y a aucun crédit universitaire ou de formation à la clef pour le moment. Ce qui a vraiment de la valeur, c’est ce que vous avez appris. Et vous apprendrez beaucoup en participant au processus. […]

 Soit dit en passant, nous avons eu beaucoup de requêtes pour modifier les deadlines car un certain nombre de personnes ont voulu profiter du week-end de l’Ascension. Et nous avons cédé dès le début du MOOC.

« Nous avons reçu de nombreuses requêtes concernant le report de la deadline, car le week-end de l’Ascension n’est pas propice au travail en équipe. L’équipe a été sensible au bien fondé de ces revendications, et la deadline est désormais reportée à mercredi. Pour permettre à l’ensemble des devoirs d’être réalisés dans de bonnes conditions, il en sera désormais ainsi jusqu’à la fin du MOOC. Les devoirs seront à rendre le mercredi. »

Curieusement, pour ce type de modification, personne ne s’est plaint. D’ailleurs, nous avons fait preuve de flexibilité en acceptant des devoirs rendus longtemps après les deadlines (et qui nous ont pris autant de temps que l’ensemble des autres devoirs réunis), et nous n’avons pas reçu de doléances concernant notre flexibilité.

Était-ce une erreur que de changer les consignes en cours de route ? A mes yeux, cela aurait été une erreur que de ne pas réagir à l’évolution des indicateurs (peu d’évaluations réalisées). Cela fait partie du travail de pilotage que de s’adapter à la situation du terrain, même si je sais que c’est une mauvaise pratique. D’ailleurs, le nombre d’évaluations a considérablement augmenté après l’introduction de la consigne. Le débat est donc lancé. Vous avez tous les éléments en main. Peut-on se permettre ce genre de modification en cours de MOOC? Etait-ce une erreur de pilotage ou une nécessaire adaptation?

Be Sociable, Share!

5 Comments

Filed under Non classé

5 Responses to MOOC MOOC : une erreur de pilotage ?

  1. Delphine

    Dans le cadre de CE MOOC (qui permettait de travailler sur la notion de MOOC et les contraintes de cet outil), les modifications ne m’ont pas semblées fâcheuses, bien au contraire. J’ai, d’ailleurs, bcp apprécié les échanges autour du déroulement de la formation et de ses difficultés.
    Mais les échanges font souvent ressortir les « râleurs » 😉 …qui râleraient pour n’importe quoi, non ? Pourquoi et mécontent alors que la formation est choisie librement, qu’on connait ses limites et et qu’elle est gratuite ?

    A titre personnel, j’ai tenté de participer et j’aurais bcp aimé entrer ds une équipe de construction de MOOC, mais le temps m’a drastiquement manqué. J’avais même imprimé qqes devoirs pour les lire le w-e et je n’ai pas réussi… Grosse déception. Et la difficulté essentielle qui ressort pour moi, c’est donc bien l’évaluation du temps nécessaire : comment donner une idée réaliste aux futurs apprenants… ??

    Donc, merci : pour ce côté « on construit ensemble », très formateur, pour les échanges pendant et après, pour les nombreuses contributions des uns et des autres au groupe G+, etc…

    J’attends avec impatience la session suivante et espérant voir y participer plus activement

    • matthieu-cisel

      Merci Delphine, c’est vrai qu’on peut être parfois surpris en tant que concepteurs des réactions de certains participants qui semblent avoir oublié qu’ils n’étaient d’une part pas obligés de suivre les consignes, et d’autre part que la formation est gratuite et qu’il n’y a pas comme ça un soutien et des retours personnalisés … Bon, c’est un peu pareil avec les étudiants à vrai dire.

  2. nathalie Guriec

    bonjour,

    le plus simple aurait été de dire dès la semaine 2 qu’il fallait chaque semaine rendre un devoir et en évaluer 3/5 selon le parcours .. Après se pose la question du temps : la priorité est d’avancer dans son travail, le reste peut attendre. Ce qui m’amène à penser que beaucoup n’ont pas perçu l’aspect formateur de l’évaluation. Et à m’interroger sur qui peut évaluer ? car la majorité des évaluations n’a porté que sur la forme. En même temps comment évaluer la qualité, notamment pédagogique d’un MOOC, dans un domaine où vous ne connaissez rien ?

    • matthieu-cisel

      Peut-être faudrait-il que nous insistions davantage sur le côté « formateur ». Mais oui, c’est vrai qu’il est parfois difficile d’évaluer une production sans être du domaine, c’est l’une des principales limitations de l’évaluation par les pairs.

  3. L’évaluation par les pairs n’a de sens que lorsqu’elle est faite sérieusement et surtout avec des commentaires. Sans commentaire, la note n’a que peu de sens, car elle ne permet pas vraiment de corriger la trajectoire. Avoir un 3/10 avec « ok sur le fond, la forme laisse à désirer » apprend bien plus : On comprend que pour notre correcteur, c’était la forme qui était le plus important. Cela permet d’avancer en prenant en compte les remarques et en comprenant la façon de voir de chacun. « Discuter » de la correction par les pairs dans les forums est également très important car cela permet de trouver des consensus et une intelligence collective de correction (le plus important c’est ça ou ça, moi j’ai un devoir où il manque ça…). Plus les échanges seront constructifs et plus les forums se rempliront (et seront lu). L’équipe encadrement guide par moment et tranche de temps en temps. Cependant pour cela, il faut que les gens soient « obligés » dès le début. Personne n’a de temps (les Mooc sont rapidement chronophages), cependant quand c’est obligatoire… on en trouve et finalement on apprécie d’y avoir consacré du temps. Quelque chose de « non obligatoire » (ou non inscrit dans un parcours particulier) perd toute sa valeur.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *