Nous en sommes maintenant à la troisième semaine du MOOC « Monter un MOOC de A à Z » ; nous parlons vidéo pédagogique avec Rémi Sharrock et à nouveau propriété intellectuelle avec Audrey Ego. Par ailleurs, l’évaluation par les pairs des premières productions a commencé en fin de semaine dernière. Deux cents devoirs rendus en tout et pour tout ; pour moitié des projets de MOOC en devenir, et pour moitié des analyses de MOOC existants. Nous avons voulu tester une forme d’évaluation par les pairs relativement peu usitée. Personne n’est obligé d’y participer, et tous ceux qui le souhaitent le peuvent ; on parle d’Open Peer Assessment en anglais. Un modèle qui tranche avec les pratiques habituelles d’évaluation, mais qui doit encore faire ses preuves. Retour sur le pourquoi du comment.
Avant tout, commençons par parler des productions. Déjà, les premiers résultats prouvent qu’il était tout à fait pertinent de proposer deux parcours parallèles. Un certain nombre d’inscrits n’avaient pas le temps ou le désir de s’inscrire dans des projets par équipe laborieux. Pour avoir été plusieurs fois porteur de projet au sein d’un MOOC, je peux comprendre. En proposant en sus du parcours « Création de MOOC » un parcours individuel qui demandait deux fois moins de travail, le nombre de devoirs rendus a été multiplié par deux. Les analyses ont donc eu un certain succès. Fait amusant, certains participants ont choisi d’étudier des MOOC sur lesquels j’ai travaillé de près ou de loin, comme Introduction à la Statistique ou Enseigner et Former avec le Numérique.
Il est intéressant d’avoir un regard extérieur, et la qualité des retours est largement supérieure à celle que l’on peut trouver dans des sites comme Coursetalk, qui se contentent en général de commentaires évasifs ou expéditifs. Peut-être un peu neutres cela dit. Sur quatre devoirs, il est possible de creuser les questions de scénarisation, de public cible, de stratégie, de ressources. Je suis persuadé que les réflexions qui naîtront de ces devoirs peuvent être profitables pour les équipes pédagogiques de MOOC. Et vu que la plus grande partie des MOOC français sont représentés, je les encourage vivement à aller voir ce qui a été écrit. Il y a du bon et du moins bon, prenez ce qui vous semble pertinent.
En tout cas, c’est une réflexion intéressante, et c’est ce qui fait à mes yeux tout l’intérêt des MOOC. Avec une bonne scénarisation, on peut faire créer beaucoup de valeur par la communauté de participants. En quelques jours seulement, ils fournissent de fait un volume de travail impressionnant. Petit calcul de coin de table. 200 devoirs, 4 heures de travail en moyenne par devoir (à la louche), c’est 800 heures de travail sur quelques jours. Et ça, c’est parce que nous sommes dans un petit MOOC familial. Pour ceux qui dépassent les 10.000 inscrits – une bonne taille pour un MOOC francophone – on peut raisonnablement attendre autour de 1000 devoirs par semaine, donc autour de 5.000 heures de travail condensées sur quelques jours. Ce n’est pas pour rien que des startups comme Coursolve proposent à des entreprises de soumettre leurs cas d’études aux participants d’un MOOC.
Et on peut tout à fait transposer cette approche à différents domaines ; et le fait d’avoir une analyse aussi détaillée de MOOC francophones, cela a de la valeur, valeur qui est d’autant plus importante que le nombre de MOOC analysés est grand. D’où l’intérêt de laisser une certaine marge de manœuvre aux uns et aux autres. Avoir cent variantes du même devoir, c’est un peu triste n’est-ce pas? Par ailleurs, n’oublions pas ces cent projets de MOOC que j’avais évoqués la dernière fois, qui vont du développement personnel à la biochimie en passant par la découverte du Yi Jing. Une liste à la Prévert, comme se plaisait à le souligner l’une des participantes. Une mine d’or pour ceux qui s’intéressent un peu à la prospective, et à la trajectoire que pourrait emprunter le mouvement MOOC dans les années à venir.
Au passage, on voit l’intérêt de bricoler ses propres fonctionnalités de dépôt de dossier, car cela permet d’avoir la main sur les bases de données et dans une certaine mesure sur les rendus. Autant que je sache, sur Coursera ou sur edX, pas moyen de rendre visible d’un simple clic l’ensemble des productions des participants ; je me demande même si on peut y accéder (sur Canvas on peut en tout cas). Or il peut y avoir un intérêt certain à rendre visible par l’ensemble de la communauté de participants les productions des uns et des autres.
La question de l’ouverture se pose également pour l’évaluation. Cela fait longtemps que je n’ai pas vu le back office de Coursera, mais dans mes souvenirs, seuls les participants qui ont soumis un devoir sont autorisés à participer à l’évaluation des pairs. S’il y a possibilité d’ouvrir le processus, je n’ai pas encore vu d’équipe le faire, or c’est une démarche intéressante. Je ne suis en effet pas persuadé que le fait d’avoir rendu soi-même un devoir confère une quelconque expertise en termes d’évaluation de projets de MOOC. Car chaque domaine a ses spécificités, et un MOOC de programmation n’a pas du tout la même problématique qu’un MOOC de développement personnel. Qui peut prétendre avoir un avis pertinent sur des domaines aussi variés ? On demande donc simplement aux évaluateurs de faire preuve de bon sens et de rédiger des retours de qualité, la note restant secondaire dans le cadre de cette formation, d’autant qu’elle est vraiment subjective. Tout au plus obtiendra-t-on un score qui nous permettra à la fin de faire un classement des MOOC qui ont été le plus appréciés. La notation tient plus de la gamification que de la validation des acquis.
Voici deux autres arguments en faveur de cette méthode. Tout d’abord, les participants qui sont engagés dans les parcours « Création de MOOC » et « Analyse de MOOC » ont déjà des charges de travail considérables. Et mine de rien, faire des retours, cela prend du temps. Je pense qu’en ne laissant que les plus motivés y participer, on s’assure de l’investissement, et a priori de la qualité du travail effectué. Ensuite, sur le plan quantitatif, on a environ 200 personnes engagées dans les activités, et 4000 inscrits. Même si vous ne suivez pas le MOOC, les vidéos ou quoi ou qu’est-ce, vous pouvez venir participer au processus d’évaluation. Ouvrir à l’ensemble du MOOC, c’est multiplier par 20 le nombre d’évaluateurs potentiels. Donc je l’espère, beaucoup plus de retours de qualité; et c’est la principale valeur de l’évaluation par les pairs dans le cadre de ce MOOC.
Après, je ne dis pas que cette façon de faire s’applique à tous les MOOC ; tout dépend de ce que l’on veut faire, et notamment si la précision de la note est ou non un enjeu fort. D’autant qu’elle implique de la bonne volonté et de l’implication de la part des évaluateurs. Au pire, si le processus ne marche pas, nous reviendrons probablement aux pratiques traditionnelles d’attribution des devoirs. Mais je suis curieux de voir ce qui se passe quand on donne une liberté totale aux uns et aux autres. Wait and see.
3 Responses to MOOC : ouvrir l’évaluation par les pairs