Comment est-ce que vous faites dans un MOOC pour vous assurer que les participants ont bien compris le contenu de votre cours, ou qu’ils sont bien capables d’appliquer les concepts que vous avez expliqué ? On ne peut pas leur demander systématiquement de rendre un devoir pour cela; d’autant que l’évaluation par les pairs a ses limites, les participants n’étant pas des examinateurs professionnels. Parfois il est difficile de motiver les gens à y participer, bref, c’est complexe. Du coup, on fait très souvent appel à différentes techniques d’évaluation automatisée, une famille de tests qui vont du simple QCM à des algorithmes complexes. Dans cette vidéo, je vous propose de revenir brièvement sur le concept.
Il y a plusieurs fonctions à l’évaluation automatisée ; tout dépend de la philosophie et des objectifs du cours. La manière de les concevoir ne sera pas du tout la même chose si vous voulez vous assurer que le contenu a bien été mémorisé ou bien compris ou si vous voulez simplement vérifier que les ressources ont bien été consultées. En effet, il faut savoir que dans certains cours, il y a des gens qui vont directement aux quizz sans avoir vu les vidéos. Et qui obtiennent le certificat en seulement 1h30 de travail.
Souvent on pense que l’évaluation automatisée, ce sont des seulement les quiz. Mais cela va bien au-delà; cela recouvre un large éventail de techniques : les QCM, les textes à trous, les applications numériques, mais aussi des techniques plus avancées comme des programmes et des algorithmes développés et qui évaluent automatiquement vos productions. Mais nous n’en parlerons pas dans cette vidéo, car il y a déjà beaucoup de choses à dire.
Car même faire des bons quizz et des bons “texte à trous”, ce n’est pas aussi simple qu’il n’y paraît, même pour des rappels de cours. Si c’est trop facile et que tout le monde a bon du premier coup, cela n’a pas beaucoup d’intérêt. Par ailleurs, on peut aller plus loin que de simples rappels, on peut proposer des applications qui nécessitent des heures de travail. Ou même un travail complémentaire au cours, qui implique un véritable travail de réflexion et de recherches sur Internet.
En plus des qcm et des textes à trous, l’un des outils souvent utilisés dans les MOOC, ce sont les applications numériques. La réponse que vous devez donner est un chiffre. Vous avez alors plusieurs possibilités. Soi c’est une solution unique, la même réponse pour tous les participants. En général, on peut définir une fourchette, un intervalle de réponses que l’on considère comme correctes. Le problème, c’est que l’on s’expose à la diffusion des réponses sur les forums, ce qui risquerait de tout fausser. Une autre approche, c’est de générer une solution unique par étudiant, Cela limite le risque de triche et diffusion de réponses, mais encore faut-il que la fonctionnalité soit disponible.
Car si vous vous inscrivez dans une logique d’autoformation, et que la validation des acquis n’est pas votre priorité, alors la question de la diffusion des réponses n’est pas un vrai problème. Mais dans le cas contraire, il va falloir réfléchir sérieusement. Il ne faut pas oublier les exercices sont en général réalisés de manière asynchrone, c’est à dire que les participants ne les font pas en même temps. Il est tellement facile de diffuser les réponses sur les forums et les réseaux sociaux. Même si vous l’interdisez formellent, que vous menacez d’exclusion, une fois que c’est sur les forums et les réseaux sociaux, c’est trop tard. Vous pourrez l’effacer, exclure qui vous voudrez, le mal aura été fait, et des personnes l’auront vu avant vous.
Il y a des participants qui le font sans vraiment réfléchir, mais il y en a parfois qui le font exprès. En plus, il y a des espaces sur lesquels vous n’avez presqu’aucun pouvoir, comme sur les blogs des participants, ou sur Twitter, et l’équipe n’a absolument aucun moyen de contrôle. Du coup, ce que vous pouvez faire, c’est commencer par préciser explicitement que c’est interdit. Ensuite, il faut envisager le problème dès la conception, mieux vaut prévenir que guérir.
Le mieux c’est de faire en sorte que les participants n’aient pas tous exactement le même examen. Par exemple avec les applications numérique, une réponse unique par personne, ou alors un pool de questions suffisamment important, et dans lequel on pioche à chaque fois pour faire un examen personnalisé. Mais dans ce cas, il concevoir un nombre de question suffisamment important pour qu’il n’y ait pas trop de redondance, et le renouveler régulièrement, car les réponses finissent toujours par être diffusées sur la Toile. Cela peut représenter un investissement considérable, et puis du coup on introduit une forme d’inégalité, vu que ce n’est pas exactement le même test pour tout le monde.
Enfin, quand on pousse la logique à l’extrême, on peut aller sur le mode “examen”, avec des quizz en temps limité. Avec un chrono qui s’enclenche quand on démarre le test, avec la possibilité ou non de l’interrompre pour faire une pose. Ce ne sont pas des examens comme dans la vie réelle, il ne faut pas oublier que les ressources sont en général téléchargeables librement durant le MOOC et qu’il vaut mieux le concevoir dans l’esprit des examens à livre ouvert.
Après bien sûr, il y a moyen d’empêcher cela, avec de l’examination à distance, ou des salles d’examen. Il y a des entreprises spécialisées pour cela. Cela permet en plus de régler le problème de l’authentification de l’identité. Mais dans ce cas, on entre dans une démarche payante. Cela dit, c’est en général nécessaire quand on s’inscrit dans une démarche de certification.
L’un des avantages de l’évaluation automatisée, c’est que c’est relativement facile de passer à l’échelle, de gérer des grands nombres de participants. C’est un véritable soulagement pour l’équipe pédagogique. Et puis on peut faire pas mal de choses avec, rappel de cours, applications, recherches complémentaires. Par contre, il y a bien sûr des limites quand à ce que vous pouvez évaluer; à un moment il faut un humain. Pour tout ce qui est qualité du raisonnement, ou qualité stylistique, ce n’est pas adapté. Après il y a le risque de triche et de diffusion des réponses, qu’il est difficile de maîtriser complètement à moins d’organiser des examens surveillés et donc payants. L’évaluation automatisée et l’évaluation par les pairs peuvent représenter des modalités assez complémentaires, il n’y en pas une qui est meilleure que l’autre, et comme toujours, tout dépend de ce que l’on veut faire.