Interprétation superficielle des learning analytics et besoins de formation

J’ai évoqué il y a quelques billets l’un des dangers consubstantiels à l’utilisation, lors d’évaluation d’étudiants, de tableaux de bord fondés sur des « learning analytics ». Une réserve classique des spécialistes du domaine relève des stratégies de type « gaming the system », « détourner le système », en français (on pourra lire Baker et ses collègues pour en savoir plus). Il existe en effet un risque significatif que les apprenants s’approprient les stratégies permettant de manipuler leur évaluation en augmentant artificiellement une métrique donnée, par exemple. Pour qu’un tableau de bord dispose d’une valeur ajoutée en termes d’aide au diagnostic humain/ d’évaluation, l’enseignant doit investir un temps considérable – c’est une condition nécessaire à l’interprétation rigoureuse des indicateurs.

La réflexion vaut pour tous les contextes : école primaire,  collège, universités ou apprentissage en ligne. Les stratégies de type « gaming the system » ont par exemple été illustrées par mon ancien directeur de thèse, Eric Bruillard, dans un article qu’il avait produit en 2017. Il pointait dans son article la facilité avec laquelle l’on pouvait obtenir le certificat d’un MOOC sans en consulter les ressources. Il pourrait être intéressant d’analyser les réactions d’enseignants à qui l’on présenterait des indicateurs permettant de mesurer un tel phénomène. Au-delà des seules questions que pourraient se poser des praticiens, de nombreuses décisions importantes quant au devenir des projets du domaine sont basées sur l’interprétation que les acteurs ont des chiffres qui leur sont présentés.

De manière générale, avec l’essor des learning analytics et des tableaux de bord, il va falloir former tout un tas d’enseignants et de décideurs sur la question de la bonne utilisation des indicateurs. De faibles taux de certification pour un MOOC incitera par exemple un président d’université à cesser de soutenir le développement de ces cours en ligne, alors même que le nombre de personnes certifiées reste élevé. A l’inverse, un financeur pourra se baser uniquement sur des chiffres d’inscrits ou de téléchargements de vidéos pour continuer à investir dans un projet, alors même que les utilisations effectives des ressources sont négligeables.

La réappropriation des indicateurs par les utilisateurs finaux varie d’une catégorie à l’autre, et il va y avoir du travail : concepteurs de ressources pédagogiques, financeurs, acteurs de la prise de décision dans l’enseignement supérieur. Si l’informatique décisionnelle est incontournable pour leur mise en place et leur conceptualisation, il n’y a pas besoin d’être informaticien pour se pencher sur ce domaine, et il va falloir envisager de se lancer dans un travail de formation à grande échelle. On va voir besoin d’une tripotée d’experts à moyen terme sur ces sujets-là, faites-moi confiance …

Leave a Comment

Filed under Non classé

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *