L’évaluation automatique ? Quelle horreur ! (Quoique…)

QuizComment faire pour évaluer les travaux de plusieurs milliers d’étudiants à la fois ? Voilà la question qui se pose quotidiennement aux instigateurs de MOOCs (voir le billet de Matthieu, doctorant à l’ENS, si vous ne savez toujours pas ce que signifie cet acronyme). Mais pas à eux seulement : en première année de fac de médecine par exemple, on est habitué à des cohortes de plusieurs milliers d’étudiants; par exemple, plus de 5 000 étudiants de première année à la fac de médecine de Lyon 1. La masse n’est donc pas exclusivement réservée aux cours tout en ligne; certains cours en présence doivent hélas composer avec cette donnée cruciale, et il y a bien longtemps que les enseignants de Médecine ont mis au point des outils leur permettant d’évaluer rapidement les travaux de leurs étudiants.

La réponse la plus courante à ce problème s’appelle le Quiz. Et même, le quiz à correction automatique. Les LMS (Learning Management Systems) disposent tous d’une application intégrée permettant de confectionner des exercices, et notamment les fameux questionnaires à choix multiples. Sur la plateforme Spiral, conçue et utilisée à Lyon 1 et qui va bientôt fusionner avec Claroline, près de la moitié des objets (plus d’un million, quand même) déposés par les enseignants toutes disciplines confondues sont des QCM ! Ils sont utiles aux enseignants bien sûr, mais ils permettent surtout aux étudiants de première année d’auto-évaluer régulièrement leurs connaissances, sachant que ces QCM reprennent la forme exacte des épreuves de sélection imposées en fin de première année. Dans ce cas précis, il y a donc coïncidence de forme (et de nature de questions) entre les épreuves intermédiaires et les épreuves finales d’évaluation.

Ce qui n’est pas toujours le cas, bien entendu. Néanmoins, il ne faudrait pas mépriser les applications de création d’exercices auto-correctifs sous prétexte que vous demandez surtout des devoirs plus complexes à vos étudiants lors des évaluations finales. Car il y a plusieurs types d’exercices auto-correctifs, qui permettent de travailler une large gamme d’apprentissages, de la simple mémorisation à l’évaluation, si l’on se réfère à la taxonomie des objectifs de Bloom. Il revient alors à l’enseignant de concevoir ses questions de manière adaptée à ce qu’il souhaite évaluer. Un diaporama tout à fait pertinent, réalisé par des chercheurs du Labset (université de Liège ) montre qu’on peut avec ces exercices évaluer des compétences de niveau supérieur à la mémorisation, en élaborant des tâches complexes. Ce n’est donc pas parce que la majorité des enseignants utilisent les exercices auto-correctifs pour vérifier uniquement la mémorisation, qu’on est obligé de ne faire que cela !

Mais un pas supplémentaire vient d’être franchi par les concepteurs de la plateforme de MOOC edX animée par le MIT et l’université de Harvard, et sur la quelle on trouve actuellement une quinzaine d’autres universités, qui viennent d’annoncer la création d’un logiciel de correction automatique des questionnaires à réponses cortes et des essais. oui, des essais, des devoirs, des dissertations, des analyses critiques, bref, des écrits académiques. C’est Le Point qui a annoncé la nouvelle en France le 26 avril, dans sa rubrique « Insolites » (on ne rit pas). Le logiciel ne fonctionne pas seul : c’est un système intelligent qui « cale » ses critères et sa grille d’évaluation sur les données entrées par l’enseignant, ce dernier devant pour cela corriger à la main une centaine de copies avant de passer le relai à son assistant électronique. Donc, un enseignant qui donne le même devoir à plusieurs groupes d’étudiants (ça existe, ça ?) pourra corriger à la main pour un groupe, entrer les données et faire corriger tous les autres groupes par l’application électronique et ce, aussi longtemps qu’il ne modifie pas ses exigences. J’en connais qui vont être drôlement contents.

Anant Agarwal, le président d’EdX, estime que ce logiciel va rendre de fiers services non seulement aux enseignants, mais aussi et surtout aux étudiants, qui disposeront ainsi d’une correction immédiate de leurs travaux.  Il souligne que la rapidité des retours sur les travaux évalués est considérée par de nombreux étudiants comme une aide importante à l’apprentissage. On conçoit en effet que des notes rendues plusieurs mois après la réalisation du travail et remises le plus souvent sans aucun commentaire, réduisent notablement la valeur formative de l’évaluation. Et pourtant, c’est bien de cette manière que les choses se passent encore souvent, tout simplement parce que l’enseignant, même aidé de quelques assistants, n’a pas le temps nécessaire pour corriger les devoirs en un temps raisonnable.

Ceci n’empêche évidement pas des groupes d’enseignants et d’étudiants de se former pour protester contre l’application créée par edX. Mais leur voix sera très certainement minoritaire. Ceci, pour trois raisons :

- Le logiciel va être distribué gratuitement dans les universités ayant déposé leurs MOOCs sur edX, puis plus largement. Au fur et à mesure des retours faits sur les usages, il sera amélioré (suivant en cela la règle absolue en usage dans le monde numérique : Publier tôt – Mettre à jour souvent). Il va donc devenir de plus en plus performant, adapté à un nombre croissant d’usages.

- La question de l’évaluation de grands groupes d’étudiants n’est pas réservée aux seuls MOOCs. Comme nous l’avons vu plus haut, il y a longtemps que les facultés qui accueillent des milliers d’étudiants de même niveau utilisent les outils électroniques pour évaluer les étudiants et les aider à s’évaluer. De nombreux enseignants, qu’ils pratiquent ou non les MOOCs, vont donc être intéressés par cette nouvelle application. Du côté des MOOCs, l’affaire est entendue, car on sait que Coursera et Udacity (deux autres plateformes de MOOCs) sont aussi en train de mettre au point leurs propres applications de correction automatique (voir cet article du New York Times).

- Statistiquement parlant, la pertinence de l’évaluation réalisée par le logiciel n’est pas moins bonne que celle qui est réalisée par un correcteur humain, selon les dires d’Anant Agarwal. Pas moins mauvaise non plus, remarque finement le rédacteur de l’article du Point. Certes, mais il ne faut pas s’arrêter à ce constat gratuit, et plutôt s’interroger sur ce qu’on évalue par rapport à ce que l’étudiant apprend. L’évaluation formelle, et l’évaluation terminale en particulier, a t-elle pour fonction d’évaluer l’ensemble des apprentissages réalisés, et le peut-elle ? N’y a t-il pas d’autres formes d’interaction avec l’étudiant ou de productions pour mettre cela en valeur ? Est-ce toujours et systématiquement à l’enseignant d’évaluer les apprentissages réalisés et les compétences acquises ?

En fin de compte, l’arrivée de cette nouvelle application d’évaluation automatique des travaux académiques provoque, comme à chaque fois que la technologie semble se substituer à l’humain, une réflexion salutaire sur le sens et la valeur de la fonction qu’elle va remplir. L’évaluation est un sujet complexe, qui divise les acteurs éducatifs sur tous ses aspects sauf sur un seul : les dispositifs actuels ne sont pas satisfaisants. Si l’application informatique permet au moins de faire progresser le débat sur ce sujet, ce sera déjà une victoire.
photo : albertogp123 via photopin cc

Tags: , , , , ,

Article du on Samedi, avril 27th, 2013 at 13:37 dans la rubrique apprendre, enseignement supérieur, MOOC, utilisation ressources numériques. Pour suivre les flux RSS de cet article : RSS 2.0 feed. Vous pouvez laisser un commentaire , ou un trackback sur votre propre site.

18 commentaires “L’évaluation automatique ? Quelle horreur ! (Quoique…)”

  1. L’évaluation automatique ? Quelle ... dit:

    [...] Comment faire pour évaluer les travaux de plusieurs milliers d’étudiants à la fois ? Voilà la question qui se pose quotidiennement aux instigateurs de MOOCs (voir le billet de Matthieu, doctorant à l’ENS, si vous ne savez toujours pas ce que signifie cet acronyme). Mais pas à eux seulement : en première année de fac de médecine par exemple, on est habitué à des cohortes de plusieurs milliers d’étudiants; par exemple, plus de 5 000 étudiants de première année à la fac de médecine de Lyon 1  [...]

  2. Gilles Le page dit:

    Merci Christine pour cet article qui répond à certaines de mes questions ;-) … Et érafle certaines de mes certitudes :-D

  3. L’évaluation automatique ? Quelle ... dit:

    [...] Comment faire pour évaluer les travaux de plusieurs milliers d’étudiants à la fois ? Voilà la question qui se pose quotidiennement aux instigateurs de MOOCs  [...]

  4. L’évaluation automatique de plusie... dit:

    [...] Comment faire pour évaluer les travaux de plusieurs milliers d’étudiants à la fois ? Voilà la question qui se pose quotidiennement aux instigateurs de MOOCs  [...]

  5. Le blog de Christine Vaufrey » Blog Archi... dit:

    [...]   [...]

  6. L’évaluation automatique ? Quelle ... dit:

    [...] Comment faire pour évaluer les travaux de plusieurs milliers d’étudiants à la fois ?  [...]

  7. L’évaluation automatique ? Quelle ... dit:

    [...] Comment faire pour évaluer les travaux de plusieurs milliers d’étudiants à la fois ? Voilà la question qui se pose quotidiennement aux instigateurs de MOOCs.  [...]

  8. sevrin31 dit:

    Christine,
    Je n’ai pas pu participer au MOOC ITYPA,(grr!! si j’avais eu l’information !) par contre j’ai participé au MOOC gestion de projet. Nous sommes à la phase 3 , le certificat par équipe.
    Je participe à ce groupe en tant qu’animateur, et évidemment j’essaye de fédérer ds compétences autour de moi . Le projet : création d’un mooc régional.

    Bref, compte tenu de ce que j’ai pu lire vous concernant, on ne va pas y aller par quatre chemins (je n’ai pas le temps d’argumenter, sauf 1, un mooc régional sans votre présence ?) j’aimerais que vous nous rejoignez en tant que consultant,
    premier Hangout ce soir à 19h!
    Mon mél:
    sevrin31@gmail.com

    si, si c’est sérieux !

  9. L’évaluation automatique ? Quelle ... dit:

    [...]   [...]

  10. L'évaluation automatique ? Quelle horreu... dit:

    [...] Et même, le quiz à correction automatique. Les LMS … Il souligne que la rapidité des retours sur les travaux évalués est considérée par de nombreux étudiants comme une aide importante à l'apprentissage.  [...]

  11. Services Premium pour les MOOC: le tutorat | La révolution MOOC dit:

    [...] d’énormes progrès, et edX développe des outils de correction automatique de copie (cf. le billet de Christine Vauffray). Par ailleurs, il est possible d’aller très loin avec de simple QCM [...]

  12. MOOC: une typologie des méthode d’évaluation | La révolution MOOC dit:

    [...] des examinateurs professionnels et celles attribuées par le programme. Nous vous renvoyons à l’article de Christine Vauffrey pour un approfondissement de la [...]

  13. Le blog de Christine Vaufrey » Blog Archi... dit:

    [...] Comment faire pour évaluer les travaux de plusieurs milliers d’étudiants à la fois ? Voilà la question qui se pose quotidiennement aux instigateurs de MOOCs (voir le billet de Matthieu, doctorant à l’ENS, si vous ne savez toujours pas ce que signifie cet acronyme). Mais pas à eux seulement : en première année de fac de médecine par exemple, on est habitué à des cohortes de plusieurs milliers d’étudiants; par exemple, plus de 5 000 étudiants de première année à la fac de médecine de Lyon 1. La masse n’est donc pas exclusivement réservée aux cours tout en ligne; certains cours en présence doivent hélas composer avec cette donnée cruciale, et il y a bien longtemps que les enseignants de Médecine ont mis au point des outils leur permettant d’évaluer rapidement les travaux de leurs étudiants.  [...]

  14. Article 2 | elearningveilleblog dit:

    […] [2] Voir le billet du blog de Christine Vauffrey  publié à ce sujet le 27 avril 2013 : http://blog.educpros.fr/christine-vaufrey/2013/04/27/levaluation-automatique-quelle-horreur-quoique/ […]

  15. Les procédures d’évaluation des étudiants | elearningveilleblog dit:

    […] [2] Voir le billet du blog de Christine Vauffrey  publié à ce sujet le 27 avril 2013 :http://blog.educpros.fr/christine-vaufrey/2013/04/27/levaluation-automatique-quelle-horreur-quoique/ […]

  16. Le blog de Christine Vaufrey » Blog Archi... dit:

    […]   […]

  17. MOOCs : une révolution pédagogique ? | moocsebdcloms dit:
  18. MOOCs : une révolution pédagogique ? | moocsebdcloms dit:

Laisser un commentaire