IA en éducation : quelques mots (et une vidéo) sur la théorie de la réponse aux items

Aujourd’hui, je continue sur le sujet méconnu qu’est l’IA en éducation; j’aimerais vous parler plus particulièrement de la théorie de la réponse aux items et de la caractérisation de banque d’items. En premier lieu, qu’est-ce que c’est un item ?  C’est un exercice corrigé automatiquement. Imaginons que vous ayez un quiz, où il faut identifier quel est le pays avec la plus grande population : Brésil, Allemagne ou Indonésie ? C’est un item. Ça peut être aussi bien une liste déroulante ou une réponse numérique, où il faut entrer un chiffre – le chiffre exact. Pourquoi une banque d’items est-elle importante ? Parce qu’elle permet aux étudiants de s’entraîner sur des dizaines voire des centaines d’exercices, et ce dans de nombreuses disciplines, tout en visant parfois un certain niveau de personnalisation. Certes, l’on n’acquière pas ainsi des compétences de haut niveau, mais c’est un début. En France, l’UNT Unisciel centralise la création de banques d’exercices sur des disciplines scientifiques, et qui totalisent des milliers et des milliers d’items. Sauf que voilà, avoir les questions et les réponses c’est bien. Avoir en plus une forme d’estimation automatisée du niveau de l’exercice, c’est mieux. Et c’est là qu’intervient la théorie de la réponse aux items, et la caractérisation des items dont j’aimerais vous parler.

On peut calculer pour tout item des métriques de « difficulté » sur la base des réponses des utilisateurs.  L’idée de ces métriques simples est de mieux comprendre, finalement, si l’item est bien adapté à votre public. En première instance, en l’absence de TRI, on mobilise souvent des métriques facilement comprises par les enseignants, les formateurs, comme le pourcentage de réussite, la vitesse à laquelle les apprenants  réalisent les exercices.  On peut par exemple comparer au sein d’un cours le taux de bonnes réponses pour différents quizz. C’est une approche finalement assez classique.

Mais l’on peut aller plus loin, par exemple en regardant au fil des années,  comment les taux de réussite aux exercices évoluent. Si l’on veut véritablement approfondir la question,  on ne peut faire abstraction de la théorie de la réponse aux items (TRI) ou Item Response Theory en anglais. Le problème du pourcentage de réussite est qu’il nous renseigne non seulement sur le niveau de difficulté de l’exercice, mais aussi en même temps sur le niveau de maîtrise des apprenants. Et l’on ne parvient pas à faire la part des choses. Si notre groupe d’étudiants est exceptionnellement doué, les taux de réussite vont être très élevés.  Doit-on en déduire que les exercices sont faciles ? Pas nécessairement. La TRI permet de prendre en compte le niveau estimé de l’apprenant quand l’on estime la difficulté d’un exercice. C’est ce que l’on appelle la calibration des items, et cela se fait une fois de temps à autre (une fois par an par exemple). Il faut néanmoins de grands groupes d’apprenants pour avoir assez de données, ce qui n’est pas toujours faciles à réunir. Dans les projets français qui se sont donnés cet objectif, Ecri+, en FLE, est un exemple intéressant. Une fois que l’on a le niveau de difficulté de l’exercice, et le niveau de maîtrise de l’apprenant, on apparie alors les uns et les autres pour que l’apprentissage soit le plus efficace possible. En somme, une petite IA simple (en vérité, c’est un algorithme de recommandation, tout au plus, relevant de l’apprentissage non supervisé).

Au passage, il peut être utile de comparer le niveau de l’exercice estimé de manière statistique, et celui estimé par son concepteur. Ce dernier va prendre des quiz et dire :  ça, c’est un quiz de niveau facile,  ça c’est un quiz de niveau difficile. Or les évaluations automatiques (qui nécessitent beaucoup de données néanmoins) peuvent ne pas aller dans le sens de l’enseignant.  Ce qui est intéressant et que je n’ai encore jamais vu, c’est qu’on peut alors « soustraire » les scores  de l’un et de l’autre,  et voir si, par exemple, sur une séquence, les exercices sont beaucoup plus difficiles  que ce que l’enseignant avait prédit, ou, à l’inverse, beaucoup plus faciles. Voilà une application de la TRI qui ferait réfléchir les enseignant.e.s et qui permettrait d’aller au-delà du simple séquençage adaptatif des exercices, qui constitue l’un des objectifs principaux de la théorie.