Dans ce billet, je vais vous parler des test adaptatifs. Un tel test vise à adapter automatiquement le niveau des exercices proposés au niveau supposé de l’apprenant. En anglais, on parle de « computerized adaptive testing » (ou CAT). Cela peut relever de l’intelligence artificielle, mais pas nécessairement.
Imaginons que l’on ait à notre disposition un nombre de questions limité que l’on peut poser par apprenant (un examen en temps limité par exemple), selon une logique de test de positionnement. C’est souvent utilisé dans le cadre de ce que l’on appelle l’évaluation diagnostique. Classiquement, chaque étudiant passe à travers la même séquence de questions, données ou non dans le même ordre. A l’inverse, qu’est ce qu’on va faire avec un test adaptatif? Il va y avoir une forme d’arbre de décision. Imaginons qu’à la question 1 vous avez une réponse juste. Mieux vous répondez, plus l’on vous met des questions difficiles et inversement, moins bien vous répondez, plus l’on vous expose à des questions faciles. L’idée est de plus en plus populaire. On la trouve dans des tests internationaux. Dans le GMAT par exemple, que l’on exige souvent dans le monde anglo-saxon pour pouvoir s’inscrire à des formations académique. Une telle logique est impossible ou très difficile à faire sur papier, vous vous en doutez.
En France, c’est plutôt dans les examens de type médecine que ça se passe, de ce que j’ai compris. Par contre, dès que l’on utilise cette démarche à l’échelle nationale, se posent des problèmes d’équité. Imaginons qu’il y ait des dysfonctionnements de WiFi dans une salle à Bordeaux, mais pas à Paris. Cela peut gêner certains apprenants puisque les moteurs d’adaptation, selon leur paramétrage, peuvent fonctionner différemment. Des candidats peuvent se retrouver pénalisés simplement parce que le Wi-Fi est médiocre. C’est une petite anecdote, mais intéressante malgré tout pour comprendre les intérêts et les risques liés aux tests adaptatifs.
En termes d’avantages liés à l’adaptation, il y a ce que l’on pourrait appeler « l’aplatissement de la courbe des notes ». Imaginons que l’on soit dans un examen de médecine fondé sur des quiz, où votre rang détermine le reste de votre vie, et ne sont reçus que les 53 premiers. Comme dans tout concours, le rang constitue l’alpha et l’omega. Prenons les candidats dont les rangs respectifs sont 53 et le 54. Imaginons une séquence linéaire d’exercices (la vidéo peut aider à comprendre à ce stade, car j’y représente des courbes). En fin de compte, on a souvent du mal à séparer les apprenants en fonction de leur niveau, c’est à dire que 53 et 54 vont être très proches en termes de scores. Et peut être qu’untel a perdu un rang ou deux, simplement pour être allé chercher un mouchoir dans son sac. Il perd un rang et sa carrière est complètement changée. Il y a une part un peu d’aléatoire dans tout examen, évidemment, mais qu’on va essayer de la diminuer avec le test adaptatif.
Quand je dis que ça va « aplatir la courbe des notes », cela signifie que la distribution des notes va permettre de mieux distinguer l’apprenant n et l’apprenant n+1, ou 53 et 54, en fonction de leur niveau. Pourquoi? Parce même si on a un nombre de questions identique pour les deux candidats, on va utiliser des questions permettant de séparer les gens grâce à l’adaptation du niveau de difficulté de l’exercice au niveau de l’apprenant. Cela résulte en une meilleure sélection, plus juste.
Est ce que c’est de l’IA? Cela dépend. Premier cas de figure : il n’y a pas d’évolution du comportement de l’algorithme même quand les données s’accumulent : on a décidé en amont, à la main, de manière définitive et avec un expert, quel était le niveau de l’exercice?Finalement, peu importe le nombre de personnes qui vont réaliser cet examen, on ne fera pas bouger l’arbre de décision. Finalement, il reste stable parce qu’il a été créé à la main par des experts, puis simplement transposé dans le code. On ne peut pas du tout parler ici d’intelligence artificielle. Deuxième cas de figure, on est plus dans de l’IA : l’arbre de décision n’est pas statique, et il va y avoir un apprentissage machine machine. On va réévaluer le niveau de difficulté des exercices en fonction des réponses, via la théorie de la réponse aux items par exemple, ce qui relève du machine learning.