“L’algorithme local”, c’est toi.

La réforme Parcoursup impose aux enseignants des filières non sélectives de trier les dossiers des bacheliers candidats. Ce tri soulève des inquiétudes légitimes : Quels sont ces mystérieux “algorithmes développés par les établissements” dont parle la Ministre ? La mise en demeure de la CNIL sur APB sera-elle suivie  d’effet ? Combien de temps va prendre l’évaluation des dossiers à la  DSI et aux enseignants ? Les lettres de motivation, pardon les “projets de formation motivés”, seront-ils vraiment lus ? Un coach orientation est-il vraiment indispensable ?

Finalement, la page Admission postbac est-elle réellement définitivement tournée ?

C’est l’occasion de partager l’expérience acquise en IUT, filière sélective, où nous avons l’habitude de traiter un grand nombre de dossiers et surtout de les classer. L’objet de ce billet est de donner quelques astuces pour évaluer les candidatures dans l’objectif de maximiser la réussite des étudiants recrutés.

Il est important de noter que la suite est issue d’une expérience particulière, le DUT, dans une filière particulière, l’informatique. Tout ne saurait revêtir un caractère général.

APB est mort, vive APB ?

APB était constitué d’un algorithme central d’affectation des bacheliers, qui est remplacé par un système interactif dans Parcoursup. Mais APB c’était aussi une interface d’aide à la décision, qui permettaient aux équipes pédagogiques de trier les dossiers de candidatures. Il est peu probable que cette interface soit substantiellement modifiée car c’est une machinerie complexe et qui fonctionnait bien. C’est donc de cette partie là que nous allons discuter.

Si tous les documents officiels ont été effacés du portail principal post-bac, on peut encore trouver un petit manuel technique fourni par l’académie de Nantes qui montre les différentes fonctionnalités de cette interface et comment les utiliser. Les images utilisées ici en sont issues.

Les “algorithmes développés par les établissements” : de simples moyennes pondérées.

Première étape pour classer un millier de dossiers de candidatures : calculer une moyenne pondérée unique, qui permettra de faire un premier tri grossier. C’est indispensable face à un tel volume d’information. Pour ce faire, l’interface permet de déclarer un coefficient pour chaque matière de chaque année. On va par exemple pouvoir mettre toutes les matières à 1, sauf Mathématiques de terminale à 10 et Mathématique de première à 5.

Ce jeu de coefficients peut être défini indépendamment pour chaque filière du bac. Mais on peut également ajouter des bonus/malus en valeur absolue en fonction de la filière, ce afin d’interclasser les dossiers si l’on estime, par exemple, que 11 de moyenne dans telle filière n’est pas équivalent à 11 dans telle autre.

Pour le premier classement, il est inutile de se lancer dans un système de pondération complexe. Il parait raisonnable d’identifier quelques matières critiques et de leur donner une forte pondération pour toutes les filières générales. Il faudra aussi un jeu de pondération pour les bac techno et pro, qui ont des matières particulières.

À l’issue de la première expérience, il sera possible de chercher des corrélations entre les notes du lycée et les taux de passage/redoublement/abandon pour tenter d’obtenir un jeu de pondération plus précis. Cependant, nous n’y sommes pas arrivés : statistiquement, la seule corrélation solide se limite à la note de Math de terminale, ce que nous avons refusé de faire.

En revanche, le bonus/malus en fonction de la filière est très délicat à fixer. Les différences entre bacs rendent très difficile l’interclassement. Les taux précis de réussite par filière, souvent évoqués, ne disent rien sur les chances de réussite individuelle des candidats. Il faudra donc au début se résoudre à fixer une valeur arbitraire, et la compenser par l’examen individuel du dossier, puis affiner la valeur arbitraire avec l’expérience.

L’examen individuel des dossiers

Une fois la moyenne unique calculée, tous les dossiers se retrouvent triés automatiquement. C’est là que les choses difficiles commencent, car il faut regarder tous les dossiers, un par un, pour :

• vérifier la moyenne calculée automatiquement : il peut par exemple manquer des notes, ce que le système détecte mais qui nécessite une intervention manuelle ;
• ajouter des bonus/malus manuels en fonction des pièces jointes (voir plus loin) ;
• forcer la moyenne à une note arbitraire : 0 pour signifier “à absolument ne pas prendre” (erreur d’orientation), 20 pour “à absolument prendre” (certitude de réussite ou pari, malgré les notes) ou encore une note décidée pour interclasser un dossier qui n’est pas évaluable selon la procédure standard.

Les bonus/malus manuels sont des points ajoutés ou enlevés à la moyenne unique. De fait, ils vont faire monter/descendre le dossier dans le classement effectué automatiquement. Ces points sont donc inutiles pour les candidatures dont le classement de base implique une certitude dans l’admission ou un refus. Cependant, il faut tout de même les regarder rapidement, surtout les certitude de refus, pour détecter d’éventuels cas particuliers ou erreur de moyenne.

En revanche, les bonus/malus sont fondamentaux pour les dossiers qui sont dans une zone d’incertitude. Cette zone dépend fortement du contexte, et ne peut être connue qu’empiriquement, tout comme le nombre de points maximal à appliquer à la moyenne pondérée brute. Il est donc indispensable d’étudier les recrutements d’une année sur l’autre pour savoir quels sont les dossiers qui doivent être fouillés en profondeur, et combien de points doit représenter le bonus/malus.

Organisation

L’examen individuel des dossiers est une tâche très lourde, impossible sans y associer la totalité de l’équipe pédagogique. Il faut donc fixer un quota de dossiers par enseignant titulaire, et prévoir que quelques enseignants en fassent plus pour rattraper ceux qui en feront moins.

L’interface permet de se connecter avec des identifiants individuels, ce qui permet de savoir qui a étudié quel dossier pour obtenir d’éventuelles précisions. Utiliser un identifiant commun est donc à proscrire. Ceci étant dit, étudier des dossiers à plusieurs est difficile et nécessite un cadrage pour limiter la subjectivité. C’est ce que nous allons voir dans la suite.

Examen des bulletins scolaires

Globalement, les bulletins sont peu utiles. Les appréciations des enseignants sont souvent trop peu unanimes pour en tirer de réelles conclusions. Le même élève va être attentif dans un cours et indiscipliné dans l’autre. “Des progrès formidables en musculation” ne dit pas grand chose sur les chances de réussite dans un parcours en informatique, mais “n’écoute pas en cours” n’en dit pas plus, car on ne sait pas si l’élève devenu étudiant ne se passionnera pas soudainement.

Ceci dit, si l’équipe pédagogique accorde de l’importance à la discipline scolaire, il est possible de définir un bonus/malus en fonction des appréciations de comportement, pour favoriser les élèves studieux ou défavoriser les élèves perturbateurs.

Reste la question qui fâche : faut-il regarder le lycée d’origine (qui est écrit partout) ? La réponse vaudrait un billet complet.

Examen des avis de poursuite d’étude

Consacrés avec la “fiche avenir”, les avis de poursuite d’étude sont notoirement inutiles lorsqu’il s’agit d’évaluer les chances de réussite d’une candidat. Il est tout simplement impossible pour une équipe pédagogique du lycée de connaître les dizaines de milliers des filières universitaires, alors qu’un même bachelier a des chances de réussite différentes d’un établissement à l’autre, d’un département à l’autre. Comment espérer cela des enseignants du secondaire, alors-même qu’aucun universitaire ne connait la totalité des formations suffisamment pour savoir si un bachelier peut y réussir. En réalité, nous n’arrivons même pas à produire des “attendus” clairs et précis, évaluables, pour nos propres formations.

Ajoutons que d’un lycée à l’autre, d’une classe à l’autre, les recommandations peuvent varier du tout au tout pour des profils d’élève très similaires. Enfin, il arrive ponctuellement de tomber sur des dossiers à refuser avec certitude, conclu par “favorable” pour votre filière, ce qui ruine nécessairement la crédibilité globale du dispositif.

Sur cet aspect, on peut recommander de contrôler la pertinence des avis de la “fiche avenir” avec les taux de réussite réels, et en cas d’inadéquation, même pour un seul étudiant, de ne simplement pas regarder ces avis. Le pendant est une recommandation auprès des équipes pédagogiques du secondaire de ne pas perdre du temps à faire une chose impossible.

Examen du C.V.

Les C.V. des lycéens sont globalement tous identiques, et relativement vides, ce qui n’a rien d’étonnant. On peut considérer que c’est un exercice important pour s’insérer dans la vie professionnelle, mais en ce qui concerne l’évaluation des chances de réussite d’un bachelier dans une filière universitaire, sauf cas particuliers, les C.V. n’apportent rien de très pertinent, surtout depuis qu’ils sont normalisés par le formulaire de saisie sur la plateforme.

Si avis de poursuite d’étude et C.V. ne sont pas directement pertinents, on peut tout de même les intégrer dans des points d’appréciation globale, qui permettent une marge de subjectivité à l’examinateur. Reste à décider de l’importance de cette subjectivité dans la totalité des points de bonus/malus.

Examen du “projet de formation motivé”

Le projet de formation motivé est décrit ainsi sur la plateforme Parcoursup : “Exposez les raisons pour lesquelles vous souhaitez être candidat à cette formation et cette spécialité. Décrivez votre projet. Indiquez les raisons qui motivent ce choix d’orientation, les qualités indispensables, vos forces pour réussir, ainsi que vos points faibles”. Cette description est strictement identique à celle de la lettre de motivation sur APB. Néanmoins, les candidats devraient être limités à 1500 caractères sur Parcoursup.

D’expérience, et sauf formations particulières, les lettres de motivation sont globalement inutilisables pour évaluer les chances de réussite d’un étudiants. En premier lieu, elles sont extrêmement stéréotypées. Peut-être est-ce en lien avec la multiplications des ateliers de rédaction de lettre de motivation, ou celle des sites de conseil en ligne présentant des informations terriblement génériques. Peut-être est-ce aussi dû à une stratégie d’optimisation qui consiste à bien travailler un patron de lettre de motivation générique, déclinée sommairement pour chaque candidature, plutôt qu’à faire de multiples lettres spécifiques moins bien travaillées.

Ensuite, il est impossible de savoir si une lettre de motivation est réussie grâce à la motivation, ou grâce à des compétences en conviction. En réalité, la lettre de motivation n’évalue que la capacité à rédiger une lettre de motivation, ce qui, dans la plupart des cas, ne donne aucune indication sur les chances de réussite universitaire. Nous avons pu le constater, et c’est pourquoi, dans nos demandes, nous avons remplacé la lettre de motivation par une pièce complémentaire.

Examen des pièces complémentaires

Suite au constat d’inutilité des lettres de motivations, nous avons décidé de les remplacer par un questionnaire ciblant les choses que nous cherchions dans ces lettres. Grossièrement, nous sommes partis sur l’idée que les candidats étaient motivés à suivre notre formation (ils candidatent après tout), mais qu’ils pouvaient se tromper à propos de cette formation. C’est donc ce que nous avons cherché à identifier, avec un questionnaire vérifiant les connaissances du candidat concernant notre formation (et en aucun cas les connaissances sur notre discipline).

Par exemple : “Parmis les matières suivantes, lesquelles ont le plus d’importance dans notre formation : base de données, graphisme, droit… ?”. Cela permet de savoir si le candidat sait qu’en DUT informatique, il y a du droit mais pas de graphisme. Nous demandons également au candidat s’il est venu à notre journée “portes ouvertes”, quelles sont ses réalisations particulières dans notre discipline, et d’expliquer son parcours s’il est atypique.

En fait, nous demandons explicitement les choses que nous attendons de trouver dans une lettre de motivation. Et pour chaque réponse significative, nous ajoutons un certain nombre de points bonus. Petite astuce : les candidats qui ne répondent pas au questionnaire n’ont manifestement pas lu les instructions pour candidater, ce qui évalue très bien leur motivation.

A noter que si cette approche a permis de simplifier et objectiver, et donc harmoniser, l’examen des dossiers, nous n’avons pas pour autant observé d’amélioration des taux de réussite. De plus, son intégration dans Parcoursup semble plus difficile que dans APB.

Décompte des points bonus

Une fois chaque partie évaluée, l’examinateur doit compter le nombre de points bonus/malus et l’appliquer à la moyenne pondérée, ce qui va faire monter ou descendre la candidature dans le classement. Il y a également un champ “commentaire”, qui permet de laisser des notes aux autres examinateurs, pour expliquer un traitement particulier ou demander un deuxième avis, par exemple.

Cette saisie peut-être source d’erreur si votre système de bonus/malus est trop compliqué. Par exemple, si vous évaluez 27 critères pour définir un bonus entre 0 et 2 points, le calcul de tête va être difficile. C’est pourquoi on peut recommander d’avoir un système de bonus/malus simple. Par exemple : 10 critères à 0,1 point, en évitant les points négatifs, pour un bonus/malus entre 0 et 1 point.

Vérification

Lorsqu’on enchaîne les examens de dossiers, on commet rapidement des erreurs : les pièces sont nombreuses et souvent sans surprise, la monotonie tue l’attention. Imaginez une pile de copies à corriger qui ne seraient même pas dans votre discipline. Ajoutons également les sensibilités personnelles des examinateurs incapables de se contrôler (personnellement, si je vois “jeux vidéo” écrit quelque part et “malin mais pénible” sur les bulletins, je mets  ultra-favorable partout sans réfléchir… Et ça ne marche pas tout le temps).

C’est pourquoi il faut un vérificateur, infaillible de préférence, pour systématiquement contrôler et harmoniser les évaluations de ses collègues. Ce vérificateur devra également traiter une part des dossiers, afin de comprendre ceux des autres. La tâche est telle que prévoir deux collègues n’est pas de trop, mais il faut qu’ils soient prêts à réellement travailler ensemble.

Finalisation

Une fois tous les mails de rappel envoyés, le rush pour terminer les centaines de dossiers restants, la vérification de tous les cas particuliers, il n’y a plus qu’à envoyer définitivement le classement. Après quoi, plus rien n’est modifiable. Pensez à exporter le classement et toutes les données, ce qui permettra d’affiner la méthode de tri d’une année sur l’autre.

Pour assumer tout ce traitement, on peut recommander de désigner un responsable Parcoursup par diplôme et, vu la charge, de faire inscrire cette responsabilité dans les référentiels d’activité des établissements.

Conclusion

Deviner les candidats qui vont réussir un diplôme est une chose difficile, sinon impossible. Tout au plus pouvons-nous essayer d’arranger un classement pour que les candidats qui connaissent la formation soient favorisés. Dans les faits, il est même impossible de refuser un candidat qui se trompe manifestement d’orientation s’il a les notes nécessaires, y compris dans les filières sélectives. Mais cet arrangement est long, fastidieux, et bien souvent son étude à posteriori, confronté aux réussites réelles, ne démontre pas une efficacité vraiment très supérieure à un simple tri des notes sans étude de dossier.

En ce qui concerne la constitution du dossier de base (bulletins scolaires, C.V. et lettre de motivation), l’expérience montre qu’elle est inappropriée à l’évaluation des chances de réussite dans la plupart des filières universitaires. Pour les filières où ces pièces revêtent de l’importance, la normalisation imposée par la plateforme limite leur intérêt, au point qu’il faudrait tout de même les ajouter en pièces complémentaires. C.V. et lettre de motivation devraient donc être en fait des exceptions, et on peut recommander aux équipes qui comptent réellement étudier les dossiers de réfléchir en premier lieu à un questionnaire précis permettant au moins de simplifier et objectiver l’examen des dossiers.

Si Parcoursup devait vraiment s’adapter à l’évaluation des chances de réussite des candidats, il faudrait d’une part supprimer les pièces par défaut, et d’autre part développer une interface permettant d’évaluer simplement et sans risque d’erreur les réponses au questionnaire proposé par l’équipe pédagogique.

Reste un question fondamentale : Est-ce que l’examen des dossiers cherche à évaluer les chances de réussite du candidat, ou son mérite à intégrer la formation ? Entre un candidat très méritant mais ayant peu de chances de réussir et un candidat dé-méritant mais ayant de grandes chances de réussir, qui vaut-il mieux admettre ? C’est une question très concrète, au cœur des processus de sélection et d’orientation, à laquelle le ministère aurait dû répondre. En cela, la réforme Parcoursup est une occasion ratée de se poser les bonnes questions.

 

Enfin, malgré un réel travail pour améliorer notre recrutement, nous n’avons jamais réussi à réellement améliorer les taux de réussite. Les étudiants restent imprédictibles, et c’est heureux. De plus, il est difficile de voir comment définir des “mesures d’accompagnement personnalisées” sur la base d’un dossier de candidature Parcoursup. Au mieux peut-on définir une fourchette arbitraire de notes ou considérer la filière du bac, mais cela n’a rien de personnalisé. En soi, Parcoursup n’est donc pas une mesure en faveur de la réussite des étudiants, la page APB n’est tournée qu’en façade, et on est loin de “remettre de l’humain” dans la procédure d’affectation.

En revanche, l’étude des dossiers est une charge plus que conséquente, qui s’applique aujourd’hui à tous les enseignants du supérieur. Or, le problème principal est celui de l’encadrement des cours et de la disponibilité des enseignants qui croulent déjà sous les charges diverses et subissent une pression constante à la publication. On peut se demander comment réduire encore le temps consacré à l’enseignement va améliorer les conditions d’étude et la réussite des étudiants.

 

Bonus 1 : vertu du classement inversé des candidatures

Curiosité de Parcoursup, il serait à l’avantage de tous les candidats que les filières non-sélectives rendent un classement strictement inverse à celui des résultat scolaires. En effet, la nouvelle procédure d’affectation va avoir un effet pervers : supposons une filière non-sélective avec une capacité d’accueil de 100 places ; supposons qu’elle reçoive 500 candidatures, triées essentiellement en fonction des notes ; les 100 premiers recevront donc un “oui”, et les 400 autres “en attente” le temps que les “oui” se décident. La filière étant non-sélective, le dernier des 500 candidats devra être admis, il va pourtant rester “en attente” le temps que tous les autres devant lui se désistent, ce qui est inutilement anxiogène.

Les filières non sélectives devraient donc rendre un classement strictement inverse aux résultats scolaires, de façon à ce que le dernier des bacheliers obtienne le plus rapidement possible un “oui” pour une filière qui de toutes façons devra l’accepter. C’est, à ce stade, le seul moyen d’éviter des lycéens allant à leurs épreuves du bac en n’ayant que des vœux “en attente”, avec un  impact évidemment négatif sur leur motivation.

Bonus 2 : résumé des recommandations

• Désigner un responsable Parcoursup, chargé d’organiser la procédure et d’affiner la procédure d’évaluation au fil des années (et demander l’ajout de cette charge dans les référentiels d’activités).
• Se répartir les dossiers équitablement, mais charger le responsable Parcoursup de contrôler et d’harmoniser les évaluations.
• Travailler empiriquement et sur la durée, en définissant une pondération et des bonus/malus arbitraires la première année, archiver les classements et les confronter systématiquement aux passage/redoublement/abandon de chaque candidat admis pour affiner les pondérations initiales au fil des années.
• Garder le système de bonus/malus le plus simple possible pour éviter les erreurs.
• Ignorer les pièces par défaut qui ne permettent pas d’évaluer les chances de réussite universitaire, et définir son propre questionnaire ciblé précisément sur ce que vous souhaitez évaluer.
• Décider collectivement de prendre en compte ou d’ignorer le lycée d’origine.
• Se contenter du classement automatique sans étude du dossier pour les filières non sélectives qui ne proposent pas de mesures d’accompagnement.
• Rester conscient qu’évaluer avec certitude les chances de réussite ou le mérite réel est impossible, et que tout ce travail se résume à détecter les erreurs d’orientation, les cas particuliers et les paris.

Retrouvez-moi sur twitter.