Docs en stock : dans les coulisses de la démocratie universitaire

Parcoursup

Parcoursup : Transparence des algorithmes locaux vs. Secret des délibérations

Le texte final de la loi ORE, issu de la rédaction proposée par la ministre, instaure un régime d’exception à l’obligation générale de transparence et de communication des documents administratifs. Cela s’est essentiellement joué autour de deux amendements.

Transparence

D’abord, en décembre 2017, Cédric Villani a porté l’amendement 245 portant sur la loi Orientation et Réussite des Étudiants, qui dit la chose suivante :

La communication, en application des dispositions du code des relations entre le public et l’administration, du code source des traitements automatisés utilisés pour le fonctionnement de la plateforme mise en place dans le cadre de la procédure nationale de préinscription prévue au I s’accompagne de la communication du cahier des charges présenté de manière synthétique et de l’algorithme du traitement”.

Il introduit des garanties de transparence.

Mais, selon le Sénat, “ces garanties ont été vidées de leur substance par un amendement de dernière minute”.

Exception

En effet, en février 2018 lors des débats sur le projet de loi relatif à la protection des données personnelles, Frédérique Vidal a porté l’amendement 204, qui dit la chose suivante : “Afin de garantir la nécessaire protection du secret des délibérations des équipes pédagogiques chargées de l’examen des candidatures présentées dans le cadre de la procédure nationale de préinscription prévue au I, les obligations résultant des articles L. 311-3-1 et L. 312-1-3 du code des relations entre le public et l’administration sont réputées satisfaites dès lors que les candidats sont informés de la possibilité d’obtenir, s’ils en font la demande, la communication des informations relatives aux critères et modalités d’examen de leurs candidatures ainsi que des motifs pédagogiques qui justifient la décision prise.

Dans les faits, cela conduit à un régime d’exception, puisque certaines obligations n’ont plus à être satisfaites, et notamment celle du L. 312-1-3 : “les administrations publient en ligne les règles définissant les principaux traitements algorithmiques utilisés dans l’accomplissement de leurs missions lorsqu’ils fondent des décisions individuelles”.

Cet amendement, supprimé par le sénat et réintégré par l’assemblée à plusieurs reprises, a surpris les membres de la commission mixte paritaire :

M. Jacques Grosperrin, rapporteur. Nous avons eu un débat sur les algorithmes en commission, qui avait abouti à un avis plutôt défavorable. Nous souhaiterions pouvoir échanger avec vous sur ce sujet, madame la ministre.
De quoi s’agit-il exactement ? Pouvez-vous nous donner des informations complémentaires, en particulier sur la publication des algorithmes et la question de la transparence ?

Mme Frédérique Vidal, ministre. La publication des algorithmes est inscrite dans la loi : ce n’est pas le sujet ici. Cet amendement vise simplement à permettre à un candidat d’obtenir communication, dans le cadre d’une démarche individuelle, des raisons de la décision le concernant, tout en préservant le secret des délibérations des équipes pédagogiques, que le Conseil d’État a consacré il y a deux ans.

Considérant cette réponse, et considérant que le secret de délibération n’intervient que lors de l’examen individuel des dossiers, et non pas lors de la définition des algorithmes locaux, il peut sembler évident que ces derniers doivent bien être publiés en ligne pas les établissements d’enseignement supérieur.

Confusion

Pourtant, cet amendement a entouré cette question de confusion (voir NextInpact ici, ou . Le Monde en a même conclu que “Malgré le vote du Sénat, les députés ont suivi le gouvernement, afin de permettre aux établissements de ne pas dévoiler leur algorithme de classement des candidatures reçues via Parcoursup”. La confusion atteint même les présidences des universités, dont certains membres estiment que les algorithmes locaux sont couverts par le secret des délibérations.

A ce jour, aucune directive ministérielle n’est d’ailleurs donnée dans le sens de la publication et la confusion a encore été accentuée par la publication de l’algorithme national Parcoursup, sans son cahier des charges ni la structure de sa base de donnée. C’est ainsi que l’on a peut lire sur le site du ministère “rendre transparente l’intégralité de la procédure Parcoursup”.

Enjeux

Les enjeux sont grands autour de cette transparence.

Enjeu pédagogique

La loi Orientation et Réussite des Étudiants s’appuie sur le postulat qu’une meilleure orientation permettra d’améliorer la réussite des étudiants. Mais il ne faudrait pas réduire cette meilleurs orientation à une meilleure affectation. L’orientation passe aussi par la compréhension de son parcours, des raisons qui ont fait que telle filière étaient plus adaptée plutôt que telle autre. Et ces raisons doivent dépasser les résultats scolaires, les filières d’origine, ou le froid constat que trop de candidats sont mieux classés.

En matière d’orientation, il faut effectivement remettre de l’humain, et cela passe nécessairement par la publication, mais surtout l’explication, des algorithmes locaux.

Enjeu social

Les algorithmes se déploient à tous les niveaux de la société. Ils présentent des avantages indéniables, comme des risques non négligeables. Il faut faire la différence entre les algorithmes des entreprises, qui relèvent souvent du secret industriel ou du secret des affaires, et les algorithmes utilisés dans l’administration.

En conduisant à des décisions individuelles, ces derniers nous administrent. C’est donc l’essence même de la démocratie qui impose non seulement leur totale transparence, mais en détail et sous une forme intelligible. Accepter que des algorithmes totalement secrets prennent des décisions pour nous, c’est accepter une nouvelle société.

Candidater dans Parcoursup sans pouvoir connaître les algorithmes locaux revient à participer à un concours sans jamais pouvoir en connaître les épreuves. Il y a quelque chose kafkaïen en ça.

Enjeux politiques

Vu les contraintes juridiques qui entourent les commissions d’examen des vœux, nul doute qu’une trop grande transparence annoncée aurait était un frein à l’adoption de Parcoursup par la communauté universitaire, ne serait-ce que par la masse de travail nécessaire.

De plus, cette transparence peut conduire à une augmentation des contestations, non seulement en raison de critères possiblement illégaux, mais aussi en raison de critères nécessairement discutable. Beaucoup de décisions ne peuvent en réalité pas être fondée objectivement, et la plupart, si elles favorisent les uns, défavorisent les autres. On n’ose imaginer les conséquences d’un algorithme local, et donc du classement subséquent, qui viendrait à être déclaré illégal durant ou après l’affectation des bacheliers…

Enfin, dans une perspective économique, les algorithmes locaux peuvent s’apparenter à des “recettes secrètes” pour recruter les meilleurs étudiants. Il est alors naturel, pour chaque formation, de les protéger tels des secrets industriels, afin de garder une avance sur ses concurrents. 

Conclusion

A tous les niveaux et pour tous les acteurs, la transparence des algorithmes locaux est un véritable enjeu. De lourdes conséquences sont à attendre, qu’ils soient publiés ou gardés secrets. Néanmoins, il me semble qu’une publication accompagnée d’un effort conséquent d’explication pour que chaque bachelier puisse comprendre les raisons de son orientation est en réalité indispensable.

S’il faut remettre de l’humain, c’est bien ici. Et si ces algorithmes ne sont pas de bêtes machines à trier, alors il n’y a rien à craindre, les bacheliers sauront les comprendre et les respecter. La démarche de la réussite par l’orientation est au cœur même de la loi Orientation et Réussite des Étudiants, mais comment demander à un bachelier de réussir ainsi tout en le privant des moyens de comprendre la façon dont il a été orienté ?

Plus qu’une question de justice avec les candidats, la transparence des critères de sélection dans le supérieur est aussi une question politique, qui touche à l’organisation même de notre société :

« Plus discrète, une autre transgression décisive fut mise en place au début du XXe siècle : la prise en compte de la filiation dans les critères d’admission des principales universités du pays. Au moment de s’inscrire, les jeunes postulants bénéficient en effet d’un traitement de faveur lorsqu’un de leurs parents — généralement leur père — a fréquenté l’établissement. « En réservant des places d’office aux membres de la pseudo-aristocratie “de fortune et de naissance”, écrit l’essayiste Michael Lind, le droit de succession universitaire a introduit le serpent aristocratique dans le jardin d’Éden de la république démocratique.  »

Aujourd’hui, ces critères de sélection héréditaire (legacy preferences) sont en vigueur dans les trois quarts des cent universités américaines les mieux cotées, publiques et privées. Ils règnent également dans les cent meilleures écoles d’arts libéraux du pays. Outre les résultats scolaires, la couleur de peau, le sexe et l’origine géographique, ces établissements prennent en compte la famille des candidats, sans dévoiler le poids qu’ils accordent à chacun de ces critères.« 

Parcoursup : Petit manuel de réponse aux propositions à l’usage des candidats à l’enseignement supérieur

Ce petit manuel s’adresse aux candidates et candidats dans l’enseignement supérieur, qui doivent aujourd’hui, au jour le jour, renoncer aux propositions qui leur sont successivement faites pour n’en garder qu’une seule en permanence, qui finira par devenir leur affectation finale. La procédure et le calendrier sont parfaitement décrits dans le Mode d’emploi de la phase d’admission du ministère, dont la lecture et la compréhension sont indispensables. En complément, cette FAQ est très bien faite. Ce manuel présente donc ce qui ne l’est pas ailleurs : Quelles sont les erreurs à éviter ? Quelles sont les différentes stratégies de réponses ? Comment interpréter les réponses pour bien faire son choix ?

Les erreurs à éviter

Principalement, quatre erreurs doivent être évitées :

Précipiter son choix sans être en pleine possession de toutes les informations.

Rien ne vous oblige à accepter définitivement la première proposition qui vous sera faite, y compris si toutes les autres vous semblent inaccessibles. Tant qu’une réponse formellement négative n’est pas donnée, renoncer à une proposition en attente n’apporte aucun avantage.

Oublier de répondre dans le délai prévu.

Une absence de réponse dans le délai prévu revient à un renoncement à toutes les propositions, y compris celles encore en attente, ainsi qu’à une sortie définitive du système. Cependant, un délai de 5 jours a été ajouté pendant lequel il est possible de revenir dans le système et de récupérer ses propositions en attente. Cela conduit malgré tout à la perte définitive de toutes les propositions déjà reçues.

Oublier de systématiquement stipuler que l’on souhaite conserver toutes les propositions encore « en attente ».

Cette maladresse peut coûter cher, en transformant une décision temporaire « faute-de-mieux pour l’instant » en décision définitive, alors que d’autres propositions plus intéressantes peuvent encore arriver. Tant que la procédure n’est pas finie, il n’existe strictement aucune certitude quant aux propositions en attente. Y renoncer sans raison n’apporte donc aucun avantage.

Refuser l’unique proposition qui vous est faite.

Cette décision vaut sortie du système et revient à renoncer à toutes ses propositions en attente. De plus, la commission rectorale chargée de trouver une place aux candidats sans affectation pourra, pour cette raison, refuser de traiter votre cas ou le juger moins prioritaire.

Que faire en cas d’erreur ?

Si une de ces erreurs était commise, il convient de mettre sans délai un message dans la rubrique contact du site, et d’appeler  le numéro vert de Parcoursup : 0800 400 070. Il est préférable que l’erreur se fasse tôt le matin et en semaine, afin qu’elle puisse être corrigée rapidement, et surtout avant que d’autres candidats reçoivent les propositions refusées par erreur. Contacter directement le rectorat ou l’université peut également être envisagé. Si aucune démarche n’aboutissait, il resterait alors à saisir le médiateur de l’université. Un recours au tribunal administratif semble cependant exclu sur ces motifs, qui sont clairement prévus dans la loi.

Les stratégies de réponse

Il existe différentes stratégies de réponses, aucune n’étant globalement idéale.

A quel moment répondre ?

Chaque fois qu’une proposition vous est faite, vous disposez d’un certain délai de réponse : une semaine en début de procédure, et puis progressivement moins. Vous pouvez donc soit répondre tout de suite, soit attendre.

Le 25 juin, vous aurez la possibilité d’utiliser le « répondeur automatique ». Il est très fortement conseillé de le faire, cela vous enlèvera un poids et vous évitera des erreurs.

Individuellement, pour faire le meilleur choix, vous avez tout intérêt à répondre le plus tard possible. Plus vous attendez, plus vous recevrez de réponses, plus vous aurez d’informations pour faire votre choix. Attendre le dernier jour est donc la meilleure stratégie individuelle. Cependant, veillez à ne pas attendre les dernières heures, pendant lesquelles une saturation de la plateforme risque de vous faire perdre toutes vos propositions.

Individuellement, pour obtenir de nouvelles propositions plus rapidement, vous avez peut-être intérêt à répondre le plus tôt possible. Lorsque vous répondez, vous déclenchez un effet domino : votre place sera proposée au candidat suivant, qui répondra à son tour, ce qui libérera une place, ainsi de suite. Sans aucune garantie ni contrôle possible, il existe une possibilité que cet effet domino finisse par libérer une place pour vous. C’est un pari qui ne vous permettra pas d’obtenir de meilleures propositions, mais seulement peut-être de les obtenir plus vite. Il est déconseillé de le faire.

Collectivement, vous avez tout intérêt à répondre le plus tôt possible. Plus vite vous renoncez à des propositions, plus vite elle seront proposées aux candidats suivants dans la liste d’attente. Rester en attente est un stress qui est loin d’être négligeable, notamment dans cette période de préparation du bac. Or, les moins bien classés sont également les lycéens les plus en difficulté. Occuper le moins longtemps possible les listes d’attente est donc un réel service que vous rendez à vos camarades les plus en difficulté.

Que répondre avec une proposition qui vous convient ?

En matière d’orientation, la certitude est l’exception. Etre confronté à des choix que vous ne maîtrisez pas totalement est donc parfaitement normal. Mais que faire lorsqu’une proposition semble vous convenir ?

Individuellement, pour faire le meilleur choix, vous avez tout intérêt à conserver toutes vos propositions en attente. Le faire ne comporte aucun désavantage pour vous, et vous permettra de gagner du temps et d’obtenir peut-être de nouvelles informations permettant d’affiner votre choix ou même d’en changer. N’oubliez pas que plus la filière est demandée, plus la liste d’attente est longue, plus la proposition est tardive. Ainsi, les propositions les plus intéressantes peuvent être les dernières à arriver.

Individuellement, pour obtenir de nouvelles propositions plus rapidement, vous avez peut-être intérêt à renoncer à certaines propositions en attente. Pour la même raison exposée auparavant, renoncer à certaines de vos propositions est un pari qui ne vous permettra pas d’obtenir de meilleures propositions, mais seulement peut-être de les obtenir plus vite, ce qui peut être important pour préparer votre rentrée dans les temps.

Individuellement encore, pour préparer votre rentrée si la formation implique un déménagement, vous avez peut-être intérêt à accepter définitivement la proposition au plus tôt. Donner une réponse définitive, et par là même être fixé.e sur votre destination au plus tôt, vous donnera un avantage dans la préparation de la rentrée. Cet avantage se retrouve notamment dans les demandes de logements CROUS ou dans la recherche des meilleures locations, ou encore dans l’accès aux meilleurs emplois étudiant.

Collectivement, vous avez tout intérêt à renoncer à vos propositions en attente. Pour la même raison exposée auparavant, renoncer à vos propositions en attente permettra de faire avancer plus vite les listes d’attente, en faveur de vos camarades les plus fragiles. Il sera à leur avantage de considérer le renoncement, au moins aux propositions en attente qui vous intéressent le moins.

L’interprétation des réponses

Interpréter les réponses et propositions sera un réflexe que vous ne pourrez éviter. Voici quelques informations pour mieux vous y retrouver, en fonction de la réponse qui vous est faite :

« Oui »

C’est la réponse la plus agréable et la plus difficile. Il est très agréable d’être admis quelque part, mais cela va vous demander de faire des choix : choix entre les différents « oui » bien sûr, mais aussi choix sur les propositions encore en attente, et le choix d’accepter définitivement la proposition, au détriment de toutes celles qui sont encore en attente.

« Non »

C’est la réponse la plus dure et la plus facile. Ce n’est jamais agréable de se voir opposer un refus, mais cela limite l’embarras de votre choix. Ce serait une erreur d’interpréter un « non » comme « vous n’avez pas le niveau pour réussir ». Dans la majeure partie des cas, il signifie en réalité « nous avons trop de candidats et pas assez de places, il est donc inutile d’attendre pour rien », sans aucune autre forme de considération.

« En attente »

C’est une réponse inconfortable. La patience est votre seule arme. Il faut rester conscient de deux choses.

D’abord, votre rang dans la file d’attente n’est pas un indicateur parfait de vos chances d’admission. Vous pouvez parfaitement être classé.e 300/400 et finir par être admis.e, notamment dans les filières non-sélectives, mais pas seulement ; ou bien être 10/300 et finalement ne pas être admis.e.

Le rang du dernier admis est un indicateur trompeur : c’est le rang de l’an dernier, et il y aura de très fortes fluctuations imprévisibles. Par exemple : l’affichage d’un rang élevé pourra conduire de nombreux candidats à se désister, ce qui augmentera mécaniquement ce rang.

Toute conclusion à propos de votre rang dans la file d’attente n’aurait aucune base rationnelle : renoncer à un vœu parce que vous estimez que vous êtes de toutes façons trop loin pour l’obtenir serait objectivement une erreur.

Ensuite, le classement des candidatures reste très aléatoire, et dépend beaucoup plus du nombre de candidatures et du nombre de places, que de votre profil. Votre rang dans la file d’attente est donc un très mauvais indicateur de votre niveau ou de vos chances de réussite. Ce n’est pas parce que vous êtes classé.e 300/400 que vous ne réussirez pas, et ce n’est pas parce que vous êtes classé.e 10/300 que vous réussirez. Là encore, toute conclusion n’aurait aucune base rationnelle : accepter une proposition en regard de votre classement ne vous apporte strictement aucun avantage en terme de réussite. Ce serait objectivement une erreur.

Enfin, vous avez la possibilité de demander des informations sur la façon dont vous avez été classé.e, afin de mieux comprendre comment vous avez été orienté.e. Il existe deux informations distinctes : d’abord les commentaires émis lors de l’évaluation de votre dossier personnel par la commission d’examen des vœux, ensuite l’algorithme local utilisé pour classer toutes les candidatures.

« Oui si »

Cette réponse indique qu’il vous sera imposé une mesure d’accompagnement. Cependant, il faut savoir que la plupart des commissions d’examen des vœux ont attribué ces « oui si » sans connaissance de leur nature ni de leur moyens. Parfois, vous bénéficierez réellement d’heures d’enseignement supplémentaires adaptées à votre profil, parfois au contraire vos enseignements de première année seront simplement étalés sur deux ans, réduisant au final le nombre d’heures de cours que vous aurez par an. Ce type de mesure peut être un facteur d’échec si vous n’avez pas une très bonne autonomie de travail.

Il est donc crucial de vous renseigner sur la nature et les moyens des mesures d’accompagnement imposées par ce « oui si », afin d’essayer d’évaluer si elle conviennent réellement à votre profil, car ces mesures peuvent en réalité aussi bien être des vecteurs de réussite que d’échec.

Toute interprétation du « oui si » est donc risquée : cette réponse peut aussi bien représenter un avis réservé sur vos chances de réussite, qu’un encouragement à rejoindre la filière. Malheureusement, il est difficile sinon impossible de savoir à l’avance de quel « oui si » il s’agit vraiment.

Pour conclure

Le fonctionnement de Parcoursup est unique au monde. Nous ne disposons donc pas encore du recul et de l’expérience nécessaire pour évaluer les conséquences des différentes décisions que vous pouvez prendre. Les propositions que vous recevrez, et notamment votre rang dans les listes d’attente ou les « oui si », ne peuvent pas être interprétés de façon objectivement sûre. Il peut être préférable de totalement les ignorer pour baser votre choix uniquement sur votre envie, à l’exclusion de toute autre forme de considération.

Pour limiter votre stress, il est recommandé de hiérarchiser vos vœux dès l’ouverture de la phase d’admission. Pour cela, n’établissez surtout pas une stratégie compliquée qui sera forcément inefficace. Restez simples :

  1. Éliminez tous les vœux dont vous êtes certains que vous les refuserez même si vous n’avez rien d’autre (pour des raisons de distance géographique par exemple).
  2. Classer les vœux qu’il reste en considérant en priorité votre envie : vous ne craignez rien à classer en premier un vœu sur lequel vous êtes loin dans la file d’attente, profitez-en.
  3. En cas d’égalité entre deux vœux, considérez un autre critère, comme la distance géographique ou l’avis de vos proches et de votre équipe pédagogique.

Notez ce classement quelque part, et respectez-le jusqu’au bout, surtout si vous changez régulièrement d’avis. Changer d’avis prouve qu’il n’y a pas de bonne décision pour vous. Vous ne pouvez pas prédire l’avenir, c’est donc un pari que vous faites : soyez-en simplement conscient.e.

Il faut également garder en tête deux choses importantes :

Tout d’abord, Parcoursup est conçu comme un processus long. Il est tout à fait normal d’être en attente, y compris sur la totalité de ses vœux, y compris pendant longtemps. D’un point de vue scientifique, cela ne veut strictement rien dire sur vous, votre niveau, vos chances d’être admis et encore moins vos chances de réussite. La patience est votre seule arme. N’oubliez pas que l’accès à l’Université reste de droit pour tout titulaire d’un baccalauréat : en cas de refus au final de tous vos vœux, saisissez la commission rectorale sans la moindre hésitation, et soyez insistant pour obtenir une formation qui vous convient.

Ensuite, si vous postulez pour la première fois dans l’enseignement supérieur, ne cédez pas à la facilité de croire que vous êtes en train de jouer votre vie. Notre système de formation supérieure est vaste, divers, et (encore) en majorité conçu sur la réorientation. Les possibilités de rebondir sont nombreuses et accessibles, et l’Université reste encore ouverte à toutes et à tous. Vous n’aurez peut-être pas votre « choix du cœur », ni même votre « choix de la raison »… Mais une chose est sûre : vous n’avez encore strictement aucune idée de ce que vous allez trouver. Vous avez autant de chances de vous plaire dans un choix par défaut que d’être déçu.e dans votre choix prioritaire. Restez curieux.se, et vous serez toujours surpris.

Trouver sa voie, réussir ou rater sa vie, ne se fait pas sur un clic dans une interface. C’est un effort de tous les instants, et une plateforme d’accès à l’enseignement supérieur n’y changera rien.

 

Photo by Javier Allegue Barros on Unsplash

Parcoursup : les universités font leur marché

Et si la véritable évolution de Parcoursup était l’entrée des universités dans le marché de l’enseignement supérieur ?

C’est en tous cas l’idée qui est présentée par le président de l’Université de Poitiers Yves Jean : « Le Plan étudiants va créer un jeu de concurrence entre les universités ». Le sujet est d’ailleurs abordé ouvertement de temps à autres, par exemple : « comment l’équilibre offre-demande – autrement dit le marché du supérieur – a été reconfiguré par Parcoursup », ou encore « Comment la globalisation bouleverse l’université ».

Plutôt que se demander si, oui ou non, les universités devraient participer ouvertement à un marché de l’enseignement supérieur, regardons plutôt de quoi il s’agit, comment cela se passe, et quels sont les conséquences prévisibles à court terme.

Vers une concurrence pure et parfaite…

Un état de marché est défini par une concurrence se rapprochant le plus possible du concept théorique de « concurrence pure et parfaite » qui doit satisfaire cinq conditions :

  1. l’existence d’un grand nombre d’agents économiques indépendants les uns des autres : alors que les candidats sont naturellement indépendants, Parcoursup renforce l’autonomie des universités en permettant à chaque établissement et formation de développer sa propre stratégie de recrutement ;
  2. l’inexistence de barrières qui empêchent d’entrer et de sortir de ce marché : Parcoursup a vocation à intégrer toutes les formations du supérieur et intègre déjà de nombreuses formations privées, dont le développement est impressionnant ;
  3. la disposition d’une information parfaite et complète : Parcoursup améliore sensible l’information donnée aux lycéens, mais en fait aussi à la totalité des acteurs, qui pourront aussi se référer aux nombreux classements des formations et établissement (par exemple ici, ou , et même maintenant des méta-classements) ;
  4. l’homogénéité des produits : dans Parcoursup, toutes les formations sont vues sous l’angle des mêmes indicateurs clés, et l’arrêté Licence vise à créer un nouveau cadre à ces produits ;
  5. la mobilité des facteurs (capital, travail) qui concourent à la production des biens ou des services : même si ce n’est pas directement lié à Parcoursup, développer la mobilité dans l’enseignement supérieur est une priorité politique.

Le site Parcoursup fournit d’ailleurs un outil de recherche puissant dans lequel les formations ont chacune leur fiche produit :

… vue depuis les formations…

Au sein des universités, les formations sont pilotées sur la base de différents indicateurs clés de performance, appelés KPI (Key Performance Indicators), dont les principaux sont :

  • Taux de pression : mesure l’attractivité de la formation par un rapport entre le nombre de candidatures et la capacité d’accueil, 100% est une attraction maximum et 0% une attraction nulle (voir le classement national).
  • Taux de réussite  : mesure la réussite des étudiants par le rapport entre le nombre d’étudiants diplômés et les effectifs, 100% est une réussite totale et 0% un échec total.
  • Taux d’insertion : mesure l’insertion à la sortie de la formation par le rapport entre le nombre de diplômés et le nombre d’étudiants qui trouvent un emploi ou une poursuite d’étude, 100% une insertion de tous les étudiants et 0% une insertion nulle.

Au plus ces trois indicateurs sont élevés, au plus la formation sera considérée comme performante. Ils sont donc cruciaux dans les négociations qui président à la répartition des moyens au sein des universités : un poste d’enseignant sera plus volontiers attribué à une formation présentant des taux de pression, réussite et insertion élevés, qu’à une formation peu demandée, où les étudiants échouent ou se retrouvent au chômage. Cependant, les formations ont peu de prises sur ces indicateurs :

  • augmenter le taux de pression par la publicité comporte un coût non négligeable et les résultats dans le secteur public sont jusqu’ici peu probants ;
  • augmenter le taux de réussite peut se faire en baissant les exigences, mais cela conduit à une baisse des autres indicateurs, ou en améliorant l’enseignement, mais cela nécessite des moyens dont la perspective est politiquement écartée ;
  • l’insertion dépend essentiellement de facteurs extérieurs à la formation, comme le nombre d’emplois disponibles dans le secteur de la formation…

En revanche, Parcoursup permet maintenant de jouer sur un levier très efficace : la capacité d’accueil. Regardons, sur un cas concret, les effets qu’on peut en attendre.

L’impact de la capacité d’accueil sur les KPI

Soit une formation ayant 200 dossiers déposés, 100 candidats qui viendraient vraiment, 35 places en insertion potentielle et une répartition des effectifs comme suit :

  1. 15 candidat issus d’une filière montrant 90% de réussite ;
  2. 70 candidats issus d’une filière montrant 40% de réussite ;
  3. 15 candidats issus d’une filière montrant 10% de réussite.

On peut aisément calculer ses principaux indicateurs clés : 50% de taux de pression, environ 40% de taux de réussite et 80% de taux d’insertion.

En jouant sur sa capacité d’accueil grâce à un algorithme local qui classe les candidatures en fonction des taux de réussite de leur filière d’origine, la filière dispose d’un levier d’action direct sur ses KPI :

La réduction de la capacité d’accueil permet de réduire le nombre d’étudiants ayant peu de chance de réussite ainsi que le nombre de diplômés, et d’ainsi améliorer tous les indicateurs. On pourra d’ailleurs fixer cette capacité d’accueil en fonction d’un objectif particulier. Par exemple, 68 places permettront d’avoir 100% d’insertion, alors que 15 places permettront en plus d’avoir un taux de réussite de 90% :

Il faut noter ici que cette approche néglige d’autres effets de la réduction des effectifs, comme l’augmentation du taux d’encadrement, mais aussi la réduction des budgets alloués par l’université, qui sont souvent fonction du nombre d’étudiants. Cette réduction pousse naturellement à trouver d’autres sources de financement.

Au final, la réduction des capacités d’accueil est une réponse efficace aux manques de moyens. Indépendamment les unes des autres, toutes les formations ont donc intérêt à progressivement réduire leur nombre de places… D’où la nécessité d’une régulation.

… Mais sur un marché régulé…

Si Parcoursup est une avancée selon le cadre théorique d’un marché parfait, totalement dérégulé, et que le choix rationnel sur le plan économique pour une formation est de réduire sa capacité d’accueil, il existe donc un risque d’exclusion des étudiants les moins « rentables » du point de vue des KPI, notamment depuis que la baccalauréat n’est plus le seul critère pour intégrer une filière universitaire. C’est pourquoi il est nécessaire d’établir un organe régulateur avec des pouvoirs forts, notamment sur les acteurs publics.

C’est le rectorat qui a été choisi pour jouer ce rôle de régulateur, et c’est pourquoi le pouvoir de fixer les capacités d’accueil a été transféré des présidents d’université aux recteurs. C’est aussi pourquoi le rectorat a le pouvoir de fixer les quotas minimum de boursiers, ou encore les quotas maximum de candidats hors-académie, dont le pourcentage est l’indicateur principal d’attractivité.

Le site statistique.parcoursup.fr permet d’ailleurs de visualiser et comparer l’attractivité de chaque région, ville, établissement et formation. Par exemple, voici l’attractivité régionale de Panthéon Sorbonne et l’I.U.T de Saint Denis :

    

Ainsi, le rectorat est garant que les formations ne réduiront pas brusquement leur capacité d’accueil, tout en évinçant les candidats boursiers au profit des candidats hors académie afin d’avoir des effectifs rentables à tout point de vue. Notons que les formations privées ne sont pas soumises à cette régulation, ce qui constitue une imperfection du marché, tout comme la non transparence des algorithmes locaux, qui contrevient à la mise à disposition d’une information parfaite et complète. Cette non transparence de la recette pour sélectionner les meilleurs étudiants peut d’ailleurs aussi se comprendre sous l’angle du secret industriel.

Quoi qu’il en soit, l’accès à l’Université est garantie par la loi à tous les bacheliers, ce qui est un frein majeur à la concurrence entre les formations, même si Parcoursup leur permet aujourd’hui de sélectionner leurs étudiants. C’est pourquoi ce jeu de concurrence se fera plus aisément avec le développement de filières d’excellence.

… Qui crée donc sa propre concurrence en interne…

Les filières d’excellence, parfois appelées renforcées ou double-Licences par exemple, se sont largement développées ces dernières années. Si elles occupent le même marché que les filières normales, elle se caractérisent par une sélection accrue des étudiants, légitimée par des particularité pédagogiques souvent réelles. Pour la plupart sans assise légale avant la loi ORE, elles sont aujourd’hui de fait encouragées par Parcoursup. Si ce n’est pas déjà le cas, les filières normales, vouées à accueillir tous les candidats, vont donc être de plus en plus adossées à des filières d’excellence, vouées à accueillir les meilleurs de ces candidats.

Regardons l’impact d’une telle filière sur le cas concret exposé plus tôt.

L’impact d’une filière d’excellence sur une filière normale

Supposons que la régulation du rectorat empêche de baisser la capacité d’accueil de notre formation, rien n’empêche en revanche de créer en parallèle une filière d’excellence dont on contrôlera la capacité d’accueil. La sélection ne se fera donc pas à l’entrée de l’université, mais entre ces deux filières.

La filière d’excellence aura une rareté de places structurelle, donc une meilleur attractivité : le choix rationnel pour les candidats sera de demander les deux filières, et de prioriser la filière d’excellence. Cette dernière recrutera donc les meilleurs candidats, les autres iront dans la filière normale. On peut alors regarder l’évolution des KPI des deux filières selon la capacité d’accueil de la filière excellente :

Sans surprise, la filière excellente, par la simple sélection des meilleurs étudiants, aura des KPI très supérieurs à ceux de la filière normale. Avec une capacité d’accueil d’un groupe TP (15), son taux de réussite sera de 90% contre 35% en filière normale dont elle aura pris les meilleurs étudiants. Les taux de pression et d’insertion seront aussi de 95% et 100% contre moins de 60% et 70%. L’effet de l’augmentation des places dans la filières d’excellence peut rapidement s’avérer dévastateur sur la filière normale. En ouvrant un groupe TD (30), on pourra notamment remarquer l’écroulement du taux d’insertion de la filière normale, dont les diplômés auront un désavantage certains sur le marché du travail et de la poursuite d’étude comparé à ceux provenant de la filière d’excellence :

Lorsqu’on en viendra à discuter de la répartition des budgets au sein de l’université puis au sein de la composante, l’étude rationnelle des PKI conduira à privilégier la filière d’excellence, alors que c’est l’existence même de la filière d’excellence qui plombe les résultats de la filière normale.

… Porté par les meilleures intentions.

Il ne faudra pas ici s’imaginer des universitaires ravis de se lancer avec fougue dans le jeu de la concurrence entre universités, composantes, filières et donc collègues et étudiants. Cependant, il existe de très nombreuses motivations pédagogiques, parfaitement légitimes, au développement des filières d’excellence. On cherchera pas exemple à éviter que les meilleurs étudiants s’ennuient ou se détournent de nos filières, à proposer un accompagnement plus adapté aux étudiants les plus en difficulté, à rehausser le moral des enseignants en leur permettant d’enseigner des programmes expérimentaux dans des groupes plus réduits, ou encore à redorer le blason de la discipline.

En réalité, les raisons ne manquent pas pour développer les filières d’excellence, et elles sont toutes bonnes. En revanche, il ne faudrait pas pour autant négliger ou minimiser l’impact de cette concurrence sur les filières normales, par exemple en invoquant une forme de théorie du ruissellement supposant que la filière normale pourrait également profiter de cette concurrence.

Conclusion

Parcoursup et la loi ORE renversent le paradigme d’affectation des lycéens dans l’enseignement supérieur : alors qu’APB visait d’abord à satisfaire les vœux des candidats avec le baccalauréat pour seul critère, Parcousup vise en premier lieu à permettre aux formations de choisir leurs étudiants en fonction de critères secrètement choisis. Ce nouveau pouvoir met de fait les formations en concurrence pour obtenir les meilleurs candidats. Ces meilleurs candidats conduisent mécaniquement à de meilleurs indicateurs clés de performances, qui eux-même conduisent à des arbitrages budgétaires plus favorables ainsi qu’à une meilleure attractivité de la formation, qui elle-même conduit à une concurrence accrue entre les candidats pour obtenir cette formation, qui conduit ensuite à une plus grande concurrence entre les filières…

Ce cercle, vertueux pour certains, vicieux pour d’autres, ne peut se faire qu’au détriment des formations réellement ouvertes, dont les indicateurs clés de performances sont nécessairement impactés, ne serait-ce que la fuite des meilleurs candidats et la façon dont sont fait les arbitrages budgétaires au sein des universités.

Parcoursup est en réalité un formidable outil de mise en concurrence des filières sur un marché de l’enseignement supérieur ouvert, qui accélère naturellement le développement d’études supérieures universitaires « à plusieurs vitesses ». C’est là la stricte loi du marché. Mais il faut aussi se rappeler que le seul objet d’un marché est de fixer le juste prix d’un bien ou d’un service. 

Et dans l’Université, les petits poissons mangent les grands… 

Parcoursup : Tirage au sort, fin ou généralisation ?

La fin du tirage au sort est l’argument principal motivant la réforme de l’accès à l’Université… Mais dans quelle mesure s’affranchit-on du sort avec Parcoursup ?

Selon le CRTL, le sort est un « hasard auquel on se remet pour effectuer un choix, pour décider de l’issue d’une affaire ». Le tirage au sort à l’entrée de l’Université était en ce sens clair : on s’en remettait au hasard pour classer les candidatures. Pour l’éviter, l’outil d’aide à la décision de Parcoursup permet de faire un classement qui repose sur deux critères quantitatifs fournis par défaut : la moyenne pondérée des notes de contrôle continu du lycée, et la fiche avenir.

Analyse du classement par la moyenne des notes de contrôle continu

Il s’agit là de l’élément principal de classement des candidatures, et sans doute le plus solide. Personne ne niera la différence de niveau entre un candidat ayant 18 et un ayant 3. Mais en réalité, aucune formation ne recrute que des candidats ayant 18 et ne refuse que des candidats ayant 3. Il faut donc étudier la pertinence du classement pour les candidats entre ces deux extrêmes.

Considérons les notes de contrôle continu comme objectives et pertinentes, mais reconnaissons qu’il faut leur considérer une marge d’erreur : deux candidats strictement identiques qui rendraient les mêmes copies aux mêmes professeurs n’obtiendraient pour autant pas exactement les mêmes notes… Et ces notes seraient encore plus différentes avec des examens différents, des correcteurs différents, dans des classes ou des lycées différents…

Une étude menée par Florent Tétard montre, sur un échantillon de 12000 lycéens, que la marge d’erreur peut être très grande : par exemple, ceux ayant 11 en contrôle continu peuvent obtenir aussi bien 3 que 18 à l’épreuve du bac.

Mais prenons les choses dans l’autre sens, par exemple avec les données des candidats au DUT informatique où j’enseigne. L’échantillon a été réduit aux candidats de série S afin d’éliminer les biais dus aux différentes filières, soit 874 candidats. On peut alors se poser la question : Quelle marge d’erreur est nécessaire pour faire un classement solide ?

Distribution des moyennes

Sur nos 874 candidats, nous allons, grossièrement, initialement en appeler 90. Ces 90 candidats seront donc admis d’office, et au delà, les admissions se feront par désistement. Ainsi, à partir du rang 91, le classement prend de plus en plus d’importance pour l’admission ou non du candidat… Jusqu’au rang du dernier admis, où chaque place compte.

La moyenne du dernier admis d’office est de 14,140. Donc plus la moyenne du candidat s’éloigne de 14, plus son admission devient incertaine. Or, l’étude de la distribution des moyennes montre que la densité des candidats augmente très vite en dessous de 14 : c’est 15% de nos candidats qui ont une moyenne entre 13 et 14, et presque un quart entre 12 et 13, et encore presque un autre quart entre 11 et 12 :  

Écarts entre les moyennes des candidats successifs

Plus l’écart entre les moyennes de deux candidats est faible, et plus la marge d’erreur doit être faible pour assurer la pertinence du classement. Mais l’étude de l’écart entre les moyennes des candidats successifs montre qu’au plus on s’éloigne du dernier candidats admis d’office (marqué avec une barre verticale), au moins l’écart qui sépare les candidats successif est significatif :

Lorsqu’on regarde la distribution de ces écarts, on réalise que la précision de Parcoursup, qui va pourtant jusqu’au millième de point, n’est même pas encore suffisante puisque pratiquement 10% des candidats successifs ne sont pas départagés. Presque 12% sont départagés par 0,001 point et 0,002 points, et presque 10% par 0,003 points… En tout, ce sont 74% des candidats successifs qui sont départagés par moins de 0,01 point, c’est à dire une valeur qui n’est même pas visible sur les bulletins scolaires (les 1% de candidatures départagées par plus de 0,1 point ne sont pas tracées) :

Proportion de candidats confondus en fonction de la marge d’erreur

On peut également s’affranchir des candidatures successives et étudier, en fonction de la marge d’erreur, la proportion de candidats confondus et leur nombre, c’est à dire ceux dont l’écart de moyenne est inférieur à la marge d’erreur :

  • Avec une marge de 0,001 points, presque trois quarts des candidats sont parfaitement départagés, mais encore plus d’un quart sont confondus avec jusqu’à 5 autres candidats.
  • Avec 0,01 point (marge du bulletin scolaire), plus que 10% des candidats sont parfaitement départagés, et plus d’un quart sont confondus avec jusqu’à 10 autres candidats.
  • Si on augmente encore la marge d’erreur à 0,1 point, une écrasante majorité des candidats se confondent avec 45, et même 90 autres, c’est à dire avec la moitié, ou la totalité, du nombre de candidats qui seront finalement admis.
  • Finalement, avec une marge d’erreur de 0,5 point, qui parait pédagogiquement raisonnable, plus des trois quarts des candidats sont confondus avec plus de candidats que nous n’avons de places. Certains sont même confondus avec 238 autres candidats, c’est à dire plus de 2,6 fois notre nombre de places. 

Conclusion sur le classement par la moyenne des notes de contrôle continu

La majorité des candidats sont reçus par désistement. Cependant, on constate que la pertinence de leur classement nécessiterait un marge d’erreur de l’ordre du millième de point, voire inférieure. En réalité, pour cette majorité de candidats, l’écart entre les moyennes est très largement inférieur à une marge d’erreur raisonnable. Le classement des candidatures devient alors essentiellement dû au hasard, donc s’apparente à du tirage au sort.

Analyse de la prise en compte de la Fiche Avenir

Concrètement, l’interface de Parcoursup ressemble à la capture ci-après. La « note finale » est celle qui sert au classement. Elle est calculée à partir de la moyenne des notes de contrôle continu, de la « note fiche avenir », et des éléments examinés par la commission d’examen des vœux. La note de la fiche avenir est calculée au millième à partir des « valeurs sur 20 » que l’outil d’aide à la décision encourage à attribuer aux appréciations des enseignants du lycéen.

Le graphique ci-dessous compare le classement fait à partir des notes de contrôle continu, avec le classement fait à partir de la moyenne entre ces notes et celles de la fiche avenir. Chaque point représente un candidat en fonction de son rang dans les deux classements : les premiers du classement sont en bas à gauche. La diagonale départage les candidats qui gagnent des place (en dessous) ou en perdent (au dessus). Les barres verticales et horizontales indiquent le rang du dernier admis d’office.

On constate que le classement peut être substantiellement modifié par la prise en compte de la fiche avenir : sur les 874 places, les candidats gagnent ou perdent en moyenne plus de 120 places, et jusqu’à 577 places pour le cas extrême. 30% des candidats admis d’office sont même différents d’un classement à l’autre. Par exemple, le candidat au rang 34 passera, avec la prise en compte de la fiche avenir, au rang 293 : au lieu d’être admis d’office, il devra espérer que plus de 200 candidats se désistent devant lui.

Conclusion sur la fiche avenir

Selon la configuration, la prise en compte de la fiche avenir n’est donc pas un simple ajustement, mais bien un bouleversement du classement. Ce bouleversement repose entièrement sur la pertinence des appréciations formulées. Mais l’expérience montre que les candidats peuvent parfaitement avoir un avis « Très satisfaisant » alors que leur échec est une quasi-certitude. En réalité, si les enseignants du lycée peuvent forger leur avis sur une bonne connaissance du lycéen, il n’est pas raisonnable de leur imposer de connaitre les 13000 formations proposées dans Parcoursup, ni même les appréciations données à des lycéens équivalents dans tous les lycées de France. Un même candidat peut donc en réalité avoir des avis très différents.

Le bouleversement du classement par la prise en compte de la Fiche Avenir nécessiterait une marge d’erreur impossible à assurer. Cette modification du classement relève donc plus du sort que du parcours du candidat.

Les choix des commissions d’examen des vœux

Pour rester la plus neutre possible, l’étude jusqu’ici n’a pas utilisé de pondération particulière. Or, dans chaque formation, une commission d’examen des vœux doit fixer de nombreuses pondérations : pour la moyenne des notes de contrôle continu, pour les notes et la pondération de la fiche avenir, et pour les notes et pondérations des élément à examiner.

Il n’existe aucun cadrage national. Aussi ce jeu de pondération peut changer du tout au tout pour les 13000 formations de Parcoursup, y compris pour un même diplôme, y compris selon la filière d’origine du candidat. En clair, un même candidat pourra ne pas être classé du tout selon les mêmes règles d’une formation à l’autre. Et il n’existe aucun moyen de connaitre ces règles à l’avance. Et même si cette pondération améliore la pertinence du classement dans son ensemble, elle ne peut pas s’affranchir des marges d’erreurs démontrée ci-dessus. La chance jouera donc à plein. Encore une fois, le classement ne dépendra donc pas seulement du candidat, mais aussi énormément du sort.

Conclusion

On a ainsi montré que la majorité des candidats ne peuvent pas réellement se distinguer les uns des autres uniquement par leur dossier Parcoursup. En réalité, les marges d’erreur des notes ne peuvent pas être inférieures à l’écart entre les moyennes des candidats, dont la majorité est de l’ordre du millième de points. De plus, les outils d’aide à la décision, très faciles à utiliser mais difficile à maîtriser, peuvent réellement bouleverser le classement de façon imprévisible. Enfin, les règles d’examen des 13000 formations de Parcoursup étant différentes et non divulguées, un même candidat pourra en réalité être classé de façon totalement différente selon où il postule, et sans aucun moyen de le prévoir. En conséquence, pour la majorité des candidats, la décision d’admission s’apparente en réalité plus à un forme de tirage au sort qu’à une sélection juste et éclairée.

Piste d’explication

Il est a ce stade important de donner une piste d’explication de la source de ce tirage au sort. En réalité, les notes de contrôle continus et appréciations sont des outils formidables. Les notes permettent d’objectiver beaucoup de choses, comme la maîtrise d’une notion, l’évolution d’un élève, ou son niveau dans sa classe. Les appréciations de la fiche avenir donnent un avis sur un projet. Ces choses permettent à l’élève de se situer et à l’enseignant de s’adapter.

En revanche, ces notes et appréciations sont de très mauvais outils pour classer les candidatures : données dans des contextes différents, par et pour des personnes différentes, pour des finalités différentes aussi, elles sont globalement sans pertinence lorsqu’il s’agit de les comparer les unes aux autres, et encore moins au millième de point près. Les notes ne contrôle continu ne peuvent pas être utilisées comme les résultats d’une épreuve de concours, pas plus que les appréciations ne peuvent être utilisées comme les résultats d’une audition. En utilisant ces notes et appréciations à contre emploi, non seulement nous commettons une erreur de raisonnement, mais en plus nous prenons le risque de modifier leur sens et leur finalité dans l’enseignement secondaire, sans doute au détriment de leur utilité première.

Parcoursup : le compte n’y est pas…

Enfin des chiffres concrets ! Le dossier de presse intitulé « Parcoursup 2018 au service de l’orientation et de la réussite des futurs étudiants » est un document clé pour évaluer les chances de réussite de la loi ORE.

DPparcoursup

Les principales informations sont ici, mais il reste nécessaire de faire un focus sur les moyens.

Focus sur les moyens

DPPSbudgets

Près de 8 millions d’euros dès 2018 pour reconnaître l’engagement pédagogique des enseignants-chercheurs et des personnels

PSDPbudgetTaches

Il s’agit de 7 841 661€ très exactement, attribués à « la mise en place de parcours personnalisés ou de l’examen pédagogique des vœux formulés par les candidats sur Parcoursup« . Ces moyens sont déclinés par université, par exemple l’Université de Strasbourg recevra 176 624€ pour ces tâches supplémentaires. Il faut noter que rien n’indique que ce financement sera pérenne.

Pour comprendre ces chiffres, on peut faire le calcul suivant : 8M€ de budget, 3 millions de vœux à étudier à l’Université, à 50€ l’heure complémentaire chargée : ce budget finance 3 minute de travail par dossier, pendant laquelle il faudra : lire les bulletins scolaires de première et terminale, le projet de formation motivé, les appréciations de la fiche avenir pour vérifier sa cohérence, vérifier la véracité des certificats fournis, décider des bonifications à appliquer et ajouter un commentaire qui pourra être consulté par le candidat. Cela sans compter l’indispensable phase de vérification/homogénéisation des décisions prises. C’est proprement impossible.

Sachant que ce financement ne couvre pas seulement l’étude des dossiers de candidatures, mais aussi la mise en place des parcours personnalisés, on peut affirmer que le compte n’y est pas.

Près de 33 millions d’euros pour les places supplémentaires en 2018 et 2019

PSDPmoyens

Il s’agit de 33 025 654€ très exactement et « 19 000 places auront ainsi été identifiées et financées pour accueillir davantage d’étudiants dans les formations du premier cycle à la rentrée. Elles témoignent de l’engagement du Gouvernement au service de l’accueil du plus grand nombre dans l’enseignement supérieur ». Encore une fois, rien ne dit que ce financement sera pérenne.

Pour comprendre ce chiffre, il faut encore faire un calcul : 33M€, à 11k€ l’année universitaire, cela fait environ 3000 places réellement financées, soit 15% des 19000 places annoncées. Là encore, on peut affirmer que le compte n’y est pas. Et il n’y est d’autant pas que les nouvelles mesures d’accompagnement doivent permettre un meilleurs passage en deuxième année, et donc une inflation des effectifs à moyen terme.

Conclusion

Avec moins de trois minutes financée par étude de dossier de candidature et un financement de seulement 15% des nouvelles places crées pour Parcoursup, le compte n’y est pas. Et avec un financement sur ces deux premières années de 63M€, on peut s’interroger sur la faisabilité d’atteindre, sur 5 ans, 500M€+450M€, soit presque 1Md€.

Enfin, il faut noter que ce dossier de presse annonce 1490 places dans le Grand-Est, ce qui confirme que le ministère a utilisé la méthode de calcul que j’expliquais dans « Parcoursup : Comment créer des places à l’Université (d’un coup de baguette magique) ? » : les créations de places annoncées se font donc bien indépendamment des moyens, comme du nombre de chaises et de profs.

IA for Parcoursup : l’orientation des bacheliers enfin révolutionnée !

Hier soir était l’échéance pour la confirmation des voeux des bacheliers sur la plateforme Parcoursup. Les enseignants du supérieur peuvent maintenant accéder aux dossiers de candidature à leur formation et apprécier les modifications apportées à l’outil d’aide à la décision d’APB.

La grande surprise est l’apparition d’un module “IAforParcoursup”, qui permet enfin d’utiliser les dernières avancées disruptives dans les domaines du Deep Learning et du Big Data pour un recrutement 4.0.

Cedric

Le paramétrage est très simple et guidé pas-à-pas par un assistant, Cédric, fort utile. La première étape consiste juste à choisir quel type de recrutement on souhaite effectuer :

  • “Filière d’excellence” pour avoir une sélection assez agressive ;
  • “Filière sans sélection sociale” pour éviter tous les critères reconnus comme des biais de sélection sociale ;
  • “Filière impopulaire” pour remplir les rangs à tout prix.

C’est très simple, et mes premiers essais sont très concluants : tous les élèves issus de filières défavorisés qui n’ont pas un profil exceptionnel sont bien filtrés avec la première option ; la deuxième annule la quasi totalité des critères de sélection et notamment le Lycée d’origine, donc les notes de contrôle continu et appréciations ; enfin, la troisième fait un classement inversé des candidatures.

Un deuxième ensemble de paramètres permet d’aller plus loin dans la configuration de l’IA de sélection :

  • “Prédire les performances scolaires” permet de savoir non seulement les étudiants qui vont réussir, mais aussi les mentions qu’ils vont obtenir ;
  • “Prédire le parcours universitaire et professionnel” permet de savoir si les étudiants vont se réorienter ou poursuivre leurs études, jusqu’à quel niveau d’étude et dans quelle filière, et même de savoir dans quel type d’entreprise ils seront recrutés et à quel niveau de salaire ;
  • “Prédire les événements extra-scolaires” permet de prendre en compte tout ce qui impacte les études sans être scolaire : synergies de groupe, liaisons et ruptures amoureuses, événements familiaux, déprimes, soucis de santé, découverte de l’autonomie, sortie d’un jeux vidéo particulièrement prenant, résultats sportifs des équipes nationales et locales, etc.

J’ai pu essayer ces différentes prédictions sur les cohortes précédentes, et, même si ce n’est pas aussi impressionnant que le tri des candidatures, force est de constater que ça marche assez bien : 63% des couples et ruptures de nos étudiants ont été détectés avec succès, et 43% des autres événements personnels. Pour l’instant, IA for Parcoursup se limite à la fouille des profils publics des réseaux sociaux. Nul doute qu’il sera grandement amélioré lorsqu’on aura accès au profils et conversations privées. Une négociation entre le ministère et Facebook est en cours en ce sens.

En revanche, 98% des prédictions de poursuite d’étude sont justes, et 84% des embauches et niveau de salaire. C’est très intéressant, puisque si ces prédictions se confirment, dans quelques années il sera possible d’embaucher directement les bacheliers dans la bonne entreprise, au bon niveau de salaire. L’Université pourrait ainsi faire de substantielles économies en n’ayant plus à prodiguer des cours (dont la plupart sont inutiles, il faut bien l’avouer) pour remplir sa mission d’insertion professionnelle.

 

remetterdelhumain

Enfin, il a été ajouté une fonctionnalité optionnelle mais essentielle pour les enseignants qui souhaitent “remettre de l’humain” dans leur procédure de recrutement : un bouton très efficace a été ajouté à cet effet. Cliquer dessus pour chaque dossier prend du temps (1495 fois pour nous cette année quand même !), mais on peut limiter la charge de travail en distribuant cette tâche entre les membres de l’équipe pédagogique. C’est en tous cas un bien faible prix à payer pour conserver notre conscience pédagogique !

Parcoursup et Lycée d’origine : Une difficulté (technique) de moins pour une difficulté (philosophique) de plus

Les choses se précisent sur l’étude des dossiers de candidature Parcoursup, dont on parlait ici et , avant de poser la question de la prise en compte du lycée d’origine dans le tri des candidatures. Cette question a depuis évolué, notamment suite à la publication de nouveaux indicateurs sur les lycées et à des réponses obtenues auprès du ministère.

Une difficulté (technique) de moins : Comment trier les candidatures par lycée ?

Lorsqu’il s’agit de trier les candidatures par lycée, le problème principal est de décider des bonifications à appliquer pour chaque établissement. Fort opportunément à quelques jours du début des classements des candidatures, le gouvernement vient de publier une centaine d’indicateurs sur chaque lycée de FranceOn y trouve notamment les taux de mention, c’est-à-dire le pourcentage d’élèves qui obtiennent au moins 12 au Bac, qui peuvent être utilisés pour trier les lycées en fonction du niveau de leurs élèves.

Illustration locale

Pour vérifier la pertinence de cette approche, j’ai effectué le tri des établissements du Bas-Rhin en fonction du taux de mention, toutes filières confondues :

TriDesLyceesDuDepartementParTauxMention

Ce classement montre des écarts spectaculaires : de 30% à 94%. Le classement a été validé sans réserve par plusieurs collègues connaissant bien le bassin local. Ça n’a rien de scientifique, mais il est difficile de faire plus solide avec les moyens actuels.

On peut donc maintenant attribuer des points à ces établissements en fonction d’un bonus maximum, par exemple 4 :

BonusDesLyceesDuDepartementParTauxMention

Pour les formations appliquant un tel barème, un candidat du Lycée Jean Monnet doit avoir 15 en contrôle continu pour être classé ex-aequo avec un candidat du Lycée Jean Sturm qui aurait 11. D’expérience, cette correction est raisonnable lorsqu’il s’agit d’évaluer le niveau scolaire des candidats. On peut désormais considérer cette difficulté technique comme résolue.

Ajouter “objectivement” des points bonus en fonction du lycée est donc maintenant possible…

S’il est d’ores et déjà possible d’affiner ce classement par filière, il reste encore des questions ouvertes, telles que la définition du bonus maximum. Il pourrait être extrait des moyennes par établissement ou des taux pour chaque mention, mais ces indicateurs manquent encore.

Au delà de ces questions, la possibilité technique de trier les candidats en fonction de leur lycée ouvre maintenant une difficulté philosophique…

Une difficulté (philosophique) de plus : Faut-il trier les candidatures par lycée ?

Puisqu’il est maintenant possible de trier les candidatures des lycéens en fonction de leur établissement d’origine, il faut se demander quelles en sont les conséquences.

La première conséquence, évidente, est l’amélioration du recrutement sous l’angle du niveau des étudiants et donc des chances de réussite. Le recruteur peut ainsi y voir un bénéfice pour sa formation.

La seconde conséquence, plus pernicieuse, concerne la reproduction sociale. Un débat est engagé sur ce point entre détracteurs et promoteurs de la loi ORE (par exemple ici). Pour y voir plus clair, on peut utiliser les données fournies par le gouvernement pour visualiser le nombre de lycées par taux de mention, en séparant les secteurs publics et privés :

TauxMentionParSecteurCount TauxMentionParSecteur

Ces graphiques sont clairs : en prenant en compte le lycée d’origine, on favorise mécaniquement les bacheliers issus du secteur privé. Or, dans “Qui choisit l’école privée et pour quels résultats scolaires ?”, Fougère et al. montrent en résumé que “Les meilleurs résultats obtenus par les écoles du privé sont dus aux caractéristiques sociales et familiales des élèves qu’elles accueillent, ni plus ni moins”.

Prendre en compte le lycée dans le tri des candidatures Parcoursup revient donc objectivement à reproduire post-Bac la sélection sociale pré-Bac. Les universitaires sont ainsi confrontés à une décision philosophique : faut-il qu’ils favorisent leur formation au prix d’une reproduction sociale, favorisant encore les favorisés et défavorisant toujours les défavorisés pour améliorer leur recrutement ? 

Qui va supporter la responsabilité des difficulté philosophiques ?

Si l’IGAENR souligne bien les difficultés techniques et philosophiques de Parcousup, parfaitement illustrées ici, il reste à savoir qui va en supporter la responsabilité. Un commentaire de Le Bihan sur ce blog est clair : le ministère estime que ce sont des questions politiques, ce qui le dispense manifestement de se positionner. La responsabilité retombe donc sur les établissements. J’ai moi-même posé la question en conseil d’administration de mon université, et reçu la même réponse de la part de l’équipe présidentielle : la responsabilité retombe sur les équipes pédagogiques.

Les équipes pédagogiques, ou plus généralement les deux ou trois personnes qui vont se charger du recrutement sans aucune concertation, auront donc la responsabilité de ce choix, mais sans qu’on leur fournisse aucun élément de décision. Les enjeux sociaux sont pourtant de taille.

Certains le feront, d’autres non. Ceux qui le feront auront un meilleurs recrutement que ceux qui ne le font pas. Tout le monde finira donc par le faire. Ensuite et suivant la même mécanique, les lycées développeront naturellement des stratégies de notation en fonction des critères d’insertion dans le supérieur. Puis les parents qui le peuvent renforceront leur stratégie de sélection des lycées. Une fois démarré, ce type de système auto-renforçant basé sur des prophéties auto-réalisatrice est totalement inarrêtable.

Sans le comprendre, sans concertation, nous mettrons en oeuvre une vision très idéologique du “Bac -3/+3”, qui est au centre des réformes de l’Université et du Lycée. Et c’est ainsi qu’on aura fait remonter la sélection sociale du Lycée vers l’Université, supprimant la dernière étape où tout détenteur d’un Bac bénéficiait d’un tant soit peu d’égalité, et qu’on mettra à mal la mixité sociale qui fait la richesse de l’Université.

Bonus : La sélection sociale est dans les détails

On s’est intéressé ici à la prise en compte du lycée d’origine, mais la même mécanique s’applique à de nombreux aspects de Parcoursup. Par exemple, pour les lettres de motivation (ou “projet de formation motivé”) : un candidat peut payer pour avoir une lettre stéréotypée, se faire aider par ses parents (pour arriver au même résultat), ou se débrouiller seul.

Le recruteur pourra bien détecter les lettres stéréotypés ou aidées, mais il ne pourra jamais les sanctionner à cause du bénéfice du doute. Surtout, ces lettres sont exemptes de toute maladresse, au contraire des lettres sincères rédigées par les candidats seuls, qui présentent souvent des imperfections.

Le recruteur doit donc choisir entre considérer les lettres de motivation, et par conséquent favoriser les candidats favorisés au détriment de ceux qui se débrouillent seul, ou se priver de cet outil, qui pourtant améliore son recrutement

Là encore, le recruteur fera son choix sans concertation ni connaissance des éléments de décision et pourra prendre part à une sélection sociale sans le savoir. On peut appliquer cette mécanique aux C.V., aux lieux de résidence, etc. Et c’est sans doute pour ça qu’il ne fallait pas mettre le doigt dans la sélection.

Open data

Les données et le script R utilisé pour fouiller les données sont disponibles ici.

Alice et Bob sont dans Parcoursup…

Aujourd’hui 13 mars 2018 est l’échéance pour formuler ses vœux dans Parcoursup. L’occasion de regarder ce que cette nouvelle plateforme apporte en terme d’affectation pour les bacheliers.

Alice et Bob sont dans Parcoursup…

  • Alice souhaite avant tout faire STAPS, mais elle postule également en psycho ;
  • Bob souhaite avant tout faire psycho, mais postule également en STAPS.

Les équipes pédagogiques de STAPS et psycho doivent départager Alice et Bob, classer leurs candidatures, ce qui n’est pas facile, voire assez hasardeux (voir ici et ). Pas de chance :

  • Alice est classée devant Bob en psycho ;
  • Bob est classé devant Alice en STAPS .

Alice reçoit alors un “oui” en psycho, mais un “en attente” en STAPS.
Bob reçoit donc un “oui” en STAPS, mais un “en attente” en psycho.

Malheureusement, Alice ne peut renoncer à sa place en psycho pour la laisser à Bob… Et Bob ne peut pas non plus renoncer à sa place en STAPS pour la laisser à Alice. En conséquence, Alice et Bob resteront “en attente” sur leur vœu principal, tout en occupant chacun la place que souhaite l’autre. Chacun sera admis à l’université, mais pas dans la filière de son choix.

Alice, Bob et les autres…

Cette déception d’Alice et Bob est bien difficile à justifier : APB affectait parfaitement Alice et Bob dans la filière de leur choix, en plein respect des classements des équipes pédagogiques. Lorsqu’on connaît l’importance de la motivation dans la réussite des étudiants, on mesure le danger de ce nouveau fonctionnement.

On pourrait penser la situation d’Alice et Bob un peu artificielle, tout au plus marginale… Mais lorsqu’on sait que deux tiers des bacheliers ont au mieux une mention assez bien et seront en ballottage, leur classement dépendant de l’étude subjective de leur dossier… Lorsqu’on sait que 20% de l’augmentation des bacheliers s’est concentrée sur STAPS l’an dernier… Lorsqu’on sait que le problème s’étend à de nombreux candidats : Alice “en attente” de la place de Bob, lui-même en attente de la place de Carole, qui est “en attente” de la place d’Alice… sans qu’aucun d’eux ne puisse débloquer la situation… et avec pour seule limite le nombre de filières… Lorsqu’on sait que ce problème s’applique aussi aux affectations géographiques dans les vœux multiples…
On réalise qu’en réalité seuls les meilleurs candidats sont à l’abri.

Conséquence ironique de la Loi relative à l’Orientation et la Réussite des étudiants, la qualité de l’orientation va forcément s’affaisser, conduire à une baisse de la satisfaction des bacheliers, et donc de leur motivation, et par conséquence de la réussite des étudiants.  

Alice, Bob, la communauté et le Ministère…

Au cœur de cette ironie se trouve la suppression de l’algorithme d’affectation APB par une procédure qui vise à “remettre de l’humain au cœur de l’admission post-bac” : au lieu de laisser la machine résoudre un problème purement technique et bien connu, on espère que des humains s’en sortent tous seuls sans se parler. Étonnante coïncidence, la fin de la hiérarchie des vœux ne permettra pas de comparer le taux de satisfaction des bacheliers entre Parcoursup et APB.

Mais en plus d’inévitablement diminuer la satisfaction des bacheliers, cette nouvelle procédure ralentit considérablement le temps d’affectation : il faudra plusieurs mois pour faire ce qu’il se faisait en quelques jours, comme le signalait Guillaume Ouattara en octobre 2017, billet duquel est tirée l’histoire d’Alice et Bob à partir du commentaire de Lucas. Ce rallongement pose de nombreux problèmes, dont une incertitude accrue notamment au moment des épreuves du bac, des affectations après la rentrée universitaire, un accès aux logements plus difficile à part pour les meilleurs bacheliers, l’impossibilité de prendre le handicap en compte, etc..

Le rapport de l’audition dirigée par Cédric Villani, dégoté par Pierre Dubois (aussi en vidéo) et dont la lecture me paraît indispensable, montre que, depuis novembre 2017, le ministère connaît pertinemment ces problèmes et les risques de l’abandon de l’algorithme APB. Le ministère sait aussi qu’APB produit des affectations en temps en en heure avec une satisfaction maximisée. La nouvelle procédure y est carrément qualifiée de “dangereuse”. Il est même indiqué qu’il est “encore temps” de revenir sur son idée. Pourtant, la position du ministère se résumera par cette citation :

M. Cédric Villani, député, premier vice-président de l’Office.
Il est dommage que la représentante du ministère ait dû nous quitter. En effet, huit des neuf intervenants de cette première table ronde [NDLA : tous sauf la CPU] ont exprimé plutôt des inquiétudes à l’égard de l’avenir, toutes s’adressant au ministère. Il est donc regrettable que ce dernier n’ait pas pu être présent jusqu’à l’issue des débats, afin de pouvoir répondre à ces sollicitations. Cela ne saurait, toutefois, nous empêcher d’avoir des échanges sereins et constructifs.

Si l’abandon de la hiérarchisation des vœux empêche toute mesure de la baisse de la satisfaction des bacheliers, à ce stade, le ministère n’a toujours pas donné de justification à l’abandon d’APB.

Parcoursup : Quelle place pour le lycée d’origine dans le tri des dossiers ?

Lors d’un précédent billet “Parcoursup : petit manuel de tri des candidatures à l’usage des enseignants du supérieur”, j’expliquais l’inutilité des pièces complémentaires, C.V. et “projets de formation motivés” (lettre de motivation), pour évaluer les chances de réussite et le mérite des candidats. Cette inutilité conduit mécaniquement à la suprématie des notes obtenues au lycée dans le tri des candidatures. J’avais laissé de côté la question de la prise en compte du lycée d’origine du candidat. Cette question est d’ailleurs soigneusement laissée de côté par la totalité des acteurs, malgré l’avalanche d’informations sur Parcoursup. C’est donc l’objet de ce billet.

Regarder le lycée, pour évaluer quoi ?

Pour évaluer les chances de réussite

En premier lieu, il faut être conscient des différence entre lycées (voir plus loin) : l’expérience montre, même en restant prudent, qu’une moyenne de 10 dans un lycée d’élite est une bien meilleure garantie de réussite qu’une moyenne de 14 dans un lycée défavorisé. Si l’objectif est de recruter des étudiants qui vont réussir, il est donc indispensable de prendre en compte le lycée d’origine dans le tri des candidatures.

Pour évaluer le “mérite”

Le mérite est une notion molle dont on ne fait généralement rien. Mais supposons qu’un élève ayant 14 dans un lycée défavorisé est plus méritant qu’un élève ayant 10 dans un lycée d’élite. Si l’objectif est de prendre en compte le mérite des étudiants, il convient de ne surtout pas prendre en compte le lycée d’origine dans le tri des candidatures.

Plus concrètement

Trier les lycées avant les candidatures

Si 14 dans un lycée ne vaut pas 10 dans l’autre, il faudrait définir officiellement le nombre de points de bonification par lycée, et l’appliquer collectivement : +4 à la moyenne pour tel lycée, +0 pour tel autre. Dans l’idéal, c’est même les rectorats qui devraient fournir cette information, puisqu’ils sont les mieux à même de connaître les lycées et d’éviter les divergences d’interprétation. Un tri officiel des lycées serait donc indispensable : une véritable consécration de la sélection sociale dans le système éducatif.

Ajoutons que compte tenu des différences, un tri des candidatures par lycée plutôt que par moyenne serait tout aussi efficace lorsqu’il s’agit de trier les bacheliers, ce que l’actuelle réforme du Bac va encore renforcer. Ne parlons même pas des pièces complémentaires qui ne compteraient plus pour grand chose dans le classement malgré les efforts de rédaction et d’examen.

Le tour de force de faire pire que le tirage au sort

Comme ni le ministère, ni les rectorat, ni les présidences d’université ne prendront leurs responsabilité en cette matière. Ce choix retombera sur les équipes pédagogiques. On voit qu’une fois sorti des discours faciles sur l’orientation bienveillante, les équipes pédagogiques vont se retrouver tiraillées entre évaluer les chances de réussite et le mérite des candidats.

En l’absence de bonne décision et de cadrage, un même dossier sera donc bonifié ou pas selon que l’examinateur connait le lycée ou pas, pense que le lycée est bon ou pas, qu’il a décidé par lui-même de prendre en compte ce critère ou pas, etc.. Et cette évaluation ira jusque dans les appréciations : “turbulent” dans un lycée REP a-t-il la même signification que dans un lycée d’élite ? Et jusque dans les classes : 11 avec dans une classe qui a 6 de moyenne a-t-il la même signification que 11 avec 12 de moyenne ? Est-ce l’enseignant qui note plus sec, ou la classe qui est de moins bon niveau ? Faut-il classer les profs comme on devrait classer les lycées ? C’est sans fin…

En conséquence, la prise en compte du lycée se fera de façon totalement aléatoire dans le tri des dossiers de candidature Parcoursup. Il s’agit là d’une injustice infiniment plus grande et hypocrite que celle du tirage au sort.

Pour les parents : Quel lycée choisir ?

Durant la journées portes ouvertes dans mon IUT, des parents se sont émus que leur enfant, en “filière *” (d’élite) dans un lycée d’élite, avait une moyenne nécessairement inférieure à ce qu’elle aurait été dans une filière normale ou un lycée normal. Leur enfant se retrouvait donc pénalisé dans le tri des candidatures. Tout est dit :

  • mettez votre enfant dans un lycée moyen ou défavorisé, et il sera peut-être pénalisé par ce choix ;
  • mettez votre enfant dans un lycée ou une filière d’élite, et il sera peut-être aussi pénalisé par ce choix.

C’était l’enjeu de la réunion du CNESR de ce jour : rendre transparents les “algorithmes locaux”. Ces amendements seront brutalement refusés. Les parents n’auront donc aucun moyen de prévoir, y compris avec une connaissance fine du système. En conséquence, pour les parents non plus il n’existe pas de bonne solution : quel que soit votre choix, il pourra s’avérer pénalisant pour votre enfant dans le tri des dossiers Parcoursup.

Pour aller plus loin

Un peu de document…

Pour finir, le rapport “1985-2017 : Quand les classes favorisées ont fait sécession.” de la Fondation Jean Jaurès donne un bon aperçu de l’évolution des inégalités entre établissements scolaires. On peut y découvrir ce graphe très parlant sur la part des élèves de PCS (professions et catégories socioprofessionnelles) défavorisées par collège à Paris :

graph04

Un peu de sémantique…

Le référé de la Cour des Comptes “Égalité des chances et répartition des moyens dans l’enseignement scolaire” montre qu’on peut sans rougir utiliser le terme “défavorisé” pour désigner des établissements scolaires : ces derniers sont objectivement défavorisés dans la répartition des moyens. Ces inégalités sont donc issues de décisions politiques conscientes.

Un peu théorie

Le rapport “Comment l’école amplifie les inégalités scolaires et migratoires” publié par le CNESCO et écrit par Mathieu Ichou de l’INED donne des bases explicatives et théoriques intéressantes. On y apprendra par exemple la différence entre inégalités verticales (le niveau d’étude) et horizontales (la qualité des diplômes à niveau égal). On y trouve cette citation fort éclairante :

Cependant, lorsque ce niveau d’éducation devient presque universel, les familles socio-économiquement favorisées cherchent alors les différences qualitatives qui existent à ce niveau, et utilisent leurs avantages pour que leurs enfants atteignent un niveau d’éducation quantitativement similaire mais qualitativement meilleur » (Lucas, 2001, p. 1652).

Quant à l’impérieuse nécessité de garder tous les bacheliers en Licence, mais surtout de décliner ces Licences avec des “oui si” (dont le choix pourra se faire sur la base du lycée d’origine, et qui pourront imposer l’allongement de la Licence en 4 ou 5 ans, alors que d’autres pourront l’obtenir en 2), on sera éclairés par cette citation :

L’École exclut comme toujours, mais elle exclut désormais de manière continue, à tous les niveaux du cursus [. . . ], et elle garde en son sein ceux qu’elle exclut, se contentant de les reléguer dans des filières plus ou moins dévalorisées. » (Bourdieu et Champagne, 1992, p.71, p.72, p.73)

La boîte de Pandore est ouverte, et elle n’est pas prête d’être refermée.

Parcoursup : petit manuel de tri des candidatures à l’usage des enseignants du supérieur

“L’algorithme local”, c’est toi.

La réforme Parcoursup impose aux enseignants des filières non sélectives de trier les dossiers des bacheliers candidats. Ce tri soulève des inquiétudes légitimes : Quels sont ces mystérieux “algorithmes développés par les établissements” dont parle la Ministre ? La mise en demeure de la CNIL sur APB sera-elle suivie  d’effet ? Combien de temps va prendre l’évaluation des dossiers à la  DSI et aux enseignants ? Les lettres de motivation, pardon les “projets de formation motivés”, seront-ils vraiment lus ? Un coach orientation est-il vraiment indispensable ?

Finalement, la page Admission postbac est-elle réellement définitivement tournée ?

C’est l’occasion de partager l’expérience acquise en IUT, filière sélective, où nous avons l’habitude de traiter un grand nombre de dossiers et surtout de les classer. L’objet de ce billet est de donner quelques astuces pour évaluer les candidatures dans l’objectif de maximiser la réussite des étudiants recrutés.

Il est important de noter que la suite est issue d’une expérience particulière, le DUT, dans une filière particulière, l’informatique. Tout ne saurait revêtir un caractère général.

APB est mort, vive APB ?

APB était constitué d’un algorithme central d’affectation des bacheliers, qui est remplacé par un système interactif dans Parcoursup. Mais APB c’était aussi une interface d’aide à la décision, qui permettaient aux équipes pédagogiques de trier les dossiers de candidatures. Il est peu probable que cette interface soit substantiellement modifiée car c’est une machinerie complexe et qui fonctionnait bien. C’est donc de cette partie là que nous allons discuter.

Si tous les documents officiels ont été effacés du portail principal post-bac, on peut encore trouver un petit manuel technique fourni par l’académie de Nantes qui montre les différentes fonctionnalités de cette interface et comment les utiliser. Les images utilisées ici en sont issues.

Les “algorithmes développés par les établissements” : de simples moyennes pondérées.

Première étape pour classer un millier de dossiers de candidatures : calculer une moyenne pondérée unique, qui permettra de faire un premier tri grossier. C’est indispensable face à un tel volume d’information. Pour ce faire, l’interface permet de déclarer un coefficient pour chaque matière de chaque année. On va par exemple pouvoir mettre toutes les matières à 1, sauf Mathématiques de terminale à 10 et Mathématique de première à 5.

Ce jeu de coefficients peut être défini indépendamment pour chaque filière du bac. Mais on peut également ajouter des bonus/malus en valeur absolue en fonction de la filière, ce afin d’interclasser les dossiers si l’on estime, par exemple, que 11 de moyenne dans telle filière n’est pas équivalent à 11 dans telle autre.

apb1

Pour le premier classement, il est inutile de se lancer dans un système de pondération complexe. Il parait raisonnable d’identifier quelques matières critiques et de leur donner une forte pondération pour toutes les filières générales. Il faudra aussi un jeu de pondération pour les bac techno et pro, qui ont des matières particulières.

À l’issue de la première expérience, il sera possible de chercher des corrélations entre les notes du lycée et les taux de passage/redoublement/abandon pour tenter d’obtenir un jeu de pondération plus précis. Cependant, nous n’y sommes pas arrivés : statistiquement, la seule corrélation solide se limite à la note de Math de terminale, ce que nous avons refusé de faire.

En revanche, le bonus/malus en fonction de la filière est très délicat à fixer. Les différences entre bacs rendent très difficile l’interclassement. Les taux précis de réussite par filière, souvent évoqués, ne disent rien sur les chances de réussite individuelle des candidats. Il faudra donc au début se résoudre à fixer une valeur arbitraire, et la compenser par l’examen individuel du dossier, puis affiner la valeur arbitraire avec l’expérience.

L’examen individuel des dossiers

Une fois la moyenne unique calculée, tous les dossiers se retrouvent triés automatiquement. C’est là que les choses difficiles commencent, car il faut regarder tous les dossiers, un par un, pour :

  • vérifier la moyenne calculée automatiquement : il peut par exemple manquer des notes, ce que le système détecte mais qui nécessite une intervention manuelle ;
  • ajouter des bonus/malus manuels en fonction des pièces jointes (voir plus loin) ;
  • forcer la moyenne à une note arbitraire : 0 pour signifier “à absolument ne pas prendre” (erreur d’orientation), 20 pour “à absolument prendre” (certitude de réussite ou pari, malgré les notes) ou encore une note décidée pour interclasser un dossier qui n’est pas évaluable selon la procédure standard.

apb2

Les bonus/malus manuels sont des points ajoutés ou enlevés à la moyenne unique. De fait, ils vont faire monter/descendre le dossier dans le classement effectué automatiquement. Ces points sont donc inutiles pour les candidatures dont le classement de base implique une certitude dans l’admission ou un refus. Cependant, il faut tout de même les regarder rapidement, surtout les certitude de refus, pour détecter d’éventuels cas particuliers ou erreur de moyenne.

En revanche, les bonus/malus sont fondamentaux pour les dossiers qui sont dans une zone d’incertitude. Cette zone dépend fortement du contexte, et ne peut être connue qu’empiriquement, tout comme le nombre de points maximal à appliquer à la moyenne pondérée brute. Il est donc indispensable d’étudier les recrutements d’une année sur l’autre pour savoir quels sont les dossiers qui doivent être fouillés en profondeur, et combien de points doit représenter le bonus/malus.

Organisation

L’examen individuel des dossiers est une tâche très lourde, impossible sans y associer la totalité de l’équipe pédagogique. Il faut donc fixer un quota de dossiers par enseignant titulaire, et prévoir que quelques enseignants en fassent plus pour rattraper ceux qui en feront moins.

L’interface permet de se connecter avec des identifiants individuels, ce qui permet de savoir qui a étudié quel dossier pour obtenir d’éventuelles précisions. Utiliser un identifiant commun est donc à proscrire. Ceci étant dit, étudier des dossiers à plusieurs est difficile et nécessite un cadrage pour limiter la subjectivité. C’est ce que nous allons voir dans la suite.

Examen des bulletins scolaires

Globalement, les bulletins sont peu utiles. Les appréciations des enseignants sont souvent trop peu unanimes pour en tirer de réelles conclusions. Le même élève va être attentif dans un cours et indiscipliné dans l’autre. “Des progrès formidables en musculation” ne dit pas grand chose sur les chances de réussite dans un parcours en informatique, mais “n’écoute pas en cours” n’en dit pas plus, car on ne sait pas si l’élève devenu étudiant ne se passionnera pas soudainement.

Ceci dit, si l’équipe pédagogique accorde de l’importance à la discipline scolaire, il est possible de définir un bonus/malus en fonction des appréciations de comportement, pour favoriser les élèves studieux ou défavoriser les élèves perturbateurs.

Reste la question qui fâche : faut-il regarder le lycée d’origine (qui est écrit partout) ? La réponse vaudrait un billet complet.

Examen des avis de poursuite d’étude

Consacrés avec la “fiche avenir”, les avis de poursuite d’étude sont notoirement inutiles lorsqu’il s’agit d’évaluer les chances de réussite d’une candidat. Il est tout simplement impossible pour une équipe pédagogique du lycée de connaître les dizaines de milliers des filières universitaires, alors qu’un même bachelier a des chances de réussite différentes d’un établissement à l’autre, d’un département à l’autre. Comment espérer cela des enseignants du secondaire, alors-même qu’aucun universitaire ne connait la totalité des formations suffisamment pour savoir si un bachelier peut y réussir. En réalité, nous n’arrivons même pas à produire des “attendus” clairs et précis, évaluables, pour nos propres formations.

Ajoutons que d’un lycée à l’autre, d’une classe à l’autre, les recommandations peuvent varier du tout au tout pour des profils d’élève très similaires. Enfin, il arrive ponctuellement de tomber sur des dossiers à refuser avec certitude, conclu par “favorable” pour votre filière, ce qui ruine nécessairement la crédibilité globale du dispositif.

Sur cet aspect, on peut recommander de contrôler la pertinence des avis de la “fiche avenir” avec les taux de réussite réels, et en cas d’inadéquation, même pour un seul étudiant, de ne simplement pas regarder ces avis. Le pendant est une recommandation auprès des équipes pédagogiques du secondaire de ne pas perdre du temps à faire une chose impossible.

Examen du C.V.

Les C.V. des lycéens sont globalement tous identiques, et relativement vides, ce qui n’a rien d’étonnant. On peut considérer que c’est un exercice important pour s’insérer dans la vie professionnelle, mais en ce qui concerne l’évaluation des chances de réussite d’un bachelier dans une filière universitaire, sauf cas particuliers, les C.V. n’apportent rien de très pertinent, surtout depuis qu’ils sont normalisés par le formulaire de saisie sur la plateforme.

Si avis de poursuite d’étude et C.V. ne sont pas directement pertinents, on peut tout de même les intégrer dans des points d’appréciation globale, qui permettent une marge de subjectivité à l’examinateur. Reste à décider de l’importance de cette subjectivité dans la totalité des points de bonus/malus.

Examen du “projet de formation motivé”

Le projet de formation motivé est décrit ainsi sur la plateforme Parcoursup : “Exposez les raisons pour lesquelles vous souhaitez être candidat à cette formation et cette spécialité. Décrivez votre projet. Indiquez les raisons qui motivent ce choix d’orientation, les qualités indispensables, vos forces pour réussir, ainsi que vos points faibles”. Cette description est strictement identique à celle de la lettre de motivation sur APB. Néanmoins, les candidats devraient être limités à 1500 caractères sur Parcoursup.

D’expérience, et sauf formations particulières, les lettres de motivation sont globalement inutilisables pour évaluer les chances de réussite d’un étudiants. En premier lieu, elles sont extrêmement stéréotypées. Peut-être est-ce en lien avec la multiplications des ateliers de rédaction de lettre de motivation, ou celle des sites de conseil en ligne présentant des informations terriblement génériques. Peut-être est-ce aussi dû à une stratégie d’optimisation qui consiste à bien travailler un patron de lettre de motivation générique, déclinée sommairement pour chaque candidature, plutôt qu’à faire de multiples lettres spécifiques moins bien travaillées.

Ensuite, il est impossible de savoir si une lettre de motivation est réussie grâce à la motivation, ou grâce à des compétences en conviction. En réalité, la lettre de motivation n’évalue que la capacité à rédiger une lettre de motivation, ce qui, dans la plupart des cas, ne donne aucune indication sur les chances de réussite universitaire. Nous avons pu le constater, et c’est pourquoi, dans nos demandes, nous avons remplacé la lettre de motivation par une pièce complémentaire.

Examen des pièces complémentaires

Suite au constat d’inutilité des lettres de motivations, nous avons décidé de les remplacer par un questionnaire ciblant les choses que nous cherchions dans ces lettres. Grossièrement, nous sommes partis sur l’idée que les candidats étaient motivés à suivre notre formation (ils candidatent après tout), mais qu’ils pouvaient se tromper à propos de cette formation. C’est donc ce que nous avons cherché à identifier, avec un questionnaire vérifiant les connaissances du candidat concernant notre formation (et en aucun cas les connaissances sur notre discipline).

Par exemple : “Parmis les matières suivantes, lesquelles ont le plus d’importance dans notre formation : base de données, graphisme, droit… ?”. Cela permet de savoir si le candidat sait qu’en DUT informatique, il y a du droit mais pas de graphisme. Nous demandons également au candidat s’il est venu à notre journée “portes ouvertes”, quelles sont ses réalisations particulières dans notre discipline, et d’expliquer son parcours s’il est atypique.

En fait, nous demandons explicitement les choses que nous attendons de trouver dans une lettre de motivation. Et pour chaque réponse significative, nous ajoutons un certain nombre de points bonus. Petite astuce : les candidats qui ne répondent pas au questionnaire n’ont manifestement pas lu les instructions pour candidater, ce qui évalue très bien leur motivation.

A noter que si cette approche a permis de simplifier et objectiver, et donc harmoniser, l’examen des dossiers, nous n’avons pas pour autant observé d’amélioration des taux de réussite. De plus, son intégration dans Parcoursup semble plus difficile que dans APB.

Décompte des points bonus

Une fois chaque partie évaluée, l’examinateur doit compter le nombre de points bonus/malus et l’appliquer à la moyenne pondérée, ce qui va faire monter ou descendre la candidature dans le classement. Il y a également un champ “commentaire”, qui permet de laisser des notes aux autres examinateurs, pour expliquer un traitement particulier ou demander un deuxième avis, par exemple.

Cette saisie peut-être source d’erreur si votre système de bonus/malus est trop compliqué. Par exemple, si vous évaluez 27 critères pour définir un bonus entre 0 et 2 points, le calcul de tête va être difficile. C’est pourquoi on peut recommander d’avoir un système de bonus/malus simple. Par exemple : 10 critères à 0,1 point, en évitant les points négatifs, pour un bonus/malus entre 0 et 1 point.

Vérification

Lorsqu’on enchaîne les examens de dossiers, on commet rapidement des erreurs : les pièces sont nombreuses et souvent sans surprise, la monotonie tue l’attention. Imaginez une pile de copies à corriger qui ne seraient même pas dans votre discipline. Ajoutons également les sensibilités personnelles des examinateurs incapables de se contrôler (personnellement, si je vois “jeux vidéo” écrit quelque part et “malin mais pénible” sur les bulletins, je mets  ultra-favorable partout sans réfléchir… Et ça ne marche pas tout le temps).

C’est pourquoi il faut un vérificateur, infaillible de préférence, pour systématiquement contrôler et harmoniser les évaluations de ses collègues. Ce vérificateur devra également traiter une part des dossiers, afin de comprendre ceux des autres. La tâche est telle que prévoir deux collègues n’est pas de trop, mais il faut qu’ils soient prêts à réellement travailler ensemble.

Finalisation

Une fois tous les mails de rappel envoyés, le rush pour terminer les centaines de dossiers restants, la vérification de tous les cas particuliers, il n’y a plus qu’à envoyer définitivement le classement. Après quoi, plus rien n’est modifiable. Pensez à exporter le classement et toutes les données, ce qui permettra d’affiner la méthode de tri d’une année sur l’autre.

Pour assumer tout ce traitement, on peut recommander de désigner un responsable Parcoursup par diplôme et, vu la charge, de faire inscrire cette responsabilité dans les référentiels d’activité des établissements.

Conclusion

Deviner les candidats qui vont réussir un diplôme est une chose difficile, sinon impossible. Tout au plus pouvons-nous essayer d’arranger un classement pour que les candidats qui connaissent la formation soient favorisés. Dans les faits, il est même impossible de refuser un candidat qui se trompe manifestement d’orientation s’il a les notes nécessaires, y compris dans les filières sélectives. Mais cet arrangement est long, fastidieux, et bien souvent son étude à posteriori, confronté aux réussites réelles, ne démontre pas une efficacité vraiment très supérieure à un simple tri des notes sans étude de dossier.

En ce qui concerne la constitution du dossier de base (bulletins scolaires, C.V. et lettre de motivation), l’expérience montre qu’elle est inappropriée à l’évaluation des chances de réussite dans la plupart des filières universitaires. Pour les filières où ces pièces revêtent de l’importance, la normalisation imposée par la plateforme limite leur intérêt, au point qu’il faudrait tout de même les ajouter en pièces complémentaires. C.V. et lettre de motivation devraient donc être en fait des exceptions, et on peut recommander aux équipes qui comptent réellement étudier les dossiers de réfléchir en premier lieu à un questionnaire précis permettant au moins de simplifier et objectiver l’examen des dossiers.

Si Parcoursup devait vraiment s’adapter à l’évaluation des chances de réussite des candidats, il faudrait d’une part supprimer les pièces par défaut, et d’autre part développer une interface permettant d’évaluer simplement et sans risque d’erreur les réponses au questionnaire proposé par l’équipe pédagogique.

Reste un question fondamentale : Est-ce que l’examen des dossiers cherche à évaluer les chances de réussite du candidat, ou son mérite à intégrer la formation ? Entre un candidat très méritant mais ayant peu de chances de réussir et un candidat dé-méritant mais ayant de grandes chances de réussir, qui vaut-il mieux admettre ? C’est une question très concrète, au cœur des processus de sélection et d’orientation, à laquelle le ministère aurait dû répondre. En cela, la réforme Parcoursup est une occasion ratée de se poser les bonnes questions.

 

Enfin, malgré un réel travail pour améliorer notre recrutement, nous n’avons jamais réussi à réellement améliorer les taux de réussite. Les étudiants restent imprédictibles, et c’est heureux. De plus, il est difficile de voir comment définir des “mesures d’accompagnement personnalisées” sur la base d’un dossier de candidature Parcoursup. Au mieux peut-on définir une fourchette arbitraire de notes ou considérer la filière du bac, mais cela n’a rien de personnalisé. En soi, Parcoursup n’est donc pas une mesure en faveur de la réussite des étudiants, la page APB n’est tournée qu’en façade, et on est loin de “remettre de l’humain” dans la procédure d’affectation.

En revanche, l’étude des dossiers est une charge plus que conséquente, qui s’applique aujourd’hui à tous les enseignants du supérieur. Or, le problème principal est celui de l’encadrement des cours et de la disponibilité des enseignants qui croulent déjà sous les charges diverses et subissent une pression constante à la publication. On peut se demander comment réduire encore le temps consacré à l’enseignement va améliorer les conditions d’étude et la réussite des étudiants.

 

Bonus 1 : vertu du classement inversé des candidatures

Curiosité de Parcoursup, il serait à l’avantage de tous les candidats que les filières non-sélectives rendent un classement strictement inverse à celui des résultat scolaires. En effet, la nouvelle procédure d’affectation va avoir un effet pervers : supposons une filière non-sélective avec une capacité d’accueil de 100 places ; supposons qu’elle reçoive 500 candidatures, triées essentiellement en fonction des notes ; les 100 premiers recevront donc un “oui”, et les 400 autres “en attente” le temps que les “oui” se décident. La filière étant non-sélective, le dernier des 500 candidats devra être admis, il va pourtant rester “en attente” le temps que tous les autres devant lui se désistent, ce qui est inutilement anxiogène.

Les filières non sélectives devraient donc rendre un classement strictement inverse aux résultats scolaires, de façon à ce que le dernier des bacheliers obtienne le plus rapidement possible un “oui” pour une filière qui de toutes façons devra l’accepter. C’est, à ce stade, le seul moyen d’éviter des lycéens allant à leurs épreuves du bac en n’ayant que des vœux “en attente”, avec un  impact évidemment négatif sur leur motivation.

Bonus 2 : résumé des recommandations

  • Désigner un responsable Parcoursup, chargé d’organiser la procédure et d’affiner la procédure d’évaluation au fil des années (et demander l’ajout de cette charge dans les référentiels d’activités).
  • Se répartir les dossiers équitablement, mais charger le responsable Parcoursup de contrôler et d’harmoniser les évaluations.
  • Travailler empiriquement et sur la durée, en définissant une pondération et des bonus/malus arbitraires la première année, archiver les classements et les confronter systématiquement aux passage/redoublement/abandon de chaque candidat admis pour affiner les pondérations initiales au fil des années.
  • Garder le système de bonus/malus le plus simple possible pour éviter les erreurs.
  • Ignorer les pièces par défaut qui ne permettent pas d’évaluer les chances de réussite universitaire, et définir son propre questionnaire ciblé précisément sur ce que vous souhaitez évaluer.
  • Décider collectivement de prendre en compte ou d’ignorer le lycée d’origine.
  • Se contenter du classement automatique sans étude du dossier pour les filières non sélectives qui ne proposent pas de mesures d’accompagnement.
  • Rester conscient qu’évaluer avec certitude les chances de réussite ou le mérite réel est impossible, et que tout ce travail se résume à détecter les erreurs d’orientation, les cas particuliers et les paris.

Retrouvez-moi sur twitter.