Nous voici donc à la fin de la première phase principale de Parcoursup. Les bilans statistiques et chiffrés sont largement disponibles. On pourra se référer au dernier tableau de bord.

Pour faire la liste des points à améliorer (lenteur de l’affectation, stress dû aux réponses au fil de l’eau, précipitation de mise en oeuvre dangereuse, explicabilité insuffisante pour l’acceptabilité, prise en compte du handicap, difficulté de logement pour les réponses tardives…), on pourra se référer à l’audition publique intitulée “Les algorithmes au service de l’action publique : le cas du portail admission post-bac”, conduite par M. Cédric VILLANI, député, et M. Gérard LONGUET, sénateur, à laquelle participaient notamment des représentants de la CPU et de la DGSIP.

Cette audition étant datée de novembre 2017, on pourra se demander pourquoi seraient corrigées des erreurs qui auraient pu être évitées, mais nous allons plutôt nous pencher sur trois points qui questionnent la notion de vérité, si chère à nous autres universitaires.

«Le dernier mot au bachelier» et «aucun candidat à l’université ne recevra un « non »»

« Le dernier mot au bachelier » était un des piliers de la loi ORE, considéré comme un principe par la FAGE et consolidé par le SGEN-CFDT. Avec «Aucun candidat à l’université ne recevra un « non »», c’était un des slogans répétés à l’envie dans les médias et les réseaux sociaux.

On pouvait légitimement penser que ces principes garantissent que le choix de son orientation reviendra en dernier lieu au bachelier, au moins dans les filières non-sélectives de l’université. L’institution n’aurait alors qu’un rôle de conseil. Après tout, le sens de l’expression « avoir le dernier mot » n’est-il pas « avoir le pouvoir de décider en dernier ressort » ?

Or, la loi ORE dispose que « Le silence gardé par un établissement sur une candidature […] ne fait naître aucune décision implicite avant le terme de cette procédure« . En clair, c’est à partir d’aujourd’hui que les « en attente » se transformeront progressivement en « non ». Combien de candidats n’auront pas leur vœux préféré, y compris dans les Licences non-sélectives, y compris dans les filières qui ne sont pas en tension ? Combien de candidats n’auront pas, in fine, le dernier mot et recevront un « non » à l’université ? Voilà des chiffres qui mériteraient d’être publiés.

En réalité, il ne s’agissait pas d’un dernier mot dans la hiérarchie des choix, dominée essentiellement par l’institution, mais dans la temporalité des choix… Droit bien faible comparé à la publicité qui lui a été faite. On a d’ailleurs récemment pu entendre que plutôt « l’idée, c’était de redonner le dernier mot au lycéen, et lui permettre de choisir jusqu’au bout ». Mais choisir jusqu’au bout parmi quelles propositions ? Lorsque vous n’avez obtenu qu’un second choix : quitter la plateforme ou s’en contenter. Lorsqu’aucune ne vous est faites : quitter la plateforme ou continuer à espérer… On peinera à voir en quoi ces choix sont en faveur d’une meilleure orientation.

On peinera surtout à trouver de la franchise dans ces slogans. N’est-ce pas une façon d’écorner la vérité que de détourner le sens d’une expression comprise de tous pour nous faire dire, et donc nous faire comprendre, tout autre chose ?

«Accompagner vers la réussite l’ensemble des étudiants» et «créer des places supplémentaires»

L’ambition affichée de la loi ORE est d’organiser « un accompagnement vers la réussite pour l’ensemble des étudiants », ambition louable s’il en est. Même si on n’entend plus beaucoup parler du « contrat de réussite étudiant », et que les moyens sont bien faibles face à la hauteur des enjeux, au moins pourra-t-on peut-être compter sur des leviers positifs pour la réussite :

• un affaiblissement du sentiment de « subir » les étudiants par les filières qui contrôlent désormais leur recrutement, au moins en partie ;
• une meilleure connaissance des étudiants par leurs enseignants, grâce à l’étude des dossiers de candidature ;
• la nécessité pour les établissements d’afficher des performances en hausse, et les incitation, y compris financières, qui l’accompagneront.

Parallèlement, il a été annoncé la création de places supplémentaires à l’université, d’abord à hauteur de 10.000, puis 22.000 et finalement 19.000. Ces places ont été créés essentiellement sans moyens supplémentaires, donc en rognant sur les marges de manœuvre, et cet ajustement final de 22.000 à 19.000 pourrait bien témoigner d’une saturation définitive du système universitaire à moyen constant.

Sauf qu’améliorer la réussite des étudiants consiste à réduire le taux d’abandon, donc augmenter mécaniquement le nombre d’étudiants. Addition faite de l’augmentations démographique, la situation pourrait très rapidement s’avérer critique. C’est très regrettable, mais l’université fonctionne aussi dans ses filières les plus sous-dotées parce que les amphis qui débordent se vident, parfois rapidement. Dans ces amphis, la tentation de « piscine » est grande, mais contraire au principe de réussite du plus grand nombre.

Il y a donc deux affirmations : faire réussir l’ensemble des étudiants, et accueillir tous les bacheliers. Et les deux sont incompatibles. Laquelle sera vraie et laquelle sera fausse ? Une seule chose est sûre, dans de nombreuses filières, il faudra choisir.

«Le secret des délibérations» et «les motifs pédagogiques»

Evitons le mot algorithme. Les recettes utilisées par les commissions d’examen des vœux pour trier les candidatures ont finalement été tenues secrètes.  Selon la loi ORE, « afin de garantir la nécessaire protection du secret des délibérations des équipes pédagogiques chargées de l’examen des candidatures […] les obligations […] sont réputées satisfaites dès lors que les candidats sont informés de la possibilité d’obtenir, s’ils en font la demande, la communication des informations relatives aux critères et modalités d’examen de leurs candidatures ainsi que des motifs pédagogiques qui justifient la décision prise. »

Les candidats n’ont donc eu aucun moyen de comprendre leur classement, et les recalés ont donc toute légitimité à être défiants. Des demandes d’information arrivent aux établissements. Nous ressortons les dossiers, et nous efforçons d’expliquer aux candidats qui en font la demande pourquoi ils n’ont pas été admis.

Mais plus de 6 millions de vœux ont été formulés sur Parcoursup cette année. Pour de très nombreux collègues, l’examen de dossiers de bacheliers était une première. L’absence de cadrage national sur les objectifs de cet examen n’aura pas aidé. A moins d’imaginer des universitaires infaillibles, il faut admettre que des erreurs ont nécessairement été commises, et en quantité probablement non négligeable. Des candidats valables ont forcément été écartés par erreur. Et certaines de ces erreurs vont être découvertes a posteriori.

Quelles options pour l’examinateur qui découvre, suite à une demande, une telle erreur ? L’avouer pourrait avoir des conséquences désastreuse, non seulement en terme d’organisation d’une admission tardive, de gestion d’un incident pour lequel rien n’est préparé, mais aussi en terme d’image ou de répercussion sur les autres candidats. Le réflexe sera inévitable : trouver des aspérités dans le dossier, pousser un peu la mauvaise foi sans trop se compromettre, et justifier malgré tout une décision qu’on aurait en réalité volontiers changée.

Parcoursup va contraindre des universitaires à s’arranger avec la vérité, la tordre, sinon la cacher purement et simplement. Pour un universitaire, il s’agit là d’une compromission de la pire espèce.

Cela fera une bonne question pour les conseils des universités, un bon sujet pour les formations d’éthique scientifique que se développent un peu partout, et il serait intéressant de connaitre les recommandations du Comité éthique et scientifique Parcoursup.

A quelques jours de la fin de la procédure d’affectation Parcoursup, moins de 500.000 candidats ont accepté définitivement une proposition, plus de 167.000 ont quitté la plateforme, 35.000 attendent encore au moins une proposition et plus de 85.000 ont une proposition mais ne l’ont pas définitivement confirmée [Tableau de bord du 27/08/2018].

Sur le dernier mois, les évolutions ont été marginales [Tableau de bord du 27/07/2018], laissant penser que Parcoursup est « grippé », notamment parce que seule une moitié des candidats en classe prépa ont acceptés définitivement leur proposition.

D’après Frédérique Vidal, cette lenteur s’explique par l’accompagnement des étudiants… On peine à voir en quoi être en attente de la décision des autres candidats représente un accompagnement constructif… D’autres acteurs pensent que cette lenteur est due au comportement irrationnel des candidats, qui conserveraient inutilement des vœux en attente, essentiellement par curiosité, malgré la communication de plus en plus menaçante du ministère

Parcoursup serait donc bloqué en raison du comportement imprédictible et irrationnel des candidats ?

Ce n’est pas l’avis de Claire Mathieu, conceptrice de Parcoursup :

En réalité, au contraire d’APB, Parcoursup est fondamentalement conçu de telle façon à ce que des candidats restent en attente jusqu’à la fin de la procédure. Il est donc tout à fait normal qu’autant de candidats n’aient pas encore confirmé leur proposition et que les formations ne soient pas certaines de leur recrutement.

Comment se comporte Parcoursup dans un cas trivial ?

Pour bien comprendre, supposons 300 candidats à 3 formations F0, F1 et F2, ayant 100 places chacune. Supposons que tous les candidats classent ces trois formations de façon identique : F0 préférée à F1 et F1 préférée à F2 ; et que les trois formations classent aussi les candidats de façon identique, de C0 à C299. Il s’agit d’un cas caricatural, mais assez représentatif de ce qu’on peut observer dans un domaine fermé, par exemple les prépas : meilleure prépa nationale (F0), meilleure prépa locale (F1), prépa locale accessible (F2).

Il s’agit surtout d’un cas trivial, dont la solution est évidente : les cents premiers candidats, C0 à C99, iront dans la formation F0 ; les cents suivants, C100 à C199, iront en F1 ; et les cents derniers, C200 à C299, iront en F2. N’importe quel algorithme d’affectation doit pouvoir traiter ce cas sans problème. APB le faisait d’ailleurs très bien en annonçant cette affection dès le premier jour.

Supposons un comportement parfaitement rationnel des candidats : ces derniers ne démissionnent que de leurs vœux moins appréciés et confirment définitivement seulement leur premier vœu. Sur les trois premières semaines (délais initial de réponse), Parcoursup se comporte alors ainsi :

Semaine 1

Semaine 2

Semaine 3

A partir de là, Parcousup n’évoluera plus. On peut alors constater qu’il faut 3 semaines à Parcoursup pour arriver à l’affectation triviale, mais surtout que les deux tiers des candidats sont toujours en attente de meilleurs vœux, tout comme les deux tiers des formations n’ont aucune confirmation définitive. En effet, seul le groupe C0-C99 est sûr d’avoir obtenu son meilleurs choix. Les deux autres groupes restent, sincèrement, dans l’espoir d’obtenir une meilleurs proposition. C’est cette situation que décrivait Claire Mathieu : l’affectation est finie, mais ni les candidats, ni les formations ne le savent.

Personne ne peut le savoir, puisqu’un désistement dans F0 déclenchera une réaction en chaîne. Les candidats doivent rester en attente. C’est ce qui est prévu comme le comportement normal.

« It’s not a bug, it’s a feature. »

Il n’y a donc absolument rien d’étonnant à ce que 85.000 candidats n’aient pas encore confirmé leur proposition. Il y a fort à parier qu’ils ne le feront jamais, sinon par dépit. Il ne s’agit pas d’un bug, ou d’un grippage, de la plateforme, et encore moins d’un comportement irrationnel des candidats, mais du fonctionnement fondamental de Parcoursup.

En réalité, les comportement irrationnels (tels que des candidats du groupe C200-C299 qui démissionnent de F0 et F1) améliorent plutôt les performances de la plateforme, en augmentant artificiellement le nombre de confirmations.

En revanche, on peut se demander quel est l’intérêt de laisser ainsi des candidats en attente de vœux qu’ils n’auront jamais. C’est un parfait exemple de transparence cruelle. APB cachait aux candidats leur rang dans les file d’attente. On sait maintenant pourquoi.

Bien sûr, on ne manquera pas de chercher un moyen d’améliorer cet aspect. Il existe : rétablir la hiérarchisation des vœux. En réalité, cela reviendrait à rétablir APB. Il est donc peu probable que ça arrive. Nous continuerons donc à avoir des C100 et des C200… Premiers refusés sur liste d’attente. Et nous continuerons à le leur dire, sans aucune raison objective valable.

Mais c’est à ce prix que, sans dire « non », les filières non sélectives peuvent laisser certains de leurs candidats en attente pour toujours… Et donc sélectionner. C’est à ce prix qu’on aura mis fin au « scandale du tirage au sort ».

Chacun voit le scandale à sa porte.

Ce document est une forme de RFC (Request For Comment), qui sera mis à jour en fonction des commentaires remontés et de l’évolution des textes, avis et décisions.

L’utilisation d’algorithmes pour prendre des décisions administratives est un véritable enjeu de société. Parcoursup en est un exemple parfait. Alors que se réunissent les premières commissions d’accès à l’enseignement supérieur (CAES) et que les premiers recours arrivent sur le bureau des universités, et alors que le Syndicat des avocats de france vient de publier “Parcoursup, comment contester les refus ?” et que des modèles de lettres circulent déjà sur les réseaux sociaux, il est temps de faire le point sur les obligations légales des universités.

Les algorithmes locaux, les délibérations et l’algorithme Parcoursup

Tout d’abord, il faut bien différencier les différents niveaux de décision pour l’affectation des bacheliers. Chronologiquement :

1. Les commissions d’examen des voeux dans les universités décident des critères et de la procédure pour classer les candidatures. C’est ce qu’on appelle les algorithmes locaux.
   Cela inclut tout ce qui concerne l’évaluation des dossiers de candidatures, y compris les traitements humains et l’organisation de la commission d’examen des voeux. On peut en voir un aperçu dans la rubrique “examen des dossiers” dans la description des formations sur Parcoursup.
2. Les commissions d’examen appliquent ces critères et cette procédure à chacun des dossiers de candidature pour les trier effectivement. C’est la délibération.
3. Les classements sont remontés au national, et les propositions sont communiquées au fil de l’eau aux candidats. C’est l’algorithme national Parcoursup.

Il apparaît à la lecture des textes que chacune de ces phases est soumise à des obligations différentes. Nous nous concentrerons ici sur celles qui concernent les universités.

Les obligations de transparence des universités

La question générale de l’obligation de transparence par l’administration est régie par des disposition spécifiques contenues dans le Code des relations entre le public et l’administration (CRPA) ainsi que par le code de l’éducation. Le guide de la CNIL constitue une excellente première lecture sur le sujet.

Les dispositions spécifiques à Parcoursup : Code de l’Éducation

Les dispositions spécifiques introduites par la loi ORE introduisent un régime d’exception sur la transparence. Ainsi, l’article L612-3 du Code de l’éducation dispose que les candidats ont « la possibilité d’obtenir, s’ils en font la demande, la communication des informations relatives aux critères et modalités d’examen de leurs candidatures ainsi que des motifs pédagogiques qui justifient la décision prise ».

“Critères et modalités d’examen des candidatures”

Les critères et modalité d’examen des candidatures, qui constituent ce qu’on peut appeler les algorithmes locaux, conduisent à des décisions individuelles. Or, l’Article R311-3-1-2 du  Code des relations entre le public et l’administration dispose alors que les informations à communiquer sont les suivantes :

1. Le degré et le mode de contribution du traitement algorithmique à la prise de décision : donc la part entre le traitement subjectif des dossiers (étude des bulletins, de la lettre de motivation, du CV,… Toutes les notes et modulations ajoutées à la main) et le traitement algorithmique (organisation de la commission, calcul de la moyenne, prise en compte de la fiche avenir, intégration des notes et modulations ajoutées à la main…) ;
2. Les données traitées et leurs sources : donc la liste des données disponibles sur Parcoursup, plus toutes les éventuelles données additionnelles utilisées dans le traitement, comme, par exemple, les taux de réussite par filières d’origine ou le classement des lycées ;
3. Les paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l’intéressé : donc toutes les pondérations utilisées pour calculer la note finale.
4. Les opérations effectuées par le traitement : donc soit l’outil d’aide à la décision de Parcoursup, soit l’outil qui a été utilisé, et le cas échéant, toutes les opérations qu’il a permis de faire, donc les codes et formules utilisés dans cet outil.

“Motifs pédagogiques qui justifient la décision”

Cette expression vague de “motifs pédagogiques qui justifient la décision” risque d’être sujette à interprétation.

De prime abord, les motifs pédagogiques peuvent être compris comme les appréciations individuelles portées par l’examinateur sur le dossier de candidature. Il est en effet possible de saisir différents commentaires dans l’outil d’aide à la décision Parcoursup, notamment en ce qui concerne les bonifications ou forçage de notes. Cependant, ces commentaires ne sont pas obligatoires, pas plus que l’utilisation de l’outil d’aide à la décision. Il est donc probable que certains dossiers ne comportent aucun motif pédagogique.

Mais au delà de ces appréciations, la décision est aussi issue des règles générales de classement (pondérations des notes de lycées, bonifications automatiques diverses, etc). Ces règles devraient donc également être justifiée par des motifs pédagogiques. Cela peut conduire les établissements à fournir, par exemple, des études d’adéquation entre les programmes pédagogiques des filières du secondaire et du supérieur.

Ce type de travail peut s’avérer rapidement monumental à faire. De plus, des motifs pédagogiques peuvent toujours être discutés et remis en cause, notamment s’ils ont été définis instinctivement, ce qui ouvre la voie à de possibles recours et polémiques.

Dispositions générales : loi Informatique et Liberté, Code des relations entre le public et l’administration (CRPA) et Règlement général sur la protection des données (RGPD)

Dans sa délibération n° 2018-119, la CNIL a estimé que “dans la mesure où les commissions d’examen des vœux des établissements d’enseignement supérieur définissent librement les modalités et les critères d’examen des candidatures […], le ministère n’est pas responsable des traitements. […] Les établissements d’enseignement supérieur, en tant que responsables de traitement, devront respecter les principes régissant la protection des données personnelles, ce sur quoi elle sera vigilante.”

Elle ajoute que l’aménagement des droits par le Code de l’éducation “est sans incidence sur le droit d’accès prévu par l‘article 39 de la loi « Informatique et Libertés »”.

La logique sous-jacente

La CNIL rappelle en outre que “les établissements d’enseignement supérieur qui recourraient à un traitement algorithmique pour examiner les candidatures qui leur sont soumises devront également fournir l’ensemble des éléments permettant de comprendre la logique qui sous-tend cet algorithme”.

De plus, l’article 15 du RGPD dispose de communiquer au candidat les “informations utiles concernant la logique sous-jacente” de la prise de décision automatisée.

Selon dans la décision n° 2018-765 du Conseil constitutionnel, il résulte de ces dispositions que la description de l’algorithme local doit être accompagné d’une explication “afin de pouvoir expliquer, en détail et sous une forme intelligible, à la personne concernée [,à savoir un lycéen,] la manière dont le traitement a été mis en œuvre à son égard”.

Là encore, le travail pour les commission d’examen des voeux peut s’avérer conséquent et la voie est ouverte à de possibles polémiques.

Communication sur demande et/ou déclaration

Les algorithmes locaux concernant des données personnelles, ils devraient êtres soumis à une obligation de déclaration CNIL. Bien souvent, les universités disposent d’un Correspondant Informatique et Liberté (CIL), chargé de faire cette cette déclaration directement sur le site de l’université. Cette déclaration ne peut se limiter à simplement lister les informations traitées, mais doit permettre de comprendre la logique sous-jacente des algorithmes locaux utilisés dans toutes les filières de l’université.

Cependant, le RGPD, entré en application depuis le 25 mai 2018, change cette philosophie. Désormais, les universités doivent désigner un Délégué à la protection des données (Data Protection Officer) chargé d’organiser la conformité en matière de protection des données, et notamment “d’informer et de conseiller le responsable de traitement ou le sous-traitant, ainsi que ses employés” et de “contrôler le respect du règlement européen et du droit national en matière de protection des données”.

L’obligation de déclaration des algorithmes locaux devrait disparaître au profit d’une obligation de disposer d’un délégué facilement identifiable chargé de répondre à toutes les demandes des candidats.

Obligation de publication

La loi ORE a aménagé les obligations de transparence “afin de garantir la nécessaire protection du secret des délibérations”. Considérant que les délibérations portent uniquement sur l’examen des dossiers individuels, les universités doivent respecter les obligations de l’article L312-1-3 du CRPA, et notamment celle de “[publier] en ligne les règles définissant les principaux traitements algorithmiques”, donc les algorithmes locaux.

Pour plus de détails à ce sujet, lire Parcoursup : Transparence des algorithmes locaux vs. Secret des délibérations.

Conclusion sur la transparence

Au final, les établissements d’enseignement supérieur devraient publier tous les détails des algorithmes locaux qui ont servis à classer les candidatures, et ce bien au delà des attendus nationaux ou des informations données dans la rubrique “examen des dossiers” de la plateforme. En plus des détails techniques (pondérations, bonifications, etc.), ils devraient publier les motifs pédagogiques qui les justifient, ainsi qu’une explication permettant de comprendre la logique sous-jacente. Un soin particulier devrait être apporté au départage des candidats ex-aequos.

En plus de toutes ces informations, les universités devraient fournir une explication individuelle à tout candidat qui en fait la demande.

Les obligations dans le traitement des dossiers par les universités

Traitements totalement automatiques et algorithmes auto-apprenants

L’article 10 de la loi informatique et liberté et l’article 22 du RGPD s’opposent au traitement totalement automatique des données pour prendre des décisions individuelles administratives. Cela pose la question de la légalité des décisions prises automatiquement, que ce soit les classements ou la nature de l’avis (“oui”,”non” ou “oui si”), lorsqu’elles sont prises uniquement sur la base des notes ou de caractéristiques comme la filière d’origine.

En outre, dans sa décision n° 2018-765, le Conseil constitutionnel a estimé que “ne peuvent être utilisés, comme fondement exclusif d’une décision administrative individuelle, des algorithmes susceptibles de réviser eux-mêmes les règles qu’ils appliquent, sans le contrôle et la validation du responsable du traitement”. L’utilisation d’algorithme auto-apprenants, ou deep-learning, semble donc être exclue.

Tirage au sort

L’absence de tirage au sort fait partie du cahier des charges de l’algorithme national Parcoursup, mais pas de celui des algorithmes locaux. Dans son avis du 22 décembre 2017, le Conseil d’Etat indique, à propos du départage des candidatures, que “aucun texte ni aucun principe ne fait obstacle à ce qu’il repose sur le tirage au sort”, mais il ajoute qu’il ne peut “intervenir qu’à titre exceptionnel pour départager un nombre limité de candidats”.

Cette question peut donc se poser notamment en ce qui concerne le départage des candidats ex-aequo. Limités à leurs considérations pédagogiques, les algorithmes locaux peuvent effectivement conduire à un grand nombre de candidats dans cette situation. Or, les critères ajoutés à la seule fin de les départager n’ont pas, par nature, de motif pédagogique. Ils pourraient donc s’apparenter à du tirage au sort, quand bien même ils seraient basés sur des résultats scolaires.

En outre, cette question pourrait prendre une toute autre tournure si l’on en venait à prendre en considération des aspects pédagogiques dans la définition du tirage au sort.

Principe constitutionnel d’égalité

Ce principe est simple : les situations identiques doivent être traitées de façon identiques. En pratique, c’est plus compliqué : les différences de traitements doivent être justifiées par des raisons objectives, pertinentes et étrangères à toute discrimination.

Il existe sans doute trois types de risques pour les universités :

• Deux candidats qui s’estiment dans une situation identique, mais estiment ne pas être traités de façon identique : ce risque est limité puisque chaque candidat n’aura accès qu’à son propre dossier.
• Un même candidat traité de façon différente dans deux filières : ce risque est limité puisqu’on pourra estimer que les filières sont différentes, mais on sera peut-être amené à devoir le prouver, ce qui peut-être rendu difficile pour des formations identiques dans des établissements différents.
• Un groupe de candidats qui estiment qu’un critère défini dans l’algorithme local leur porte préjudice.

C’est ce dernier cas, s’il venait à être discuté, qui pourrait conduire à une jurisprudence compliquant sérieusement le travail des commissions d’examen des voeux. Cependant, la jurisprudence a déjà très affaibli ce principe ces dernières années. Il peut être raisonnable de le considérer comme un cadre de pensée plutôt qu’un réel cadre légal.

Les obligations de réponse et d’intervention

Selon l’article 59 du RGPD, lorsqu’un candidat fait une demande d’information, l’établissement concerné est tenu de répondre “dans les meilleurs délais et au plus tard dans un délai d’un mois et de motiver sa réponse lorsqu’il a l’intention de ne pas donner suite à de telles demandes”.

Suite à cette information, l’article 22 du même RGPD confère au candidat le droit “d’obtenir une intervention humaine de la part du responsable du traitement, d’exprimer son point de vue et de contester la décision”, avec le même délais d’un mois.

Contestation de la décision

Une contestation légitime, par exemple suite à une erreur matérielle (note mal prise en compte dans le calcul de la moyenne, détail oublié dans les pièces complémentaires, etc.), conduirait mécaniquement à la réévaluation de la note finale du candidat, et donc à son rang dans le classement.

Or, il est très difficile, sinon impossible, de modifier un classement après leur prise en compte par l’algorithme national Parcoursup.

Les commissions d’examen des voeux seraient alors sans doute contraintes de refuser toute modification de la décision. Cela pourrait même les conduire à devoir cacher leurs éventuelles erreurs, même légitimes, faute d’avoir la possibilité de les corriger avec un dispositif prévu à cet effet.

L’article 59 du RGPD dispose pourtant que “des modalités devraient être prévues pour faciliter l’exercice par la personne concernée des droits qui lui sont conférés”.

Délais de recours

Quoi qu’il en soit, la loi ORE dispose que “le silence gardé par un établissement sur une candidature […] ne fait naître aucune décision implicite avant le terme de cette procédure”. C’est donc le 5 septembre 2018 pour cette année que les “en attente” se transformeront en “non”. “En attente” n’étant pas une décision, aucune contestation ne sera possible avant cette date.

Or, entre la demande d’information et la réponse à la contestation, deux mois peuvent s’écouler, conduisant à novembre. L’intégration dans une formation est de fait impossible si tard. De plus, le caractère d’urgence semble très difficile à faire valoir en tel cas. Dans sa décision n° 2018-763, le Conseil constitutionnel a cependant estimé que cela ne portait “aucune atteinte au droit à un recours juridictionnel”.

Les candidats n’auront alors plus comme alternative que de demander des dommages et intérêts pour le préjudice subi, mais ce type de démarche n’est pas aussi facilement accessible à toute la population. Le cas échéant, il faudra également décider de qui devra supporter les frais de justice, entre l’université, la filière ou la commission d’examen des vœux.

Il reste cependant une question ouverte : est-ce que le classement des candidatures relèvent d’une décision administrative ? Si c’était le cas, alors les candidats seraient peut-être fondés à former un recours à propos de leur rang dans les listes d’attente, et ce sans avoir à attendre la naissance de la décision implicite.

Risque de contestation pour les filières dites “sélectives”

Seules les filières dites “sélectives” ont la possibilité de prononcer des “non” francs, seule décision explicite contestable. Ces décisions pourraient être réellement contestés avant la rentrée. Pour éviter un tel risque, ces filières pourraient être conduite à mettre “en attente” la totalité de leurs candidats, ce qui, sans rien changer à leur recrutement, les mettrait à l’abri de tout recours.

Conclusion

En généralisant le tri des candidatures à tous les bacheliers souhaitant entrer dans l’enseignement supérieur, Parcoursup doit conduire à se poser des questions aussi concrètes que difficiles en matière de légalité. Ces questions sont un véritable enjeu pour les bacheliers comme pour les universités ou les commissions d’examen des voeux. Il est possible qu’une jurisprudence fasse bientôt son apparition.

Plus largement, ces questions s’inscrivent parfaitement dans la réflexion autour de la place des algorithmes dans l’administration. Plutôt que de jouer la transparence avec des modalités de recours adaptées, la loi ORE joue le secret avec des délais limitant au maximum l’efficacité des recours. Il faut espérer que cet exemple ne sera pas suivi dans les autres branches de l’Administration.

Références

• LOI n° 2018-166 du 8 mars 2018 relative à l’orientation et à la réussite des étudiants
• Article L612-3 du Code de l’éducation
• Article R311-3-1-2 du  Code des relations entre le public et l’administration
• Article L312-1-3 du Code des relations entre le public et l’administration
• Loi 78-17 du 6 janvier 1978 modifiée “Informatique et Liberté”
• Article 15 du Règlement général sur la protection des données.
• Article 22 du Règlement général sur la protection des données.
• Article 59 du Règlement général sur la protection des données.
• Décision n° 2018-765 DC du 12 juin 2018 du Conseil constitutionnel sur la Loi relative à la protection des données personnelles
• Délibération n°2018-119 du 22 mars 2018 portant avis sur un projet d’arrêté autorisant la mise en œuvre d’un traitement de données à caractère personnel dénommé Parcoursup (demande d’avis n° 2134634 VI)
• Avis du 22 décembre 2017 du Conseil d’Etat pour Associations SOS Éducation, Promotion et défense des étudiants et Droits des Lycéens
• Rapport du Sénat sur le projet de loi relatif à la protection des données personnelles
• Guide de la CNIL : Algorithmes utilisés par l’administration : vers plus de transparence
• Le principe d’égalité : Exposé présenté lors de la visite au Conseil constitutionnel, le 18 septembre 2001, d’un groupe d’universitaires britanniques

Le texte final de la loi ORE, issu de la rédaction proposée par la ministre, instaure un régime d’exception à l’obligation générale de transparence et de communication des documents administratifs. Cela s’est essentiellement joué autour de deux amendements.

Transparence

D’abord, en décembre 2017, Cédric Villani a porté l’amendement 245 portant sur la loi Orientation et Réussite des Étudiants, qui dit la chose suivante :

“La communication, en application des dispositions du code des relations entre le public et l’administration, du code source des traitements automatisés utilisés pour le fonctionnement de la plateforme mise en place dans le cadre de la procédure nationale de préinscription prévue au I s’accompagne de la communication du cahier des charges présenté de manière synthétique et de l’algorithme du traitement”.

Il introduit des garanties de transparence.

Mais, selon le Sénat, “ces garanties ont été vidées de leur substance par un amendement de dernière minute”.

Exception

En effet, en février 2018 lors des débats sur le projet de loi relatif à la protection des données personnelles, Frédérique Vidal a porté l’amendement 204, qui dit la chose suivante : “Afin de garantir la nécessaire protection du secret des délibérations des équipes pédagogiques chargées de l’examen des candidatures présentées dans le cadre de la procédure nationale de préinscription prévue au I, les obligations résultant des articles L. 311-3-1 et L. 312-1-3 du code des relations entre le public et l’administration sont réputées satisfaites dès lors que les candidats sont informés de la possibilité d’obtenir, s’ils en font la demande, la communication des informations relatives aux critères et modalités d’examen de leurs candidatures ainsi que des motifs pédagogiques qui justifient la décision prise.”

Dans les faits, cela conduit à un régime d’exception, puisque certaines obligations n’ont plus à être satisfaites, et notamment celle du L. 312-1-3 : “les administrations publient en ligne les règles définissant les principaux traitements algorithmiques utilisés dans l’accomplissement de leurs missions lorsqu’ils fondent des décisions individuelles”.

Cet amendement, supprimé par le sénat et réintégré par l’assemblée à plusieurs reprises, a surpris les membres de la commission mixte paritaire :

M. Jacques Grosperrin, rapporteur. Nous avons eu un débat sur les algorithmes en commission, qui avait abouti à un avis plutôt défavorable. Nous souhaiterions pouvoir échanger avec vous sur ce sujet, madame la ministre.
De quoi s’agit-il exactement ? Pouvez-vous nous donner des informations complémentaires, en particulier sur la publication des algorithmes et la question de la transparence ?

Mme Frédérique Vidal, ministre. La publication des algorithmes est inscrite dans la loi : ce n’est pas le sujet ici. Cet amendement vise simplement à permettre à un candidat d’obtenir communication, dans le cadre d’une démarche individuelle, des raisons de la décision le concernant, tout en préservant le secret des délibérations des équipes pédagogiques, que le Conseil d’État a consacré il y a deux ans.

Considérant cette réponse, et considérant que le secret de délibération n’intervient que lors de l’examen individuel des dossiers, et non pas lors de la définition des algorithmes locaux, il peut sembler évident que ces derniers doivent bien être publiés en ligne pas les établissements d’enseignement supérieur.

Confusion

Pourtant, cet amendement a entouré cette question de confusion (voir NextInpact ici, là ou là. Le Monde en a même conclu que “Malgré le vote du Sénat, les députés ont suivi le gouvernement, afin de permettre aux établissements de ne pas dévoiler leur algorithme de classement des candidatures reçues via Parcoursup”. La confusion atteint même les présidences des universités, dont certains membres estiment que les algorithmes locaux sont couverts par le secret des délibérations.

A ce jour, aucune directive ministérielle n’est d’ailleurs donnée dans le sens de la publication et la confusion a encore été accentuée par la publication de l’algorithme national Parcoursup, sans son cahier des charges ni la structure de sa base de donnée. C’est ainsi que l’on a peut lire sur le site du ministère “rendre transparente l’intégralité de la procédure Parcoursup”.

Enjeux

Les enjeux sont grands autour de cette transparence.

Enjeu pédagogique

La loi Orientation et Réussite des Étudiants s’appuie sur le postulat qu’une meilleure orientation permettra d’améliorer la réussite des étudiants. Mais il ne faudrait pas réduire cette meilleurs orientation à une meilleure affectation. L’orientation passe aussi par la compréhension de son parcours, des raisons qui ont fait que telle filière étaient plus adaptée plutôt que telle autre. Et ces raisons doivent dépasser les résultats scolaires, les filières d’origine, ou le froid constat que trop de candidats sont mieux classés.

En matière d’orientation, il faut effectivement remettre de l’humain, et cela passe nécessairement par la publication, mais surtout l’explication, des algorithmes locaux.

Enjeu social

Les algorithmes se déploient à tous les niveaux de la société. Ils présentent des avantages indéniables, comme des risques non négligeables. Il faut faire la différence entre les algorithmes des entreprises, qui relèvent souvent du secret industriel ou du secret des affaires, et les algorithmes utilisés dans l’administration.

En conduisant à des décisions individuelles, ces derniers nous administrent. C’est donc l’essence même de la démocratie qui impose non seulement leur totale transparence, mais en détail et sous une forme intelligible. Accepter que des algorithmes totalement secrets prennent des décisions pour nous, c’est accepter une nouvelle société.

Candidater dans Parcoursup sans pouvoir connaître les algorithmes locaux revient à participer à un concours sans jamais pouvoir en connaître les épreuves. Il y a quelque chose kafkaïen en ça.

Enjeux politiques

Vu les contraintes juridiques qui entourent les commissions d’examen des vœux, nul doute qu’une trop grande transparence annoncée aurait était un frein à l’adoption de Parcoursup par la communauté universitaire, ne serait-ce que par la masse de travail nécessaire.

De plus, cette transparence peut conduire à une augmentation des contestations, non seulement en raison de critères possiblement illégaux, mais aussi en raison de critères nécessairement discutable. Beaucoup de décisions ne peuvent en réalité pas être fondée objectivement, et la plupart, si elles favorisent les uns, défavorisent les autres. On n’ose imaginer les conséquences d’un algorithme local, et donc du classement subséquent, qui viendrait à être déclaré illégal durant ou après l’affectation des bacheliers…

Enfin, dans une perspective économique, les algorithmes locaux peuvent s’apparenter à des “recettes secrètes” pour recruter les meilleurs étudiants. Il est alors naturel, pour chaque formation, de les protéger tels des secrets industriels, afin de garder une avance sur ses concurrents. 

Conclusion

A tous les niveaux et pour tous les acteurs, la transparence des algorithmes locaux est un véritable enjeu. De lourdes conséquences sont à attendre, qu’ils soient publiés ou gardés secrets. Néanmoins, il me semble qu’une publication accompagnée d’un effort conséquent d’explication pour que chaque bachelier puisse comprendre les raisons de son orientation est en réalité indispensable.

S’il faut remettre de l’humain, c’est bien ici. Et si ces algorithmes ne sont pas de bêtes machines à trier, alors il n’y a rien à craindre, les bacheliers sauront les comprendre et les respecter. La démarche de la réussite par l’orientation est au cœur même de la loi Orientation et Réussite des Étudiants, mais comment demander à un bachelier de réussir ainsi tout en le privant des moyens de comprendre la façon dont il a été orienté ?

Plus qu’une question de justice avec les candidats, la transparence des critères de sélection dans le supérieur est aussi une question politique, qui touche à l’organisation même de notre société :

« Plus discrète, une autre transgression décisive fut mise en place au début du XXe siècle : la prise en compte de la filiation dans les critères d’admission des principales universités du pays. Au moment de s’inscrire, les jeunes postulants bénéficient en effet d’un traitement de faveur lorsqu’un de leurs parents — généralement leur père — a fréquenté l’établissement. « En réservant des places d’office aux membres de la pseudo-aristocratie “de fortune et de naissance”, écrit l’essayiste Michael Lind, le droit de succession universitaire a introduit le serpent aristocratique dans le jardin d’Éden de la république démocratique.  »

Aujourd’hui, ces critères de sélection héréditaire (legacy preferences) sont en vigueur dans les trois quarts des cent universités américaines les mieux cotées, publiques et privées. Ils règnent également dans les cent meilleures écoles d’arts libéraux du pays. Outre les résultats scolaires, la couleur de peau, le sexe et l’origine géographique, ces établissements prennent en compte la famille des candidats, sans dévoiler le poids qu’ils accordent à chacun de ces critères.« 

Et si la véritable évolution de Parcoursup était l’entrée des universités dans le marché de l’enseignement supérieur ?

C’est en tous cas l’idée qui est présentée par le président de l’Université de Poitiers Yves Jean : « Le Plan étudiants va créer un jeu de concurrence entre les universités ». Le sujet est d’ailleurs abordé ouvertement de temps à autres, par exemple : « comment l’équilibre offre-demande – autrement dit le marché du supérieur – a été reconfiguré par Parcoursup », ou encore « Comment la globalisation bouleverse l’université ».

Plutôt que se demander si, oui ou non, les universités devraient participer ouvertement à un marché de l’enseignement supérieur, regardons plutôt de quoi il s’agit, comment cela se passe, et quels sont les conséquences prévisibles à court terme.

Vers une concurrence pure et parfaite…

Un état de marché est défini par une concurrence se rapprochant le plus possible du concept théorique de « concurrence pure et parfaite » qui doit satisfaire cinq conditions :

1. l’existence d’un grand nombre d’agents économiques indépendants les uns des autres : alors que les candidats sont naturellement indépendants, Parcoursup renforce l’autonomie des universités en permettant à chaque établissement et formation de développer sa propre stratégie de recrutement ;
2. l’inexistence de barrières qui empêchent d’entrer et de sortir de ce marché : Parcoursup a vocation à intégrer toutes les formations du supérieur et intègre déjà de nombreuses formations privées, dont le développement est impressionnant ;
3. la disposition d’une information parfaite et complète : Parcoursup améliore sensible l’information donnée aux lycéens, mais en fait aussi à la totalité des acteurs, qui pourront aussi se référer aux nombreux classements des formations et établissement (par exemple ici, là ou là, et même maintenant des méta-classements) ;
4. l’homogénéité des produits : dans Parcoursup, toutes les formations sont vues sous l’angle des mêmes indicateurs clés, et l’arrêté Licence vise à créer un nouveau cadre à ces produits ;
5. la mobilité des facteurs (capital, travail) qui concourent à la production des biens ou des services : même si ce n’est pas directement lié à Parcoursup, développer la mobilité dans l’enseignement supérieur est une priorité politique.

Le site Parcoursup fournit d’ailleurs un outil de recherche puissant dans lequel les formations ont chacune leur fiche produit :

… vue depuis les formations…

Au sein des universités, les formations sont pilotées sur la base de différents indicateurs clés de performance, appelés KPI (Key Performance Indicators), dont les principaux sont :

• Taux de pression : mesure l’attractivité de la formation par un rapport entre le nombre de candidatures et la capacité d’accueil, 100% est une attraction maximum et 0% une attraction nulle (voir le classement national).
• Taux de réussite  : mesure la réussite des étudiants par le rapport entre le nombre d’étudiants diplômés et les effectifs, 100% est une réussite totale et 0% un échec total.
• Taux d’insertion : mesure l’insertion à la sortie de la formation par le rapport entre le nombre de diplômés et le nombre d’étudiants qui trouvent un emploi ou une poursuite d’étude, 100% une insertion de tous les étudiants et 0% une insertion nulle.

Au plus ces trois indicateurs sont élevés, au plus la formation sera considérée comme performante. Ils sont donc cruciaux dans les négociations qui président à la répartition des moyens au sein des universités : un poste d’enseignant sera plus volontiers attribué à une formation présentant des taux de pression, réussite et insertion élevés, qu’à une formation peu demandée, où les étudiants échouent ou se retrouvent au chômage. Cependant, les formations ont peu de prises sur ces indicateurs :

• augmenter le taux de pression par la publicité comporte un coût non négligeable et les résultats dans le secteur public sont jusqu’ici peu probants ;
• augmenter le taux de réussite peut se faire en baissant les exigences, mais cela conduit à une baisse des autres indicateurs, ou en améliorant l’enseignement, mais cela nécessite des moyens dont la perspective est politiquement écartée ;
• l’insertion dépend essentiellement de facteurs extérieurs à la formation, comme le nombre d’emplois disponibles dans le secteur de la formation…

En revanche, Parcoursup permet maintenant de jouer sur un levier très efficace : la capacité d’accueil. Regardons, sur un cas concret, les effets qu’on peut en attendre.

L’impact de la capacité d’accueil sur les KPI

Soit une formation ayant 200 dossiers déposés, 100 candidats qui viendraient vraiment, 35 places en insertion potentielle et une répartition des effectifs comme suit :

1. 15 candidat issus d’une filière montrant 90% de réussite ;
2. 70 candidats issus d’une filière montrant 40% de réussite ;
3. 15 candidats issus d’une filière montrant 10% de réussite.

On peut aisément calculer ses principaux indicateurs clés : 50% de taux de pression, environ 40% de taux de réussite et 80% de taux d’insertion.

En jouant sur sa capacité d’accueil grâce à un algorithme local qui classe les candidatures en fonction des taux de réussite de leur filière d’origine, la filière dispose d’un levier d’action direct sur ses KPI :

La réduction de la capacité d’accueil permet de réduire le nombre d’étudiants ayant peu de chance de réussite ainsi que le nombre de diplômés, et d’ainsi améliorer tous les indicateurs. On pourra d’ailleurs fixer cette capacité d’accueil en fonction d’un objectif particulier. Par exemple, 68 places permettront d’avoir 100% d’insertion, alors que 15 places permettront en plus d’avoir un taux de réussite de 90% :

Il faut noter ici que cette approche néglige d’autres effets de la réduction des effectifs, comme l’augmentation du taux d’encadrement, mais aussi la réduction des budgets alloués par l’université, qui sont souvent fonction du nombre d’étudiants. Cette réduction pousse naturellement à trouver d’autres sources de financement.

Au final, la réduction des capacités d’accueil est une réponse efficace aux manques de moyens. Indépendamment les unes des autres, toutes les formations ont donc intérêt à progressivement réduire leur nombre de places… D’où la nécessité d’une régulation.

… Mais sur un marché régulé…

Si Parcoursup est une avancée selon le cadre théorique d’un marché parfait, totalement dérégulé, et que le choix rationnel sur le plan économique pour une formation est de réduire sa capacité d’accueil, il existe donc un risque d’exclusion des étudiants les moins « rentables » du point de vue des KPI, notamment depuis que la baccalauréat n’est plus le seul critère pour intégrer une filière universitaire. C’est pourquoi il est nécessaire d’établir un organe régulateur avec des pouvoirs forts, notamment sur les acteurs publics.

C’est le rectorat qui a été choisi pour jouer ce rôle de régulateur, et c’est pourquoi le pouvoir de fixer les capacités d’accueil a été transféré des présidents d’université aux recteurs. C’est aussi pourquoi le rectorat a le pouvoir de fixer les quotas minimum de boursiers, ou encore les quotas maximum de candidats hors-académie, dont le pourcentage est l’indicateur principal d’attractivité.

Le site statistique.parcoursup.fr permet d’ailleurs de visualiser et comparer l’attractivité de chaque région, ville, établissement et formation. Par exemple, voici l’attractivité régionale de Panthéon Sorbonne et l’I.U.T de Saint Denis :

Ainsi, le rectorat est garant que les formations ne réduiront pas brusquement leur capacité d’accueil, tout en évinçant les candidats boursiers au profit des candidats hors académie afin d’avoir des effectifs rentables à tout point de vue. Notons que les formations privées ne sont pas soumises à cette régulation, ce qui constitue une imperfection du marché, tout comme la non transparence des algorithmes locaux, qui contrevient à la mise à disposition d’une information parfaite et complète. Cette non transparence de la recette pour sélectionner les meilleurs étudiants peut d’ailleurs aussi se comprendre sous l’angle du secret industriel.

Quoi qu’il en soit, l’accès à l’Université est garantie par la loi à tous les bacheliers, ce qui est un frein majeur à la concurrence entre les formations, même si Parcoursup leur permet aujourd’hui de sélectionner leurs étudiants. C’est pourquoi ce jeu de concurrence se fera plus aisément avec le développement de filières d’excellence.

… Qui crée donc sa propre concurrence en interne…

Les filières d’excellence, parfois appelées renforcées ou double-Licences par exemple, se sont largement développées ces dernières années. Si elles occupent le même marché que les filières normales, elle se caractérisent par une sélection accrue des étudiants, légitimée par des particularité pédagogiques souvent réelles. Pour la plupart sans assise légale avant la loi ORE, elles sont aujourd’hui de fait encouragées par Parcoursup. Si ce n’est pas déjà le cas, les filières normales, vouées à accueillir tous les candidats, vont donc être de plus en plus adossées à des filières d’excellence, vouées à accueillir les meilleurs de ces candidats.

Regardons l’impact d’une telle filière sur le cas concret exposé plus tôt.

L’impact d’une filière d’excellence sur une filière normale

Supposons que la régulation du rectorat empêche de baisser la capacité d’accueil de notre formation, rien n’empêche en revanche de créer en parallèle une filière d’excellence dont on contrôlera la capacité d’accueil. La sélection ne se fera donc pas à l’entrée de l’université, mais entre ces deux filières.

La filière d’excellence aura une rareté de places structurelle, donc une meilleur attractivité : le choix rationnel pour les candidats sera de demander les deux filières, et de prioriser la filière d’excellence. Cette dernière recrutera donc les meilleurs candidats, les autres iront dans la filière normale. On peut alors regarder l’évolution des KPI des deux filières selon la capacité d’accueil de la filière excellente :

Sans surprise, la filière excellente, par la simple sélection des meilleurs étudiants, aura des KPI très supérieurs à ceux de la filière normale. Avec une capacité d’accueil d’un groupe TP (15), son taux de réussite sera de 90% contre 35% en filière normale dont elle aura pris les meilleurs étudiants. Les taux de pression et d’insertion seront aussi de 95% et 100% contre moins de 60% et 70%. L’effet de l’augmentation des places dans la filières d’excellence peut rapidement s’avérer dévastateur sur la filière normale. En ouvrant un groupe TD (30), on pourra notamment remarquer l’écroulement du taux d’insertion de la filière normale, dont les diplômés auront un désavantage certains sur le marché du travail et de la poursuite d’étude comparé à ceux provenant de la filière d’excellence :

Lorsqu’on en viendra à discuter de la répartition des budgets au sein de l’université puis au sein de la composante, l’étude rationnelle des PKI conduira à privilégier la filière d’excellence, alors que c’est l’existence même de la filière d’excellence qui plombe les résultats de la filière normale.

… Porté par les meilleures intentions.

Il ne faudra pas ici s’imaginer des universitaires ravis de se lancer avec fougue dans le jeu de la concurrence entre universités, composantes, filières et donc collègues et étudiants. Cependant, il existe de très nombreuses motivations pédagogiques, parfaitement légitimes, au développement des filières d’excellence. On cherchera pas exemple à éviter que les meilleurs étudiants s’ennuient ou se détournent de nos filières, à proposer un accompagnement plus adapté aux étudiants les plus en difficulté, à rehausser le moral des enseignants en leur permettant d’enseigner des programmes expérimentaux dans des groupes plus réduits, ou encore à redorer le blason de la discipline.

En réalité, les raisons ne manquent pas pour développer les filières d’excellence, et elles sont toutes bonnes. En revanche, il ne faudrait pas pour autant négliger ou minimiser l’impact de cette concurrence sur les filières normales, par exemple en invoquant une forme de théorie du ruissellement supposant que la filière normale pourrait également profiter de cette concurrence.

Conclusion

Parcoursup et la loi ORE renversent le paradigme d’affectation des lycéens dans l’enseignement supérieur : alors qu’APB visait d’abord à satisfaire les vœux des candidats avec le baccalauréat pour seul critère, Parcousup vise en premier lieu à permettre aux formations de choisir leurs étudiants en fonction de critères secrètement choisis. Ce nouveau pouvoir met de fait les formations en concurrence pour obtenir les meilleurs candidats. Ces meilleurs candidats conduisent mécaniquement à de meilleurs indicateurs clés de performances, qui eux-même conduisent à des arbitrages budgétaires plus favorables ainsi qu’à une meilleure attractivité de la formation, qui elle-même conduit à une concurrence accrue entre les candidats pour obtenir cette formation, qui conduit ensuite à une plus grande concurrence entre les filières…

Ce cercle, vertueux pour certains, vicieux pour d’autres, ne peut se faire qu’au détriment des formations réellement ouvertes, dont les indicateurs clés de performances sont nécessairement impactés, ne serait-ce que la fuite des meilleurs candidats et la façon dont sont fait les arbitrages budgétaires au sein des universités.

Parcoursup est en réalité un formidable outil de mise en concurrence des filières sur un marché de l’enseignement supérieur ouvert, qui accélère naturellement le développement d’études supérieures universitaires « à plusieurs vitesses ». C’est là la stricte loi du marché. Mais il faut aussi se rappeler que le seul objet d’un marché est de fixer le juste prix d’un bien ou d’un service. 

Et dans l’Université, les petits poissons mangent les grands… 

La fin du tirage au sort est l’argument principal motivant la réforme de l’accès à l’Université… Mais dans quelle mesure s’affranchit-on du sort avec Parcoursup ?

Selon le CRTL, le sort est un « hasard auquel on se remet pour effectuer un choix, pour décider de l’issue d’une affaire ». Le tirage au sort à l’entrée de l’Université était en ce sens clair : on s’en remettait au hasard pour classer les candidatures. Pour l’éviter, l’outil d’aide à la décision de Parcoursup permet de faire un classement qui repose sur deux critères quantitatifs fournis par défaut : la moyenne pondérée des notes de contrôle continu du lycée, et la fiche avenir.

Analyse du classement par la moyenne des notes de contrôle continu

Il s’agit là de l’élément principal de classement des candidatures, et sans doute le plus solide. Personne ne niera la différence de niveau entre un candidat ayant 18 et un ayant 3. Mais en réalité, aucune formation ne recrute que des candidats ayant 18 et ne refuse que des candidats ayant 3. Il faut donc étudier la pertinence du classement pour les candidats entre ces deux extrêmes.

Considérons les notes de contrôle continu comme objectives et pertinentes, mais reconnaissons qu’il faut leur considérer une marge d’erreur : deux candidats strictement identiques qui rendraient les mêmes copies aux mêmes professeurs n’obtiendraient pour autant pas exactement les mêmes notes… Et ces notes seraient encore plus différentes avec des examens différents, des correcteurs différents, dans des classes ou des lycées différents…

Une étude menée par Florent Tétard montre, sur un échantillon de 12000 lycéens, que la marge d’erreur peut être très grande : par exemple, ceux ayant 11 en contrôle continu peuvent obtenir aussi bien 3 que 18 à l’épreuve du bac.

Mais prenons les choses dans l’autre sens, par exemple avec les données des candidats au DUT informatique où j’enseigne. L’échantillon a été réduit aux candidats de série S afin d’éliminer les biais dus aux différentes filières, soit 874 candidats. On peut alors se poser la question : Quelle marge d’erreur est nécessaire pour faire un classement solide ?

Distribution des moyennes

Sur nos 874 candidats, nous allons, grossièrement, initialement en appeler 90. Ces 90 candidats seront donc admis d’office, et au delà, les admissions se feront par désistement. Ainsi, à partir du rang 91, le classement prend de plus en plus d’importance pour l’admission ou non du candidat… Jusqu’au rang du dernier admis, où chaque place compte.

La moyenne du dernier admis d’office est de 14,140. Donc plus la moyenne du candidat s’éloigne de 14, plus son admission devient incertaine. Or, l’étude de la distribution des moyennes montre que la densité des candidats augmente très vite en dessous de 14 : c’est 15% de nos candidats qui ont une moyenne entre 13 et 14, et presque un quart entre 12 et 13, et encore presque un autre quart entre 11 et 12 :  

Écarts entre les moyennes des candidats successifs

Plus l’écart entre les moyennes de deux candidats est faible, et plus la marge d’erreur doit être faible pour assurer la pertinence du classement. Mais l’étude de l’écart entre les moyennes des candidats successifs montre qu’au plus on s’éloigne du dernier candidats admis d’office (marqué avec une barre verticale), au moins l’écart qui sépare les candidats successif est significatif :

Lorsqu’on regarde la distribution de ces écarts, on réalise que la précision de Parcoursup, qui va pourtant jusqu’au millième de point, n’est même pas encore suffisante puisque pratiquement 10% des candidats successifs ne sont pas départagés. Presque 12% sont départagés par 0,001 point et 0,002 points, et presque 10% par 0,003 points… En tout, ce sont 74% des candidats successifs qui sont départagés par moins de 0,01 point, c’est à dire une valeur qui n’est même pas visible sur les bulletins scolaires (les 1% de candidatures départagées par plus de 0,1 point ne sont pas tracées) :

Proportion de candidats confondus en fonction de la marge d’erreur

On peut également s’affranchir des candidatures successives et étudier, en fonction de la marge d’erreur, la proportion de candidats confondus et leur nombre, c’est à dire ceux dont l’écart de moyenne est inférieur à la marge d’erreur :

• Avec une marge de 0,001 points, presque trois quarts des candidats sont parfaitement départagés, mais encore plus d’un quart sont confondus avec jusqu’à 5 autres candidats.
• Avec 0,01 point (marge du bulletin scolaire), plus que 10% des candidats sont parfaitement départagés, et plus d’un quart sont confondus avec jusqu’à 10 autres candidats.
• Si on augmente encore la marge d’erreur à 0,1 point, une écrasante majorité des candidats se confondent avec 45, et même 90 autres, c’est à dire avec la moitié, ou la totalité, du nombre de candidats qui seront finalement admis.
• Finalement, avec une marge d’erreur de 0,5 point, qui parait pédagogiquement raisonnable, plus des trois quarts des candidats sont confondus avec plus de candidats que nous n’avons de places. Certains sont même confondus avec 238 autres candidats, c’est à dire plus de 2,6 fois notre nombre de places. 

Conclusion sur le classement par la moyenne des notes de contrôle continu

La majorité des candidats sont reçus par désistement. Cependant, on constate que la pertinence de leur classement nécessiterait un marge d’erreur de l’ordre du millième de point, voire inférieure. En réalité, pour cette majorité de candidats, l’écart entre les moyennes est très largement inférieur à une marge d’erreur raisonnable. Le classement des candidatures devient alors essentiellement dû au hasard, donc s’apparente à du tirage au sort.

Analyse de la prise en compte de la Fiche Avenir

Concrètement, l’interface de Parcoursup ressemble à la capture ci-après. La « note finale » est celle qui sert au classement. Elle est calculée à partir de la moyenne des notes de contrôle continu, de la « note fiche avenir », et des éléments examinés par la commission d’examen des vœux. La note de la fiche avenir est calculée au millième à partir des « valeurs sur 20 » que l’outil d’aide à la décision encourage à attribuer aux appréciations des enseignants du lycéen.

Le graphique ci-dessous compare le classement fait à partir des notes de contrôle continu, avec le classement fait à partir de la moyenne entre ces notes et celles de la fiche avenir. Chaque point représente un candidat en fonction de son rang dans les deux classements : les premiers du classement sont en bas à gauche. La diagonale départage les candidats qui gagnent des place (en dessous) ou en perdent (au dessus). Les barres verticales et horizontales indiquent le rang du dernier admis d’office.

On constate que le classement peut être substantiellement modifié par la prise en compte de la fiche avenir : sur les 874 places, les candidats gagnent ou perdent en moyenne plus de 120 places, et jusqu’à 577 places pour le cas extrême. 30% des candidats admis d’office sont même différents d’un classement à l’autre. Par exemple, le candidat au rang 34 passera, avec la prise en compte de la fiche avenir, au rang 293 : au lieu d’être admis d’office, il devra espérer que plus de 200 candidats se désistent devant lui.

Conclusion sur la fiche avenir

Selon la configuration, la prise en compte de la fiche avenir n’est donc pas un simple ajustement, mais bien un bouleversement du classement. Ce bouleversement repose entièrement sur la pertinence des appréciations formulées. Mais l’expérience montre que les candidats peuvent parfaitement avoir un avis « Très satisfaisant » alors que leur échec est une quasi-certitude. En réalité, si les enseignants du lycée peuvent forger leur avis sur une bonne connaissance du lycéen, il n’est pas raisonnable de leur imposer de connaitre les 13000 formations proposées dans Parcoursup, ni même les appréciations données à des lycéens équivalents dans tous les lycées de France. Un même candidat peut donc en réalité avoir des avis très différents.

Le bouleversement du classement par la prise en compte de la Fiche Avenir nécessiterait une marge d’erreur impossible à assurer. Cette modification du classement relève donc plus du sort que du parcours du candidat.

Les choix des commissions d’examen des vœux

Pour rester la plus neutre possible, l’étude jusqu’ici n’a pas utilisé de pondération particulière. Or, dans chaque formation, une commission d’examen des vœux doit fixer de nombreuses pondérations : pour la moyenne des notes de contrôle continu, pour les notes et la pondération de la fiche avenir, et pour les notes et pondérations des élément à examiner.

Il n’existe aucun cadrage national. Aussi ce jeu de pondération peut changer du tout au tout pour les 13000 formations de Parcoursup, y compris pour un même diplôme, y compris selon la filière d’origine du candidat. En clair, un même candidat pourra ne pas être classé du tout selon les mêmes règles d’une formation à l’autre. Et il n’existe aucun moyen de connaitre ces règles à l’avance. Et même si cette pondération améliore la pertinence du classement dans son ensemble, elle ne peut pas s’affranchir des marges d’erreurs démontrée ci-dessus. La chance jouera donc à plein. Encore une fois, le classement ne dépendra donc pas seulement du candidat, mais aussi énormément du sort.

Conclusion

On a ainsi montré que la majorité des candidats ne peuvent pas réellement se distinguer les uns des autres uniquement par leur dossier Parcoursup. En réalité, les marges d’erreur des notes ne peuvent pas être inférieures à l’écart entre les moyennes des candidats, dont la majorité est de l’ordre du millième de points. De plus, les outils d’aide à la décision, très faciles à utiliser mais difficile à maîtriser, peuvent réellement bouleverser le classement de façon imprévisible. Enfin, les règles d’examen des 13000 formations de Parcoursup étant différentes et non divulguées, un même candidat pourra en réalité être classé de façon totalement différente selon où il postule, et sans aucun moyen de le prévoir. En conséquence, pour la majorité des candidats, la décision d’admission s’apparente en réalité plus à un forme de tirage au sort qu’à une sélection juste et éclairée.

Piste d’explication

Il est a ce stade important de donner une piste d’explication de la source de ce tirage au sort. En réalité, les notes de contrôle continus et appréciations sont des outils formidables. Les notes permettent d’objectiver beaucoup de choses, comme la maîtrise d’une notion, l’évolution d’un élève, ou son niveau dans sa classe. Les appréciations de la fiche avenir donnent un avis sur un projet. Ces choses permettent à l’élève de se situer et à l’enseignant de s’adapter.

En revanche, ces notes et appréciations sont de très mauvais outils pour classer les candidatures : données dans des contextes différents, par et pour des personnes différentes, pour des finalités différentes aussi, elles sont globalement sans pertinence lorsqu’il s’agit de les comparer les unes aux autres, et encore moins au millième de point près. Les notes ne contrôle continu ne peuvent pas être utilisées comme les résultats d’une épreuve de concours, pas plus que les appréciations ne peuvent être utilisées comme les résultats d’une audition. En utilisant ces notes et appréciations à contre emploi, non seulement nous commettons une erreur de raisonnement, mais en plus nous prenons le risque de modifier leur sens et leur finalité dans l’enseignement secondaire, sans doute au détriment de leur utilité première.