La fin du tirage au sort est l’argument principal motivant la réforme de l’accès à l’Université… Mais dans quelle mesure s’affranchit-on du sort avec Parcoursup ?
Selon le CRTL, le sort est un « hasard auquel on se remet pour effectuer un choix, pour décider de l’issue d’une affaire ». Le tirage au sort à l’entrée de l’Université était en ce sens clair : on s’en remettait au hasard pour classer les candidatures. Pour l’éviter, l’outil d’aide à la décision de Parcoursup permet de faire un classement qui repose sur deux critères quantitatifs fournis par défaut : la moyenne pondérée des notes de contrôle continu du lycée, et la fiche avenir.
Analyse du classement par la moyenne des notes de contrôle continu
Il s’agit là de l’élément principal de classement des candidatures, et sans doute le plus solide. Personne ne niera la différence de niveau entre un candidat ayant 18 et un ayant 3. Mais en réalité, aucune formation ne recrute que des candidats ayant 18 et ne refuse que des candidats ayant 3. Il faut donc étudier la pertinence du classement pour les candidats entre ces deux extrêmes.
Considérons les notes de contrôle continu comme objectives et pertinentes, mais reconnaissons qu’il faut leur considérer une marge d’erreur : deux candidats strictement identiques qui rendraient les mêmes copies aux mêmes professeurs n’obtiendraient pour autant pas exactement les mêmes notes… Et ces notes seraient encore plus différentes avec des examens différents, des correcteurs différents, dans des classes ou des lycées différents…
Une étude menée par Florent Tétard montre, sur un échantillon de 12000 lycéens, que la marge d’erreur peut être très grande : par exemple, ceux ayant 11 en contrôle continu peuvent obtenir aussi bien 3 que 18 à l’épreuve du bac.
Mais prenons les choses dans l’autre sens, par exemple avec les données des candidats au DUT informatique où j’enseigne. L’échantillon a été réduit aux candidats de série S afin d’éliminer les biais dus aux différentes filières, soit 874 candidats. On peut alors se poser la question : Quelle marge d’erreur est nécessaire pour faire un classement solide ?
Distribution des moyennes
Sur nos 874 candidats, nous allons, grossièrement, initialement en appeler 90. Ces 90 candidats seront donc admis d’office, et au delà, les admissions se feront par désistement. Ainsi, à partir du rang 91, le classement prend de plus en plus d’importance pour l’admission ou non du candidat… Jusqu’au rang du dernier admis, où chaque place compte.
La moyenne du dernier admis d’office est de 14,140. Donc plus la moyenne du candidat s’éloigne de 14, plus son admission devient incertaine. Or, l’étude de la distribution des moyennes montre que la densité des candidats augmente très vite en dessous de 14 : c’est 15% de nos candidats qui ont une moyenne entre 13 et 14, et presque un quart entre 12 et 13, et encore presque un autre quart entre 11 et 12 : 
Écarts entre les moyennes des candidats successifs
Plus l’écart entre les moyennes de deux candidats est faible, et plus la marge d’erreur doit être faible pour assurer la pertinence du classement. Mais l’étude de l’écart entre les moyennes des candidats successifs montre qu’au plus on s’éloigne du dernier candidats admis d’office (marqué avec une barre verticale), au moins l’écart qui sépare les candidats successif est significatif :
Lorsqu’on regarde la distribution de ces écarts, on réalise que la précision de Parcoursup, qui va pourtant jusqu’au millième de point, n’est même pas encore suffisante puisque pratiquement 10% des candidats successifs ne sont pas départagés. Presque 12% sont départagés par 0,001 point et 0,002 points, et presque 10% par 0,003 points… En tout, ce sont 74% des candidats successifs qui sont départagés par moins de 0,01 point, c’est à dire une valeur qui n’est même pas visible sur les bulletins scolaires (les 1% de candidatures départagées par plus de 0,1 point ne sont pas tracées) :
Proportion de candidats confondus en fonction de la marge d’erreur
On peut également s’affranchir des candidatures successives et étudier, en fonction de la marge d’erreur, la proportion de candidats confondus et leur nombre, c’est à dire ceux dont l’écart de moyenne est inférieur à la marge d’erreur :
- Avec une marge de 0,001 points, presque trois quarts des candidats sont parfaitement départagés, mais encore plus d’un quart sont confondus avec jusqu’à 5 autres candidats.
- Avec 0,01 point (marge du bulletin scolaire), plus que 10% des candidats sont parfaitement départagés, et plus d’un quart sont confondus avec jusqu’à 10 autres candidats.
- Si on augmente encore la marge d’erreur à 0,1 point, une écrasante majorité des candidats se confondent avec 45, et même 90 autres, c’est à dire avec la moitié, ou la totalité, du nombre de candidats qui seront finalement admis.
- Finalement, avec une marge d’erreur de 0,5 point, qui parait pédagogiquement raisonnable, plus des trois quarts des candidats sont confondus avec plus de candidats que nous n’avons de places. Certains sont même confondus avec 238 autres candidats, c’est à dire plus de 2,6 fois notre nombre de places.
Conclusion sur le classement par la moyenne des notes de contrôle continu
La majorité des candidats sont reçus par désistement. Cependant, on constate que la pertinence de leur classement nécessiterait un marge d’erreur de l’ordre du millième de point, voire inférieure. En réalité, pour cette majorité de candidats, l’écart entre les moyennes est très largement inférieur à une marge d’erreur raisonnable. Le classement des candidatures devient alors essentiellement dû au hasard, donc s’apparente à du tirage au sort.
Analyse de la prise en compte de la Fiche Avenir
Concrètement, l’interface de Parcoursup ressemble à la capture ci-après. La « note finale » est celle qui sert au classement. Elle est calculée à partir de la moyenne des notes de contrôle continu, de la « note fiche avenir », et des éléments examinés par la commission d’examen des vœux. La note de la fiche avenir est calculée au millième à partir des « valeurs sur 20 » que l’outil d’aide à la décision encourage à attribuer aux appréciations des enseignants du lycéen.
Le graphique ci-dessous compare le classement fait à partir des notes de contrôle continu, avec le classement fait à partir de la moyenne entre ces notes et celles de la fiche avenir. Chaque point représente un candidat en fonction de son rang dans les deux classements : les premiers du classement sont en bas à gauche. La diagonale départage les candidats qui gagnent des place (en dessous) ou en perdent (au dessus). Les barres verticales et horizontales indiquent le rang du dernier admis d’office.
On constate que le classement peut être substantiellement modifié par la prise en compte de la fiche avenir : sur les 874 places, les candidats gagnent ou perdent en moyenne plus de 120 places, et jusqu’à 577 places pour le cas extrême. 30% des candidats admis d’office sont même différents d’un classement à l’autre. Par exemple, le candidat au rang 34 passera, avec la prise en compte de la fiche avenir, au rang 293 : au lieu d’être admis d’office, il devra espérer que plus de 200 candidats se désistent devant lui.
Conclusion sur la fiche avenir
Selon la configuration, la prise en compte de la fiche avenir n’est donc pas un simple ajustement, mais bien un bouleversement du classement. Ce bouleversement repose entièrement sur la pertinence des appréciations formulées. Mais l’expérience montre que les candidats peuvent parfaitement avoir un avis « Très satisfaisant » alors que leur échec est une quasi-certitude. En réalité, si les enseignants du lycée peuvent forger leur avis sur une bonne connaissance du lycéen, il n’est pas raisonnable de leur imposer de connaitre les 13000 formations proposées dans Parcoursup, ni même les appréciations données à des lycéens équivalents dans tous les lycées de France. Un même candidat peut donc en réalité avoir des avis très différents.
Le bouleversement du classement par la prise en compte de la Fiche Avenir nécessiterait une marge d’erreur impossible à assurer. Cette modification du classement relève donc plus du sort que du parcours du candidat.
Les choix des commissions d’examen des vœux
Pour rester la plus neutre possible, l’étude jusqu’ici n’a pas utilisé de pondération particulière. Or, dans chaque formation, une commission d’examen des vœux doit fixer de nombreuses pondérations : pour la moyenne des notes de contrôle continu, pour les notes et la pondération de la fiche avenir, et pour les notes et pondérations des élément à examiner.
Il n’existe aucun cadrage national. Aussi ce jeu de pondération peut changer du tout au tout pour les 13000 formations de Parcoursup, y compris pour un même diplôme, y compris selon la filière d’origine du candidat. En clair, un même candidat pourra ne pas être classé du tout selon les mêmes règles d’une formation à l’autre. Et il n’existe aucun moyen de connaitre ces règles à l’avance. Et même si cette pondération améliore la pertinence du classement dans son ensemble, elle ne peut pas s’affranchir des marges d’erreurs démontrée ci-dessus. La chance jouera donc à plein. Encore une fois, le classement ne dépendra donc pas seulement du candidat, mais aussi énormément du sort.
Conclusion
On a ainsi montré que la majorité des candidats ne peuvent pas réellement se distinguer les uns des autres uniquement par leur dossier Parcoursup. En réalité, les marges d’erreur des notes ne peuvent pas être inférieures à l’écart entre les moyennes des candidats, dont la majorité est de l’ordre du millième de points. De plus, les outils d’aide à la décision, très faciles à utiliser mais difficile à maîtriser, peuvent réellement bouleverser le classement de façon imprévisible. Enfin, les règles d’examen des 13000 formations de Parcoursup étant différentes et non divulguées, un même candidat pourra en réalité être classé de façon totalement différente selon où il postule, et sans aucun moyen de le prévoir. En conséquence, pour la majorité des candidats, la décision d’admission s’apparente en réalité plus à un forme de tirage au sort qu’à une sélection juste et éclairée.
Piste d’explication
Il est a ce stade important de donner une piste d’explication de la source de ce tirage au sort. En réalité, les notes de contrôle continus et appréciations sont des outils formidables. Les notes permettent d’objectiver beaucoup de choses, comme la maîtrise d’une notion, l’évolution d’un élève, ou son niveau dans sa classe. Les appréciations de la fiche avenir donnent un avis sur un projet. Ces choses permettent à l’élève de se situer et à l’enseignant de s’adapter.
En revanche, ces notes et appréciations sont de très mauvais outils pour classer les candidatures : données dans des contextes différents, par et pour des personnes différentes, pour des finalités différentes aussi, elles sont globalement sans pertinence lorsqu’il s’agit de les comparer les unes aux autres, et encore moins au millième de point près. Les notes ne contrôle continu ne peuvent pas être utilisées comme les résultats d’une épreuve de concours, pas plus que les appréciations ne peuvent être utilisées comme les résultats d’une audition. En utilisant ces notes et appréciations à contre emploi, non seulement nous commettons une erreur de raisonnement, mais en plus nous prenons le risque de modifier leur sens et leur finalité dans l’enseignement secondaire, sans doute au détriment de leur utilité première.
Pingback: Et revoici le tirage au sort ! | Histoires d'universités
Super merci, Julien : ta démonstration est impitoyable! https://histoiresduniversites.wordpress.com/2018/05/02/et-revoici-le-tirage-au-sort/
Excellente demonstration. Très éclairante
Je ne suis pas entièrement d’accord avec les conclusions de cet article. Effectivement, les constats sont quelque part « évidents », mais ne mènent pas à la critique formulée dans l’article, et le « hasard parcours-sup » n’est en rien comparable au hasard « tirage au sort ».
Ce que l’auteur constate, c’est simplement que la mesure d’aptitude d’un candidat pour une filière (la « note finale, pondérée, classente ») est une mesure avec beaucoup d’erreurs systématiques et aléatoires. On le sait. Toute forme d’épreuve, de notation etc… d’un élève est très approximatif, surtout quand ils ont des parcours différents, des épreuves différentes, des correcteurs différents etc…. La seule façon de remédier à cela, est que chaque établissement supérieur organise des épreuves d’admission lui-même, avec des examens très poussées et des jurys parfaitement calibrés. Sans épreuves d’admission, la seule donnée qu’on a des candidats est très vague et erronée. Sans bonnes données on ne peut pas prendre des décisions précises, mais ça, c’est le cas dès qu’on doit « envoyer un dossier », et qu’on ne peut pas passer des examens identiques.
En suite, si on a 800 candidats, uniformément repartis sur, disons, 4 points, il ne faut pas s’étonner que l’écart moyen entre candidats successifs n’est que de 4/800 = 0.005 points. Donc ce n’est pas très étonnant non plus que les écarts successifs sont petits.
Tout cela est donc inhérent à tout système de « candidature sur dossier » où il y a beaucoup de candidats. Ce n’est pas spécifique à parcours sup.
Par contre, on peut quand-même espérer une légère corrélation entre la note du dossier, et la « qualité recherchée du candidat ». Ainsi, toute sélection faite par ce moyen-là sera MOINS « hasardeux » que la sélection par PUR hasard. Le candidat qui est bon « intrinsèquement » aura une probabilité légèrement plus élevée que le candidat qui est totalement inapte aux études en question.
Avec les données de très mauvaise qualité dont on dispose (les notes de contrôle continu, les notes du bac, les pondérations, ….) on ne peut pas faire mieux, mais c’est « l’extraction maximale » de l’information qui est dedans, afin de donner la corrélation la plus forte possible entre la probabilité d’être accepté et sa « qualité intrinsèque ».
C’est un peu comme « manger sain et faire du sport » pour éviter le cancer. Ce n’est pas du tout parce que vous mangez vous 5 fruits et légumes par jour et que vous faites votre footing chaque matin que vous n’allez pas avoir un cancer, et votre voisin qui fume comme une cheminée et boit comme un trou va peut-être vous survivre joyeusement. Mais c’est le mieux qu’on peut faire…. sauf un examen détaillé chaque année pour vous dépister une tumeur.
Parcours-sup introduit le maximum de corrélation entre votre « qualité intrinsèque » et votre probabilité d’admission, même si cette corrélation reste faible due à la mauvaise qualité intrinsèque des données (des « notes par des profs différents »). Le « tirage au sort » rend cette faible corrélation à zéro.
Avec parcours-sup, l’élève intrinsèquement bon augmentera sa probabilité d’admission (peut-être pas de beaucoup, mais le maximum possible avec les données dont on dispose). Avec le tirage au sort, son avantage est réduit à zéro.
Merci beaucoup de votre relectures, très riche, et permettez-moi d’y répondre afin de faire vivre ce débat central dans l’évolution du O de la loi ORE.
C’est pourtant ce sur quoi tous les candidats à l’Université seront classés. Que ce soit une évidence ne fait que plus questionner les choix qui ont été faits.
Ou alors une épreuve nationale, premier grade universitaire. Les avantages d’une épreuve nationale sur des épreuves locales sont : une économie d’échelle évidente, tant pour les établissements que pour les candidats ; un cadrage national assurant une égalité territoriale ; et une limitation de la mise en concurrence des établissements. On pourrait appeler ça le Baccalauréat.
Tout à fait. Si une autre étude le montre sur des données réelles, et montre surtout quelle est l’ampleur concrète du phénomène et pour quelle sous-partie de la population, j’en suis évidemment très preneur.
Tout à fait. Parcoursup ne fait que le généraliser à la totalité des candidats et la totalité des formations.
Ce n’est pas rien…
Ce que mon étude montre, c’est que si on estime qu’il n’y a pas de « légère corrélation » avec une marge d’erreur de 0,5 point (i.e. on ne peut tirer aucune conclusion entre quelqu’un ayant 13 et quelqu’un ayant 13,5), le nombre de candidats confondus dépasse le nombre de places disponibles. Cela n’empêche pas que les « meilleurs » auront le choix de leur affectation. En revanche, cela prouve que pour une majorité de candidats, pas tous, c’est du pur hasard, puisqu’on se situe dans la marge d’erreur.
Je ne dis pas le contraire. Je me borne à évaluer la qualité de cette « extraction maximale ». Vous aurez remarqué qu’à tout moment, j’ai considéré le classement comme optimal, ce qui, entre nous, n’est évidemment pas le cas. Ce que j’ai observé, c’est qu’on peut être maximal et insuffisant.
Sauf que jusqu’à présent, nous n’avions pas à le faire. C’est un peu comme si on vous disait : avant, il suffisait d’avoir le bac pour entrer à l’université, mais maintenant on va vous demander de manger 5 fruits et légumes par jours, de faire du sport et de ne pas fumer, mais en fait ça ne garantira pas non plus votre admission.
Encore une fois, ce que je montre, c’est qu’une majorité de candidats se trouve sous la marge d’erreur, et que pour eux c’est donc bien une corrélation de zéro, donc du tirage au sort. Différence cependant, celui-ci ne dit pas son nom.
Effectivement, les 10% de meilleurs candidats sont pris d’office, ce qui n’est pas le cas avec le tirage au sort.
Et là nous sommes, je pense, au cœur du débat : Qu’est-ce qu’un élève intrinsèquement bon ?
Mon étude montre que la prise en compte de la fiche avenir change cette définition, puisque les admis d’office sont différents.
Un peu de recul sur les inégalités scolaires pourra faire froid dans le dos en cherchant une réponse plus complète.
Et cela amène à une question encore plus large : Pourquoi modifier les règles d’accès de 100% des candidats à l’Université pour un avantage réservé à seulement 10% d’entre eux, dont la plupart ne viendra d’ailleurs pas à l’Université ?
S’il y a suffisamment de places pour toutes les demandes, alors il n’y a aucun problème, ni avec le tirage au sort, ni avec une « sélection sur dossier », car finalement, tout le monde aura accès à tout ce qu’il voudrait. Si vous avez 800 demandes pour formation X, et vous pouvez offrir 800 places, alors vous pouvez mettre ces 800 candidats dans n’importe quel ordre, par tirage au sort ou autre, cela n’a pas d’importance: ils auront tous une place.
Donc je crois que votre question est mal posée, car elle compare un système de résolution de choix avec un système où il y a suffisamment de moyens pour ne pas devoir faire un choix.
Le fait est qu’il n’y a pas suffisamment de places dans toutes les filières pour tous les candidats qui voudraient. Cela est d’ailleurs seulement possible dans une hypothèse de moyens économiques illimités avec une population limitée. Aucune ressource qui a un coût peut être à disposition (offre) illimitée afin de satisfaire toute demande possible et imaginable.
Comme je disais, SI c’était le cas qu’il y avait assez de places dans toutes les filières pour tout le monde, ni le tirage au sort, ni parcours-sup auraient le moindre problème: tous les candidats auraient un « oui » à tous leurs vœux. C’est parce que, justement, cette offre n’existe pas (et est économiquement impossible), qu’il faut faire des choix.
Et alors, il faut faire les choix en fonction de l’information dont on dispose (ou bien refuser d’utiliser cette information, et prendre une sélection au hasard, qui donnera une solution bien moins optimisée).
En ce qui concerne le paramètre idéal de sélection, c’est simple: le paramètre de sélection idéal est la probabilité Bayesienne, pour l’élève Z, de mener à bien les études X, selon justement, les finalités qui définissent les études X. Si vous avez deux candidats A et B, et vous avez 1 place, il faut donner cette place au candidat qui à la plus grande probabilité de mener à bien les études en question avec le meilleur résultat possible. Si vous avez deux places, vous acceptez les deux. Mais si vous n’avez qu’une place, cette ressource rare doit être utilisée de la façon la plus efficace, donc avec le plus faible taux d’ échec possible. Toute autre choix serait irresponsable, car il gaspillerait une ressource rare (et augmenterait le gâchis pour le candidat).
Là où le bat blesse, c’est que l’information qu’on peut tirer du secondaire pour avoir un estimateur de cette probabilité de réussite, est de très mauvaise qualité. C’est pour cela qu’il y a tellement d’échecs dans le supérieur. Mais on n’a rien d’autre.
Dans parcours-sup, il n’y a aucun problème pour l’université d’accepter tous les candidats s’ils ont la place. S’ils sélectionnent seulement une partie, c’est qu’ils n’ont pas autant de places qu’il y a de demandes, et donc, qu’il faillait bien faire une liste de candidats, dont il faut refuser certains et accepter d’autres. Alors, n’est-il pas logique d’augmenter, aussi faiblement qu’il ne le soit, la probabilité de réussite de ceux qui vont « consommer » une si précieuse place, et donc d’utiliser au maximum, l’information très incertaine dont on dispose ?
Je crois que votre critique, dans le fond, s’oriente plus vers la très mauvaise qualité d’évaluation dans le secondaire, ET le peu de pertinence avec lequel on utilise cette information pour estimer cette « probabilité de mener à bien les études en question », plutôt que le fait même qu’il est mathématiquement impossible de satisfaire 1800 demandes avec 300 places disponible.
Sans rebondir sur la question des places, qui n’est absolument pas abordée dans ce billet, je suis ravi que vous ayez pleinement saisi les finalités de mon étude et que vous sembliez en partager les conclusions
En revanche, je ne me permettrais pas de critiquer la qualité des évaluations dans le secondaire, et je pense que c’est une mauvaise façon d’aborder les choses. Les notes du secondaires ne sont tout simplement pas faites pour prédire les chances de réussite des étudiants à l’Université, encore moins pour les classer.
Leur utilisation dans Parcoursup est donc sans pertinence.
Je ne dis rien d’autre, et ne souhaite discuter de rien d’autre dans ce fil de commentaire.
Mais ce n’est pas tout: on doit aussi prendre en compte la probabilité qu’ils viennent, en ayant aucune visibilité sur le « rendement » (il faut 2 admis pour qu’un vienne, 3 admis pour qu’un vienne, 1.3 admis pour qu’un vienne…)
Les 10% automatiquement admis, c’est une règle nationale ou c’est juste pour l’exemple?
Les 10% automatiquement admis dépendent du nombre de places et du nombre de candidats. Ce sont les données réelles du recrutement dans mon département informatique.
Mais il y a aussi les 10% de candidats qui ont plus de 14 de moyenne au contrôle continu. Ça en revanche, c’est plus un phénomène national. A peu de choses près, cela se retrouvera dans toutes les formations.
J’en profite pour dire que toutes les analyses sont scriptées : je peux les reproduire presqu’instantanément pour n’importe quelle formation qui me fournirait les données. Si des lecteurs souhaitent avoir le profil de leur formation, je me ferai un plaisir de leur fournir !
Je salue le travail très argumenté de Julien Gossa. J’apprécie la réplique donnée par Zarathustra, car elle permet de réaliser que le système Parcoursup n’est qu’une mesure transitoire vers la mise en œuvre de concours d’accès, spécifiques à chaque établissement, selon le modèle des grandes écoles. C’est la suite logique de l’autonomisation des universités et les prochaines étapes seront la modulation des frais d’inscription, la licence à la carte, la fin du statut national des enseignants-chercheurs, etc. : ainsi parlera Zarathustra !
Je me permets de discuter l’affirmation selon laquelle la possibilité économique d’accueillir tous les bacheliers à l’université n’existe pas. C’est pourtant le choix politique fait, il y a cinquante ans, par Edgard Faure, qui n’était pourtant pas un « agitateur professionnel » !. La mobilisation de l’État d’alors, pour recevoir tous les étudiants, a été proportionnellement bien plus considérable que ce qui serait nécessaire aujourd’hui. Lors de la discussion du budget de l’ESR au Sénat, j’ai déposé un amendement pour affecter à l’université les 6,5 milliards d’euros alloués au crédit impôt recherche (CIR), dont l’utilité pour la recherche n’est absolument pas démontrée. Mon groupe (CRCÉ) a été le seul à le voter… Le Gouvernement a donc fait le choix politique de ne pas donner plus de moyens à l’enseignement supérieur et d’offrir aux universités les instruments techniques pour réguler le « trop plein de candidatures ». C’est un choix de société.
Pierre Ouzoulias, Sénateur des Hauts-de-Seine
Bonjour;
c’est très bien tout cela, on fait un état des lieux sur la situation et on compare l’ancienne mouture avec la nouvelle, mais finalement, qu’elle est la véritable solution pour régler ce problème d’accès à l’enseignement supérieur ?
Bonjour et merci de votre commentaire.
Je ne saurais trop quoi répondre, surtout que je souhaite conserver un fil de commentaire concentré sur le sujet du billet.
Tout dépend de ce que vous entendez par « problème d’accès à l’enseignement supérieur » :
– si c’est un manque de places, trier les candidats n’ajoute pas de place, mieux vaudrait des moyens ;
– si c’est l’impréparation de certains bacheliers aux études supérieures, les trier ne les prépare pas mieux, mieux vaudrait résoudre le problème en amont ;
– si c’est le taux d’échec en première année, il faudrait comparer l’efficacité du système d’orientation par réorientation que nous avions avec celui d’orientation par classement que nous aurons.
Cela fera peut-être l’objet d’un futur billet… Mais pour ici, restons sur la question de la part du tirage au sort dans les classements Parcoursup.
Bonjour, tout d’abord merci beaucoup pour votre article ! il est très très intéressant.
juste, n’y a-t-il pas une erreur (ou tout du moins un manque de précision) :
« Chaque point est un candidat. La diagonale départage les candidats qui gagnent des places (en dessous) ou en perdent (au dessus) »
– Si les candidats gagnent ou perdent des places « grâce » à la fiche avenir (comme il en est question je crois), je pense qu’il faut inverser (en-dessous) et (au-dessus) – car se sont bien les candidats au-dessus de la diagonale qui ont accumulé plus de points grâce à la fiche avenir non (donc qui « gagnent ») ?
Bonjour et merci de votre vigilance !
Effectivement, ma formulation est maladroite : le graphique ne représente pas les points des candidats, mais leur classement. En dessous de la diagonale, nous avons les candidats qui montent dans le classement grâce à la fiche avenir, donc qui gagnent des points.
Je vais reformuler pour éclaircir.
Pour moi, le vrai sens à donner à cette étude et à d’autres, souvent très intéressantes, et de répondre à des énoncés de propagande outrancière, comme par exemple, « Avec Parcoursup, jamais la procédure d’affectation postbac n’a été aussi transparente » (Mounir Mahjoubi). L’autre point à noter ici me semble être celui de rappeler notre servilité face aux notes. Je ne suggère pas de ne plus noter, mais de ne plus utiliser de notes hors de leur contexte.
Bonjour et merci de votre commentaire, dont je partage les observations sans réserve.
Bonjour,
Afin de mieux comprendre le graphe « Modification du classement par la prise en compte de la fiche avenir »; pourriez-vous nous indiquer les coefficients de la fiche avenir et des moyennes des notes.
Vous n’évoquez que 2 composantes (contrôle continu et fiche avenir) dans votre article. Doit-on en déduire que vous ne prenez pas en compte le projet de formation ? Si vous le prenez en compte, est-il possible de l’intégrer au graphique cité ci-dessus (avec le coef) ?
Une des possibles erreurs des établissements cette année a été de noter de façon linéaire les items de la fiche avenir(très satisfaisant:20 -> peu démontré:0). Une notation exponentielle creuserait plus l’écart.
Une second point concerne le contrôle continu. La plupart des commissions ont valorisé mécaniquement les matières phares des séries de bac.
En procédant de la sorte, on ne différencie pas assez car l’écart entre les coef. est trop fort (maths coef 5 et français coef 1 avec 0 en français par exemple; le candidat a quand même une bonne moyenne).
En effet, il est de bon sens de partir du principe que la plupart des candidats qui sont dans une série ES, auront des notes « potables » aux matières phares. Ces mêmes notes étant fortement coefficientées, on envoie tout ce beau monde à l’étage supérieur (fiche avenir) sans les départager (ce que montre votre graphique sur le « ventre mou », les 12/14 de moyenne).
Mon ressenti est que l’on a accordé trop d’importance aux possibilités de modulation aux différents niveaux possibles et qu’à la fin, on se retrouve avec des classements horribles. J’ai l’exemple d’une formation avec 5000 voeux confirmés qui se retrouve avec 1800 doublons à traiter individuellement en 15j.
« J’en profite pour dire que toutes les analyses sont scriptées : je peux les reproduire presque instantanément pour n’importe quelle formation qui me fournirait les données. Si des lecteurs souhaitent avoir le profil de leur formation, je me ferai un plaisir de leur fournir ! »
Vous partez d’export Parcoursup anonymisés ?
Bonjour,
Et merci beaucoup pour votre commentaire qui va me permettre de clarifier les choses que j’ai dû laisser de côté pour des raisons de place.
Pour éviter tout biais local, je n’ai pas utilisé la note donnée suite à l’évaluation du dossier par la commission d’examen des vœux : cette note est hautement subjective, et je souhaitais concentrer l’étude sur les données objectivables (et non nécessairement objectives) fournies à la commission, pas sur ses décisions internes.
Pour la même raison, je n’ai utilisé aucune pondération :
– la moyenne des notes est construite à partir de toutes les notes disponibles sans distinction : le bais que vous supposez n’est donc pas dans mon étude.
– la moyenne notes / fiche avenir est aussi à équivalence : ça permet de visualiser au mieux l’impact de l’un sur l’autre.
Je doute de la réalité du biais que vous supposez dans la surpondération des notes dans les matières phares : les notes dans toutes les matières suivent une distribution normale. Je viens de vérifier sur la série S avec Math et EPS : en réalité, la distribution en Math est bien plus étendue que celle en EPS. Il n’y a donc pas, sur mes candidats en S, de phénomène de concentration des notes « potables », au contraire…
C’est un biais normal de notation des enseignants, qui correspond à une réalité de la population. C’est, à mon sens, ni choquant, ni à éviter.
Pour la fiche avenir, j’ai effectivement pris une échelle de notation linéaire. Vu qu’il n’y a que 6 notes avec 4 niveaux de notation, prendre une autre échelle va déplacer des masses d’étudiants vers le haut ou le bas, mais sans jamais arriver à mieux les départager. La seule « erreur » pour le départage, à mon sens, serait de ne pas exploiter totalement l’échelle, en ne mettant pas 0 à la note la plus basse. Ceci dit, le faire conduit à défavoriser brutalement les candidats les moins bien évalués par leur lycée.
Bref, mon étude a tendance à infirmer votre ressenti puisqu’aucune modulation n’est utilisée. En réalité, la concentration des candidatures est inévitable dès lors qu’on a trop de candidats, ce qui est forcément le cas avec 7 vœux par candidats en moyenne, qui conduisent à 7 candidats par place en moyenne (sans compter qu’il n’y a pas assez de places), et que ces candidats sont, et c’est bien naturel, assez homogènes dans leur ensemble.
Tout ce qu’on peut, c’est essayer de faire plus ou moins remonter tel ou tel profils, et faire quelques paris…
Et pour mon script, effectivement il s’agit de l’export Parcoursup en csv, qui doit contenir toutes les notes et appréciations de la fiche avenir. L’anonymisation est tout à fait possible. Je mettrais bien mon script à disposition, mais il est vraiment crade ! Je le ferai dès que j’aurais le temps de le nettoyer.
Merci pour votre réponse.
Je me permets de revenir sur l’aspect coefficient. Les années suivantes nous le confirmeront, mais que ce soit dans le cas de forts coefficents ou d’un coefficient unique, le résultat est le même: on ne départage pas assez.
Le pb du départage est intéressant car il doit être remonté au plus haut afin d’obtenir une modification de la plateforme. Si on peut accepter que la première livrée ne soit pas parfaite; on ne peut accepter de trainer cela pendant des années.
N’hésitez pas à revenir sur tous les aspects qui vous paraissent d’intérêt, c’est le seul objectif.
En ce qui concerne le départage des candidatures, je peine a imaginer un système juste et efficace qui peut fonctionner à l’échelle d’une tranche d’âge… Je pense que ce problème est inhérent à tout système de sélection généralisé : l’outil n’y peut rien, c’est une réalité que nous devrons effectivement nous traîner pendant des années.
Pingback: Parcoursup : Tirage au sort, fin ou généralisation ? – SNESUP Paris 1 Panthéon-Sorbonne
Bonjour,
Je trouve pour ma part que l’introduction d’une note « recruteur » permet quand même d’essayer d’être juste dans le classement des candidats et de limiter les biais précédemment mentionnés. En effet, la moyenne d’un candidat n’est pas forcément représentative de son niveau, par contre, la visualisation des différentes notes sur le bulletin, des appréciations des enseignants et de la lettre de motivation sont des éléments qui permettent au recruteur de se faire une idée des chances de réussite de l’étudiant dans sa formation. Certes il restera toujours un biais car ce n’est pas une science exacte et nous ne maîtrisons pas tout, mais avec un peu d’expérience, nous savons qu’il y a des candidatures plus à risque que d’autres. Certes deux recruteurs ne noteront peut-être pas le candidat de la même façon, mais je partage le point de vue exprimé que nous n’avons pas tellement d’autres éléments pour faire la sélection. Je ne suis pas sûre que l’organisation de concours d’entrée dans toutes les formations soit très pertinente et réaliste. Nous convoquons une partie de nos candidats. L’entretien permet de percevoir certaines choses, pas tout…
Bonjour et merci de votre commentaire !
Ajouter la note recruteur permet de modifier la pertinence du classement, mais pas de résoudre le problème de la précision nécessaire au départage juste et éclairé des candidatures.
Vous noterez que je n’ai jamais abordé la question de la pertinence du classement dans cette étude. J’ai au contraire pris pour hypothèse que ce classement était parfait. Les résultats montrent alors que même un classement parfait nécessite une précision déraisonnable pour départager les candidats.
Ajoutez, comme vous le dites bien, une hétérogénéité dans l’évaluation des dossiers par les recruteurs, et même si vous augmentez globalement la pertinence du classement, vous descendez mécaniquement l’égalité de traitement entre les candidats.
Pingback: ParcourSup : le casse-tête des ex-aequo – Paris 3 contre le Plan Etudiant
Pingback: Billet consacré à ParcourSup, groupe jean-pierre vernant (19 mai 2018) – SNESUP Paris 1 Panthéon-Sorbonne
Bonjour
Merci beaucoup de votre billet. Je suis enseignant dans le second degré. Nous nous sommes trouvés cette année dans la situation consternante de faire des prédictions de réussite dans le supérieur pour nos étudiants. Nous remplissons des fiches avenir sans avoir aucune idée de la manière dont elles sont utilisées dans le supérieur. La dimension de ‘loterie’ me semble absolument flagrante
Quant à la qualité de notre notation, discutée par Zarathustra, et donc je reconnais l’imperfection, merci de rappeler l’évidence qu’elle ne prend sens qu’au sein d’une relation pédagogique entre l’enseignant et l’élève, visant à donner des indications à l’élève sur la façon dont il remplit les exigences de l’enseignant. Elles n’ont effectivement pas vocation à devenir un billet d’entrée, ou une barrière, pour l’enseignement supérieur. Même si je suis obligé de constater que c’est bien ce qui se passe déjà pour toutes les formations hors université…
Encore merci pour votre travail d’information
Bonsoir,
J’ai lu avec attention votre démonstration et j’en perçois les contours, les limites, les extrêmes. Je suis intéressée de connaître le profil de formation de mon fils. Cependant, j’ai cru comprendre que, bien que les données soient fournies dans Parcoursup (notes, fiche avenir, appréciations des professeurs), les universités appliquent leur propre algorithme de classement, qui a priori, ne sera pas divulgué au grand public.
Merci de votre éclairage
Nathalie
Bonjour,
Effectivement, un amendement de dernière minute à la loi ORE, ainsi qu’une exception introduite dans la transposition du Règlement général sur la protection des données permettent de garder totalement secret les algorithmes de classement utilisés par chaque formation.
Néanmoins, chaque candidat peut faire une demande d’information, mais nous ne savons pas encore ce qu’elle contiendra.
Bonjour Mr Gossa,
Concerné par l’avenir à très court terme de mes enfants dont certains sont sur liste d’attente ParcourSup, je tiens à vous exprimer toute ma gratitude pour avoir exposé les mécanismes en jeu.
A l’heure du discours Startup Nation je redoute les risques des biais algorithmiques quand on est plongé dans le « tout doit être Intelligence Artificielle, Deep Learning et autre Machine Learning ». Même s’il n’en est pas directement question ici, il ressort que l’attribution automatique doit faire face à la réalité du terrain. Mais ceci est un autre débat.
Bonjour,
C’est un véritable sujet d’inquiétude, assez peu discuté publiquement…
Les gens de reflets.info y travaillent activement depuis un moment déjà :
https://reflets.info/articles/france-2016-bienvenue-en-algocrature
Quelque part… Le débat n’est pas si éloigné, et il aurait dû être, en partie du moins, pensé sous cet angle…
Surtout au moment où publie ce type de chose : https://www.aiforhumanity.fr/
Suite aux 1er résultats de Parcoursup, effectivement, il apparaît de plus en plus clairement que l’admission dans le supérieur devrait être confié à la Française des jeux. Voici un exemple d’aberration.
Sur l’un de nos groupes pour lequel nous avons classé 243 candidats après examen de leur dossier, nous avons indiqué 21 candidats à appeler (en accord avec notre capacité). Cependant, l’ordre d’appel ne suit pas notre classement. Ainsi, en 17ème position est appelé le candidat classé 146. Parcoursup lui a donc fait gagner 129 places! Pourquoi? Car maintenant, le critère numéro 1 est le quota de boursiers à respecter (on ne reviendra pas ici sur la décision de fixer ce nouveau critère au dernier moment, sans aucune concertation, il y aurait beaucoup à dire). Parce que ce candidat a indiqué dans son dossier qu’il était boursier, alors il est appelé en priorité pour respecter le quota, peu importe l’évaluation du dossier. A quoi a servi notre travail et le temps passé? Les candidats qui se sont fait passer devant seront aussi heureux d’apprendre que leur dossier est relayé au second plan.
Et là où cela devient problématique, c’est que visiblement (à confirmer par des enseignants de lycée), des lycéens boursiers n’ont pas pu valider leur caractère de boursier dans l’application faute de pouvoir le justifier au moment de la constitution du dossier. Entre le candidat classé 17 et le candidat classé 146, il y a donc certainement des candidats boursier non reconnu par Parcoursup qui aurait dû bénéficier de la remontée dans le classement. Tout ceci n’a plus aucun sens.
Au final, si des candidats lésés sans affectation entament un recours administratif prouvant que Parcoursup ne leur a pas permis de prendre en compte leur bourse alors que ce critère aurait certainement engendré une proposition, qui sera responsable? S’ils gagnent, nous les imposera-t-on, avec tous les problèmes que cela engendre pour les formations sélectives avec un nombre de places faibles et limités?
Acheter un ticket à gratter serait plus juste!
Je suis totalement d’accord… L’intention des quotas est sans doute juste et légitime, mais il est à craindre que leur mise en oeuvre apporte plus d’injustices que d’autres choses…
C’est généralement ce qui arrive avec un pilotage technocratique qui s’affranchi des concertations et finalement s’apparente à de la défiance.
J’ajoute un point qui me semble important à la lumière des résultats d’hier pour ma fille : paces liste d’attente partout avec des classements très très différents selon le site paces de paris (3800 ou 700, bon…).
L’absence de classement par l’élève qui m’a semblé pas si mal au début, est en fait affreux, il enlève quand même de l’algo une information importante : le choix de l’élève qui quand meme est un vraie info ! évidemment elle est 3800 la ou elle veut et 700 la ou elle veut pas – pas parceque ceci ou cela, parce qu’elle pense avoir plus de chance de succès en fonction du programme et des coefficients ! d’ailleurs son dossier aurait dû pencher dans ce sens ! et on fait quoi ? on attend et on espère ! secret des délibérations, pas étonnant, comment voulez vous que des facs qui n’ont jamais classer à l’entrée fasse comme ils le souhaitent et sans en rendre compte à personne un classement pertinent sur 12000 dossiers !
l’utilisateur au centre ? on lui enlève la seule information qu’il pouvait donner : ses priorités !
Exactement… Pire, il est tout à fait possible qu’il existe un autre candidat classé devant votre fille pour la filière qu’elle souhaite en réalité, et classé derrière elle pour la filière que cet autre candidat veut en réalité.
Ce candidat ne pourra pas se désister pour laisser la place à votre fille, qui elle-même ne pourra pas se désister pour laisser la place à ce candidat.
C’est ce que nous appelons la « stabilité de l’algorithme », qui était la garantie principale apportée par APB, mais qui n’existe plus dans Parcoursup.
J’ai décrit ce phénomène ici : http://blog.educpros.fr/julien-gossa/2018/03/13/alice-et-bob-sont-dans-parcoursup/
A noter également que tout ceci était parfaitement connu du ministère avant le lancement de Parcoursup, comme le montre le rapport Villani : https://www.senat.fr/rap/r17-305/r17-3051.pdf
Votre démonstration n’est guère convaincante : le fait que de très bon candidats (ou de très mauvais candidats) soient départagés au centième près n’a aucune importance : ils seront de toutes façon appelés (ou refusés s’ils sont très mauvais).
Un candidat de Terminale L avec une moyenne de 17 sera certainement un bon candidat, un élève de TS avec 7 et 8 au Bac de Français, 5 en Philosophie, 8 en Maths sera à priori un mauvais candidat. Définir des critères chiffrés à partir des notes est à mon avis tout à fait pertinent et permet de classer les candidats de façon relativement fiable en permettant de dégager un lot d’excellent candidats (que la procédure appellera) et un lot de candidats au dossier catastrophique, que le procédure recalera si suffisamment de candidats avec un dossier bon ou moyen acceptent la formation.
L’analyse à faire formation par formation sur ParcourSup est plutôt celle de la zone d’incertitude, au niveau du dernier élève appelé. C’est au niveau de cette zone que l’on peut considérer que l’on procède à un tirage au sort : si le dernier élève appelé a 11 de moyenne pour les critères définis par la formation, on peut considérer que les élèves ayant entre 10.5 et 11.5 de moyenne sont dans la zone d’incertitude et que leur appel ou non relève d’un tirage au sort : si la commission avait modifié ses critères, si leur professeur avait pratiqué une notation plus ou moins laxiste, ils seraient passé du statut de candidat appelé à celui de candidat refusé et vice versa.
Avec APB, la zone d’incertitude concernait 100% des candidats pour les formations où on utilisait un tirage au sort.
Avec ParcourSup, la zone d’incertitude est encore incertaine à priori.
Une fois terminée la procédure, il sera intéressant de prendre le temps de quantifier cette zone d’incertitude : en partant des résultats sur une formation, combien de dossiers appelés ne le sont plus lorsqu’on modifie de façon raisonnable les paramètres de classement ? Pour quelle proportion de candidat peut-on considérer que l’accès à la formation relève du tirage au sort ? Peut-on quantifier de façon raisonnable cette zone d’incertitude ?
Bonjour,
Et merci beaucoup de votre commentaire qui apporte enfin un peu de contradiction pertinente.
Je suis tout à fait d’accord avec vous : l’aléatoire des notes compte peu pour les candidats pour lesquels il existe une certitude d’admission. Les très bons seront pris et pas les très faibles, peu importe comment on les départage.
Simplement, vous remarquerez dans mon analyse que, justement, ces candidats sont les *mieux* départagés par leur note. Au contraire, les candidats pour lesquels il existe une réelle incertitude de recrutement sont les moins bien départagés : l’écart entre les notes, donc l’aléatoire, baisse alors que l’incertitude de recrutement augmente.
Il est tout à fait possible de détecter raisonnablement les 10%/20% les meilleurs et plus faibles, mais il devient très vite impossible de classer raisonnablement tous les autres, c’est à dire la majorité. Ce système marche donc pour les formations qui recrutent les meilleurs, ou encore les formations qui veulent se fermer aux plus faibles, mais c’est tout. Pour le reste, ça relève du tirage au sort.
Je vous rejoins aussi sur la nécessité de comparer le nombre d’étudiants qui étaient soumis au tirage au sort officiel l’an dernier, avec le nombre de ceux qui le seront objectivement cette année. Si une filière qui a procédé au tirage au sort l’an dernier me fourni les données, je serai ravi de mener l’étude. On verra effectivement une baisse du nombre de candidats soumis au tirage au sort, puisque c’était 100%, mais il existe un réel risque que ce ne soit que pour 90% au final.
Donc ce que montre mon étude est que la seule garantie qu’apporte Parcoursup est que les 10% les meilleurs se sortent du tirage au sort en s’assurant que leur place ne soit pas prise par les 10% les plus faibles, mais que cette garantie a un coût : l’entrée dans le tirage au sort des 80% de candidats qu’on ne peut raisonnablement pas départager, et ce aujourd’hui dans toutes les filières. On peut donc raisonnablement estimer que les candidats soumis au tirage au sort cette année seront plus que 1%, ce qui était le chiffre de l’an dernier.
Quant à vérifier le niveau d’aléatoire du recrutement au final, ce sera difficile puisque ce recrutement dépend intrinsèquement du classement. Un autre classement conduit à un autre recrutement. APB assurait que le classement n’avait aucun impact sur les vœux, ce qui n’est plus le cas avec Parcousup, puisque les acceptation/refus se font en connaissance des classements. Un candidats pourra estimer que ses chances de réussites sont plus faibles sur une formation où il est classé 400/500 que sur une formation ou il est classé 100/300, ce qu’absolument aucune étude ne confirme. L’aléatoire du classement impacte donc les décisions des candidats, à mon sens à tort.
Je termine en disant que je reste preneur de toutes données pour mener cette étude sur toute filière qui m’en ferait la demande, et que je vous encourage aussi vivement que sincèrement à faire le même type de travail pour présenter votre point de vue. Vos résultats m’intéressent au plus au point.
> Avec APB, la zone d’incertitude concernait 100% des candidats pour les formations où on utilisait un tirage au sort.
En 2017, le tirage au sort n’intervenait qu’en dernier ressort pour départager des candidats identiques vis à vis des autres critères:
1) classement en fonction de l’académie de résidence
2) classement en fonction du rang du voeu
3) classement en fonction des voeux les uns par rapport aux autres
4) classement en fonction des situations de famille
5) si aucun des classements précédents effectués par APB ne permet de départager deux candidats, alors on tire au sort (hors APB).
Source: http://www.education.gouv.fr/pid285/bulletin_officiel.html?cid_bo=115792
Donc, le tirage au sort ne portait que sur des candidats ayant les mêmes caractéristiques, beaucoup moins que 100% des candidats pour une filière.
Je remarque surtout le basculement entre la priorité donnée au voeu de l’élève avec APB et la priorité donnée aux « notes » et autres prédictions de réussite dans la filière avec Parcoursup.
Quant aux nombres de tirages au sort en 2017, on peut estimer qu’il est de l’ordre du nombre d’élèves encore sans affectation en septembre, c’est à dire 3000 sur 850000 candidats, soit 0,35%. Un petit effort d’ouverture de places en nombre suffisant aurait sans doute suffit à éviter que cette situation ne se (re)produise.
Une autre dimension que j’aimerais voir étudiée, c’est la corrélation (débiaisée des autres caractéristiques des élèves) entre origine sociale et accès aux différentes filières avant APB, avec APB et avec Parcoursup.
Bonjour,
Et merci pour toutes ces précisions très utiles… Un complément indispensable à l’étude que présente ce billet !