Docs en stock : dans les coulisses de la démocratie universitaire

Parcoursup : Tirage au sort, fin ou généralisation ?

La fin du tirage au sort est l’argument principal motivant la réforme de l’accès à l’Université… Mais dans quelle mesure s’affranchit-on du sort avec Parcoursup ?

Selon le CRTL, le sort est un « hasard auquel on se remet pour effectuer un choix, pour décider de l’issue d’une affaire ». Le tirage au sort à l’entrée de l’Université était en ce sens clair : on s’en remettait au hasard pour classer les candidatures. Pour l’éviter, l’outil d’aide à la décision de Parcoursup permet de faire un classement qui repose sur deux critères quantitatifs fournis par défaut : la moyenne pondérée des notes de contrôle continu du lycée, et la fiche avenir.

Analyse du classement par la moyenne des notes de contrôle continu

Il s’agit là de l’élément principal de classement des candidatures, et sans doute le plus solide. Personne ne niera la différence de niveau entre un candidat ayant 18 et un ayant 3. Mais en réalité, aucune formation ne recrute que des candidats ayant 18 et ne refuse que des candidats ayant 3. Il faut donc étudier la pertinence du classement pour les candidats entre ces deux extrêmes.

Considérons les notes de contrôle continu comme objectives et pertinentes, mais reconnaissons qu’il faut leur considérer une marge d’erreur : deux candidats strictement identiques qui rendraient les mêmes copies aux mêmes professeurs n’obtiendraient pour autant pas exactement les mêmes notes… Et ces notes seraient encore plus différentes avec des examens différents, des correcteurs différents, dans des classes ou des lycées différents…

Une étude menée par Florent Tétard montre, sur un échantillon de 12000 lycéens, que la marge d’erreur peut être très grande : par exemple, ceux ayant 11 en contrôle continu peuvent obtenir aussi bien 3 que 18 à l’épreuve du bac.

Mais prenons les choses dans l’autre sens, par exemple avec les données des candidats au DUT informatique où j’enseigne. L’échantillon a été réduit aux candidats de série S afin d’éliminer les biais dus aux différentes filières, soit 874 candidats. On peut alors se poser la question : Quelle marge d’erreur est nécessaire pour faire un classement solide ?

Distribution des moyennes

Sur nos 874 candidats, nous allons, grossièrement, initialement en appeler 90. Ces 90 candidats seront donc admis d’office, et au delà, les admissions se feront par désistement. Ainsi, à partir du rang 91, le classement prend de plus en plus d’importance pour l’admission ou non du candidat… Jusqu’au rang du dernier admis, où chaque place compte.

La moyenne du dernier admis d’office est de 14,140. Donc plus la moyenne du candidat s’éloigne de 14, plus son admission devient incertaine. Or, l’étude de la distribution des moyennes montre que la densité des candidats augmente très vite en dessous de 14 : c’est 15% de nos candidats qui ont une moyenne entre 13 et 14, et presque un quart entre 12 et 13, et encore presque un autre quart entre 11 et 12 :  

Écarts entre les moyennes des candidats successifs

Plus l’écart entre les moyennes de deux candidats est faible, et plus la marge d’erreur doit être faible pour assurer la pertinence du classement. Mais l’étude de l’écart entre les moyennes des candidats successifs montre qu’au plus on s’éloigne du dernier candidats admis d’office (marqué avec une barre verticale), au moins l’écart qui sépare les candidats successif est significatif :

Lorsqu’on regarde la distribution de ces écarts, on réalise que la précision de Parcoursup, qui va pourtant jusqu’au millième de point, n’est même pas encore suffisante puisque pratiquement 10% des candidats successifs ne sont pas départagés. Presque 12% sont départagés par 0,001 point et 0,002 points, et presque 10% par 0,003 points… En tout, ce sont 74% des candidats successifs qui sont départagés par moins de 0,01 point, c’est à dire une valeur qui n’est même pas visible sur les bulletins scolaires (les 1% de candidatures départagées par plus de 0,1 point ne sont pas tracées) :

Proportion de candidats confondus en fonction de la marge d’erreur

On peut également s’affranchir des candidatures successives et étudier, en fonction de la marge d’erreur, la proportion de candidats confondus et leur nombre, c’est à dire ceux dont l’écart de moyenne est inférieur à la marge d’erreur :

  • Avec une marge de 0,001 points, presque trois quarts des candidats sont parfaitement départagés, mais encore plus d’un quart sont confondus avec jusqu’à 5 autres candidats.
  • Avec 0,01 point (marge du bulletin scolaire), plus que 10% des candidats sont parfaitement départagés, et plus d’un quart sont confondus avec jusqu’à 10 autres candidats.
  • Si on augmente encore la marge d’erreur à 0,1 point, une écrasante majorité des candidats se confondent avec 45, et même 90 autres, c’est à dire avec la moitié, ou la totalité, du nombre de candidats qui seront finalement admis.
  • Finalement, avec une marge d’erreur de 0,5 point, qui parait pédagogiquement raisonnable, plus des trois quarts des candidats sont confondus avec plus de candidats que nous n’avons de places. Certains sont même confondus avec 238 autres candidats, c’est à dire plus de 2,6 fois notre nombre de places. 

Conclusion sur le classement par la moyenne des notes de contrôle continu

La majorité des candidats sont reçus par désistement. Cependant, on constate que la pertinence de leur classement nécessiterait un marge d’erreur de l’ordre du millième de point, voire inférieure. En réalité, pour cette majorité de candidats, l’écart entre les moyennes est très largement inférieur à une marge d’erreur raisonnable. Le classement des candidatures devient alors essentiellement dû au hasard, donc s’apparente à du tirage au sort.

Analyse de la prise en compte de la Fiche Avenir

Concrètement, l’interface de Parcoursup ressemble à la capture ci-après. La « note finale » est celle qui sert au classement. Elle est calculée à partir de la moyenne des notes de contrôle continu, de la « note fiche avenir », et des éléments examinés par la commission d’examen des vœux. La note de la fiche avenir est calculée au millième à partir des « valeurs sur 20 » que l’outil d’aide à la décision encourage à attribuer aux appréciations des enseignants du lycéen.

Le graphique ci-dessous compare le classement fait à partir des notes de contrôle continu, avec le classement fait à partir de la moyenne entre ces notes et celles de la fiche avenir. Chaque point représente un candidat en fonction de son rang dans les deux classements : les premiers du classement sont en bas à gauche. La diagonale départage les candidats qui gagnent des place (en dessous) ou en perdent (au dessus). Les barres verticales et horizontales indiquent le rang du dernier admis d’office.

On constate que le classement peut être substantiellement modifié par la prise en compte de la fiche avenir : sur les 874 places, les candidats gagnent ou perdent en moyenne plus de 120 places, et jusqu’à 577 places pour le cas extrême. 30% des candidats admis d’office sont même différents d’un classement à l’autre. Par exemple, le candidat au rang 34 passera, avec la prise en compte de la fiche avenir, au rang 293 : au lieu d’être admis d’office, il devra espérer que plus de 200 candidats se désistent devant lui.

Conclusion sur la fiche avenir

Selon la configuration, la prise en compte de la fiche avenir n’est donc pas un simple ajustement, mais bien un bouleversement du classement. Ce bouleversement repose entièrement sur la pertinence des appréciations formulées. Mais l’expérience montre que les candidats peuvent parfaitement avoir un avis « Très satisfaisant » alors que leur échec est une quasi-certitude. En réalité, si les enseignants du lycée peuvent forger leur avis sur une bonne connaissance du lycéen, il n’est pas raisonnable de leur imposer de connaitre les 13000 formations proposées dans Parcoursup, ni même les appréciations données à des lycéens équivalents dans tous les lycées de France. Un même candidat peut donc en réalité avoir des avis très différents.

Le bouleversement du classement par la prise en compte de la Fiche Avenir nécessiterait une marge d’erreur impossible à assurer. Cette modification du classement relève donc plus du sort que du parcours du candidat.

Les choix des commissions d’examen des vœux

Pour rester la plus neutre possible, l’étude jusqu’ici n’a pas utilisé de pondération particulière. Or, dans chaque formation, une commission d’examen des vœux doit fixer de nombreuses pondérations : pour la moyenne des notes de contrôle continu, pour les notes et la pondération de la fiche avenir, et pour les notes et pondérations des élément à examiner.

Il n’existe aucun cadrage national. Aussi ce jeu de pondération peut changer du tout au tout pour les 13000 formations de Parcoursup, y compris pour un même diplôme, y compris selon la filière d’origine du candidat. En clair, un même candidat pourra ne pas être classé du tout selon les mêmes règles d’une formation à l’autre. Et il n’existe aucun moyen de connaitre ces règles à l’avance. Et même si cette pondération améliore la pertinence du classement dans son ensemble, elle ne peut pas s’affranchir des marges d’erreurs démontrée ci-dessus. La chance jouera donc à plein. Encore une fois, le classement ne dépendra donc pas seulement du candidat, mais aussi énormément du sort.

Conclusion

On a ainsi montré que la majorité des candidats ne peuvent pas réellement se distinguer les uns des autres uniquement par leur dossier Parcoursup. En réalité, les marges d’erreur des notes ne peuvent pas être inférieures à l’écart entre les moyennes des candidats, dont la majorité est de l’ordre du millième de points. De plus, les outils d’aide à la décision, très faciles à utiliser mais difficile à maîtriser, peuvent réellement bouleverser le classement de façon imprévisible. Enfin, les règles d’examen des 13000 formations de Parcoursup étant différentes et non divulguées, un même candidat pourra en réalité être classé de façon totalement différente selon où il postule, et sans aucun moyen de le prévoir. En conséquence, pour la majorité des candidats, la décision d’admission s’apparente en réalité plus à un forme de tirage au sort qu’à une sélection juste et éclairée.

Piste d’explication

Il est a ce stade important de donner une piste d’explication de la source de ce tirage au sort. En réalité, les notes de contrôle continus et appréciations sont des outils formidables. Les notes permettent d’objectiver beaucoup de choses, comme la maîtrise d’une notion, l’évolution d’un élève, ou son niveau dans sa classe. Les appréciations de la fiche avenir donnent un avis sur un projet. Ces choses permettent à l’élève de se situer et à l’enseignant de s’adapter.

En revanche, ces notes et appréciations sont de très mauvais outils pour classer les candidatures : données dans des contextes différents, par et pour des personnes différentes, pour des finalités différentes aussi, elles sont globalement sans pertinence lorsqu’il s’agit de les comparer les unes aux autres, et encore moins au millième de point près. Les notes ne contrôle continu ne peuvent pas être utilisées comme les résultats d’une épreuve de concours, pas plus que les appréciations ne peuvent être utilisées comme les résultats d’une audition. En utilisant ces notes et appréciations à contre emploi, non seulement nous commettons une erreur de raisonnement, mais en plus nous prenons le risque de modifier leur sens et leur finalité dans l’enseignement secondaire, sans doute au détriment de leur utilité première.

Be Sociable, Share!

Commentaires (26)

  1. Pingback: Et revoici le tirage au sort ! | Histoires d'universités

  2. Dubois Pierre

    Super merci, Julien : ta démonstration est impitoyable! https://histoiresduniversites.wordpress.com/2018/05/02/et-revoici-le-tirage-au-sort/

    Répondre
  3. MC. Tasse

    Excellente demonstration. Très éclairante

    Répondre
  4. Zarathustra

    Je ne suis pas entièrement d’accord avec les conclusions de cet article. Effectivement, les constats sont quelque part « évidents », mais ne mènent pas à la critique formulée dans l’article, et le « hasard parcours-sup » n’est en rien comparable au hasard « tirage au sort ».

    Ce que l’auteur constate, c’est simplement que la mesure d’aptitude d’un candidat pour une filière (la « note finale, pondérée, classente ») est une mesure avec beaucoup d’erreurs systématiques et aléatoires. On le sait. Toute forme d’épreuve, de notation etc… d’un élève est très approximatif, surtout quand ils ont des parcours différents, des épreuves différentes, des correcteurs différents etc…. La seule façon de remédier à cela, est que chaque établissement supérieur organise des épreuves d’admission lui-même, avec des examens très poussées et des jurys parfaitement calibrés. Sans épreuves d’admission, la seule donnée qu’on a des candidats est très vague et erronée. Sans bonnes données on ne peut pas prendre des décisions précises, mais ça, c’est le cas dès qu’on doit « envoyer un dossier », et qu’on ne peut pas passer des examens identiques.

    En suite, si on a 800 candidats, uniformément repartis sur, disons, 4 points, il ne faut pas s’étonner que l’écart moyen entre candidats successifs n’est que de 4/800 = 0.005 points. Donc ce n’est pas très étonnant non plus que les écarts successifs sont petits.

    Tout cela est donc inhérent à tout système de « candidature sur dossier » où il y a beaucoup de candidats. Ce n’est pas spécifique à parcours sup.

    Par contre, on peut quand-même espérer une légère corrélation entre la note du dossier, et la « qualité recherchée du candidat ». Ainsi, toute sélection faite par ce moyen-là sera MOINS « hasardeux » que la sélection par PUR hasard. Le candidat qui est bon « intrinsèquement » aura une probabilité légèrement plus élevée que le candidat qui est totalement inapte aux études en question.

    Avec les données de très mauvaise qualité dont on dispose (les notes de contrôle continu, les notes du bac, les pondérations, ….) on ne peut pas faire mieux, mais c’est « l’extraction maximale » de l’information qui est dedans, afin de donner la corrélation la plus forte possible entre la probabilité d’être accepté et sa « qualité intrinsèque ».

    C’est un peu comme « manger sain et faire du sport » pour éviter le cancer. Ce n’est pas du tout parce que vous mangez vous 5 fruits et légumes par jour et que vous faites votre footing chaque matin que vous n’allez pas avoir un cancer, et votre voisin qui fume comme une cheminée et boit comme un trou va peut-être vous survivre joyeusement. Mais c’est le mieux qu’on peut faire…. sauf un examen détaillé chaque année pour vous dépister une tumeur.

    Parcours-sup introduit le maximum de corrélation entre votre « qualité intrinsèque » et votre probabilité d’admission, même si cette corrélation reste faible due à la mauvaise qualité intrinsèque des données (des « notes par des profs différents »). Le « tirage au sort » rend cette faible corrélation à zéro.

    Avec parcours-sup, l’élève intrinsèquement bon augmentera sa probabilité d’admission (peut-être pas de beaucoup, mais le maximum possible avec les données dont on dispose). Avec le tirage au sort, son avantage est réduit à zéro.

    Répondre
    1. Julien Gossa (Auteur de l'article)

      Merci beaucoup de votre relectures, très riche, et permettez-moi d’y répondre afin de faire vivre ce débat central dans l’évolution du O de la loi ORE.

      Ce que l’auteur constate, c’est simplement que la mesure d’aptitude d’un candidat pour une filière (la « note finale, pondérée, classente ») est une mesure avec beaucoup d’erreurs systématiques et aléatoires. On le sait. Toute forme d’épreuve, de notation etc… d’un élève est très approximatif, surtout quand ils ont des parcours différents, des épreuves différentes, des correcteurs différents etc….

      C’est pourtant ce sur quoi tous les candidats à l’Université seront classés. Que ce soit une évidence ne fait que plus questionner les choix qui ont été faits.

      La seule façon de remédier à cela, est que chaque établissement supérieur organise des épreuves d’admission lui-même, avec des examens très poussées et des jurys parfaitement calibrés. Sans épreuves d’admission, la seule donnée qu’on a des candidats est très vague et erronée. Sans bonnes données on ne peut pas prendre des décisions précises, mais ça, c’est le cas dès qu’on doit « envoyer un dossier », et qu’on ne peut pas passer des examens identiques.

      Ou alors une épreuve nationale, premier grade universitaire. Les avantages d’une épreuve nationale sur des épreuves locales sont : une économie d’échelle évidente, tant pour les établissements que pour les candidats ; un cadrage national assurant une égalité territoriale ; et une limitation de la mise en concurrence des établissements. On pourrait appeler ça le Baccalauréat.

      En suite, si on a 800 candidats, uniformément repartis sur, disons, 4 points, il ne faut pas s’étonner que l’écart moyen entre candidats successifs n’est que de 4/800 = 0.005 points. Donc ce n’est pas très étonnant non plus que les écarts successifs sont petits.

      Tout à fait. Si une autre étude le montre sur des données réelles, et montre surtout quelle est l’ampleur concrète du phénomène et pour quelle sous-partie de la population, j’en suis évidemment très preneur.

      Tout cela est donc inhérent à tout système de « candidature sur dossier » où il y a beaucoup de candidats. Ce n’est pas spécifique à parcours sup.

      Tout à fait. Parcoursup ne fait que le généraliser à la totalité des candidats et la totalité des formations.
      Ce n’est pas rien…

      Par contre, on peut quand-même espérer une légère corrélation entre la note du dossier, et la « qualité recherchée du candidat ». Ainsi, toute sélection faite par ce moyen-là sera MOINS « hasardeux » que la sélection par PUR hasard. Le candidat qui est bon « intrinsèquement » aura une probabilité légèrement plus élevée que le candidat qui est totalement inapte aux études en question.

      Ce que mon étude montre, c’est que si on estime qu’il n’y a pas de « légère corrélation » avec une marge d’erreur de 0,5 point (i.e. on ne peut tirer aucune conclusion entre quelqu’un ayant 13 et quelqu’un ayant 13,5), le nombre de candidats confondus dépasse le nombre de places disponibles. Cela n’empêche pas que les « meilleurs » auront le choix de leur affectation. En revanche, cela prouve que pour une majorité de candidats, pas tous, c’est du pur hasard, puisqu’on se situe dans la marge d’erreur.

      Avec les données de très mauvaise qualité dont on dispose (les notes de contrôle continu, les notes du bac, les pondérations, ….) on ne peut pas faire mieux, mais c’est « l’extraction maximale » de l’information qui est dedans, afin de donner la corrélation la plus forte possible entre la probabilité d’être accepté et sa « qualité intrinsèque ».

      Je ne dis pas le contraire. Je me borne à évaluer la qualité de cette « extraction maximale ». Vous aurez remarqué qu’à tout moment, j’ai considéré le classement comme optimal, ce qui, entre nous, n’est évidemment pas le cas. Ce que j’ai observé, c’est qu’on peut être maximal et insuffisant.

      C’est un peu comme « manger sain et faire du sport » pour éviter le cancer. Ce n’est pas du tout parce que vous mangez vous 5 fruits et légumes par jour et que vous faites votre footing chaque matin que vous n’allez pas avoir un cancer, et votre voisin qui fume comme une cheminée et boit comme un trou va peut-être vous survivre joyeusement. Mais c’est le mieux qu’on peut faire…. sauf un examen détaillé chaque année pour vous dépister une tumeur.

      Sauf que jusqu’à présent, nous n’avions pas à le faire. C’est un peu comme si on vous disait : avant, il suffisait d’avoir le bac pour entrer à l’université, mais maintenant on va vous demander de manger 5 fruits et légumes par jours, de faire du sport et de ne pas fumer, mais en fait ça ne garantira pas non plus votre admission.

      Parcours-sup introduit le maximum de corrélation entre votre « qualité intrinsèque » et votre probabilité d’admission, même si cette corrélation reste faible due à la mauvaise qualité intrinsèque des données (des « notes par des profs différents »). Le « tirage au sort » rend cette faible corrélation à zéro.

      Encore une fois, ce que je montre, c’est qu’une majorité de candidats se trouve sous la marge d’erreur, et que pour eux c’est donc bien une corrélation de zéro, donc du tirage au sort. Différence cependant, celui-ci ne dit pas son nom.

      Avec parcours-sup, l’élève intrinsèquement bon augmentera sa probabilité d’admission (peut-être pas de beaucoup, mais le maximum possible avec les données dont on dispose). Avec le tirage au sort, son avantage est réduit à zéro.

      Effectivement, les 10% de meilleurs candidats sont pris d’office, ce qui n’est pas le cas avec le tirage au sort.
      Et là nous sommes, je pense, au cœur du débat : Qu’est-ce qu’un élève intrinsèquement bon ?
      Mon étude montre que la prise en compte de la fiche avenir change cette définition, puisque les admis d’office sont différents.
      Un peu de recul sur les inégalités scolaires pourra faire froid dans le dos en cherchant une réponse plus complète.

      Et cela amène à une question encore plus large : Pourquoi modifier les règles d’accès de 100% des candidats à l’Université pour un avantage réservé à seulement 10% d’entre eux, dont la plupart ne viendra d’ailleurs pas à l’Université ?

      Répondre
      1. Zarathustra

        S’il y a suffisamment de places pour toutes les demandes, alors il n’y a aucun problème, ni avec le tirage au sort, ni avec une « sélection sur dossier », car finalement, tout le monde aura accès à tout ce qu’il voudrait. Si vous avez 800 demandes pour formation X, et vous pouvez offrir 800 places, alors vous pouvez mettre ces 800 candidats dans n’importe quel ordre, par tirage au sort ou autre, cela n’a pas d’importance: ils auront tous une place.

        Donc je crois que votre question est mal posée, car elle compare un système de résolution de choix avec un système où il y a suffisamment de moyens pour ne pas devoir faire un choix.

        Le fait est qu’il n’y a pas suffisamment de places dans toutes les filières pour tous les candidats qui voudraient. Cela est d’ailleurs seulement possible dans une hypothèse de moyens économiques illimités avec une population limitée. Aucune ressource qui a un coût peut être à disposition (offre) illimitée afin de satisfaire toute demande possible et imaginable.

        Comme je disais, SI c’était le cas qu’il y avait assez de places dans toutes les filières pour tout le monde, ni le tirage au sort, ni parcours-sup auraient le moindre problème: tous les candidats auraient un « oui » à tous leurs vœux. C’est parce que, justement, cette offre n’existe pas (et est économiquement impossible), qu’il faut faire des choix.

        Et alors, il faut faire les choix en fonction de l’information dont on dispose (ou bien refuser d’utiliser cette information, et prendre une sélection au hasard, qui donnera une solution bien moins optimisée).

        En ce qui concerne le paramètre idéal de sélection, c’est simple: le paramètre de sélection idéal est la probabilité Bayesienne, pour l’élève Z, de mener à bien les études X, selon justement, les finalités qui définissent les études X. Si vous avez deux candidats A et B, et vous avez 1 place, il faut donner cette place au candidat qui à la plus grande probabilité de mener à bien les études en question avec le meilleur résultat possible. Si vous avez deux places, vous acceptez les deux. Mais si vous n’avez qu’une place, cette ressource rare doit être utilisée de la façon la plus efficace, donc avec le plus faible taux d’ échec possible. Toute autre choix serait irresponsable, car il gaspillerait une ressource rare (et augmenterait le gâchis pour le candidat).

        Là où le bat blesse, c’est que l’information qu’on peut tirer du secondaire pour avoir un estimateur de cette probabilité de réussite, est de très mauvaise qualité. C’est pour cela qu’il y a tellement d’échecs dans le supérieur. Mais on n’a rien d’autre.

        Dans parcours-sup, il n’y a aucun problème pour l’université d’accepter tous les candidats s’ils ont la place. S’ils sélectionnent seulement une partie, c’est qu’ils n’ont pas autant de places qu’il y a de demandes, et donc, qu’il faillait bien faire une liste de candidats, dont il faut refuser certains et accepter d’autres. Alors, n’est-il pas logique d’augmenter, aussi faiblement qu’il ne le soit, la probabilité de réussite de ceux qui vont « consommer » une si précieuse place, et donc d’utiliser au maximum, l’information très incertaine dont on dispose ?

        Je crois que votre critique, dans le fond, s’oriente plus vers la très mauvaise qualité d’évaluation dans le secondaire, ET le peu de pertinence avec lequel on utilise cette information pour estimer cette « probabilité de mener à bien les études en question », plutôt que le fait même qu’il est mathématiquement impossible de satisfaire 1800 demandes avec 300 places disponible.

        Répondre
        1. Julien Gossa (Auteur de l'article)

          Sans rebondir sur la question des places, qui n’est absolument pas abordée dans ce billet, je suis ravi que vous ayez pleinement saisi les finalités de mon étude et que vous sembliez en partager les conclusions

          En revanche, je ne me permettrais pas de critiquer la qualité des évaluations dans le secondaire, et je pense que c’est une mauvaise façon d’aborder les choses. Les notes du secondaires ne sont tout simplement pas faites pour prédire les chances de réussite des étudiants à l’Université, encore moins pour les classer.

          Leur utilisation dans Parcoursup est donc sans pertinence.

          Je ne dis rien d’autre, et ne souhaite discuter de rien d’autre dans ce fil de commentaire.

          Répondre
  5. HG

    Mais ce n’est pas tout: on doit aussi prendre en compte la probabilité qu’ils viennent, en ayant aucune visibilité sur le « rendement » (il faut 2 admis pour qu’un vienne, 3 admis pour qu’un vienne, 1.3 admis pour qu’un vienne…)

    Les 10% automatiquement admis, c’est une règle nationale ou c’est juste pour l’exemple?

    Répondre
    1. Julien Gossa (Auteur de l'article)

      Les 10% automatiquement admis dépendent du nombre de places et du nombre de candidats. Ce sont les données réelles du recrutement dans mon département informatique.

      Mais il y a aussi les 10% de candidats qui ont plus de 14 de moyenne au contrôle continu. Ça en revanche, c’est plus un phénomène national. A peu de choses près, cela se retrouvera dans toutes les formations.

      J’en profite pour dire que toutes les analyses sont scriptées : je peux les reproduire presqu’instantanément pour n’importe quelle formation qui me fournirait les données. Si des lecteurs souhaitent avoir le profil de leur formation, je me ferai un plaisir de leur fournir !

      Répondre
  6. Ouzoulias

    Je salue le travail très argumenté de Julien Gossa. J’apprécie la réplique donnée par Zarathustra, car elle permet de réaliser que le système Parcoursup n’est qu’une mesure transitoire vers la mise en œuvre de concours d’accès, spécifiques à chaque établissement, selon le modèle des grandes écoles. C’est la suite logique de l’autonomisation des universités et les prochaines étapes seront la modulation des frais d’inscription, la licence à la carte, la fin du statut national des enseignants-chercheurs, etc. : ainsi parlera Zarathustra !
    Je me permets de discuter l’affirmation selon laquelle la possibilité économique d’accueillir tous les bacheliers à l’université n’existe pas. C’est pourtant le choix politique fait, il y a cinquante ans, par Edgard Faure, qui n’était pourtant pas un « agitateur professionnel » !. La mobilisation de l’État d’alors, pour recevoir tous les étudiants, a été proportionnellement bien plus considérable que ce qui serait nécessaire aujourd’hui. Lors de la discussion du budget de l’ESR au Sénat, j’ai déposé un amendement pour affecter à l’université les 6,5 milliards d’euros alloués au crédit impôt recherche (CIR), dont l’utilité pour la recherche n’est absolument pas démontrée. Mon groupe (CRCÉ) a été le seul à le voter… Le Gouvernement a donc fait le choix politique de ne pas donner plus de moyens à l’enseignement supérieur et d’offrir aux universités les instruments techniques pour réguler le « trop plein de candidatures ». C’est un choix de société.
    Pierre Ouzoulias, Sénateur des Hauts-de-Seine

    Répondre
  7. Christophe

    Bonjour;
    c’est très bien tout cela, on fait un état des lieux sur la situation et on compare l’ancienne mouture avec la nouvelle, mais finalement, qu’elle est la véritable solution pour régler ce problème d’accès à l’enseignement supérieur ?

    Répondre
    1. Julien Gossa (Auteur de l'article)

      Bonjour et merci de votre commentaire.

      Je ne saurais trop quoi répondre, surtout que je souhaite conserver un fil de commentaire concentré sur le sujet du billet.
      Tout dépend de ce que vous entendez par « problème d’accès à l’enseignement supérieur » :
      – si c’est un manque de places, trier les candidats n’ajoute pas de place, mieux vaudrait des moyens ;
      – si c’est l’impréparation de certains bacheliers aux études supérieures, les trier ne les prépare pas mieux, mieux vaudrait résoudre le problème en amont ;
      – si c’est le taux d’échec en première année, il faudrait comparer l’efficacité du système d’orientation par réorientation que nous avions avec celui d’orientation par classement que nous aurons.

      Cela fera peut-être l’objet d’un futur billet… Mais pour ici, restons sur la question de la part du tirage au sort dans les classements Parcoursup.

      Répondre
  8. john

    Bonjour, tout d’abord merci beaucoup pour votre article ! il est très très intéressant.
    juste, n’y a-t-il pas une erreur (ou tout du moins un manque de précision) :
    « Chaque point est un candidat. La diagonale départage les candidats qui gagnent des places (en dessous) ou en perdent (au dessus) »
    – Si les candidats gagnent ou perdent des places « grâce » à la fiche avenir (comme il en est question je crois), je pense qu’il faut inverser (en-dessous) et (au-dessus) – car se sont bien les candidats au-dessus de la diagonale qui ont accumulé plus de points grâce à la fiche avenir non (donc qui « gagnent ») ?

    Répondre
  9. Julien Gossa (Auteur de l'article)

    Bonjour et merci de votre vigilance !

    Effectivement, ma formulation est maladroite : le graphique ne représente pas les points des candidats, mais leur classement. En dessous de la diagonale, nous avons les candidats qui montent dans le classement grâce à la fiche avenir, donc qui gagnent des points.

    Je vais reformuler pour éclaircir.

    Répondre
  10. Olivier Ridoux

    Pour moi, le vrai sens à donner à cette étude et à d’autres, souvent très intéressantes, et de répondre à des énoncés de propagande outrancière, comme par exemple, « Avec Parcoursup, jamais la procédure d’affectation postbac n’a été aussi transparente » (Mounir Mahjoubi). L’autre point à noter ici me semble être celui de rappeler notre servilité face aux notes. Je ne suggère pas de ne plus noter, mais de ne plus utiliser de notes hors de leur contexte.

    Répondre
    1. Julien Gossa (Auteur de l'article)

      Bonjour et merci de votre commentaire, dont je partage les observations sans réserve.

      Répondre
  11. Damien

    Bonjour,

    Afin de mieux comprendre le graphe « Modification du classement par la prise en compte de la fiche avenir »; pourriez-vous nous indiquer les coefficients de la fiche avenir et des moyennes des notes.

    Vous n’évoquez que 2 composantes (contrôle continu et fiche avenir) dans votre article. Doit-on en déduire que vous ne prenez pas en compte le projet de formation ? Si vous le prenez en compte, est-il possible de l’intégrer au graphique cité ci-dessus (avec le coef) ?

    Une des possibles erreurs des établissements cette année a été de noter de façon linéaire les items de la fiche avenir(très satisfaisant:20 -> peu démontré:0). Une notation exponentielle creuserait plus l’écart.

    Une second point concerne le contrôle continu. La plupart des commissions ont valorisé mécaniquement les matières phares des séries de bac.
    En procédant de la sorte, on ne différencie pas assez car l’écart entre les coef. est trop fort (maths coef 5 et français coef 1 avec 0 en français par exemple; le candidat a quand même une bonne moyenne).
    En effet, il est de bon sens de partir du principe que la plupart des candidats qui sont dans une série ES, auront des notes « potables » aux matières phares. Ces mêmes notes étant fortement coefficientées, on envoie tout ce beau monde à l’étage supérieur (fiche avenir) sans les départager (ce que montre votre graphique sur le « ventre mou », les 12/14 de moyenne).

    Mon ressenti est que l’on a accordé trop d’importance aux possibilités de modulation aux différents niveaux possibles et qu’à la fin, on se retrouve avec des classements horribles. J’ai l’exemple d’une formation avec 5000 voeux confirmés qui se retrouve avec 1800 doublons à traiter individuellement en 15j.

    « J’en profite pour dire que toutes les analyses sont scriptées : je peux les reproduire presque instantanément pour n’importe quelle formation qui me fournirait les données. Si des lecteurs souhaitent avoir le profil de leur formation, je me ferai un plaisir de leur fournir ! »

    Vous partez d’export Parcoursup anonymisés ?

    Répondre
  12. Julien Gossa (Auteur de l'article)

    Bonjour,

    Et merci beaucoup pour votre commentaire qui va me permettre de clarifier les choses que j’ai dû laisser de côté pour des raisons de place.

    Pour éviter tout biais local, je n’ai pas utilisé la note donnée suite à l’évaluation du dossier par la commission d’examen des vœux : cette note est hautement subjective, et je souhaitais concentrer l’étude sur les données objectivables (et non nécessairement objectives) fournies à la commission, pas sur ses décisions internes.

    Pour la même raison, je n’ai utilisé aucune pondération :
    – la moyenne des notes est construite à partir de toutes les notes disponibles sans distinction : le bais que vous supposez n’est donc pas dans mon étude.
    – la moyenne notes / fiche avenir est aussi à équivalence : ça permet de visualiser au mieux l’impact de l’un sur l’autre.

    Je doute de la réalité du biais que vous supposez dans la surpondération des notes dans les matières phares : les notes dans toutes les matières suivent une distribution normale. Je viens de vérifier sur la série S avec Math et EPS : en réalité, la distribution en Math est bien plus étendue que celle en EPS. Il n’y a donc pas, sur mes candidats en S, de phénomène de concentration des notes « potables », au contraire…
    C’est un biais normal de notation des enseignants, qui correspond à une réalité de la population. C’est, à mon sens, ni choquant, ni à éviter.

    Pour la fiche avenir, j’ai effectivement pris une échelle de notation linéaire. Vu qu’il n’y a que 6 notes avec 4 niveaux de notation, prendre une autre échelle va déplacer des masses d’étudiants vers le haut ou le bas, mais sans jamais arriver à mieux les départager. La seule « erreur » pour le départage, à mon sens, serait de ne pas exploiter totalement l’échelle, en ne mettant pas 0 à la note la plus basse. Ceci dit, le faire conduit à défavoriser brutalement les candidats les moins bien évalués par leur lycée.

    Bref, mon étude a tendance à infirmer votre ressenti puisqu’aucune modulation n’est utilisée. En réalité, la concentration des candidatures est inévitable dès lors qu’on a trop de candidats, ce qui est forcément le cas avec 7 vœux par candidats en moyenne, qui conduisent à 7 candidats par place en moyenne (sans compter qu’il n’y a pas assez de places), et que ces candidats sont, et c’est bien naturel, assez homogènes dans leur ensemble.

    Tout ce qu’on peut, c’est essayer de faire plus ou moins remonter tel ou tel profils, et faire quelques paris…

    Et pour mon script, effectivement il s’agit de l’export Parcoursup en csv, qui doit contenir toutes les notes et appréciations de la fiche avenir. L’anonymisation est tout à fait possible. Je mettrais bien mon script à disposition, mais il est vraiment crade ! Je le ferai dès que j’aurais le temps de le nettoyer.

    Répondre
    1. Damien

      Merci pour votre réponse.

      Je me permets de revenir sur l’aspect coefficient. Les années suivantes nous le confirmeront, mais que ce soit dans le cas de forts coefficents ou d’un coefficient unique, le résultat est le même: on ne départage pas assez.

      Le pb du départage est intéressant car il doit être remonté au plus haut afin d’obtenir une modification de la plateforme. Si on peut accepter que la première livrée ne soit pas parfaite; on ne peut accepter de trainer cela pendant des années.

      Répondre
      1. Julien Gossa (Auteur de l'article)

        N’hésitez pas à revenir sur tous les aspects qui vous paraissent d’intérêt, c’est le seul objectif.

        En ce qui concerne le départage des candidatures, je peine a imaginer un système juste et efficace qui peut fonctionner à l’échelle d’une tranche d’âge… Je pense que ce problème est inhérent à tout système de sélection généralisé : l’outil n’y peut rien, c’est une réalité que nous devrons effectivement nous traîner pendant des années.

        Répondre
  13. Pingback: Parcoursup : Tirage au sort, fin ou généralisation ? – SNESUP Paris 1 Panthéon-Sorbonne

  14. Edwige

    Bonjour,

    Je trouve pour ma part que l’introduction d’une note « recruteur » permet quand même d’essayer d’être juste dans le classement des candidats et de limiter les biais précédemment mentionnés. En effet, la moyenne d’un candidat n’est pas forcément représentative de son niveau, par contre, la visualisation des différentes notes sur le bulletin, des appréciations des enseignants et de la lettre de motivation sont des éléments qui permettent au recruteur de se faire une idée des chances de réussite de l’étudiant dans sa formation. Certes il restera toujours un biais car ce n’est pas une science exacte et nous ne maîtrisons pas tout, mais avec un peu d’expérience, nous savons qu’il y a des candidatures plus à risque que d’autres. Certes deux recruteurs ne noteront peut-être pas le candidat de la même façon, mais je partage le point de vue exprimé que nous n’avons pas tellement d’autres éléments pour faire la sélection. Je ne suis pas sûre que l’organisation de concours d’entrée dans toutes les formations soit très pertinente et réaliste. Nous convoquons une partie de nos candidats. L’entretien permet de percevoir certaines choses, pas tout…

    Répondre
  15. Julien Gossa (Auteur de l'article)

    Bonjour et merci de votre commentaire !

    Ajouter la note recruteur permet de modifier la pertinence du classement, mais pas de résoudre le problème de la précision nécessaire au départage juste et éclairé des candidatures.

    Vous noterez que je n’ai jamais abordé la question de la pertinence du classement dans cette étude. J’ai au contraire pris pour hypothèse que ce classement était parfait. Les résultats montrent alors que même un classement parfait nécessite une précision déraisonnable pour départager les candidats.

    Ajoutez, comme vous le dites bien, une hétérogénéité dans l’évaluation des dossiers par les recruteurs, et même si vous augmentez globalement la pertinence du classement, vous descendez mécaniquement l’égalité de traitement entre les candidats.

    Répondre
  16. Pingback: ParcourSup : le casse-tête des ex-aequo – Paris 3 contre le Plan Etudiant

  17. Pingback: Billet consacré à ParcourSup, groupe jean-pierre vernant (19 mai 2018) – SNESUP Paris 1 Panthéon-Sorbonne

  18. jonathan

    Bonjour
    Merci beaucoup de votre billet. Je suis enseignant dans le second degré. Nous nous sommes trouvés cette année dans la situation consternante de faire des prédictions de réussite dans le supérieur pour nos étudiants. Nous remplissons des fiches avenir sans avoir aucune idée de la manière dont elles sont utilisées dans le supérieur. La dimension de ‘loterie’ me semble absolument flagrante
    Quant à la qualité de notre notation, discutée par Zarathustra, et donc je reconnais l’imperfection, merci de rappeler l’évidence qu’elle ne prend sens qu’au sein d’une relation pédagogique entre l’enseignant et l’élève, visant à donner des indications à l’élève sur la façon dont il remplit les exigences de l’enseignant. Elles n’ont effectivement pas vocation à devenir un billet d’entrée, ou une barrière, pour l’enseignement supérieur. Même si je suis obligé de constater que c’est bien ce qui se passe déjà pour toutes les formations hors université…
    Encore merci pour votre travail d’information

    Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *