Docs en stock : dans les coulisses de la démocratie universitaire

#DataESR

La loi ORE : un formidable terrain d’étude pédagogique

Maintenant que les affectations sont (presque) finies dans l’enseignement supérieur, la communauté va pouvoir se concentrer sur le second volet de la loi Orientation et Réussite des Etudiants (ORE) : la réussite des étudiants, seul et unique objectif affiché de la réforme. Quelques minutes de travail par filière permettraient d’améliorer significativement ce volet. Pourtant, ce petit travail ne sera peut-être pas fait. Voilà comment.

Améliorer la réussite par l’orientation et l’acompagnement

L’amélioration de cette réussite s’appuie sur deux dispositifs : une meilleure orientation grâce à l’examen des dossiers de candidatures, et un meilleur accompagnement grâce aux mesures d’accompagnement personnalisé (ou « oui si »). L’absence quasi-totale de cadrage national en ce qui concerne ces deux dispositifs est très favorable à l’expérimentation et à la diversité des approches. En effet, chaque filière est totalement libre dans sa façon de classer les candidatures, comme dans l’élaboration des mesures d’accompagnement et la sélection des étudiants qui devront les suivre. La France est ainsi devenu un formidable terrain d’étude pédagogique : nous allons pouvoir, à l’échelle d’une nation, connaitre les techniques d’orientations et les mesures d’accompagnement qui fonctionnent et sous quelles conditions.

Cependant, faire émerger cette connaissance implique que soit, dès cette année, mise en oeuvre une méthode d’évaluation standardisée. Sans cette évaluation, nous commettrions la même erreur que pour le plan pour la réussite en Licence, dont aucun bilan n’a jamais été tiré et qui n’a jamais réellement permis de faire émerger de la connaissance à l’échelle nationale. Ce défaut de bilan explique en partie pourquoi la loi ORE en reprend encore les termes 10 ans plus tard.

Les connaissances à produire à l’échelle nationale

Dans l’idéal, il faudrait répertorier la totalité des techniques d’orientation, de sélection et d’accompagnement, et d’arriver à les caractériser en terme d’efficacité, sans manquer de les mettre en perspective avec les particularités locales et autres biais inévitables. Un tel travail serait profitable à l’ensemble de la communauté, en permettant à chaque formation d’améliorer ses propres procédures et pratiques, de découvrir de nouvelles idées, comme d’éviter les fausses bonnes idées qui sont légion dans le domaine.

C’est ambitieux. Trop sans doute, sauf à compter sur un important support du ministère. Il s’agit donc d’adopter une approche plus modeste.

Enquête de terrain ou statistiques nationales ?

Lorsqu’on en vient à l’enseignement, deux approches sont possibles.

D’une part, les enquêtes de terrain permettent d’avoir une vision fine, comprenant les trajectoires individuelles et prenant en compte les biais, mais limitée dans le temps et l’espace. Par exemple : [« Essai de mesure de l’efficacité différenciée d’un plan « Réussite en licence » selon les acquis initiaux des étudiants », Cathy Perret, Julien Berthaud et Stéphanie Benoist] ou [« L’Université n’est pas en crise. Les transformations de l’Enseignement supérieur : enjeux et idées reçues », Romuald Bodin et Sophie Orange].

D’autre part, les grandes enquêtes statistiques permettent de dégager des tendances et d’identifier des particularités, mais sans comprendre les biais, réalités locales et trajectoires individuelles. Par exemple: [Réussite et échec en premier cycle, note d’information MESR ] ou [Repères & références statistiques sur les enseignements, la formation et la recherche 2018, DEPP].

Pour caricaturer, on peut donc identifier des réalités à grande échelle mais sans les comprendre, ou les comprendre mais sans les identifier à grande échelle. Malheureusement, aucune de ces deux approches n’est satisfaisante

Statistiques nationales et enquêtes de terrain ciblées

Un enquête de terrain au niveau national étant impossible à mener, il faudra se limiter à une enquête statistique nationale, qui doit permettre d’identifier les filières qui ont obtenu des résultats particuliers. Cette identification permettra ensuite de mener des enquêtes de terrain ciblées, ou à défaut, d’obtenir des informations plus précises sur les mises en oeuvre qui ont conduit à des résultats remarquables.

Par chance, les statistiques nécessaires sont déjà disponibles ! En effet, les établissements font déjà remonter tous leurs taux de réussite au niveau national [#DataESR], déclinés en fonction du profil des étudiants. Il s’agit simplement de faire la même chose, mais décliné selon les filières et mesures d’accompagnement. Pour bien faire, il faudrait aussi simplement calculer le taux d’abandon, qui est une statistique dont dispose les établissements mais qui n’est pas remontée au national.

Très concrètement

Très concrètement, il suffirait donc que chaque filière fasse remonter, pour chaque parcours, ces trois informations :

  • Inscriptions : nombre d’inscrits dans la formation
  • Présences aux examens : nombre de présents aux examens (c’est la donnée manquante au niveau national)
  • Passages : nombre ayant validé leur année/semestre.

Ces trois informations permettent de calculer les :

  • Taux d’abandon = Présences aux examen / Inscription
  • Taux de réussite = Passages / Présences aux examen ou Passages  / Inscription

Pour démontrer la simplicité de ces informations, voici un document en ligne et une version téléchargeable (en version annualisée et semestrialisée), que tout un chacun peut réutiliser.

Ainsi, une comparaison entre les statistiques de cette année et celle de l’an dernier permettent d’identifier rapidement les techniques d’orientation, de sélection et d’accompagnement qui obtiennent des résultats hors du commun, dans la perspective de les étudier de plus près.

Si ces informations peuvent être facilement remontées au ministère et publiées en ligne, cela impliquera des délais prohibitifs, de l’ordre de deux ans. Or, c’est dès cette année qu’il nous faut des élément de décision, afin d’améliorer la rentrée prochaine. C’est pourquoi les établissements, au travers de leur commission de la formation (CFVU), devraient sans attendre mettre en place une telle collecte. Les premiers résultats peuvent être obtenus dès janvier prochain, à la fin du premier semestre, ce qui laisserait assez de temps pour préparer la rentrée de septembre 2019. La CPU pourrait également impulser cette action.

Quels sont les risques ?

Il existe donc un initiative qui ne coûte rien, qui est facile à mettre en œuvre et est indispensable pour progresser… Pourtant il est possible qu’elle ne soit pas concrétisée. Deux risques se font face :

D’un côté, il existe le risque de se diriger vers une réforme bancale, impossible à faire aboutir, faute de disposer des outils permettant de l’améliorer et d’en tirer le meilleur.

D’un autre côté, il existe un risque de découvrir que les bénéfices de la réformes sont faibles en regard de ses défauts, qu’elle est un échec, et non pas en raison d’un défaut de mise en oeuvre, mais d’un défaut structurel.

Ce sera aux acteurs des universités, du ministère aux équipes pédagogiques, en passant par la CPU et les CFVU, de peser le pour et le contre de ces deux risques et de prendre les décisions qui s’imposent.

Parcoursup : le compte n’y est pas…

Enfin des chiffres concrets ! Le dossier de presse intitulé « Parcoursup 2018 au service de l’orientation et de la réussite des futurs étudiants » est un document clé pour évaluer les chances de réussite de la loi ORE.

DPparcoursup

Les principales informations sont ici, mais il reste nécessaire de faire un focus sur les moyens.

Focus sur les moyens

DPPSbudgets

Près de 8 millions d’euros dès 2018 pour reconnaître l’engagement pédagogique des enseignants-chercheurs et des personnels

PSDPbudgetTaches

Il s’agit de 7 841 661€ très exactement, attribués à « la mise en place de parcours personnalisés ou de l’examen pédagogique des vœux formulés par les candidats sur Parcoursup« . Ces moyens sont déclinés par université, par exemple l’Université de Strasbourg recevra 176 624€ pour ces tâches supplémentaires. Il faut noter que rien n’indique que ce financement sera pérenne.

Pour comprendre ces chiffres, on peut faire le calcul suivant : 8M€ de budget, 3 millions de vœux à étudier à l’Université, à 50€ l’heure complémentaire chargée : ce budget finance 3 minute de travail par dossier, pendant laquelle il faudra : lire les bulletins scolaires de première et terminale, le projet de formation motivé, les appréciations de la fiche avenir pour vérifier sa cohérence, vérifier la véracité des certificats fournis, décider des bonifications à appliquer et ajouter un commentaire qui pourra être consulté par le candidat. Cela sans compter l’indispensable phase de vérification/homogénéisation des décisions prises. C’est proprement impossible.

Sachant que ce financement ne couvre pas seulement l’étude des dossiers de candidatures, mais aussi la mise en place des parcours personnalisés, on peut affirmer que le compte n’y est pas.

Près de 33 millions d’euros pour les places supplémentaires en 2018 et 2019

PSDPmoyens

Il s’agit de 33 025 654€ très exactement et « 19 000 places auront ainsi été identifiées et financées pour accueillir davantage d’étudiants dans les formations du premier cycle à la rentrée. Elles témoignent de l’engagement du Gouvernement au service de l’accueil du plus grand nombre dans l’enseignement supérieur ». Encore une fois, rien ne dit que ce financement sera pérenne.

Pour comprendre ce chiffre, il faut encore faire un calcul : 33M€, à 11k€ l’année universitaire, cela fait environ 3000 places réellement financées, soit 15% des 19000 places annoncées. Là encore, on peut affirmer que le compte n’y est pas. Et il n’y est d’autant pas que les nouvelles mesures d’accompagnement doivent permettre un meilleurs passage en deuxième année, et donc une inflation des effectifs à moyen terme.

Conclusion

Avec moins de trois minutes financée par étude de dossier de candidature et un financement de seulement 15% des nouvelles places crées pour Parcoursup, le compte n’y est pas. Et avec un financement sur ces deux premières années de 63M€, on peut s’interroger sur la faisabilité d’atteindre, sur 5 ans, 500M€+450M€, soit presque 1Md€.

Enfin, il faut noter que ce dossier de presse annonce 1490 places dans le Grand-Est, ce qui confirme que le ministère a utilisé la méthode de calcul que j’expliquais dans « Parcoursup : Comment créer des places à l’Université (d’un coup de baguette magique) ? » : les créations de places annoncées se font donc bien indépendamment des moyens, comme du nombre de chaises et de profs.

Parcoursup et Lycée d’origine : Une difficulté (technique) de moins pour une difficulté (philosophique) de plus

Les choses se précisent sur l’étude des dossiers de candidature Parcoursup, dont on parlait ici et , avant de poser la question de la prise en compte du lycée d’origine dans le tri des candidatures. Cette question a depuis évolué, notamment suite à la publication de nouveaux indicateurs sur les lycées et à des réponses obtenues auprès du ministère.

Une difficulté (technique) de moins : Comment trier les candidatures par lycée ?

Lorsqu’il s’agit de trier les candidatures par lycée, le problème principal est de décider des bonifications à appliquer pour chaque établissement. Fort opportunément à quelques jours du début des classements des candidatures, le gouvernement vient de publier une centaine d’indicateurs sur chaque lycée de FranceOn y trouve notamment les taux de mention, c’est-à-dire le pourcentage d’élèves qui obtiennent au moins 12 au Bac, qui peuvent être utilisés pour trier les lycées en fonction du niveau de leurs élèves.

Illustration locale

Pour vérifier la pertinence de cette approche, j’ai effectué le tri des établissements du Bas-Rhin en fonction du taux de mention, toutes filières confondues :

TriDesLyceesDuDepartementParTauxMention

Ce classement montre des écarts spectaculaires : de 30% à 94%. Le classement a été validé sans réserve par plusieurs collègues connaissant bien le bassin local. Ça n’a rien de scientifique, mais il est difficile de faire plus solide avec les moyens actuels.

On peut donc maintenant attribuer des points à ces établissements en fonction d’un bonus maximum, par exemple 4 :

BonusDesLyceesDuDepartementParTauxMention

Pour les formations appliquant un tel barème, un candidat du Lycée Jean Monnet doit avoir 15 en contrôle continu pour être classé ex-aequo avec un candidat du Lycée Jean Sturm qui aurait 11. D’expérience, cette correction est raisonnable lorsqu’il s’agit d’évaluer le niveau scolaire des candidats. On peut désormais considérer cette difficulté technique comme résolue.

Ajouter “objectivement” des points bonus en fonction du lycée est donc maintenant possible…

S’il est d’ores et déjà possible d’affiner ce classement par filière, il reste encore des questions ouvertes, telles que la définition du bonus maximum. Il pourrait être extrait des moyennes par établissement ou des taux pour chaque mention, mais ces indicateurs manquent encore.

Au delà de ces questions, la possibilité technique de trier les candidats en fonction de leur lycée ouvre maintenant une difficulté philosophique…

Une difficulté (philosophique) de plus : Faut-il trier les candidatures par lycée ?

Puisqu’il est maintenant possible de trier les candidatures des lycéens en fonction de leur établissement d’origine, il faut se demander quelles en sont les conséquences.

La première conséquence, évidente, est l’amélioration du recrutement sous l’angle du niveau des étudiants et donc des chances de réussite. Le recruteur peut ainsi y voir un bénéfice pour sa formation.

La seconde conséquence, plus pernicieuse, concerne la reproduction sociale. Un débat est engagé sur ce point entre détracteurs et promoteurs de la loi ORE (par exemple ici). Pour y voir plus clair, on peut utiliser les données fournies par le gouvernement pour visualiser le nombre de lycées par taux de mention, en séparant les secteurs publics et privés :

TauxMentionParSecteurCount TauxMentionParSecteur

Ces graphiques sont clairs : en prenant en compte le lycée d’origine, on favorise mécaniquement les bacheliers issus du secteur privé. Or, dans “Qui choisit l’école privée et pour quels résultats scolaires ?”, Fougère et al. montrent en résumé que “Les meilleurs résultats obtenus par les écoles du privé sont dus aux caractéristiques sociales et familiales des élèves qu’elles accueillent, ni plus ni moins”.

Prendre en compte le lycée dans le tri des candidatures Parcoursup revient donc objectivement à reproduire post-Bac la sélection sociale pré-Bac. Les universitaires sont ainsi confrontés à une décision philosophique : faut-il qu’ils favorisent leur formation au prix d’une reproduction sociale, favorisant encore les favorisés et défavorisant toujours les défavorisés pour améliorer leur recrutement ? 

Qui va supporter la responsabilité des difficulté philosophiques ?

Si l’IGAENR souligne bien les difficultés techniques et philosophiques de Parcousup, parfaitement illustrées ici, il reste à savoir qui va en supporter la responsabilité. Un commentaire de Le Bihan sur ce blog est clair : le ministère estime que ce sont des questions politiques, ce qui le dispense manifestement de se positionner. La responsabilité retombe donc sur les établissements. J’ai moi-même posé la question en conseil d’administration de mon université, et reçu la même réponse de la part de l’équipe présidentielle : la responsabilité retombe sur les équipes pédagogiques.

Les équipes pédagogiques, ou plus généralement les deux ou trois personnes qui vont se charger du recrutement sans aucune concertation, auront donc la responsabilité de ce choix, mais sans qu’on leur fournisse aucun élément de décision. Les enjeux sociaux sont pourtant de taille.

Certains le feront, d’autres non. Ceux qui le feront auront un meilleurs recrutement que ceux qui ne le font pas. Tout le monde finira donc par le faire. Ensuite et suivant la même mécanique, les lycées développeront naturellement des stratégies de notation en fonction des critères d’insertion dans le supérieur. Puis les parents qui le peuvent renforceront leur stratégie de sélection des lycées. Une fois démarré, ce type de système auto-renforçant basé sur des prophéties auto-réalisatrice est totalement inarrêtable.

Sans le comprendre, sans concertation, nous mettrons en oeuvre une vision très idéologique du “Bac -3/+3”, qui est au centre des réformes de l’Université et du Lycée. Et c’est ainsi qu’on aura fait remonter la sélection sociale du Lycée vers l’Université, supprimant la dernière étape où tout détenteur d’un Bac bénéficiait d’un tant soit peu d’égalité, et qu’on mettra à mal la mixité sociale qui fait la richesse de l’Université.

Bonus : La sélection sociale est dans les détails

On s’est intéressé ici à la prise en compte du lycée d’origine, mais la même mécanique s’applique à de nombreux aspects de Parcoursup. Par exemple, pour les lettres de motivation (ou “projet de formation motivé”) : un candidat peut payer pour avoir une lettre stéréotypée, se faire aider par ses parents (pour arriver au même résultat), ou se débrouiller seul.

Le recruteur pourra bien détecter les lettres stéréotypés ou aidées, mais il ne pourra jamais les sanctionner à cause du bénéfice du doute. Surtout, ces lettres sont exemptes de toute maladresse, au contraire des lettres sincères rédigées par les candidats seuls, qui présentent souvent des imperfections.

Le recruteur doit donc choisir entre considérer les lettres de motivation, et par conséquent favoriser les candidats favorisés au détriment de ceux qui se débrouillent seul, ou se priver de cet outil, qui pourtant améliore son recrutement

Là encore, le recruteur fera son choix sans concertation ni connaissance des éléments de décision et pourra prendre part à une sélection sociale sans le savoir. On peut appliquer cette mécanique aux C.V., aux lieux de résidence, etc. Et c’est sans doute pour ça qu’il ne fallait pas mettre le doigt dans la sélection.

Open data

Les données et le script R utilisé pour fouiller les données sont disponibles ici.

Tension durant la campagne 2018

La postes mis au concours de la session synchronisée de la campagne d’emplois Enseignants-Chercheur 2018 viennent d’être publiés. C’est l’occasion de regarder si les filières sous-tension, qui ont été amenées à refuser des étudiants, ont bénéficié d’une attention particulière.

Durant la campagne APB 2017, les filières sous tension étaient : Staps (42 formations, 36,5 % du total), sciences de l’éducation (12 formations), les arts du spectacle (6 formations), la psychologie (4 formations), le droit (4 formations), et l’information et communication (4 formations), soit respectivement les sections CNU 74, 70, 18, 16, 01, 02, 03 et 71.

Le graphique suivant montre le nombre de postes par corps et par section CNU :

dataesr.postesEC.2018

On peut observer que les sections 5, 6, 11, 27 et 60 obtiennent plus de postes que STAPS. Mais cette approche comporte de nombreux biais, notamment le fait que les enseignants d’une filière proviennent de plusieurs sections CNU. Le biais le plus important est sans doute le nombre de départs à la retraites, qui n’est jamais divulgué, y compris en interne des établissements. Il est donc totalement impossible d’évaluer l’évolution des effectifs des filières en tension.

On peut cependant aller un peu plus loin en exploitant les données DataESR de la rentrée 2016 (données les plus récentes), en évaluant deux métriques : le renouvellement et la promotion.

Renouvellement

Le renouvellement est le ratio entre le nombre de postes Maître de Conférences (MCF) mis au concours et les effectifs totaux (MCF+PR). Il donne une indication du renouvellement des forces d’enseignement et de recherche.

dataesr.renouvellement.2018

On peut observer une très grande disparité de ce renouvellement, de 2% (section 36) à 17% (section 06). Sous cet angle, on peut observer un effort pour les filières en tension, sans être l’effort le plus important, et sans représenter non plus un prise de conscience.

Promotions

Les promotions sont représentées par le ratio entre le nombre de postes de Professeur des Universités (PR) et les effectifs Maîtres de Conférences (MCF). Il donne une indication du nombre d’Enseignants-Chercheurs qui seront promus.

dataesr.promotions.2018

Si on peut observer la même disparité que pour le renouvellement, les sections concernées sont différentes : 10 pour le moins de promotions et 21 pour le plus. Les filières en tension ne semblent pas négligées.

Renouvellement vs. Promotions

Les observations précédentes mènent à une comparaison entre renouvellement et promotion, qu’on peut observer sur le graphe suivant :

dataesr.renouvellement.vs.promotions.2018

On observe ici que la section 21 propose essentiellement des promotions, alors que la section 15 propose essentiellement du renouvellement. La section 6 profite des deux, et les filières en tension sont plutôt bien traitées, mais une fois de plus de façon modeste.

Conclusion

La campagne d’emploi Enseignants-Chercheurs 2018 montre de très grandes disparités selon les sections CNU. On observe un effort limité pour les filières en tension, qui garde un bon équilibre entre promotions et renouvellement, sans réellement prendre en compte les enjeux soulevés par la démographie. La possibilité de mettre “en attente” ad vitam eternam les bacheliers de ces filières sera donc sans aucun doute employée.

Il reste cependant de nombreuses questions ouvertes, notamment regardant les postes second degré qui indiquent une secondarisation des filières et un éloignement à la recherche, et les postes contractuels, qui indiquent une précarisation des filières.

Open Data