Docs en stock : dans les coulisses de la démocratie universitaire

Docs en stock : dans les coulisses de la démocratie universitaire

Archives par auteur: Julien Gossa

Parcoursup : Comment créer des places à l’Université (d’un coup de baguette magique) ?

On a pu lire, ici ou là, la création de 19000 places à l’Université. Par « places », on imagine tous très bien une chaise dans une salle avec un enseignant. 19000 places, c’est énorme : l’équivalent d’une nouvelle université. De quoi résoudre une bonne partie des problèmes rencontrés par l’enseignement supérieur.

En approche budgétaire, une année universitaire coûte en moyenne 11000€, ce qui reviendrait à un financement total de 209M€. Pourtant, l’annonce la plus spectaculaire est de 500M€ sur 5 ans, soit 100M€ par an, c’est-à-dire moins de la moitié. Ces 500M€ ne sont de toutes façons pas consacrés à l’augmentation des places, mais à la mise en oeuvre des mesures d’accompagnement.

D’où viennent donc ces 19000 places supplémentaires ?

Tout d’abord, il faut savoir que la notion de « places » n’existe pas à l’Université. Ce n’est pas comme un cinéma, où il suffit de compter le nombre de fauteuils. Dans une universités, il y a des salles de types différents, des cours différents, des enseignants différents, des mutualisations et des effets de seuil… Bref, personne ne sait « compter les places » ni même définir ce que ça veut dire. Alors, en soi, déclarer un nombre de places supplémentaires n’a pas vraiment de sens.

Il y a cependant deux notions approchantes :

  • les effectifs : c’est le nombre d’étudiants inscrits dans une filière. Il ne correspond jamais au nombre d’étudiants présents : les effectifs sont toujours supérieurs, voire très supérieurs, ne serait-ce que sous l’effet des abandons de début d’année.
  • Les capacités d’accueil : c’est le nombre maximum de bacheliers qui seront admis en L1, et qui a dû être déclaré par toutes les filières pour la première fois cette année.

Une augmentation du nombre de « places » ne peut être déduit ni des effectifs (puisqu’on ne connait pas ceux de l’an prochain), ni des capacités d’accueil (qui n’existaient pas l’an dernier). En sacrifiant de la rigueur, il peut éventuellement être déduit de la différence entre les effectifs de l’an dernier et les capacités d’accueil de l’an prochain. Cependant :

  • il est bien peu rigoureux de soustraire deux valeurs de types différents (« des patates et des carottes ») ;
  • les effectifs ne représentent pas le nombre de places (entre les chaises vides et les salles trop pleines) ;
  • ce calcul est totalement dépendant de la façon dont ont été définies les capacités d’accueil.

Comment ont été définies les capacités d’accueil ?

Il est impossible de le savoir au niveau national. Cependant, je peux expliquer comment cela s’est passé au niveau local.

Comme il fallait être prêts pour la loi pas encore votée, il a été demandé à toutes les équipes pédagogiques de réfléchir à leurs capacités d’accueil, mais avec l’objectif d’ajouter 10% aux effectifs de l’an dernier. Les filières qui ne pouvaient ou ne souhaitaient pas appliquer mécaniquement ces 10% devaient se rapprocher de la Vice-Présidence Formation pour une négociation à huis-clos.

Ensuite, les capacités d’accueil ont été remontées pour vote à la CFVU… Mais dans le même temps, le calendrier étant contraint, ces capacités d’accueil ont été redescendues par le rectorat. Selon la loi, c’est en effet le rectorat qui fixe les capacités d’accueil, et pas le président de l’université. Les capacités d’accueil n’ont donc pas été approuvées par la CFVU.

Les capacités d’accueil ont ensuite été soumises au CA, qui les a votées sans en discuter les détails.

Au final, les capacités d’accueil locales sont donc les effectifs de l’an dernier auxquels on a ajouté +10%, à quelques négociations près.

Jusqu’ici ça va… C’est après qu’il y a des problèmes

S’il faut fixer des capacités d’accueil, il aurait mieux valu prendre le temps de réellement faire un état des lieux et compter le nombre de « places »… Mais puisqu’il faut aller vite, ajouter 10% aux effectifs de l’an dernier, pourquoi pas… Là où ça devient grave, c’est lorsqu’on découvre dans la presse : « À l’Université de Strasbourg, le nombre de places en première année passera de 12 255 à 13 475 (+ 10,2 %) » dans une article intitulé « 1490 places supplémentaires dans le Grand Est à la rentrée 2018 » (mais aussi celui-ci et celui-là).

Non, il n’y a pas « 10,2% de places en plus à l’Université de Strasbourg« , mais « les capacités d’accueil de l’Université de Strasbourg ont été fixées à 10,2% au dessus de ses effectifs de l’an dernier« , ceci sans rapport avec un quelconque financement, ni considération pour le nombre de salles, de chaises ou d’enseignants.

Est particulièrement trompeuse la manœuvre consistant à recalculer les 10,2% à partir des capacités d’accueil et des effectifs de l’an dernier, alors que ces capacités d’accueil sont calculées à partir des effectifs de l’an dernier auxquels on a jouté 10%.

Donc si les « 19 000 places supplémentaires », également évoquées dans ces articles, proviennent du même calcul, elles n’ont pas plus de rapport avec un quelconque financement, ni considération pour le nombre de salles, de chaises ou d’enseignants. Elles relèvent également d’une manœuvre particulièrement trompeuse.

A vot’ bon cœur

La loi de Goodhart indique que « lorsqu’une mesure devient une cible, elle cesse d’être une bonne mesure« . Le « nombre de places » est par nature une mesure. On voit ici ce que cela donne lorsqu’on la considère comme une cible.

Il faudra attendre l’an prochain pour pouvoir mesurer les choses proprement, à savoir mesurer séparément les évolutions des effectifs et des capacités d’accueil. Ce tour de passe-passe sera alors beaucoup plus difficile à faire, et on réalisera peut-être la supercherie… Trop tard ?

8 avril 2018 Non classé 3 Savoir plus >

IA for Parcoursup : l’orientation des bacheliers enfin révolutionnée !

Hier soir était l’échéance pour la confirmation des voeux des bacheliers sur la plateforme Parcoursup. Les enseignants du supérieur peuvent maintenant accéder aux dossiers de candidature à leur formation et apprécier les modifications apportées à l’outil d’aide à la décision d’APB.

La grande surprise est l’apparition d’un module “IAforParcoursup”, qui permet enfin d’utiliser les dernières avancées disruptives dans les domaines du Deep Learning et du Big Data pour un recrutement 4.0.

Cedric

Le paramétrage est très simple et guidé pas-à-pas par un assistant, Cédric, fort utile. La première étape consiste juste à choisir quel type de recrutement on souhaite effectuer :

  • “Filière d’excellence” pour avoir une sélection assez agressive ;
  • “Filière sans sélection sociale” pour éviter tous les critères reconnus comme des biais de sélection sociale ;
  • “Filière impopulaire” pour remplir les rangs à tout prix.

C’est très simple, et mes premiers essais sont très concluants : tous les élèves issus de filières défavorisés qui n’ont pas un profil exceptionnel sont bien filtrés avec la première option ; la deuxième annule la quasi totalité des critères de sélection et notamment le Lycée d’origine, donc les notes de contrôle continu et appréciations ; enfin, la troisième fait un classement inversé des candidatures.

Un deuxième ensemble de paramètres permet d’aller plus loin dans la configuration de l’IA de sélection :

  • “Prédire les performances scolaires” permet de savoir non seulement les étudiants qui vont réussir, mais aussi les mentions qu’ils vont obtenir ;
  • “Prédire le parcours universitaire et professionnel” permet de savoir si les étudiants vont se réorienter ou poursuivre leurs études, jusqu’à quel niveau d’étude et dans quelle filière, et même de savoir dans quel type d’entreprise ils seront recrutés et à quel niveau de salaire ;
  • “Prédire les événements extra-scolaires” permet de prendre en compte tout ce qui impacte les études sans être scolaire : synergies de groupe, liaisons et ruptures amoureuses, événements familiaux, déprimes, soucis de santé, découverte de l’autonomie, sortie d’un jeux vidéo particulièrement prenant, résultats sportifs des équipes nationales et locales, etc.

J’ai pu essayer ces différentes prédictions sur les cohortes précédentes, et, même si ce n’est pas aussi impressionnant que le tri des candidatures, force est de constater que ça marche assez bien : 63% des couples et ruptures de nos étudiants ont été détectés avec succès, et 43% des autres événements personnels. Pour l’instant, IA for Parcoursup se limite à la fouille des profils publics des réseaux sociaux. Nul doute qu’il sera grandement amélioré lorsqu’on aura accès au profils et conversations privées. Une négociation entre le ministère et Facebook est en cours en ce sens.

En revanche, 98% des prédictions de poursuite d’étude sont justes, et 84% des embauches et niveau de salaire. C’est très intéressant, puisque si ces prédictions se confirment, dans quelques années il sera possible d’embaucher directement les bacheliers dans la bonne entreprise, au bon niveau de salaire. L’Université pourrait ainsi faire de substantielles économies en n’ayant plus à prodiguer des cours (dont la plupart sont inutiles, il faut bien l’avouer) pour remplir sa mission d’insertion professionnelle.

 

remetterdelhumain

Enfin, il a été ajouté une fonctionnalité optionnelle mais essentielle pour les enseignants qui souhaitent “remettre de l’humain” dans leur procédure de recrutement : un bouton très efficace a été ajouté à cet effet. Cliquer dessus pour chaque dossier prend du temps (1495 fois pour nous cette année quand même !), mais on peut limiter la charge de travail en distribuant cette tâche entre les membres de l’équipe pédagogique. C’est en tous cas un bien faible prix à payer pour conserver notre conscience pédagogique !

1 avril 2018 1er avril, Parcoursup 5 Savoir plus >

Parcoursup et Lycée d’origine : Une difficulté (technique) de moins pour une difficulté (philosophique) de plus

Les choses se précisent sur l’étude des dossiers de candidature Parcoursup, dont on parlait ici et là, avant de poser la question de la prise en compte du lycée d’origine dans le tri des candidatures. Cette question a depuis évolué, notamment suite à la publication de nouveaux indicateurs sur les lycées et à des réponses obtenues auprès du ministère.

Une difficulté (technique) de moins : Comment trier les candidatures par lycée ?

Lorsqu’il s’agit de trier les candidatures par lycée, le problème principal est de décider des bonifications à appliquer pour chaque établissement. Fort opportunément à quelques jours du début des classements des candidatures, le gouvernement vient de publier une centaine d’indicateurs sur chaque lycée de France. On y trouve notamment les taux de mention, c’est-à-dire le pourcentage d’élèves qui obtiennent au moins 12 au Bac, qui peuvent être utilisés pour trier les lycées en fonction du niveau de leurs élèves.

Illustration locale

Pour vérifier la pertinence de cette approche, j’ai effectué le tri des établissements du Bas-Rhin en fonction du taux de mention, toutes filières confondues :

TriDesLyceesDuDepartementParTauxMention

Ce classement montre des écarts spectaculaires : de 30% à 94%. Le classement a été validé sans réserve par plusieurs collègues connaissant bien le bassin local. Ça n’a rien de scientifique, mais il est difficile de faire plus solide avec les moyens actuels.

On peut donc maintenant attribuer des points à ces établissements en fonction d’un bonus maximum, par exemple 4 :

BonusDesLyceesDuDepartementParTauxMention

Pour les formations appliquant un tel barème, un candidat du Lycée Jean Monnet doit avoir 15 en contrôle continu pour être classé ex-aequo avec un candidat du Lycée Jean Sturm qui aurait 11. D’expérience, cette correction est raisonnable lorsqu’il s’agit d’évaluer le niveau scolaire des candidats. On peut désormais considérer cette difficulté technique comme résolue.

Ajouter “objectivement” des points bonus en fonction du lycée est donc maintenant possible…

S’il est d’ores et déjà possible d’affiner ce classement par filière, il reste encore des questions ouvertes, telles que la définition du bonus maximum. Il pourrait être extrait des moyennes par établissement ou des taux pour chaque mention, mais ces indicateurs manquent encore.

Au delà de ces questions, la possibilité technique de trier les candidats en fonction de leur lycée ouvre maintenant une difficulté philosophique…

Une difficulté (philosophique) de plus : Faut-il trier les candidatures par lycée ?

Puisqu’il est maintenant possible de trier les candidatures des lycéens en fonction de leur établissement d’origine, il faut se demander quelles en sont les conséquences.

La première conséquence, évidente, est l’amélioration du recrutement sous l’angle du niveau des étudiants et donc des chances de réussite. Le recruteur peut ainsi y voir un bénéfice pour sa formation.

La seconde conséquence, plus pernicieuse, concerne la reproduction sociale. Un débat est engagé sur ce point entre détracteurs et promoteurs de la loi ORE (par exemple ici). Pour y voir plus clair, on peut utiliser les données fournies par le gouvernement pour visualiser le nombre de lycées par taux de mention, en séparant les secteurs publics et privés :

TauxMentionParSecteurCount TauxMentionParSecteur

Ces graphiques sont clairs : en prenant en compte le lycée d’origine, on favorise mécaniquement les bacheliers issus du secteur privé. Or, dans “Qui choisit l’école privée et pour quels résultats scolaires ?”, Fougère et al. montrent en résumé que “Les meilleurs résultats obtenus par les écoles du privé sont dus aux caractéristiques sociales et familiales des élèves qu’elles accueillent, ni plus ni moins”.

Prendre en compte le lycée dans le tri des candidatures Parcoursup revient donc objectivement à reproduire post-Bac la sélection sociale pré-Bac. Les universitaires sont ainsi confrontés à une décision philosophique : faut-il qu’ils favorisent leur formation au prix d’une reproduction sociale, favorisant encore les favorisés et défavorisant toujours les défavorisés pour améliorer leur recrutement ? 

Qui va supporter la responsabilité des difficulté philosophiques ?

Si l’IGAENR souligne bien les difficultés techniques et philosophiques de Parcousup, parfaitement illustrées ici, il reste à savoir qui va en supporter la responsabilité. Un commentaire de Le Bihan sur ce blog est clair : le ministère estime que ce sont des questions politiques, ce qui le dispense manifestement de se positionner. La responsabilité retombe donc sur les établissements. J’ai moi-même posé la question en conseil d’administration de mon université, et reçu la même réponse de la part de l’équipe présidentielle : la responsabilité retombe sur les équipes pédagogiques.

Les équipes pédagogiques, ou plus généralement les deux ou trois personnes qui vont se charger du recrutement sans aucune concertation, auront donc la responsabilité de ce choix, mais sans qu’on leur fournisse aucun élément de décision. Les enjeux sociaux sont pourtant de taille.

Certains le feront, d’autres non. Ceux qui le feront auront un meilleurs recrutement que ceux qui ne le font pas. Tout le monde finira donc par le faire. Ensuite et suivant la même mécanique, les lycées développeront naturellement des stratégies de notation en fonction des critères d’insertion dans le supérieur. Puis les parents qui le peuvent renforceront leur stratégie de sélection des lycées. Une fois démarré, ce type de système auto-renforçant basé sur des prophéties auto-réalisatrice est totalement inarrêtable.

Sans le comprendre, sans concertation, nous mettrons en oeuvre une vision très idéologique du “Bac -3/+3”, qui est au centre des réformes de l’Université et du Lycée. Et c’est ainsi qu’on aura fait remonter la sélection sociale du Lycée vers l’Université, supprimant la dernière étape où tout détenteur d’un Bac bénéficiait d’un tant soit peu d’égalité, et qu’on mettra à mal la mixité sociale qui fait la richesse de l’Université.

Bonus : La sélection sociale est dans les détails

On s’est intéressé ici à la prise en compte du lycée d’origine, mais la même mécanique s’applique à de nombreux aspects de Parcoursup. Par exemple, pour les lettres de motivation (ou “projet de formation motivé”) : un candidat peut payer pour avoir une lettre stéréotypée, se faire aider par ses parents (pour arriver au même résultat), ou se débrouiller seul.

Le recruteur pourra bien détecter les lettres stéréotypés ou aidées, mais il ne pourra jamais les sanctionner à cause du bénéfice du doute. Surtout, ces lettres sont exemptes de toute maladresse, au contraire des lettres sincères rédigées par les candidats seuls, qui présentent souvent des imperfections.

Le recruteur doit donc choisir entre considérer les lettres de motivation, et par conséquent favoriser les candidats favorisés au détriment de ceux qui se débrouillent seul, ou se priver de cet outil, qui pourtant améliore son recrutement

Là encore, le recruteur fera son choix sans concertation ni connaissance des éléments de décision et pourra prendre part à une sélection sociale sans le savoir. On peut appliquer cette mécanique aux C.V., aux lieux de résidence, etc. Et c’est sans doute pour ça qu’il ne fallait pas mettre le doigt dans la sélection.

Open data

Les données et le script R utilisé pour fouiller les données sont disponibles ici.

29 mars 2018 #DataESR, Parcoursup 32 Savoir plus >

Alice et Bob sont dans Parcoursup…

Aujourd’hui 13 mars 2018 est l’échéance pour formuler ses vœux dans Parcoursup. L’occasion de regarder ce que cette nouvelle plateforme apporte en terme d’affectation pour les bacheliers.

Alice et Bob sont dans Parcoursup…

  • Alice souhaite avant tout faire STAPS, mais elle postule également en psycho ;
  • Bob souhaite avant tout faire psycho, mais postule également en STAPS.

Les équipes pédagogiques de STAPS et psycho doivent départager Alice et Bob, classer leurs candidatures, ce qui n’est pas facile, voire assez hasardeux (voir ici et là). Pas de chance :

  • Alice est classée devant Bob en psycho ;
  • Bob est classé devant Alice en STAPS .

Alice reçoit alors un “oui” en psycho, mais un “en attente” en STAPS.
Bob reçoit donc un “oui” en STAPS, mais un “en attente” en psycho.

Malheureusement, Alice ne peut renoncer à sa place en psycho pour la laisser à Bob… Et Bob ne peut pas non plus renoncer à sa place en STAPS pour la laisser à Alice. En conséquence, Alice et Bob resteront “en attente” sur leur vœu principal, tout en occupant chacun la place que souhaite l’autre. Chacun sera admis à l’université, mais pas dans la filière de son choix.

Alice, Bob et les autres…

Cette déception d’Alice et Bob est bien difficile à justifier : APB affectait parfaitement Alice et Bob dans la filière de leur choix, en plein respect des classements des équipes pédagogiques. Lorsqu’on connaît l’importance de la motivation dans la réussite des étudiants, on mesure le danger de ce nouveau fonctionnement.

On pourrait penser la situation d’Alice et Bob un peu artificielle, tout au plus marginale… Mais lorsqu’on sait que deux tiers des bacheliers ont au mieux une mention assez bien et seront en ballottage, leur classement dépendant de l’étude subjective de leur dossier… Lorsqu’on sait que 20% de l’augmentation des bacheliers s’est concentrée sur STAPS l’an dernier… Lorsqu’on sait que le problème s’étend à de nombreux candidats : Alice “en attente” de la place de Bob, lui-même en attente de la place de Carole, qui est “en attente” de la place d’Alice… sans qu’aucun d’eux ne puisse débloquer la situation… et avec pour seule limite le nombre de filières… Lorsqu’on sait que ce problème s’applique aussi aux affectations géographiques dans les vœux multiples…
On réalise qu’en réalité seuls les meilleurs candidats sont à l’abri.

Conséquence ironique de la Loi relative à l’Orientation et la Réussite des étudiants, la qualité de l’orientation va forcément s’affaisser, conduire à une baisse de la satisfaction des bacheliers, et donc de leur motivation, et par conséquence de la réussite des étudiants.  

Alice, Bob, la communauté et le Ministère…

Au cœur de cette ironie se trouve la suppression de l’algorithme d’affectation APB par une procédure qui vise à “remettre de l’humain au cœur de l’admission post-bac” : au lieu de laisser la machine résoudre un problème purement technique et bien connu, on espère que des humains s’en sortent tous seuls sans se parler. Étonnante coïncidence, la fin de la hiérarchie des vœux ne permettra pas de comparer le taux de satisfaction des bacheliers entre Parcoursup et APB.

Mais en plus d’inévitablement diminuer la satisfaction des bacheliers, cette nouvelle procédure ralentit considérablement le temps d’affectation : il faudra plusieurs mois pour faire ce qu’il se faisait en quelques jours, comme le signalait Guillaume Ouattara en octobre 2017, billet duquel est tirée l’histoire d’Alice et Bob à partir du commentaire de Lucas. Ce rallongement pose de nombreux problèmes, dont une incertitude accrue notamment au moment des épreuves du bac, des affectations après la rentrée universitaire, un accès aux logements plus difficile à part pour les meilleurs bacheliers, l’impossibilité de prendre le handicap en compte, etc..

Le rapport de l’audition dirigée par Cédric Villani, dégoté par Pierre Dubois (aussi en vidéo) et dont la lecture me paraît indispensable, montre que, depuis novembre 2017, le ministère connaît pertinemment ces problèmes et les risques de l’abandon de l’algorithme APB. Le ministère sait aussi qu’APB produit des affectations en temps en en heure avec une satisfaction maximisée. La nouvelle procédure y est carrément qualifiée de “dangereuse”. Il est même indiqué qu’il est “encore temps” de revenir sur son idée. Pourtant, la position du ministère se résumera par cette citation :

“M. Cédric Villani, député, premier vice-président de l’Office.
Il est dommage que la représentante du ministère ait dû nous quitter. En effet, huit des neuf intervenants de cette première table ronde [NDLA : tous sauf la CPU] ont exprimé plutôt des inquiétudes à l’égard de l’avenir, toutes s’adressant au ministère. Il est donc regrettable que ce dernier n’ait pas pu être présent jusqu’à l’issue des débats, afin de pouvoir répondre à ces sollicitations. Cela ne saurait, toutefois, nous empêcher d’avoir des échanges sereins et constructifs.”

Si l’abandon de la hiérarchisation des vœux empêche toute mesure de la baisse de la satisfaction des bacheliers, à ce stade, le ministère n’a toujours pas donné de justification à l’abandon d’APB.

13 mars 2018 Parcoursup 20 Savoir plus >

Parcoursup : Quelle place pour le lycée d’origine dans le tri des dossiers ?

Lors d’un précédent billet “Parcoursup : petit manuel de tri des candidatures à l’usage des enseignants du supérieur”, j’expliquais l’inutilité des pièces complémentaires, C.V. et “projets de formation motivés” (lettre de motivation), pour évaluer les chances de réussite et le mérite des candidats. Cette inutilité conduit mécaniquement à la suprématie des notes obtenues au lycée dans le tri des candidatures. J’avais laissé de côté la question de la prise en compte du lycée d’origine du candidat. Cette question est d’ailleurs soigneusement laissée de côté par la totalité des acteurs, malgré l’avalanche d’informations sur Parcoursup. C’est donc l’objet de ce billet.

Regarder le lycée, pour évaluer quoi ?

Pour évaluer les chances de réussite

En premier lieu, il faut être conscient des différence entre lycées (voir plus loin) : l’expérience montre, même en restant prudent, qu’une moyenne de 10 dans un lycée d’élite est une bien meilleure garantie de réussite qu’une moyenne de 14 dans un lycée défavorisé. Si l’objectif est de recruter des étudiants qui vont réussir, il est donc indispensable de prendre en compte le lycée d’origine dans le tri des candidatures.

Pour évaluer le “mérite”

Le mérite est une notion molle dont on ne fait généralement rien. Mais supposons qu’un élève ayant 14 dans un lycée défavorisé est plus méritant qu’un élève ayant 10 dans un lycée d’élite. Si l’objectif est de prendre en compte le mérite des étudiants, il convient de ne surtout pas prendre en compte le lycée d’origine dans le tri des candidatures.

Plus concrètement

Trier les lycées avant les candidatures

Si 14 dans un lycée ne vaut pas 10 dans l’autre, il faudrait définir officiellement le nombre de points de bonification par lycée, et l’appliquer collectivement : +4 à la moyenne pour tel lycée, +0 pour tel autre. Dans l’idéal, c’est même les rectorats qui devraient fournir cette information, puisqu’ils sont les mieux à même de connaître les lycées et d’éviter les divergences d’interprétation. Un tri officiel des lycées serait donc indispensable : une véritable consécration de la sélection sociale dans le système éducatif.

Ajoutons que compte tenu des différences, un tri des candidatures par lycée plutôt que par moyenne serait tout aussi efficace lorsqu’il s’agit de trier les bacheliers, ce que l’actuelle réforme du Bac va encore renforcer. Ne parlons même pas des pièces complémentaires qui ne compteraient plus pour grand chose dans le classement malgré les efforts de rédaction et d’examen.

Le tour de force de faire pire que le tirage au sort

Comme ni le ministère, ni les rectorat, ni les présidences d’université ne prendront leurs responsabilité en cette matière. Ce choix retombera sur les équipes pédagogiques. On voit qu’une fois sorti des discours faciles sur l’orientation bienveillante, les équipes pédagogiques vont se retrouver tiraillées entre évaluer les chances de réussite et le mérite des candidats.

En l’absence de bonne décision et de cadrage, un même dossier sera donc bonifié ou pas selon que l’examinateur connait le lycée ou pas, pense que le lycée est bon ou pas, qu’il a décidé par lui-même de prendre en compte ce critère ou pas, etc.. Et cette évaluation ira jusque dans les appréciations : “turbulent” dans un lycée REP a-t-il la même signification que dans un lycée d’élite ? Et jusque dans les classes : 11 avec dans une classe qui a 6 de moyenne a-t-il la même signification que 11 avec 12 de moyenne ? Est-ce l’enseignant qui note plus sec, ou la classe qui est de moins bon niveau ? Faut-il classer les profs comme on devrait classer les lycées ? C’est sans fin…

En conséquence, la prise en compte du lycée se fera de façon totalement aléatoire dans le tri des dossiers de candidature Parcoursup. Il s’agit là d’une injustice infiniment plus grande et hypocrite que celle du tirage au sort.

Pour les parents : Quel lycée choisir ?

Durant la journées portes ouvertes dans mon IUT, des parents se sont émus que leur enfant, en “filière *” (d’élite) dans un lycée d’élite, avait une moyenne nécessairement inférieure à ce qu’elle aurait été dans une filière normale ou un lycée normal. Leur enfant se retrouvait donc pénalisé dans le tri des candidatures. Tout est dit :

  • mettez votre enfant dans un lycée moyen ou défavorisé, et il sera peut-être pénalisé par ce choix ;
  • mettez votre enfant dans un lycée ou une filière d’élite, et il sera peut-être aussi pénalisé par ce choix.

C’était l’enjeu de la réunion du CNESR de ce jour : rendre transparents les “algorithmes locaux”. Ces amendements seront brutalement refusés. Les parents n’auront donc aucun moyen de prévoir, y compris avec une connaissance fine du système. En conséquence, pour les parents non plus il n’existe pas de bonne solution : quel que soit votre choix, il pourra s’avérer pénalisant pour votre enfant dans le tri des dossiers Parcoursup.

Pour aller plus loin

Un peu de document…

Pour finir, le rapport “1985-2017 : Quand les classes favorisées ont fait sécession.” de la Fondation Jean Jaurès donne un bon aperçu de l’évolution des inégalités entre établissements scolaires. On peut y découvrir ce graphe très parlant sur la part des élèves de PCS (professions et catégories socioprofessionnelles) défavorisées par collège à Paris :

graph04

Un peu de sémantique…

Le référé de la Cour des Comptes “Égalité des chances et répartition des moyens dans l’enseignement scolaire” montre qu’on peut sans rougir utiliser le terme “défavorisé” pour désigner des établissements scolaires : ces derniers sont objectivement défavorisés dans la répartition des moyens. Ces inégalités sont donc issues de décisions politiques conscientes.

Un peu théorie…

Le rapport “Comment l’école amplifie les inégalités scolaires et migratoires” publié par le CNESCO et écrit par Mathieu Ichou de l’INED donne des bases explicatives et théoriques intéressantes. On y apprendra par exemple la différence entre inégalités verticales (le niveau d’étude) et horizontales (la qualité des diplômes à niveau égal). On y trouve cette citation fort éclairante :

“Cependant, lorsque ce niveau d’éducation devient presque universel, les familles socio-économiquement favorisées cherchent alors les différences qualitatives qui existent à ce niveau, et utilisent leurs avantages pour que leurs enfants atteignent un niveau d’éducation quantitativement similaire mais qualitativement meilleur » (Lucas, 2001, p. 1652).

Quant à l’impérieuse nécessité de garder tous les bacheliers en Licence, mais surtout de décliner ces Licences avec des “oui si” (dont le choix pourra se faire sur la base du lycée d’origine, et qui pourront imposer l’allongement de la Licence en 4 ou 5 ans, alors que d’autres pourront l’obtenir en 2), on sera éclairés par cette citation :

“L’École exclut comme toujours, mais elle exclut désormais de manière continue, à tous les niveaux du cursus [. . . ], et elle garde en son sein ceux qu’elle exclut, se contentant de les reléguer dans des filières plus ou moins dévalorisées. » (Bourdieu et Champagne, 1992, p.71, p.72, p.73)

La boîte de Pandore est ouverte, et elle n’est pas prête d’être refermée.

7 mars 2018 Parcoursup 2 Savoir plus >

Tension durant la campagne 2018

La postes mis au concours de la session synchronisée de la campagne d’emplois Enseignants-Chercheur 2018 viennent d’être publiés. C’est l’occasion de regarder si les filières sous-tension, qui ont été amenées à refuser des étudiants, ont bénéficié d’une attention particulière.

Durant la campagne APB 2017, les filières sous tension étaient : Staps (42 formations, 36,5 % du total), sciences de l’éducation (12 formations), les arts du spectacle (6 formations), la psychologie (4 formations), le droit (4 formations), et l’information et communication (4 formations), soit respectivement les sections CNU 74, 70, 18, 16, 01, 02, 03 et 71.

Le graphique suivant montre le nombre de postes par corps et par section CNU :

dataesr.postesEC.2018

On peut observer que les sections 5, 6, 11, 27 et 60 obtiennent plus de postes que STAPS. Mais cette approche comporte de nombreux biais, notamment le fait que les enseignants d’une filière proviennent de plusieurs sections CNU. Le biais le plus important est sans doute le nombre de départs à la retraites, qui n’est jamais divulgué, y compris en interne des établissements. Il est donc totalement impossible d’évaluer l’évolution des effectifs des filières en tension.

On peut cependant aller un peu plus loin en exploitant les données DataESR de la rentrée 2016 (données les plus récentes), en évaluant deux métriques : le renouvellement et la promotion.

Renouvellement

Le renouvellement est le ratio entre le nombre de postes Maître de Conférences (MCF) mis au concours et les effectifs totaux (MCF+PR). Il donne une indication du renouvellement des forces d’enseignement et de recherche.

dataesr.renouvellement.2018

On peut observer une très grande disparité de ce renouvellement, de 2% (section 36) à 17% (section 06). Sous cet angle, on peut observer un effort pour les filières en tension, sans être l’effort le plus important, et sans représenter non plus un prise de conscience.

Promotions

Les promotions sont représentées par le ratio entre le nombre de postes de Professeur des Universités (PR) et les effectifs Maîtres de Conférences (MCF). Il donne une indication du nombre d’Enseignants-Chercheurs qui seront promus.

dataesr.promotions.2018

Si on peut observer la même disparité que pour le renouvellement, les sections concernées sont différentes : 10 pour le moins de promotions et 21 pour le plus. Les filières en tension ne semblent pas négligées.

Renouvellement vs. Promotions

Les observations précédentes mènent à une comparaison entre renouvellement et promotion, qu’on peut observer sur le graphe suivant :

dataesr.renouvellement.vs.promotions.2018

On observe ici que la section 21 propose essentiellement des promotions, alors que la section 15 propose essentiellement du renouvellement. La section 6 profite des deux, et les filières en tension sont plutôt bien traitées, mais une fois de plus de façon modeste.

Conclusion

La campagne d’emploi Enseignants-Chercheurs 2018 montre de très grandes disparités selon les sections CNU. On observe un effort limité pour les filières en tension, qui garde un bon équilibre entre promotions et renouvellement, sans réellement prendre en compte les enjeux soulevés par la démographie. La possibilité de mettre “en attente” ad vitam eternam les bacheliers de ces filières sera donc sans aucun doute employée.

Il reste cependant de nombreuses questions ouvertes, notamment regardant les postes second degré qui indiquent une secondarisation des filières et un éloignement à la recherche, et les postes contractuels, qui indiquent une précarisation des filières.

Open Data

25 février 2018 #DataESR 0 Savoir plus >

L’algorithme cynique des réformes de l’ESR

La sortie du rapport de la Cour des Comptes sur le Plan Campus “Dix ans après le lancement de l’opération Campus, un premier bilan en demi-teinte” est l’occasion de décrire un algorithme cynique des réformes de l’ESR.

Cet algorithme est nécessairement réducteur, et je ne peux personnellement pas garantir qu’il fonctionne avec les réformes antérieure à ma nomination en 2008, mais il fonctionne, à mon sens, assez bien avec les réformes LRU/Pécresse et Fioraso :

  1. Est nommée une nouvelle Ministre de l’ESR (ici).
  2. Un rapport décrit l’inefficacité d’une réforme antérieure et l’aggravation des difficultés de l’ESR (ici).
  3. La Ministre annonce une réforme qui va tout améliorer, en utilisant les mots “innovant” et “exceptionnel” (ici).
  4. Des détracteurs se mobilisent, dénoncent la faisabilité de la réforme (ici), décrivent ses risques et font des contre-propositions.
  5. Des promoteurs se mobilisent, encensent la réforme en reprenant les éléments de langage de la Ministre (ici) et sur le terrain dénoncent les détracteurs et la défiance systématique dont ils font preuve envers les ministres.
  6. La réforme est adoptée sans modification substantielle (ici).
  7. La Ministre disparaît (ici)
  8. Retour à 1.

Cet algorithme fonctionne très bien avec la Loi Fioraso (1., 2., 3., 4., 5., 6., 7.). En ce qui concerne la Loi Vidal, on en est à l’étape 6., les précédentes ont été parfaitement respectées. Il y a fort à parier que cet algorithme s’applique à une très grande partie des réformes des services publics ces dernières décennies.

On peut en tous cas l’appliquer sans trop de difficulté à la LOLF, que j’appelle volontiers Mother Of All Reforms. La LOLF introduit la performance dans les services publics : tout mesurer, tout évaluer, tout le temps. Étonnement par contre, aucune réforme n’est jamais mesurée, évaluée. En conséquence, on se retrouve dans une perpétuelle fuite en avant, où ceux qui s’opposent s’opposent, ce qui suffit à ceux qui encensent pour les discréditer sans jamais rien changer.

Rien de bon ne peut sortir d’un tel système.

Bonus

En faisant les recherches pour retrouver les documents, j’ai remarqué deux choses frappantes. D’abord, les sites des promoteurs sont régulièrement nettoyés des communiqués passés, notamment le site de la CPU et du ministère, alors que les sites des détracteurs restent pleinement accessibles. Ensuite, lorsqu’on cherche les raisons de la démission de Madame Fioraso, on tombe sur des “raisons de santé” dans tous les médias traditionnels, alors que sa fraude avérée sur son CV ou les financements octroyés aux activités de son compagnon, dont la révélation par Médiapart précède immédiatement sa démission, se retrouvent seulement dans des blogs.

20 février 2018 ESR-en-fusion 4 Savoir plus >

Des canons du Vieux Port à la communication des projets de fusion

Le Vieux Port de Marseille a ceci de particulier que les canons des forts Saint-Jean et Saint-Nicolas, qui se devinent sur cette photo des membres de la CURIF, sont tournés non pas vers l’extérieur, la mer, mais vers l’intérieur, la ville. Louis XIV, paraît-il, les aurait fait tourner ainsi pour contrôler la cité.

CurifVieuxPort

La première chose qui marque en découvrant le site de l’Université Paris 2019 est la qualité de la chartes graphique. Mais on peut également noter l’absence l’information utile à la communauté pour comprendre le projet. On peut notamment regarder la page “Ensemble bâtissons l’Université de Paris”, dont la seule infographie est un calendrier, et qui ne contient strictement aucune information permettant de se forger un avis éclairé sur le bien-fondé du projet.

Cela peut paraître étonnant mais un document est intéressant pour comprendre : le site de promotion de la fusion ayant aboutie à l’Université de Strasbourg, première université fusionnée. C’était en 2008, ce qui permet de mesurer les évolutions des sites web en 10 ans.

Des canons tournés vers la cité…

On peut y découvrir un “mode d’emploi” de la “stratégie de communication”, annonçant dès le titre “Des stratégies de communication conçues dans l’optique de faciliter l’adhésion des acteurs”. On peut y lire en introduction “La communication en appui du changement a été perçue par les présidents et le comité de pilotage comme stratégique dans le projet, en tant qu’instrument de facilitation de l’adhésion des communautés au projet” et en conclusion “Alimentée dans ses contenus par une analyse des résistances et des freins, elle doit montrer les bénéfices attendus pour chacun”.

De façon explicite, la communication est conçue comme un outil au service des promoteurs du projet pour convaincre la communauté de son bien fondé. Ce document montre l’absence totale d’intention de fournir une information objective, comprenant avantages et opportunités, comme inconvénients et risques. Seuls les bénéfices doivent être mis en valeur. Il s’agit donc en aucun cas de fournir des éléments de compréhension permettant à a communauté de se forger un avis éclairé

Il faut alors se demander s’il est souhaitable qu’une communauté dépense une partie de ses moyens pour être convaincue plutôt qu’informée ?

…Pour contrôler la cité.

Malheureusement, une université n’est pas une cité, et nous ne sommes plus dans une monarchie de droit divin. Aussi cette stratégie a une limite : celle de l’adhésion au projet des personnels, et notamment des enseignants-chercheurs. Libres et indépendants, ils sont par nature plus difficile à rallier.

On peut ainsi remarquer que les enseignants-chercheurs ont aujourd’hui presque totalement disparu du rapport d’auto-évaluation du contrat de site de l’Université de Strasbourg. Hormis les points techniques, ils n’apparaissent que lorsqu’on observe leur manque d’adhésion à différents pans du projet.

On peut d’ailleurs lire dans le PV du congrès ayant étudié ce rapport d’auto-évaluation : “M. LE PRÉSIDENT confirme qu’il a été difficile de mobiliser les collègues pour la construction du site, considérant que c’était encore un organe de plus. L’objet manquait d’attractivité, de lisibilité et de réalité.[…]”.

Au final, il faut se demander si employer une technique visant uniquement à convaincre et non pas à informer ne limite pas in fine l’adhésion de la communauté au projet, et donc son succès, voir sa raison d’être.

Il faut également se demande si cette approche ne relève pas d’une forme de défiance des promoteurs du projet envers la communauté, si informer objectivement n’est pas perçu comme une perte de temps sinon un risque, mais également si ces promoteurs ne se privent pas ainsi d’avis qui auraient pu bénéficier au projet.

“Marseille sera toujours Marseille” (E. Todd)

Pour conclure, comme une université n’est pas Marseille et les services de communication ne sont pas des canons, on ne peut qu’encourager les promoteurs de projets de fusion à avoir le courage d’abandonner l’outil communication au profit d’une présentation objective des avantages et opportunités mais aussi des inconvénients et risques de leur projet.

Ainsi, le projet pourra être soumis à l’approbation de la communauté, éclairée sur son choix, ce qui lui donnera toute sa force s’il est adopté. Et s’il ne l’est pas, rien n’est perdu, car le projet ne pourra de toutes façons pas aboutir au delà des apparences. Même une fois lancé, il n’obtiendra jamais l’adhésion des membres qui sont censés le faire vivre.

Bonus 1 : Escalade de l’engagement

Le service communication est le premier service fusionné des trois ex-universités strasbourgeoises. Cet investissement a été préalable à toute fusion réelle, ainsi qu’à la définition de nombreux aspects concrets du projet.

On peut se demander si cet investissement n’a pas mis ses promoteurs dans une escalade de l’engagement, interdisant tout retour en arrière, qui ne pourrait être perçu que comme un échec et un gâchis des efforts déjà fournis.

Bonus 2 : Petite devinette à propos de la communication des présidences d’université

Lors de la mise en oeuvre du RIFSEEP à l’Université de Strasbourg, réforme en profondeur du système de prime des personnels administratifs, sujet hautement sensible :

  1. la présidence a informé directement l’ensemble des personnels afin de les tenir pleinement informés.
  2. la présidence n’a pas informé les personnels, puisque c’est le travail des syndicats de donner les mauvaises nouvelles.
  3. la présidence n’a pas informé les personnels pour ne pas encombrer leur boite mail.

Ceux qui devinent gagnent un extrait de PV !

18 février 2018 ESR-en-fusion 0 Savoir plus >

Parcoursup : petit manuel de tri des candidatures à l’usage des enseignants du supérieur

“L’algorithme local”, c’est toi.

La réforme Parcoursup impose aux enseignants des filières non sélectives de trier les dossiers des bacheliers candidats. Ce tri soulève des inquiétudes légitimes : Quels sont ces mystérieux “algorithmes développés par les établissements” dont parle la Ministre ? La mise en demeure de la CNIL sur APB sera-elle suivie  d’effet ? Combien de temps va prendre l’évaluation des dossiers à la  DSI et aux enseignants ? Les lettres de motivation, pardon les “projets de formation motivés”, seront-ils vraiment lus ? Un coach orientation est-il vraiment indispensable ?

Finalement, la page Admission postbac est-elle réellement définitivement tournée ?

C’est l’occasion de partager l’expérience acquise en IUT, filière sélective, où nous avons l’habitude de traiter un grand nombre de dossiers et surtout de les classer. L’objet de ce billet est de donner quelques astuces pour évaluer les candidatures dans l’objectif de maximiser la réussite des étudiants recrutés.

Il est important de noter que la suite est issue d’une expérience particulière, le DUT, dans une filière particulière, l’informatique. Tout ne saurait revêtir un caractère général.

APB est mort, vive APB ?

APB était constitué d’un algorithme central d’affectation des bacheliers, qui est remplacé par un système interactif dans Parcoursup. Mais APB c’était aussi une interface d’aide à la décision, qui permettaient aux équipes pédagogiques de trier les dossiers de candidatures. Il est peu probable que cette interface soit substantiellement modifiée car c’est une machinerie complexe et qui fonctionnait bien. C’est donc de cette partie là que nous allons discuter.

Si tous les documents officiels ont été effacés du portail principal post-bac, on peut encore trouver un petit manuel technique fourni par l’académie de Nantes qui montre les différentes fonctionnalités de cette interface et comment les utiliser. Les images utilisées ici en sont issues.

Les “algorithmes développés par les établissements” : de simples moyennes pondérées.

Première étape pour classer un millier de dossiers de candidatures : calculer une moyenne pondérée unique, qui permettra de faire un premier tri grossier. C’est indispensable face à un tel volume d’information. Pour ce faire, l’interface permet de déclarer un coefficient pour chaque matière de chaque année. On va par exemple pouvoir mettre toutes les matières à 1, sauf Mathématiques de terminale à 10 et Mathématique de première à 5.

Ce jeu de coefficients peut être défini indépendamment pour chaque filière du bac. Mais on peut également ajouter des bonus/malus en valeur absolue en fonction de la filière, ce afin d’interclasser les dossiers si l’on estime, par exemple, que 11 de moyenne dans telle filière n’est pas équivalent à 11 dans telle autre.

apb1

Pour le premier classement, il est inutile de se lancer dans un système de pondération complexe. Il parait raisonnable d’identifier quelques matières critiques et de leur donner une forte pondération pour toutes les filières générales. Il faudra aussi un jeu de pondération pour les bac techno et pro, qui ont des matières particulières.

À l’issue de la première expérience, il sera possible de chercher des corrélations entre les notes du lycée et les taux de passage/redoublement/abandon pour tenter d’obtenir un jeu de pondération plus précis. Cependant, nous n’y sommes pas arrivés : statistiquement, la seule corrélation solide se limite à la note de Math de terminale, ce que nous avons refusé de faire.

En revanche, le bonus/malus en fonction de la filière est très délicat à fixer. Les différences entre bacs rendent très difficile l’interclassement. Les taux précis de réussite par filière, souvent évoqués, ne disent rien sur les chances de réussite individuelle des candidats. Il faudra donc au début se résoudre à fixer une valeur arbitraire, et la compenser par l’examen individuel du dossier, puis affiner la valeur arbitraire avec l’expérience.

L’examen individuel des dossiers

Une fois la moyenne unique calculée, tous les dossiers se retrouvent triés automatiquement. C’est là que les choses difficiles commencent, car il faut regarder tous les dossiers, un par un, pour :

  • vérifier la moyenne calculée automatiquement : il peut par exemple manquer des notes, ce que le système détecte mais qui nécessite une intervention manuelle ;
  • ajouter des bonus/malus manuels en fonction des pièces jointes (voir plus loin) ;
  • forcer la moyenne à une note arbitraire : 0 pour signifier “à absolument ne pas prendre” (erreur d’orientation), 20 pour “à absolument prendre” (certitude de réussite ou pari, malgré les notes) ou encore une note décidée pour interclasser un dossier qui n’est pas évaluable selon la procédure standard.

apb2

Les bonus/malus manuels sont des points ajoutés ou enlevés à la moyenne unique. De fait, ils vont faire monter/descendre le dossier dans le classement effectué automatiquement. Ces points sont donc inutiles pour les candidatures dont le classement de base implique une certitude dans l’admission ou un refus. Cependant, il faut tout de même les regarder rapidement, surtout les certitude de refus, pour détecter d’éventuels cas particuliers ou erreur de moyenne.

En revanche, les bonus/malus sont fondamentaux pour les dossiers qui sont dans une zone d’incertitude. Cette zone dépend fortement du contexte, et ne peut être connue qu’empiriquement, tout comme le nombre de points maximal à appliquer à la moyenne pondérée brute. Il est donc indispensable d’étudier les recrutements d’une année sur l’autre pour savoir quels sont les dossiers qui doivent être fouillés en profondeur, et combien de points doit représenter le bonus/malus.

Organisation

L’examen individuel des dossiers est une tâche très lourde, impossible sans y associer la totalité de l’équipe pédagogique. Il faut donc fixer un quota de dossiers par enseignant titulaire, et prévoir que quelques enseignants en fassent plus pour rattraper ceux qui en feront moins.

L’interface permet de se connecter avec des identifiants individuels, ce qui permet de savoir qui a étudié quel dossier pour obtenir d’éventuelles précisions. Utiliser un identifiant commun est donc à proscrire. Ceci étant dit, étudier des dossiers à plusieurs est difficile et nécessite un cadrage pour limiter la subjectivité. C’est ce que nous allons voir dans la suite.

Examen des bulletins scolaires

Globalement, les bulletins sont peu utiles. Les appréciations des enseignants sont souvent trop peu unanimes pour en tirer de réelles conclusions. Le même élève va être attentif dans un cours et indiscipliné dans l’autre. “Des progrès formidables en musculation” ne dit pas grand chose sur les chances de réussite dans un parcours en informatique, mais “n’écoute pas en cours” n’en dit pas plus, car on ne sait pas si l’élève devenu étudiant ne se passionnera pas soudainement.

Ceci dit, si l’équipe pédagogique accorde de l’importance à la discipline scolaire, il est possible de définir un bonus/malus en fonction des appréciations de comportement, pour favoriser les élèves studieux ou défavoriser les élèves perturbateurs.

Reste la question qui fâche : faut-il regarder le lycée d’origine (qui est écrit partout) ? La réponse vaudrait un billet complet.

Examen des avis de poursuite d’étude

Consacrés avec la “fiche avenir”, les avis de poursuite d’étude sont notoirement inutiles lorsqu’il s’agit d’évaluer les chances de réussite d’une candidat. Il est tout simplement impossible pour une équipe pédagogique du lycée de connaître les dizaines de milliers des filières universitaires, alors qu’un même bachelier a des chances de réussite différentes d’un établissement à l’autre, d’un département à l’autre. Comment espérer cela des enseignants du secondaire, alors-même qu’aucun universitaire ne connait la totalité des formations suffisamment pour savoir si un bachelier peut y réussir. En réalité, nous n’arrivons même pas à produire des “attendus” clairs et précis, évaluables, pour nos propres formations.

Ajoutons que d’un lycée à l’autre, d’une classe à l’autre, les recommandations peuvent varier du tout au tout pour des profils d’élève très similaires. Enfin, il arrive ponctuellement de tomber sur des dossiers à refuser avec certitude, conclu par “favorable” pour votre filière, ce qui ruine nécessairement la crédibilité globale du dispositif.

Sur cet aspect, on peut recommander de contrôler la pertinence des avis de la “fiche avenir” avec les taux de réussite réels, et en cas d’inadéquation, même pour un seul étudiant, de ne simplement pas regarder ces avis. Le pendant est une recommandation auprès des équipes pédagogiques du secondaire de ne pas perdre du temps à faire une chose impossible.

Examen du C.V.

Les C.V. des lycéens sont globalement tous identiques, et relativement vides, ce qui n’a rien d’étonnant. On peut considérer que c’est un exercice important pour s’insérer dans la vie professionnelle, mais en ce qui concerne l’évaluation des chances de réussite d’un bachelier dans une filière universitaire, sauf cas particuliers, les C.V. n’apportent rien de très pertinent, surtout depuis qu’ils sont normalisés par le formulaire de saisie sur la plateforme.

Si avis de poursuite d’étude et C.V. ne sont pas directement pertinents, on peut tout de même les intégrer dans des points d’appréciation globale, qui permettent une marge de subjectivité à l’examinateur. Reste à décider de l’importance de cette subjectivité dans la totalité des points de bonus/malus.

Examen du “projet de formation motivé”

Le projet de formation motivé est décrit ainsi sur la plateforme Parcoursup : “Exposez les raisons pour lesquelles vous souhaitez être candidat à cette formation et cette spécialité. Décrivez votre projet. Indiquez les raisons qui motivent ce choix d’orientation, les qualités indispensables, vos forces pour réussir, ainsi que vos points faibles”. Cette description est strictement identique à celle de la lettre de motivation sur APB. Néanmoins, les candidats devraient être limités à 1500 caractères sur Parcoursup.

D’expérience, et sauf formations particulières, les lettres de motivation sont globalement inutilisables pour évaluer les chances de réussite d’un étudiants. En premier lieu, elles sont extrêmement stéréotypées. Peut-être est-ce en lien avec la multiplications des ateliers de rédaction de lettre de motivation, ou celle des sites de conseil en ligne présentant des informations terriblement génériques. Peut-être est-ce aussi dû à une stratégie d’optimisation qui consiste à bien travailler un patron de lettre de motivation générique, déclinée sommairement pour chaque candidature, plutôt qu’à faire de multiples lettres spécifiques moins bien travaillées.

Ensuite, il est impossible de savoir si une lettre de motivation est réussie grâce à la motivation, ou grâce à des compétences en conviction. En réalité, la lettre de motivation n’évalue que la capacité à rédiger une lettre de motivation, ce qui, dans la plupart des cas, ne donne aucune indication sur les chances de réussite universitaire. Nous avons pu le constater, et c’est pourquoi, dans nos demandes, nous avons remplacé la lettre de motivation par une pièce complémentaire.

Examen des pièces complémentaires

Suite au constat d’inutilité des lettres de motivations, nous avons décidé de les remplacer par un questionnaire ciblant les choses que nous cherchions dans ces lettres. Grossièrement, nous sommes partis sur l’idée que les candidats étaient motivés à suivre notre formation (ils candidatent après tout), mais qu’ils pouvaient se tromper à propos de cette formation. C’est donc ce que nous avons cherché à identifier, avec un questionnaire vérifiant les connaissances du candidat concernant notre formation (et en aucun cas les connaissances sur notre discipline).

Par exemple : “Parmis les matières suivantes, lesquelles ont le plus d’importance dans notre formation : base de données, graphisme, droit… ?”. Cela permet de savoir si le candidat sait qu’en DUT informatique, il y a du droit mais pas de graphisme. Nous demandons également au candidat s’il est venu à notre journée “portes ouvertes”, quelles sont ses réalisations particulières dans notre discipline, et d’expliquer son parcours s’il est atypique.

En fait, nous demandons explicitement les choses que nous attendons de trouver dans une lettre de motivation. Et pour chaque réponse significative, nous ajoutons un certain nombre de points bonus. Petite astuce : les candidats qui ne répondent pas au questionnaire n’ont manifestement pas lu les instructions pour candidater, ce qui évalue très bien leur motivation.

A noter que si cette approche a permis de simplifier et objectiver, et donc harmoniser, l’examen des dossiers, nous n’avons pas pour autant observé d’amélioration des taux de réussite. De plus, son intégration dans Parcoursup semble plus difficile que dans APB.

Décompte des points bonus

Une fois chaque partie évaluée, l’examinateur doit compter le nombre de points bonus/malus et l’appliquer à la moyenne pondérée, ce qui va faire monter ou descendre la candidature dans le classement. Il y a également un champ “commentaire”, qui permet de laisser des notes aux autres examinateurs, pour expliquer un traitement particulier ou demander un deuxième avis, par exemple.

Cette saisie peut-être source d’erreur si votre système de bonus/malus est trop compliqué. Par exemple, si vous évaluez 27 critères pour définir un bonus entre 0 et 2 points, le calcul de tête va être difficile. C’est pourquoi on peut recommander d’avoir un système de bonus/malus simple. Par exemple : 10 critères à 0,1 point, en évitant les points négatifs, pour un bonus/malus entre 0 et 1 point.

Vérification

Lorsqu’on enchaîne les examens de dossiers, on commet rapidement des erreurs : les pièces sont nombreuses et souvent sans surprise, la monotonie tue l’attention. Imaginez une pile de copies à corriger qui ne seraient même pas dans votre discipline. Ajoutons également les sensibilités personnelles des examinateurs incapables de se contrôler (personnellement, si je vois “jeux vidéo” écrit quelque part et “malin mais pénible” sur les bulletins, je mets  ultra-favorable partout sans réfléchir… Et ça ne marche pas tout le temps).

C’est pourquoi il faut un vérificateur, infaillible de préférence, pour systématiquement contrôler et harmoniser les évaluations de ses collègues. Ce vérificateur devra également traiter une part des dossiers, afin de comprendre ceux des autres. La tâche est telle que prévoir deux collègues n’est pas de trop, mais il faut qu’ils soient prêts à réellement travailler ensemble.

Finalisation

Une fois tous les mails de rappel envoyés, le rush pour terminer les centaines de dossiers restants, la vérification de tous les cas particuliers, il n’y a plus qu’à envoyer définitivement le classement. Après quoi, plus rien n’est modifiable. Pensez à exporter le classement et toutes les données, ce qui permettra d’affiner la méthode de tri d’une année sur l’autre.

Pour assumer tout ce traitement, on peut recommander de désigner un responsable Parcoursup par diplôme et, vu la charge, de faire inscrire cette responsabilité dans les référentiels d’activité des établissements.

Conclusion

Deviner les candidats qui vont réussir un diplôme est une chose difficile, sinon impossible. Tout au plus pouvons-nous essayer d’arranger un classement pour que les candidats qui connaissent la formation soient favorisés. Dans les faits, il est même impossible de refuser un candidat qui se trompe manifestement d’orientation s’il a les notes nécessaires, y compris dans les filières sélectives. Mais cet arrangement est long, fastidieux, et bien souvent son étude à posteriori, confronté aux réussites réelles, ne démontre pas une efficacité vraiment très supérieure à un simple tri des notes sans étude de dossier.

En ce qui concerne la constitution du dossier de base (bulletins scolaires, C.V. et lettre de motivation), l’expérience montre qu’elle est inappropriée à l’évaluation des chances de réussite dans la plupart des filières universitaires. Pour les filières où ces pièces revêtent de l’importance, la normalisation imposée par la plateforme limite leur intérêt, au point qu’il faudrait tout de même les ajouter en pièces complémentaires. C.V. et lettre de motivation devraient donc être en fait des exceptions, et on peut recommander aux équipes qui comptent réellement étudier les dossiers de réfléchir en premier lieu à un questionnaire précis permettant au moins de simplifier et objectiver l’examen des dossiers.

Si Parcoursup devait vraiment s’adapter à l’évaluation des chances de réussite des candidats, il faudrait d’une part supprimer les pièces par défaut, et d’autre part développer une interface permettant d’évaluer simplement et sans risque d’erreur les réponses au questionnaire proposé par l’équipe pédagogique.

Reste un question fondamentale : Est-ce que l’examen des dossiers cherche à évaluer les chances de réussite du candidat, ou son mérite à intégrer la formation ? Entre un candidat très méritant mais ayant peu de chances de réussir et un candidat dé-méritant mais ayant de grandes chances de réussir, qui vaut-il mieux admettre ? C’est une question très concrète, au cœur des processus de sélection et d’orientation, à laquelle le ministère aurait dû répondre. En cela, la réforme Parcoursup est une occasion ratée de se poser les bonnes questions.

 

Enfin, malgré un réel travail pour améliorer notre recrutement, nous n’avons jamais réussi à réellement améliorer les taux de réussite. Les étudiants restent imprédictibles, et c’est heureux. De plus, il est difficile de voir comment définir des “mesures d’accompagnement personnalisées” sur la base d’un dossier de candidature Parcoursup. Au mieux peut-on définir une fourchette arbitraire de notes ou considérer la filière du bac, mais cela n’a rien de personnalisé. En soi, Parcoursup n’est donc pas une mesure en faveur de la réussite des étudiants, la page APB n’est tournée qu’en façade, et on est loin de “remettre de l’humain” dans la procédure d’affectation.

En revanche, l’étude des dossiers est une charge plus que conséquente, qui s’applique aujourd’hui à tous les enseignants du supérieur. Or, le problème principal est celui de l’encadrement des cours et de la disponibilité des enseignants qui croulent déjà sous les charges diverses et subissent une pression constante à la publication. On peut se demander comment réduire encore le temps consacré à l’enseignement va améliorer les conditions d’étude et la réussite des étudiants.

 

Bonus 1 : vertu du classement inversé des candidatures

Curiosité de Parcoursup, il serait à l’avantage de tous les candidats que les filières non-sélectives rendent un classement strictement inverse à celui des résultat scolaires. En effet, la nouvelle procédure d’affectation va avoir un effet pervers : supposons une filière non-sélective avec une capacité d’accueil de 100 places ; supposons qu’elle reçoive 500 candidatures, triées essentiellement en fonction des notes ; les 100 premiers recevront donc un “oui”, et les 400 autres “en attente” le temps que les “oui” se décident. La filière étant non-sélective, le dernier des 500 candidats devra être admis, il va pourtant rester “en attente” le temps que tous les autres devant lui se désistent, ce qui est inutilement anxiogène.

Les filières non sélectives devraient donc rendre un classement strictement inverse aux résultats scolaires, de façon à ce que le dernier des bacheliers obtienne le plus rapidement possible un “oui” pour une filière qui de toutes façons devra l’accepter. C’est, à ce stade, le seul moyen d’éviter des lycéens allant à leurs épreuves du bac en n’ayant que des vœux “en attente”, avec un  impact évidemment négatif sur leur motivation.

Bonus 2 : résumé des recommandations

  • Désigner un responsable Parcoursup, chargé d’organiser la procédure et d’affiner la procédure d’évaluation au fil des années (et demander l’ajout de cette charge dans les référentiels d’activités).
  • Se répartir les dossiers équitablement, mais charger le responsable Parcoursup de contrôler et d’harmoniser les évaluations.
  • Travailler empiriquement et sur la durée, en définissant une pondération et des bonus/malus arbitraires la première année, archiver les classements et les confronter systématiquement aux passage/redoublement/abandon de chaque candidat admis pour affiner les pondérations initiales au fil des années.
  • Garder le système de bonus/malus le plus simple possible pour éviter les erreurs.
  • Ignorer les pièces par défaut qui ne permettent pas d’évaluer les chances de réussite universitaire, et définir son propre questionnaire ciblé précisément sur ce que vous souhaitez évaluer.
  • Décider collectivement de prendre en compte ou d’ignorer le lycée d’origine.
  • Se contenter du classement automatique sans étude du dossier pour les filières non sélectives qui ne proposent pas de mesures d’accompagnement.
  • Rester conscient qu’évaluer avec certitude les chances de réussite ou le mérite réel est impossible, et que tout ce travail se résume à détecter les erreurs d’orientation, les cas particuliers et les paris.

Retrouvez-moi sur twitter.

2 février 2018 Parcoursup, Petits manuels, vadémécum 28 Savoir plus >

Petit manuel de dévolution à l’usage des administrateurs tatillons

You say you want a devolution

Dans les prochains mois, le conseil d’administration de l’Université de Strasbourg va devoir se prononcer sur un nouveau schéma pluriannuel de stratégie immobilière (SPSI ou schéma directeur immobilier). Au centre de ce schéma se pose la question de la “dévolution du patrimoine immobilier à l’université”.

Selon le CNRTL, la dévolution est “l’attribution de biens ou de pouvoirs d’une personne physique ou morale à une autre”. Il s’agit donc d’un transfert de la propriété des biens immobiliers de l’Etat vers les universités.

C’est l’occasion de se pencher sur cette nouvelle évolution de l’ESR, qui s’est déjà posée dans de nombreuses universités, et se posera bientôt dans toutes. Malheureusement, il est bien difficile pour un enseignant-chercheur normal d’appréhender ses tenants et aboutissants… Heureusement, il y a les documents !

Les recommandations ici présentées sont à destination des administrateurs d’université soucieux de prendre une décision éclairée. Elles se basent essentiellement sur le rapport de l’IGAENR.

Le rapport de l’IGAENR

L’inspection générale de l’administration de l’éducation nationale et de la recherche (IGAENR) “a pour vocation d’observer et d’apprécier l’organisation et le fonctionnement du système éducatif à tous les niveaux d’enseignement, primaire, secondaire et supérieur. Elle en évalue l’efficacité et les performances, propose des mesures d’amélioration et assure le suivi de ses propositions”.

L’IGAENR a produit un rapport sur la dévolution du patrimoine immobilier aux universités en 2016. Les 4 pages de synthèse sont incontournables pour l’administrateur confronté à la dévolution. Trois expérimentations sont étudiées : Poitiers, Toulouse 1 et Clermont-Ferrand 1 ; ainsi que cinq études de cas : Strasbourg, Bordeaux, Clermont Auvergne (UCA), Aix-Marseille et Tours.

Retour d’expérience des trois expérimentations

Les trois établissements pilotes ont fait “de réels progrès dans de nombreux domaines de la gestion immobilière” avec “la mise en place d’outils de gestion et de pilotage plus élaborés”. Pour eux, “la dévolution a permis, grâce à un fort accompagnement budgétaire, d’accélérer la réalisation de projets de réhabilitation, de mise en sécurité et d’accessibilité du bâti”. Cependant, la dévolution “n’a pas permis d’améliorer significativement le taux d’utilisation des locaux, ni le produit des cessions et valorisations de bâtiments”.

Les avantages ne sont donc pas allés au-delà de la maîtrise et de l’accélération des réalisations, et les objectifs de “gestion optimisée de son patrimoine” ou “valoriser davantage son patrimoine” n’ont pas été validés.

Recommandation 1 : Faire établir les arguments qui permettent d’envisager les éventuelles améliorations qui n’ont pas été constatées dans les expérimentations.

Accompagnement budgétaire

En trois ans, l’accompagnement budgétaire des dévolutions pilotes correspond effectivement à presque un doublement du budget consacré à l’immobilier pour Poitiers et Toulouse 1, et à un quadruplement pour l’UCA (Annexe III, Tableau 4). Cette augmentation des dépenses est “nettement supérieure en moyenne à la dotation annuelle de dévolution” : un tiers en moyenne a été pris sur les ressources des établissements.

La période étudiée est beaucoup trop courte pour présager d’une stabilisation à moyen terme. Une projection sur 10 ans semble un minimum pour s’engager dans un tel processus, et elle devra prendre la forme d’un budget annexe immobilier.

Recommandation 2 : Baser sa décision sur l’établissement d’un budget pluriannuel consacré à l’immobilier, identifiant les dotations récurrentes, les dotations spécifiques à la dévolution et les ressources propres sur au moins 10 ans.

Le rapport note que “les universités bénéficiaires de la dévolution du patrimoine devront sans doute privilégier de manière générale une stratégie de montée en charge progressive de leurs dépenses de renouvellement et d’entretien, à mesure qu’elles pourront dégager des marges de manœuvre à cet effet par des économies sur d’autres postes ou des ressources propres nouvelles”.

Recommandation 3 : Intégrer au budget pluriannuel une prévision de la montée en charge des dépenses, avec l’identification des opportunités et risques en fonction des évolutions à la hausse comme à la baisse des marges de manœuvre.

Recommandation 4 : Définir explicitement la nature et le montant des “économies sur d’autres postes” et des “ressources propres nouvelles” permettant le financement de la dévolution.

BAIM

“La constitution d’un budget annexe immobilier (BAIM) […] permet d’identifier à l’intérieur du budget de l’établissement les moyens qui sont attribués annuellement à l’entretien du patrimoine immobilier et d’isoler la part du fonds de roulement consacrée à l’immobilier“.

Constatant un écart de pratique dans la définition des BAIM, et notamment sur leur périmètre, les rapporteurs préconisent à l’Etat d’établir “un cadre commun et précis de règles applicables au périmètre des BAIM, à leur mode de financement et au traitement des dépenses de travaux entre charges et immobilisations”.

Engager un processus de dévolution en l’absence d’un tel cadre représente un risque conséquent de rendre les projections caduques lorsqu’il sera défini.

Recommandation 5 : S’appuyer sur le cadre commun et précis de règles applicables au BAIM, et à défaut différer le processus de dévolution jusqu’à sa définition par l’Etat.

Cession et Valorisation

La valorisation consiste à utiliser le patrimoine immobilier pour une activité commerciale afin d’obtenir des revenus réguliers, alors que la cession consiste à vendre une partie de ce patrimoine immobilier pour obtenir un revenu ponctuel.

La valorisation se confronte au principe de spécialité, une université “ne peut donc entreprendre d’activités extérieures à ses missions ou s’immiscer dans de telles activités”, alors que la cession se confronte au principe d’inaliénabilité des biens relevant du domaine public (voir Encadré 1 du rapport) qui, grossièrement, interdit la vente des locaux utilisés par le public.

Cependant, le rapport indique “un niveau de risque juridique relativement faible” et propose de “sécuriser, si la pratique le rendait nécessaire, le développement des activités de valorisation” (Proposition n° 7). En d’autres termes, les dirigeants devraient être assez libres de commercialiser ou vendre le patrimoine de leur université.

Le rapport note que “si les recettes de cession ou de valorisation constituent des compléments de financement appréciables, elles ne peuvent à elles seules financer les opérations de GER ou d’investissement dans aucune des trois universités”.

Les opérations de cession et valorisation ne sont donc pas des pistes pertinentes pour financer les missions de l’Université. En revanche, elles peuvent poser des problèmes d’un autre ordre, comme avec la vente de l’Observatoire de Floirac par l’Université de Bordeaux.

Recommandation 6 : Faire délibérer la liste exhaustive des opérations de cession et valorisation, accompagnée des projections budgétaires et des destinations des recettes.

Partenariats public-privé

Le rapport précise qu’une “piste doit préalablement être écartée : celle du recours systématique à des montages juridiques sophistiqués faisant intervenir une structure tierce de droit privé pour porter et/ou gérer l’intégralité du patrimoine immobilier des universités”. Cette affirmation n’est pas sans rappeler les conclusions du rapport sénatorial “Les contrats de partenariats : des bombes à retardement ?”.

Recommandation 7 : Écarter autant que possible les partenariats avec des structures tierces de droit privé et faire délibérer la liste exhaustive des partenariats envisagés.

Spécificités locales

Le rapport insiste régulièrement sur l’hétérogénéité des situations des établissements face à la dévolution, qui impose une analyse particulière pour chaque université. C’est l’objet de la proposition n° 9 : “confier aux inspections générales des ministères concernés la responsabilité de conduire des audits pré-dévolution permettant de s’assurer qu’un établissement candidat remplit les prérequis indispensables à la réussite de la dévolution qui figurent dans le cahier des charges.”

Recommandation 8 : S’appuyer sur la proposition n°9 du rapport pour demander un audit pré-dévolution par les inspections générales, et utiliser le cahier des charges de la dévolution (pièce jointe n°1) comme grille d’analyse locale.

Sécurisation de l’opération de dévolution

La sécurisation de l’opération de dévolution est à double sens. C’est l’objet des propositions n° 2 et 3 :

“Proposition n° 2 : élargir explicitement les objectifs de la dévolution du patrimoine à l’engagement des établissements bénéficiaires de maintenir en bon état dans le futur le bâti récent ou déjà rénové ; de rationaliser leurs implantations et l’occupation de leurs locaux ; d’optimiser les coûts de gestion et les économies d’énergie.”

“Proposition n° 3 : sécuriser les financements immobiliers de l’État à travers le maintien, toutes choses égales par ailleurs, du niveau de la dotation globale de fonctionnement aux établissements bénéficiaires, la stabilisation des crédits de mise en sécurité et d’accessibilité et la programmation à moyen terme de crédits équivalents à la part État du CPER en contrepartie d’engagements des établissements.”

Recommandation 9 : Faire expliciter et budgéter l’engagement de l’établissement, faire expliciter les financements immobiliers de l’Etat effectivement sécurisés, et mettre les deux en vis-à-vis pour évaluer la soutenabilité financière de l’opération.

Recours à l’emprunt

D’après les rapporteurs, “une nouvelle réflexion sur l’ouverture du recours à l’emprunt, qui constitue une piste qui déroge fortement au droit commun mais mérite d’être explorée : en effet, la volonté de responsabiliser davantage les universités dans le cadre de la dévolution se heurte à l’objectif de ne pas accroître la dette de l’État en rendant les conditions d’accès à l’emprunt plus difficiles”. La Proposition n° 4 est donc de “déroger au cas par cas au principe de l’interdiction du recours à l’emprunt”.

Le recours à l’emprunt engage les établissements pour une grande période (autour de 25 ans), qui ne permet pas de projection budgétaire solide (qui, au début des années 1990, aurait pu prédire la situation budgétaire actuelle des universités ?) et dépassant largement la durée des mandats de ceux qui les dirigent.

Il encourage donc mécaniquement une politique court-termiste, opportuniste et très risquée, qui risque de mener à terme à des difficultés de remboursement dont les conséquences ne sont pas connues.

Recommandation 10 : Faire expliciter le rapport risques/bénéfices d’un recours ou non à l’emprunt ; Si le recours à l’emprunt n’est pas explicitement exclu, faire expliciter les moyens d’action en cas de défaut de remboursement.

Type de dévolution

La Proposition n° 10 du rapport est : “proposer aux établissements candidats deux scénarios alternatifs de dévolution fondés l’un sur une dévolution totale réalisée en une fois et l’autre sur une dévolution progressive par tranches successives.”

Ces deux approches, avec leurs implications, sont développées dans le rapport.

Recommandation 11 : Définir le type de dévolution envisagé, et le cas échéant le calendrier et les tranches de la dévolution progressive.

Conclusion

Pour conclure, il faut noter ce passage important du rapport : “ces avantages en gestion ou en gouvernance sont cependant indépendants de la dévolution du patrimoine et peuvent déjà être recherchés par les universités, qu’elles soient simples affectataires ou pleinement propriétaires de leur patrimoine”.

En d’autres termes, la dévolution ne donne pas, en soi, plus de marges de manœuvre aux établissements. Les avantages constatés dans les expérimentations auraient pu l’être par la seule volonté d’une montée en compétence accompagnée d’importants financements spécifiques, sans procéder à la dévolution du patrimoine.

Le seul impact évident de la dévolution du patrimoine est sur l’autonomie de l’université, puisqu’elle allège les interactions avec l’Etat, et surtout ses responsabilités, en matière immobilière. Le précédent en la matière concerne les ressources humaines : depuis le passage à l’autonomie de la LRU, les universités sont en pleine charge de leur masse salariale.

La dévolution de la masse salariale est donc un exemple pertinent pour évaluer l’opportunité de procéder à la dévolution du patrimoine immobilier pour chaque établissement :

  • si la dévolution de la masse salariale a réellement permis à l’établissement une gestion plus agile et un développement des emplois, alors la dévolution du patrimoine immobilier est sans doute une bonne idée ;
  • en revanche, si la dévolution de la masse salariale a conduit l’établissement à des politiques d’austérité en matière d’emploi, la dévolution du patrimoine immobilier est sans doute une opération très risquée.

Recommandation 12 : Mettre en perspective la dévolution du patrimoine avec la dévolution de la masse salariale, et prendre une décision en fonction du bilan de ce précédent.

22 janvier 2018 Petits manuels, vadémécum 0 Savoir plus >