Docs en stock : dans les coulisses de la démocratie universitaire

Parcoursup : quel indicateur pour quelle communication ?

Cette année, les candidates et candidats dans Parcoursup auront deux jours pour répondre aux propositions qui leur seront faites. C’est l’occasion de discuter des indicateurs de performance de la plateforme, qui sont une très belle illustration de la loi de Goodhart : « lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure ».

Les indicateurs avant Parcoursup

Parcoursup n’est utilisé que depuis 2018. Auparavant, avec APB, l’affectation était faite avec une échéance collective, pour la hiérarchisation des vœux le 31 mai, puis une machine calculait les affectations en moins de 24h. Une semaine plus tard, tous les candidats affectés recevaient leur réponse en même temps : en 2017, 98% des bac généraux, 87% des bac techno et 70% des bac pro. Pour les autres, une phase complémentaire était ensuite organisée.

C’était là le premier indicateur de performance d’APB : le taux de candidats affectés, qui était de 95% en 2017, avec environ 4% de candidats sans proposition et 1% de démissions.

Le second indicateur de performance concernait la satisfaction des candidats face à leur affectation, mesurée par la répartition des propositions selon l’ordre du vœu des candidats. En 2017, 63% des bac généraux obtenaient leur 1er vœu, comme 51% des bac technologiques et 44% des bac pro.

Des indicateurs d’APB aux indicateurs de Parcoursup

Pour une raison peu claire (les hypothèses sont nombreuses, et la communication des réformateurs peu concluante), la hiérarchisation des vœux a été supprimée. Or, cette hiérarchisation est indispensable pour que la machine puisse calculer rapidement l’affectation. Pour la remplacer, Parcoursup utilise une phase de réponses « au fil de l’eau », qui allait en 2018 de mai à.. septembre. 5 mois.Image

La plateforme passe ainsi de une semaine à cinq mois – la durée dépendant du classement des candidats, les « meilleurs » étant servis tout de suite, et les autres devant atteindre – pour rendre exactement le même service ! Bien naturellement, le reproche principal adressé à la nouvelle plateforme est donc devenu sa lenteur. La bureaucratie s’est alors mise à résoudre le problème qu’elle venait juste de créer, à coups de « calendrier repensé » et des « délais raccourcis ».

Les indicateurs ont été réformés pour se conformer au nouveau fonctionnement. Le taux de proposition a gagné en précision, notamment pour les démissions, beaucoup plus nombreuses qu’avec APB, sans doute en raison de la longueur de la procédure.

En 2023, le taux de sans réponse est à 4,7% (stable par rapport à APB), mais le taux de démission atteint 8,5% (contre 1% avec APB – attention tout de même, les démissions sont sans doute bien mieux mesurées avec Parcoursup qu’avec APB). Le taux d’affectation est ainsi de 86,7% (contre 95% avec APB).

La satisfaction des candidats a en revanche disparu des indicateurs de performance, au profit de la vitesse :

Si on ne sait plus si les candidats sont satisfaits de leur affectation, on sait désormais que 27% des candidats ont accepté une proposition à l’ouverture de la plateforme, et qu’il a fallut environ une semaine pour doubler ce nombre, 3 semaines pour atteindre 70%, et 3 mois pour atteindre 82,5%.

De la définition des indicateurs aux politiques publiques

La définition des indicateurs n’est pas seulement technique : elle témoigne ou guide des politiques publiques. Ainsi, si on veut améliorer les performances avec une mesure de la satisfaction, il faudra bien ouvrir des places dans les filières les plus demandées, ce qui nécessite des moyens. En revanche, avec une mesure de la vitesse, les moyens sont inutiles, puisqu’il suffit de raccourcir les délais de réponse pour accélérer les affectations… Mais diminuer les temps de réponse diminue le temps de réflexion, ce qui peut baisser la qualité de l’orientation, et augmente naturellement le stress des candidats, pressés de répondre plus rapidement.

Ainsi, 83% des candidats de 2023 jugent la procédure stressante, alors qu’ils n’étaient que 77% en 2020. De façon amusante, jusqu’en 2022, les objectifs d’accélération et de réduction du stress sont confondus dans les axes stratégiques d’amélioration continue, alors même que les deux peuvent être contradictoires.

Des politiques publiques aux besoins de communication

Cette amélioration continue ne répond pas seulement aux purs besoins des usagers de la plateforme, mais aussi aux besoins de communication de la ministre, dont l’action est également évaluée par ces indicateurs. Or, dans cette communication, la satisfaction a disparu et le stress est resté totalement absent, alors qu’est systématiquement mis en avant le débit et la vitesse.
L’amélioration continue impose que les indicateurs soient en perpétuelle amélioration : peu importe qu’on passe d’une semaine à 5 mois, pourvu que chaque année soit plus rapide que la précédente.

Image

Donc chaque année on « accélère le calendrier » et on « resserre les délais », ce qui conduit naturellement à stresser de plus en plus les candidats. Ce stress n’a en réalité aucune importance puisque cet indicateur est mal mesuré et très peu médiatisé, contrairement à la vitesse d’affectation, qui permet de feuilletonner toute la procédure, en allant à des niveau de précision tout à fait absurdes : « 74,49 % » « +0,63 point ».

Image

Et c’est ainsi qu’en souhaitant résoudre le problème qu’elle venait de créer, la bureaucratie a mécaniquement fait passer les délais de réponse d’initialement une semaine, à désormais deux jours, avec des règles de plus en plus complexes, ce qui rend la procédure de plus en plus stressante. C’est le prix à payer pour pouvoir annoncer l’accélération d’une procédure rendue inutilement lente.

Image

Au passage, la satisfaction des candidats, qui devrait normalement être notre souci principal dans toute cette affaire, a été totalement invisibilisée ! Plus aucun indicateur de la performance publique ne la mesure. Donc elle peut baisser tranquillement, sans que personne s’en aperçoive. L’Observatoire de la vie étudiante (OVE) a cependant intégré des questions relatives à cette mesure dans son enquête sur les conditions de vie, mais sans atteindre la visibilité qu’avait l’indicateur de satisfaction d’APB.

On a là un parfait exemple de la loi de Goodhart : en fixant pour objectif d’améliorer les délais de réponse, on augmente le stress et on prend le risque de diminuer la qualité de l’affectation.

Il y a-t-il une vie après l’amélioration continue ?

La question qui se pose lorsqu’on améliore continuellement – donc perpétuellement – un indicateur est : jusqu’où peut-on aller ? Est-il par exemple possible de descendre en dessous de 2 jours de délais de réponse, sans faire exploser le stress et le mécontentement, et sans démultiplier les erreurs et recours ? C’est peu probable.

Cette situation pose un problème majeur de communication pour la ministre : comment feuilletonner des améliorations lorsque plus aucune amélioration n’est possible ?

Deux approches sont mises en œuvre. Premièrement, la promotion du recours au « répondeur automatique », qui initialement n’existait pas, puis a été mis en place pour la phase complémentaire, avant de chaque année remonter de plus en plus tôt dans le calendrier. Ce « répondeur automatique » a le mérite d’accélérer énormément la plateforme, tout en diminuant le stress des candidats. Si la terminologie a changé, il s’agit en réalité strictement du fonctionnement d’APB, qui imposait l’utilisation de ce « répondeur » dès le 31 mai. Dis autrement : la seule façon de continuer à améliorer les performances de Parcoursup est de progressivement revenir à APB. Et c’est vraiment très drôle !

Deuxième approche : casser le thermomètre, et mettre en avant de nouveaux indicateurs, si possible très mauvais, et qui seront faciles à améliorer. C’est ce qui apparait dans les axes stratégiques d’amélioration de la plateforme : alors que les axe 1 et 2 n’ont pas fondamentalement changé, l’axe 3 qui concernait la vitesse de réponse et le stress a été supprimé et remplacé par un nouvel axe « renforcer les leviers pour objectiver l’analyse des candidatures et l’explicabilité des décisions rendues ».

Nous verrons bien comment ce nouvel axe sera traduit en indicateurs, et surtout, quels seront les nouveaux effets pervers qui seront inévitablement induits par leur amélioration. J’ai hâte !

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.