Docs en stock : dans les coulisses de la démocratie universitaire

Quelle est la validité des chiffres de la rentrée universitaire ?

Le dossier de presse de la rentrée étudiante vient d’être publié et il est toujours plus conséquent chaque année (il fait 80 pages, contre 19 en 2014). Truffé de chiffres, certains attirent l’attention (voir par exemple « Une balle dans son pied de Ministre » sur Histoires d’universités). Mais nous allons ici nous intéresser aux chiffres clés des effectifs étudiants, qui présentent l’amusante particularité d’être factices (au sens littéral).

[edit] Suite à un commentaire, la provenance des chiffes a été clarifiée dans le billet.

Comment sont calculés les chiffres clés de la rentrée ?

On remarque facilement que les chiffres annoncés sont ronds, à l’exception de celui du nombre de bacheliers. La raison en est simple : il s’agit en réalité d’hypothèses de continuité, c’est-à-dire d’estimations. En effet, il est encore trop tôt pour faire le décompte des inscriptions, qui peuvent courir jusqu’à novembre.

Nous ne disposons donc que des propositions d’affectation, alors le SIES applique des corrections sur des projections, un peu comme les instituts de sondage corrigent leurs valeurs brutes. Comme pour les sondages, il faut donc ensuite les comparer à la réalité pour mesurer leur validité.

Les chiffres clés affichés sont de deux natures : les valeurs absolues des effectifs, et les évolutions de ces valeurs. Certaines peuvent prêter à confusion, par exemple les effectifs en classe préparatoire sont annoncés de 86.900 en augmentation de 0,5% par rapport à l’an dernier, date à laquelle ils étaient annoncés à 88.700. Une hausse est donc indiquée là où on pourrait y voir une baisse. Qu’en est-il de la validité de ces deux séries, valeurs absolues et évolutions ?

Validité des hypothèses de valeurs absolues

Remontons sur 5 ans. Les hypothèses sont issues des dossiers de presse de rentrée 20132014, 2015, 2016, 2017 et 2018. Les chiffres réels sont issus des Repères et Statistiques 2018 de la DEPP. On peut ainsi comparer les deux séries de valeurs absolues (attention, l’échelle est logarithmique) :

Cette comparaison entre les hypothèses au moment de la rentrée et la réalité constatée par le SIES montre des erreurs d’évaluation allant de 0,1% à 5%. On peut donc dire qu’elles sont relativement fiables, au moins pour jauger des grandes répartitions. 

Mais est-ce suffisant lorsqu’il s’agit de faire des évaluations fines, notamment lorsqu’on en vient à évaluer les évolutions de chacun de ces effectifs ?

Validité des hypothèses d’évolution

En appliquant exactement la même méthodologie aux évolutions affichées dans le dossier le presse, le résultat est tout autre :

Cette comparaison entre les hypothèses au moment de la rentrée et la réalité constatée par le SIES montre des erreurs d’évaluation allant de 4% à 27571% (les pourcentages de pourcentages peuvent vitre chiffrer). Les hypothèses justes relèvent ainsi plus de la chance que d’une norme. 

En réalité, si les hypothèses de valeurs absolues sont fiables, elles ne le sont pas suffisamment pour calculer des évolutions elles aussi fiables. Il faut d’ailleurs noter que plusieurs hypothèses d’évolution ne sont pas données dans les dossiers de presse, ce qui témoigne que le ministère est conscient du défaut de fiabilité de ces chiffres.

Conclusion

Les hypothèses d’effectifs annoncées dans les dossiers de presse de rentrée du ministère sont relativement fiables tant qu’on s’en tient aux valeurs absolues pour évaluer les grandes répartitions. En revanche, les hypothèses d’évolution s’avèrent quasi-systématiquement sans rapport avec la réalité constatée par le SIES et la DEPP a posteriori. Ces évolutions ne devraient tout simplement pas être affichées dans ces dossiers de presse, et à défaut ne devraient pas être considérées par le lecteur.

Be Sociable, Share!

Commentaires (2)

  1. moi

    Bonjour,
    quelques corrections à apporter :
    C’est bien le même service statistique qui établit les données des projections présents dans le dossier de presse et dans le RERS, la SIES (sous direction des systèmes d’information et des études statistiques du MESRI). Le RERS est une co-production DEPP/SIES.
    Ces projections ont toujours été présentes dans le dossier de presse de la conférence rentrée, et même si elles ne sont pas les plus justes, on reprocherait à un ministère de pas pouvoir fournir des chiffres de la rentrée en cours, mais seulement des constats de l’année précédente. Heureusement, peu de monde fait l’exercice que vous avez fait. Faire des projections est un exercice d’équilibriste, il n’y a qu’à regarder l’historique des notes d’information sur les projections dans le supérieur pourtant réalisés sur plus de données.
    Bref, au 20 septembre, il est difficile d’estimer les effectifs de la rentrée qui est encore en cours. Pour la plupart des établissements, leurs effectifs de l’année remontent en prenant en compte les données au 15 janvier (qui ne prennent pas en compte les inscriptions administratives plus tardives, qui existent pourtant parfois en nombre non négligeable). Les premières vraies estimations pour l’année en cours sont possibles via une enquête intermédiaire réalisée par la SIES sur le constat des nouvelles inscriptions au 20 octobre. Une note flash avec ces données sera publiée le 22 novembre (cf calendrier http://www.enseignementsup-recherche.gouv.fr/cid88080/calendrier-2018-des-publications-statistiques-du-sies-2eme-quadrimestre.html)
    L’exercice est plus simple à l’éducation nationale, où la scolarité est obligatoire entre 6 et 16 ans et la rentrée début septembre.

    Répondre
    1. Julien Gossa (Auteur de l'article)

      Bonjour,

      Et merci énormément pour toutes ces précisions : ce type d’information est quasiment impossible à trouver juste en fouillant les documents en ligne.

      Je vais intégrer le fait que ces chiffres proviennent des mêmes services, et en profite pour observer que je n’ai jamais remis en cause la nécessité de publier des chiffres (tout au contraire), mais que lorsqu’il est impossible de fournir des chiffres fiables, mieux vaut à mon sens s’abstenir ou à minima l’indiquer très clairement.

      Avec hâte de voir votre note flash, et en vous remerciant très sincèrement pour l’incroyable boulot abattu par tous ces services.

      Répondre

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

This site uses Akismet to reduce spam. Learn how your comment data is processed.