Commenter des résultats d’enquête, des données statistiques est un exercice difficile. Je m’y exerce, par profession, depuis 45 ans ; je ne suis pourtant pas sans reproche dans certains de mes commentaires. La Toile de l’Education, dans son dernier numéro, me qualifie de “donneur de leçons”. Expression péjorative, mais qui est, pour moi, une “qualité” et non un ”défaut”. Pourquoi un blogueur, professeur des universités, se priverait-il, dans un champ d’activités qu’il connaît bien, d’analyser, d’argumenter et de proposer (chronique “Insertion. Exiger un moratoire“) ?
Dans le “palmarès” des commentaires erronés des données statistiques de la 1ère enquête nationale sur le devenir professionnel des diplômés de master, Valérie Pécresse s’est hissée dans le peloton de tête (chronique “Insertion. Non et non, Valérie !“). Des présidents d’université sont également de bons compétiteurs. Mon collègue sociologue, Francis Godard, président de l’UMLV, a, par exemple, “fait très fort” : “l’université a d’excellents taux d’insertion en master” ; je lui laisse le soin de qualifier tel un taux de chômage moyen des diplômés de master de 14,6% dans son université, 18 mois après l’obtention de leur diplôme (chronique : “les masters de Marne-la-Vallée“).
La CPU a pris position, en milieu de semaine, sur les résultats de cette première enquête nationale (Dossier d’EducPros, mais encore aucun communiqué sur le site de la CPU). Pas contente la Conférence des présidents ! Mais que dit un de ses vice-présidents à EducPros, Jacques Fontanille ?
“Nous avons travaillé sur le principe d’une enquête d’insertion destinée à évaluer la performance globale du système universitaire français”. “Evaluer la performance globale”. Vrai. La référence, tout à fait officielle pour cette évaluation, ne peut être que l’indicateur de performance inscrit dans les lois de finances 2010 et 2011″ : 86% de cadres et de professions intermédiaires chez les diplômés de master, trois ans après l’obtention de leur diplôme” (chronique : ”Performance : 86%“)… Jacques Fontanille poursuit : “de ce côté-là, le résultat est bon”. Vrai ou faux : impossible de le savoir. Aucune donnée sur le taux de cadres et de professions intermédiaires (PI) sur le site du ministère : cliquer ici. La seule référence à ce taux figure dans un tableau de l’interviewe de Valérie Pécresse au Figaro : 79,7% de cadres (quid des PI ?). Je commentais : ”impossible que la proportion de cadres ait progressé de près de 19 points en 3 ans. Le taux de 79,7% ne correspond d’ailleurs en rien aux taux publiés par 10 observatoires pour la même enquête”.
“Nous sommes bien sûrs favorables à une enquête de ce type, afin d’en faire un véritable outil de stratégie pour chaque établissement”. Vrai. “Ce n’était pas l’objectif de faire des différences entre établissements ni de les classer”. Faux. L’enquête DGESIP visait effectivement à produire des données détaillées pour chaque université, pour chaque master ; elle s’ancrait dans la perspective d’un financement partiel des universités selon leur performance, même si cet objectif a été finalement abandonné au cours de la négociation et sur demande de la CPU. Pouvoir établir des différences rigoureuses entre établissements est bien l’originalité de l’enquête DGESIP : une enquête exhaustive sur les diplômés en formation initiale, de nationalité française, n’ayant pas poursuivi ou repris des études dans les deux années qui ont suivi l’obtention du Master (note de méthodologie). L’enquête DGESIP se différencie donc de l’enquête Génération du CEREQ, enquête par échantillon, suffisante pour mesurer la performance globale du système mais incapable de fournir des données fines de pilotage à chaque université.
Jacques Fontanille : “à 30 mois, toutes les universités se ressemblent. D’autant que les trois quarts des universités ont moins de 5% d’écart, donc si l’on imagine une marge d’erreur statistique de seulement 5%, cela n’a déjà plus de sens”. Faux. Il y a là une confusion entre l’enquête par échantillon et l’enquête portant sur une population exhaustive. Une enquête auprès d’une telle population établit des chiffres précis. Si 10 diplômés du master ”X” sur un master qui comporte 100 diplômés répondent qu’ils sont au chômage, le taux de chômage est de 10% et non de 10% à 5% près !
Mais Jacques Fontanille évoque, implicitement, un autre problème : celui du taux de réponses à l’enquête DGESIP : 64% en moyenne avec des écarts très importants d’une université à l’autre, les universités ayant obtenu un taux de réponses inférieur à 30% ayant même été éliminées du champ de l’enquête. Quand les taux de réponses sont importants, il existe une procédure classique de “redressement” statistique des réponses basée sur la comparaison de quelques caractéristiques connues des répondants et des non-répondants (sexe, type de bac, filière de formation…) ; sur ces caractéristiques, en quoi les non-répondants ressemblent-ils ou non aux répondants ? La note de méthodologie précise ainsi : “les données publiées sont basées sur les effectifs corrigés de la non réponse“.
Cette phrase n’est pas claire du tout. Mais j’arrive ici au seuil de mon incompétence et je souhaite que des statisticiens, y compris bien sûr ceux de la DGESIP, prennent le relais pour clarifier le débat. Mes questions sont les suivantes. 1. Pourquoi est-ce le seuil de 30% de réponses qui a été choisi pour éliminer certaines universités ? 2. La procédure de correction des réponses en fonction des caractéristiques des répondants et des non-répondants tient-elle scientifiquement la route quand les taux de réponses sont inférieurs à 80%, 60%, 30% ? 3. Quelles sont les caractéristiques des répondants et des non-répondants qui ont été retenues pour faire la correction ? 4. Les statisticiens de la DGESIP avaient certes à leur disposition ces caractéristiques (fichiers SISE), mais ont-ils fait le travail pharaonique et fastidieux au niveau de chaque mention ou de chaque spécialité de master (il y a plusieurs milliers de spécialités de master habilitées) ? La CPU et Resosup ne sont-elles pas en droit d’exiger ces clarifications ?