Catégories
Pierre Dubois

A chacun ses indicateurs d’EX ?

Au cours de la première quinzaine de juillet, j’ai interviewé d’une part Guy-René Perrin, délégué général de l’IDEX de Strasbourg (chronique “Mesurer l’impact des IDEX“), d’autre part Bernadette Madeuf, présidente de l’université Paris Ouest Nanterre La Défense (site), et Bernard Laks, vice-président en charge du conseil scientifique. Strasbourg est l’une des trois IDEX lauréates du premier concours. Paris Ouest n’a pas été candidate mais le sera pour le deuxième appel à projets. Une partie de la discussion a porté sur l’excellence, ses critères, ses indicateurs. Comment Strasbourg a-t-elle mis en scène ses champs d’excellence ? Comment Paris Ouest va-t-elle s’y prendre ? Un document m’est remis à Nanterre : “L’excellence en chiffres : les PRES et Paris Ouest. Note sur l’exercice et les données statistiques“.

Trois références sont en théorie possibles pour évaluer l’excellence d’un établissement, sa recherche, son enseignement. 1. Référence à un classement : cet établissement figure parmi les meilleurs ; la question est alors celle des champs d’excellence retenus, de leur hiérarchisation ; qui fixe les critères et les indicateurs ? 2. Référence à une norme : est excellent celui qui est bien au-delà de la norme ; la question est alors : ”quelle est cette norme et qui la fixe” ? 3. Référence à l’histoire : est excellent l’établissement qui a fait des progrès importants par rapport à la dernière évaluation.

Les initiatives d’excellence (IDEX) procèdent de la première approche. Le jury doit identifier les meilleurs projets portés par des établissements associés. Appel à projets IDEX 2011 (date limite de soumission : 20 septembre 2011). Les pages 11 à 14 du texte indiquent les critères d’évaluation applicables pour la présélection et la sélection : “cohérence et ambition du projet, excellence universitaire (qualité du projet scientifique, de la politique et des processus de formation), impact du projet sur le tissu économique, évolution de la gouvernance en relation avec le projet, crédibilité de la capacité de mise en oeuvre”.

Comment un établissement peut-il prouver qu’il est excellent ou que son projet est excellent sur chacun de ces critères ? Avant de revenir sur cette question clé, il est intéressant d’entendre Jean-Marc Rapp, président du jury international pour les IDEX (son CV sur EducPros) : 2 minutes 34 de vidéo en date du 4 juillet 2001 sur la webTV du MESR. Jean-Marc Rapp mentionne 12 critères d’évaluation. Il s’étonne presque que les notes attribuées par le jury pour chacun de ces critères (A, B..) aient fait l’objet d’une unanimité des membres du jury. Il mentionne un défi : prendre en compte la qualité de l’existant et la qualité des “promesses” inscrites dans le projet. Il estime “absolument remarquables” les 3 projets d’IDEX retenus dans la première phase, au terme d’une procédure “transparente, juste et efficace”. Il termine en indiquant que d’autres projets devraient avoir toutes leurs chances lors du 2ème appel à projets. Il n’emploie pas les mots “responsabilité” et “courage”. Et pourtant il en faut : peut-on dormir la nuit quand on engage plus d’un milliard d’euros de capital pour un établissement et quand on sait qu’il faudra se limiter à 5 à 7 projets (chronique : “Deux IDEX en Ile-de-France : absurdités“)..  

Comment l’université de Strasbourg, dans le document IDEXPar delà les frontières, l’Université de Strasbourg“, a-t-elle mis en scène son excellence passée, présente et future ? Lors de la présélection des IDEX, le projet alsacien avait obtenu 7 notes A et 5 notes B sur les 12 critères d’excellence que le jury international a pris en compte. Le projet modifié et qui a convaincu le jury fait référence à des classements internationaux et nationaux, i.e. à des jugements extérieurs basés sur des critères quantifiés. Chacun connaît ou peut deviner les problèmes de ces classements : nombre de critères, pondération entre les critères, critères quantitatifs ou qualitatifs, sources déclaratives ou prouvées par des données objectives, indépendance des évaluateurs (absence de conflits d’intérêts)… Le problème est qu’il n’existe de classements que pour la recherche. Pas de classements des universités pour la performance de leurs formations (taux de succès au diplôme, insertion professionnelle, toutes choses étant égales par ailleurs…).

Des références à des classements figurent à plusieurs reprises dans le document IDEX de Strasbourg. Je n’ai pas connaissance d’une version française du projet. “University of Strasbourg is, together with its partners [CNRS, INSERM], the first French university outside Paris in the 2010 Shanghaï ranking and the first university in terms of its overall impact factor” (page 3). “With 2.400 full-time lecturers and researchers, University of Strasbourg is the first institution in France for the impact factor of its scientific publications (OST, 2010). This exceptional qualitative edge is also seen in the STRATER document, which shows that our site is highly efficient in scientifc output when compared with other candidates for the IDEX, which have significantly higher numbers of AA+ researchers” (page 8 et page 19).

“The University benefits from the second largest site of the CNRS outside the Paris area” (page 12). “Its first fundraising campaign has gathered more than 7,9 M€, which has ranked first in university fundations performance in France“ (page 13). “Our university also has a strong commitment to technology and knowledge transfer ; e.g. it ranks second nationally in lifelong learning” (page 19). “Second French institution (and first university) outside the Paris area in the SQ world university ranking 2010. It also ranks in the worlwide top 200 in Natural Sciences, Arts and Humanities, Life Sciences and Medicine” (page 25). “”4th French institution in the number of CNRS medals (all disciplines) and members of the Institut universitaire de France” (page 25). “With 20% of our students coming from all around the world, Strasbourg is the first university in France in terms of the proportion of foreign PhD students” (page 27)…

L’exercice fait par Paris Ouest est tout autre et est tout à fait intéressant. Son point de départ (document EducPros sur les 17 PRES porteurs de projets IDEX) : “le classement des PRES dépend essentiellement de leur taille… Il nous semble que ces données quantitatives doivent être au moins pondérées par la taille“. L’exercice est possible pour le critère de taille ; il ne l’est pas encore pour une pondération par discipline. L’innovation portée par Paris Ouest est de tenter de calculer un ratio “chercheurs A et A+ [par l’AERES] / total des chercheurs, pour parvenir à 3 ratios d’efficience : enseignants recrutés à l’Institut universitaire de France / chercheurs AA+, docteurs / chercheurs AA+, nombre de médailles / chercheurs AA+. Données pour Paris Ouest : 485 chercheurs AA+, 20 IUF, 224 docteurs, 5 médailles CNRS.

Paris Ouest reconnaît bien évidemment les limites de cet exercice ambitieux, mais le document indique une direction pertinente pour de futurs classements. Les résultats de cet exercice : “L’efficience des PRES n’est pas, bien au contraire, en relation directe avec leur taille… Les performances de Paris Ouest sont étonnantes et parlent d’elles-mêmes“. Effectivement. L’ex Paris 10 Nanterre, qui n’est pas PRESsée, se classe, pour les 3 ratios définis ci-dessus, en … 1ère position devant les 19 PRES. Sorbonne universités se classe en 2ème position, Strasbourg en 3ème, le PRES HESAM en 4ème.

Ma première réaction a été de rejeter l’exercice nanterrois. Exercice pro domo aboutissant à s’attribuer la 1ère place en France. Pas sérieux ! Exercice dérisoire voire risible ? A chacun ses critères et ses indicateurs d’excellence ? Avec plus de recul, je reconnais que Paris Ouest met en avant un principe scientifique de bon sens : il ne faut comparer que ce qui est comparable ; la performance doit se mesurer à potentiel “enseignants-chercheurs” et “chercheurs” équivalent.

Néanmoin, ne calculer les 3 ratios d’efficience qu’après avoir éliminé le potentiel humain non AA+ est contestable. Cela pourrait induire une stratégie d’établissement fort fâcheuse : demander aux AA+ (qui ne sont ni IUF, ni médaillés, ni producteurs de docteurs) de ne plus publier afin de restreindre encore plus la population prise en compte au dénominateur des ratios. A suivre : le séminaire de rentrée de la CPU portera sur les classements d’université (chronique : “Laurent 1er et les présidents“).

Be Sociable, Share!