L’AERES adopte un nouveau référentiel d’évaluation des établissements

La loi « relative à l’Enseignement Supérieure et à la Recherche » du 22 juillet 2013 a réformé l’actuelle Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur (AÉRES), à laquelle doit succéder prochainement le « Haut Conseil de l’Évaluation de la Recherche et de l’Enseignement Supérieur » (HCERES, moins simple à prononcer). En attendant que cette mesure soit effective, l’Etat a donné mandat à l’AERES pour poursuivre ses activités : l’agence vient notamment de publier une nouvelle version de son « référentiel d’évaluation externe » des établissements.

[embedplusvideo height= »360″ width= »640″ editlink= »http://bit.ly/1jpgayl » standard= »http://www.youtube.com/v/AhOjn5LuYAE?fs=1″ vars= »ytid=AhOjn5LuYAE&width=640&height=360&start=&stop=&rs=w&hd=0&autoplay=0&react=1&chapters=&notes= » id= »ep1704″ /]

Ci-dessus, la carte de vœux 2014 de l’AERES : évocateur …

Comme vous le savez sans doute, l’AERES est organisée en 3 sections :
– la section 1 : chargée d’évaluer les établissements
– la section 2 : chargée d’évaluer les unités de recherche
– la section 3 : chargée d’évaluer les formations

Organigramme de l’AERES – 30 septembre 2013 – Le document complet est accessible ici – Source : site de l’AERES

Depuis plusieurs années, l’AERES propose aux experts de la section « établissements » un « guide de l’évaluation », revu et corrigé régulièrement donc voici plusieurs versions successives, sur les 6 dernières années :

– le guide de la vague A, pour la campagne 2009-2010 – 41 pages
– le guide de la vague B, pour la campagne 2010-2011 – 41 pages
– le guide de la vague C, pour la campagne 2011-2012 – 46 pages
– le guide de la vague D, pour la campagne 2012-2013 – 48 pages
– le guide de la vague E, pour la campagne 2013-2014 – 16 pages
– le nouveau guide de la vague A, publié en janvier 2014, pour la campagne 2014-2015 – 16 pages

Dans cet article, je souhaite étudier de manière quelque peu « macro » l’évolution de ce document afin de voir en quoi sa trajectoire est éventuellement instructive quant aux transformations vécues par l’agence. Ces évolutions sont naturelles car l’AERES se doit de mettre en œuvre sa propre démarche d’amélioration continue et fait en conséquence évoluer les outils qu’elle utilise.

Vous aurez remarqué que dans la liste des guides proposée ci-dessus, j’ai précisé leur nombre de pages : si on prend cette donnée comme un « indicateur naïf », on peut distinguer trois phases relatives aux volumes de ces documents :
– deux premières années de stabilité
– deux années de hausse
– les deux années les plus récentes, avec une chute vertigineuse du nombre de pages

Je me suis proposé de considérer d’abord l’indicateur « nombre de pages » comme révélateur de la « granulométrie » ou de la densité des éléments communiqués aux experts de la section « établissements », quant à la manière dont ils doivent mener leurs missions. Lors de plusieurs missions pour le compte de l’AERES, certains experts étrangers m’avaient fait part de leur étonnement quant au grain « très fin » avec lequel il était demandé aux experts de procéder à l’évaluation de l’établissement.

En Europe, un cadre général pour l’évaluation des activités de Recherche et d’Enseignement Supérieur est fourni par les ESG : les European Standards and Guidelines for Quality Assurance in the European Higher Education Area. Sur ce sujet, je vous invite d’ailleurs à lire cet article de Taina Saarinen (2009) : « Brève histoire de la qualité dans la politique européenne de l’enseignement supérieur : analyse des discours sur la qualité et de leurs conséquences sur les changements de politique ».

Mais revenons au document qui nous intéresse : initialement intitulé « guide de l’évaluation », le voici renommé depuis janvier 2013 en « référentiel de l’évaluation externe ». S’agit-il d’un simple glissement sémantique, ou ce changement d’intitulé fait-il sens avec d’autres évolutions de ce document et, in fine, avec celles vécues par l’AERES ?

Pour en juger, je vous propose de comparer :

– le guide de la vague D de 2012-2013

– le guide de la vague A de 2014-2015

Vous noterez que je saute délibérément la vague E : je souhaite en effet laisser « un peu d’amplitude » afin d’avoir une analyse qui permette d’intégrer les éventuelles modifications intervenues suite à la mise en place de la loi de juillet 2013 introduisant le HCERES, ainsi que les débats préliminaires.

Voici donc quelques éléments de comparaison :

– le titre : comme je l’ai écrit, le document passe d’un « guide de l’évaluation » à un « référentiel de l’évaluation externe »

– le nombre de pages : de 48 à 16, soit une fonte de 67% !

– le « chapitrage » : le guide de la vague D proposait une analyse en 9  thématiques (formation, recherche, vie étudiante, gouvernance, relations avec le CHU, communication …), là où le nouveau référentiel de la nouvelle vague A comporte 6 « domaines » dont les titres sont évocateurs, par exemple :

• « la recherche et la formation », alors que ces deux sujets étaient précédemment séparés. Un comble s’agissant de l’évaluation d’une université dont l’une des spécificités est précisément le lien « formation – recherche » au sens de von Humboldt … Le colloque annuel de l’AERES, en novembre 2013, portait justement sur ce thème : il est donc parfaitement logique de regrouper, au moins dans l’intitulé, recherche et formation. Un champ est d’ailleurs exclusivement dédié à la qualité du lien formation – recherche.

• plutôt que de « vie étudiante », il s’agit désormais de la « réussite des étudiants » : là encore, voici une présentation davantage pertinente car elle place la thématique de la « vie étudiante » au service de la réussite des étudiants. C’est certes un parti pris, mais il correspond à une manière vertueuse de considérer les choses

• le regroupement de la « valorisation et la culture scientifique », instructif également

• …

Je pourrais détailler encore davantage, mais cette réorganisation est déjà intéressante en soi et porte un message.

– la réorganisation précédemment décrite du « chapitrage » ne suffit pas à expliquer comment le document a pu fondre autant : la réponse se situe à l’intérieur des chapitres, sur le fond. Les « Domaines » nouvellement constitués présentent désormais des « Champs », déclinés ensuite en « Références ». Or, cette nouvelle présentation conduit à adopter une lecture plus « méso » (voire macro) que « micro », au sens où la lecture ainsi suggérée de la situation de l’établissement est désormais moins fine et moins prescriptive. Pour s’en convaincre, prenons le cas de la partie « vie étudiante » du guide de la vague D : elle suggérait par exemple de considérer les « BVE, BDE et responsabilités dévolues aux étudiants dans le cadre du BVE et/ou BDE« , ce qui en soit constituait un critère orienté puisqu’il sous-tendait qu’une université devrait, a priori comporter un BVE (Bureau de la Vie Etudiante). Alors qu’en réalité, un BVE n’est qu’une forme parmi d’autres de soutien à la vie étudiante. Il en est de même pour « l’existence d’une charte ou d’un label des associations et de conventions avec les associations« , ce type d’outil n’étant pas l’alpha et l’omega d’une politique d’établissement de vie étudiante …

A la place de ce type d’analyse, le nouveau référentiel est bien plus synthétique et ouvert : la vie étudiante est un unique champ muni d’une unique référence : « l’établissement soutient le développement de la vie étudiante, et les étudiants sont actifs dans la vie de l’établissement« , muni de 5 critères d’appréciation ne présupposant pas l’adoption d’un dispositif plutôt que d’autres.

Ce faisant, le nouveau référentiel proposé par l’AERES est « moins prescriptif » et évite de normer par des indicateurs trop précis : il laisse ainsi davantage d’espace pour la notion de « qualité » ainsi que pour l’expression de l’expertise des comités d’évaluation.

– enfin, il convient de relever que si l’AERES demandait aux établissements de fournir un document excel comportant des indicateurs parfois compliqués à acquérir et à compléter (dont la pertinence était par ailleurs discutable, ce qui est toujours le cas pour les indicateurs …), l’agence a désormais fait le choix de considérablement réduire ses demandes en la matière : elle se fonde désormais sur les données dont dispose le Ministère de la Recherche et de l’Enseignement Supérieur, par exemple via le portail PAPESR. En complément, les établissements sont invités à fournir les indicateurs qu’ils ont eux-mêmes élaborés et suivis, ce qui est bien plus responsabilisant et procède d’une invitation au déploiement de politiques « qualité » propres aux établissements

L’évolution sur les deux dernières années des outils et de la méthodologie employés par l’AERES est donc non seulement manifeste, mais également pertinente au sens où :

– elle réduit considérablement le travail qui doit être fourni par l’établissement en amont de la visite, ce qui faisait d’ailleurs l’objet de critiques récurrentes

– elle offre davantage d’espace tant à l’expression de la démarche qualité propre à l’établissement (politique interne) qu’à « l’expertise des experts » dans le cadre de l’évaluation externe fournie par l’AERES

Cette évolution montre donc bien que l’agence s’inscrit dans un processus d’amélioration continue, tenant compte des remarques de celles et ceux pour lesquels les évaluation de l’AERES sont prioritairement établies : les établissements eux-mêmes. Un fait que le rapport « Pumain-Dardel » de préfiguration du HCERES souhaite d’ailleurs réaffirmer, à juste titre d’ailleurs : car si l’AERES a souvent été critiquée en raison des « notes » qu’elle attribuait aux formations et (surtout) aux unités de recherche, il convient de rappeler qu’elle n’est en rien responsable de l’usage qui en était fait par les décideurs : que ce soit l’Etat (dans le cadre du Programme des Investissements d’Avenir, ou encore Bercy qui souhaitait disposer de critères de hiérarchisation des unités de recherche) ou les universités dans le cadre de leur autonomie.

Enfin, l’analyse de l’évolution de ce « guide de l’évaluation » traduit bien les changements à l’œuvre pour l’AERES et, plus largement, pour les politiques publiques d’évaluation de la Recherche et de l’Enseignement Supérieur : inciter davantage les établissements à se doter de leurs propres démarches, rentrer dans une logique d’évaluation moins « fine » pour davantage tenir compte de la diversité, de la différenciation d’établissements qui revendiquent leur autonomie.

NB : je vous invite à voir ou à revoir les vidéos du colloque 2013 de l’AERES sur le lien « formation – recherche », ici.