Docs en stock : dans les coulisses de la démocratie universitaire

Docs en stock : dans les coulisses de la démocratie universitaire

McKinsey : un demi-million de copier-coller

13 janvier 2023ESR-en-fusion

En mars 2022, Libération révélait que le ministère de l’Éducation Nationale, sous l’égide de Jean-Michel Blanquer, avait commandé au cabinet de consultation américain McKinsey une mission « sur l’évolution du métier d’enseignant ». Facturée 496 800 euros, elle préparait un colloque qui n’a jamais eu lieu. Après des mois d’acharnement, Marc Rees (L’informé, ex-NextInpact), a réussi a obtenir une partie des documents de cette mission. On y découvre une présentation powerpoint vantant les mérites de la prime au mérite pour les enseignants sur 66 planches, s’appuyant sur des sources orientées présentées sans aucun recul critique. Au final, toute la démonstration repose en réalité sur un unique graphique. Problème : ce graphique est un copier-coller de l’OCDE, et sa présentation et son interprétation sont manipulatoires.

L’ampleur des révélations sur l’utilisation des cabinets conseil par le gouvernement d’Emmanuel Macron est telle qu’elle a conduit le Sénat à monter une commission d’enquête intitulée « Un phénomène tentaculaire : l’influence croissante des cabinets de conseil sur les politiques publiques ». Concernant le rapport commandé pour l’Éducation Nationale, le moins que l’on puisse dire est que les explications de Karim Tadjeddine (cadre de McKinsey, ex-haut fonctionnaire et Macroniste de la première heure) n’ont pas été très convaincantes.

Un des documents dont il s’agit est intitulé « Approfondissement – Valorisation du mérite des professeurs », estampillé « Direction interministérielle de la transformation publique – libérer l’énergie publique », et sans aucune mention de McKinsey. Rassurant, ce document indique que « Il ne s’agit pas à ce stade de propositions de réforme » (p.4), ce dont on ne peut que se réjouir de la part d’un cabinet conseil américain.

Des sources orientées, reprises sans critique ni recul

Le dossier semble contenir très peu, sinon aucune, information originale. Pour former ses propositions, McKinsey s’appuie par exemple sur un rapport annuel édité par Payscale, entreprise qui commercialise une solution de gestion de l’indemnitaire, rapport qui se limite – Ô surprise – aux questions indemnitaires. Seul cet angle sera ensuite abordé, excluant toute autre façon de valoriser un métier.

La source la plus citée par le dossier (par près de 15% des pages) est le rapport « Teacher Incentive Pay that works » par le Barbara Mitchell Centre for Improvement in Education, filiale de l’Institut Fraser. Ce think tank conservateur et libertarien milite notamment pour la privatisation de l’enseignement public. Il est massivement financé par la famille Koch, pétro-milliardaire américain militant activement contre la taxation des plus riches et proche de l’alt-right, s’illustrant par ses positions climato-négationnistes. Il faut s’inquiéter que, par ce type de circuit, des idéologies et intérêts industriels privés américains puissent perfuser au cœur des politiques éducatives publiques françaises.

Ces sources sont le plus souvent reprises sans critique ni recul et à grand renfort de chiffres, donnant ainsi l’apparence de vérités scientifiques objectives à des opinions et intérêts particuliers. Néanmoins, elles convainquent les rapporteurs de promouvoir les primes au mérite pour les enseignants. Les mauvais esprits avancent que cette promotion était une commande du ministère, à laquelle le cabinet conseil ne faisait que répondre, quitte à manipuler les informations disponibles pour donner un fond de rationalité à l’idéologie du gouvernement.

Jean-Michel Blanquer appliquait d’ailleurs les recommandations du dossier, deux ans avant de l’avoir commandé.

Les primes au mérite pour les enseignants : une démonstration trompeuse

Après avoir expliqué que leur faible rémunération était une « Opportunité dans le système éducatif français de
proposer une récompense financière aux professeurs » (p. 36), la preuve de l’efficacité des primes au mérite dans l’éducation repose presque entièrement sur la planche suivante :

Elle indique explicitement que « L’impact d’une prime au mérite sur les résultats des élèves est positif lorsque les salaires des professeurs sont relativement bas », et ajoute que « En France le contexte est favorable à la mise en place d’une rémunération liée au mérite […] pouvant engendrer une amélioration des résultats des élèves ».

La première erreur est grossière, et si elle n’est pas volontaire alors elle témoigne d’une totale absence de culture scientifique des rédacteurs : la confusion entre corrélation et causalité. Quand bien même les systèmes où existent des primes au mérite sont aussi les système où les performances sont les meilleures (corrélation), cela ne prouverait en rien que les primes conduisent à de meilleures performances (causalité). Il peut par exemple exister d’autres facteurs (comme la considération du métier par les pouvoirs publics), qui conduisent à la fois à la performance et aux primes. Il peut également n’y avoir strictement aucun lien de causalité entre les deux facteurs (voir par exemple ce générateur de relations absurdes).

Contrairement à ce qu’ont fait les rédacteurs, on doit d’ailleurs s’interroger sur la logique qui sous-tendrait la partie droite du graphique : « Dans un contexte d’une rémunération de base relativement élevée la rémunération au mérite est associée à une baisse des résultats des élèves » (sic).

Ce graphique est en réalité un des nombreux copier-collers depuis l’OCDE que l’on trouve dans le dossier. Il provient du rapport « Does Performance-Based Pay Improve Teaching? » datant de 2012.

On observera qu’aux droites de ce graphique, les rédacteurs de McKinsey ont décidé d’ajouter de petites variations, peut-être dans un souci esthétique qui trancherait avec le style des autres graphiques du dossier, peut-être pour donner un aspect plus réaliste aux courbes, et masquer qu’il s’agit en réalité de régressions linéaires.

[édit] On remarque ensuite que la France est située par l’OCDE au dessus de 105 sur l’axe horizontal représentant les salaires, c’est-à-dire tout proche du point de bascule qui inverse la conclusion. McKinsey a préféré placer la France en dessous de 90, loin de ce point de bascule, sans doute en utilisant des données plus récentes, mais probablement sans recalculer les droites de régression.

C’est là la deuxième erreur grossière, ou manipulation, des rédacteurs : les régressions peuvent facilement être trompeuses en fonction des caractéristiques des données sous-jacentes (voir cette vulgarisation de xkcd). Les données étant disponibles par un simple clic, il a fallu quelques minutes à @_MickelM_ sur Twitter pour effectuer des régressions linéaires :

On y constate que ces régressions linéaires seraient indigne du travail d’un étudiant de première année : les deux facteurs, rémunération au mérite et performance des élèves, n’ont en réalité même pas de corrélation (les R² sont extrêmement faibles : 0,0007 avec rémunération, et 0,09 sans rémunération si on ignore l’outlier évident). Y trouver une causalité est donc, à fortiori, une triste manipulation.

En première approche, une lecture sincère de ces données ne peut être que : « il n’y a pas de corrélation entre rémunération au mérite et performance des élèves ». Mais @LHomme_Qui_Rit, toujours sur Twitter, montre une autre chose intéressante :

Ce qu’on constate sur ce graphique, c’est qu’il n’existe en réalité pas d’exemple de prime au mérite parmi les systèmes qui rémunèrent le mieux leurs enseignants. Si on ne regarde que les systèmes qui se détachent par leurs performances (>510), on constate que 3 sur 4 ne pratiquent pas les primes au mérite. Cela pourrait conduire à une conclusion radicalement inverse à celle que McKinsey fournit au gouvernement : « Les systèmes les plus performants n’emploient pas nécessairement de prime au mérite pour les enseignants ».

Conclusion

Pour près d’un demi-million d’euros, soit l’équivalent de 12 années de doctorat ou d’un gros projet ANR, McKinsey a fournit un document à la Direction interministérielle de la transformation publique qui s’appuie notamment sur les travaux d’un think tank libertarien proche de l’alt-right et qui milite ouvertement pour la privatisation de l’enseignement public. Parmi les très nombreux copier-collers depuis l’OCDE, le graphique sur lequel s’appuie la preuve d’efficacité des primes au mérite pour les enseignants fait l’objet d’une interprétation manipulatoire, pouvant être vérifiée en quelques minutes simplement en discutant sur Twitter.

En réalité, les données sous-jacente au graphique permettent soit de ne rien conclure quant à l’efficacité de ces primes au mérite, soit au contraire de conclure que les primes au mérites ne sont pas nécessairement utilisées par les systèmes éducatifs les plus performants, ce qui est l’exact inverse des préconisation des auteurs du documents.

Pensant notamment au RIPEC et au RIFSEEP, les primes au mérite sont actuellement déployées dans l’enseignement supérieur, sans aucune preuve d’efficacité à ma connaissance. Malgré un demi-million d’euros de dépense, la Direction interministérielle de la transformation publique aura échoué à faire apporter cette preuve par le cabinet conseil américain McKinsey.

Avec d’immenses remerciements aux discutants sur Twitter.

Notes sur le rapport OCDE

Les notes techniques du rapport indiquent l’utilisation de techniques de régression bien plus avancées que de simples régressions linéaires. Sans étude plus approfondie, on ne peut tout à fait conclure que l’erreur d’interprétation commise par McKinsey provient directement d’une erreur d’interprétation de l’OCDE. Les conclusions du rapport OCDE sont d’ailleurs on ne peut plus prudentes :

« L’essentiel : la rémunération basée sur la performance mérite d’être envisagée dans certains contextes ; mais le faire fonctionner correctement et durablement est un formidable défi. Les niveaux de rémunération ne peuvent être partie intégrante de l’environnement de travail : les pays qui ont réussi à faire de l’enseignement un profession attrayante l’ont souvent fait non seulement par le salaire, mais en augmentant le statut de l’enseignement, offrant de réelles perspectives de carrière et responsabilisant les enseignants en tant que professionnels et leaders de la réforme, ce qui nécessite une formation des enseignants qui les enseignants à devenir des innovateurs et des chercheurs en éducation, pas seulement civile serviteurs qui dispensent les programmes d’études. »

Quoi qu’il en soit, aucune confusion n’aurait été possible si McKinsey avait adopté une politique d’ouverture des données et donné précisément sa méthodologie.

Quelques liens

Quand McKinsey et l’OCDE oublient les données brutes et extrapolent sur la base d’un modèle peu convaincant

 

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.