Classement des business schools, effet Matthieu et big data
Tout le monde connait l’effet Matthieu au moins dans ses effets. Rappelons-nous : l’effet Mathieu a été mis en évidence par Robert Merton en 1968, quand il a observé que les travaux des scientifiques prestigieux sont mieux reconnus que ceux de chercheurs moins connus même s’il s’agit de travaux similaires.
Comme il est dit dans l’évangile selon Saint Matthieu (Matthieu 13 :10-17) : « On donnera à celui qui a et il sera dans l’abondance, mais celui qui n’a pas, on lui ôtera même ce qu’il a. ». Ce que dit autrement le dicton populaire : « On ne prête qu’aux riches … » ou encore l « L’argent va à l’argent ».
L’effet Matthieu dans les Business Schools
Or, il apparaît de plus en plus que cet effet Matthieu fonctionne à plein dans les classements des business schools, avec trois déclinaisons :
1/ L’ « effet de halo » : ce que font les écoles les mieux classées est toujours mieux perçu, ainsi, une innovation portée par une école bien classée est appréciée comme plus crédible, instaurant un effet leader et un effet suiveurs qui « collent » au classement,
2/ L’ « auto-prophétie » : le classement jouant à plein dans le choix des étudiants et des prescripteurs (professeurs de lycée, de classe prépa, familles ..). Il y a un effet auto-prophétique qui renchérit les effets de classements : les meilleurs élèves vont dans les meilleures écoles, et les meilleures écoles attirent les meilleurs élèves … et ainsi de suite
3/ L’effet leader (ou « the winner takes it all ») : toute publicité déclenchée et donc financée par une école moins classée va être automatiquement attribuée à une école mieux classée.
Bref, on ne prête qu’aux écoles bien classées et on ôte à celles qui sont en bas de tableau. C’est bien l’effet Matthieu.
Il est très difficile de sortir de cet effet Matthieu, surtout à un moment où les écoles de haut de tableau, pour des raisons de survie-développement (je ne reviens pas sur les mutations des business models) font jouer à plein leur marque et leur réputation pour attirer un nombre toujours plus grand d’étudiants.
A tel point que j’ai entendu des directeurs d’écoles mal classées dire (en plaisantant … quoique …) que leurs écoles devraient toucher un pourcentage pour l’intégration d’un étudiant dans une école mieux classée … En effet, leurs allocations de ressources retournent en partie aux leaders.
L’inertie des classements depuis des décennies démontre l’existence de cet effet Matthieu car si quelques écoles ont fait leur chemin c’est en jouant avec les mêmes critères que les têtes de peloton, et non pas en « disruptant ». Celles qui s’y sont risqué l’ont payé fort cher (sûrement aussi pour cause de mauvaise stratégie).
Le rôle structurant des classements médiatiques
Loin de moi l’idée de rejeter les classements. Les étudiants, leurs familles en ont besoin pour comprendre un peu mieux ce monde si complexe de l’ESR en management. Les années passant, ces classements ont, dans leur ensemble, progressé en finesse d’analyse, en vérification des preuves, en pertinence des critères, donnant ainsi une image à la fois plus précise et plus équitable de l’ensemble de l’offre.
Mais il y a encore beaucoup de pratiques qui servent l’effet Matthieu : je pense au classement recherche Educpros qui privilégie le nombre de rang 1, certes plus faciles à comptabiliser mais qui occulte des publications certes moins classées mais qui tissent une recherche pouvant être abondante, de qualité, correspondant certainement à la demande des milieux économiques, et soutenant parfaitement la pédagogie. On peut aussi regarder des critères comme : les mentions au bac, le nombre de séjours à l’étranger, les accréditations …qui mettent les écoles dans des corridors pour ressembler toujours plus et mieux aux leaders…
« Si tu as un bâton, on te donnera un bâton, si tu n’as pas de bâton, on te le prendra. » écrivait Christine Rochefort. Étrange sentence qui sonne assez bien quand on regarde les fameux rankings.
A l’heure où nous observons de grandes mutations dans le monde sous la triple impulsion désormais classique de la globalisation, de la digitalisation et de la responsabilité, ne pourrions-nous pas nous dire que la façon de classer est profondément ringarde et qu’il faudrait rebattre les cartes ? Ou disrupter ?
Disrupter ?
Il n’y a pas de fatalité, juste la volonté de regarder les choses autrement. C’est ce qui a été fait pour les classements des lycées, qui, malgré leurs imperfections (qu’on ne manquera pas de me faire valoir) ont su marquer un véritable infléchissement. Que s’est-il passé ?
Les classements ont choisi de ne plus évaluer la performance les lycées en se focalisant uniquement sur la réussite au baccalauréat, qui non seulement alimentait cet effet Matthieu, mais donnait lieu à de mauvaises pratiques comme le renvoi d’élèves avant le Bac afin de ne pas plomber les statistiques.
Poussés par le Ministère, les « classeurs » (i.e.les media qui classent) ont identifié le « lycée accompagnant », c’est-à-dire le lycée qui mène ses élèves à la réussite, quelle que soit leur origine, leur niveau de départ, le prestige du lieu d’implantation … en évaluant du coup la « valeur ajoutée » de l’établissement.
Les classeurs des écoles de management pourraient s’inspirer de cette vision qui rebattrait les cartes et estomperait l’effet Mathieu.
Ce serait d’autant plus pertinent que beaucoup de « grandes écoles » de management ont une sélectivité qui a beaucoup évolué. Les causes en sont : 1/ la hausse significative des effectifs de leurs promotions, ce qui implique nécessairement une baisse de la sélectivité, et 2/ une sélection qui a de moins en moins à voir avec les concours avec la multiplication des voies d’admissions. Ces deux stratégies induisent une population étudiante de plus en plus diverse, ou de moins en moins homogène, selon.
Dessine-moi une busines school accompagnante
J’entends déjà dire que toutes les écoles sont accompagnantes et que, si elles ne l’étaient pas, elles n’auraient pas les taux d’insertion que nous savons, ni la satisfaction mainte fois mesurée de leurs alumni.
Mais je persiste néanmoins dans mon raisonnement. Est-ce que ne serait pas une vision plus en phase avec l’air du temps que l’addition des accréditations, de publications, du nombre de partenaires accrédités etc etc … ? Que pourrait être une « école accompagnante » ? Quels critères permettraient de le vérifier ?
Une école accompagnante est une école qui hisse vers la diplomation et surtout vers une insertion professionnelle ambitieuse et en adéquation avec leur projet TOUS ses étudiants, quel que soit leur niveau de départ. En cela les écoles de bas de tableau font un travail méritoire. Pour enseigner depuis de nombreuses années à l’Université et en Business Schools, il est toujours plus facile d’avoir de bons résultats avec des élèves déjà performants à l’arrivée.
L’idéal serait de pouvoir mesurer à année équivalente les connaissances dans telle ou telle discipline : comme le TOEFL ou le TOEIC permettent de mesurer un niveau d’anglais « hors les murs », pour voir effectivement où sont les meilleurs scores. On découvrirait peut-être que les élèves d’une école de rang 18 ou 20 ont de meilleurs scores qu’une école de rang 4 ou 5 en marketing ou en contrôle de gestion !
Un autre idéal serait un score à l’entrée et un score à la sortie pour mesurer les progressions. Cela permettrait aussi de valider des innovations pédagogiques en comparant ce qui est comparable, et faire ainsi de véritables liens entre le résultat et le processus pour l’atteindre. Ce qui n’est pas le cas actuellement où les « innovations pédagogiques » ne sont jamais mesurées en double aveugle.
On pourrait alors parler de VALEUR AJOUTÉE des écoles pour leurs étudiants.
L’arrivée des big data
Sur quels critères cette valeur ajoutée pourrait-elle être indicée ? Je formule quelques pistes :
1/ L’écart entre l’attendu et le réalisé
Il faut pour cela calculer les scores attendus pour une école donnée en fonction du profil des étudiants intégrés, scores pour des tests globaux de connaissances mais aussi en lien avec les compétences attendues dans le monde du travail.
Cette possibilité de suivre un parcours d’étudiant sur la longueur de son parcours de formation, et donc d’avoir des projections sur sa réussite est maintenant tout à fait possible avec les big data. On peut maintenant construire à partir de profils, des projections de parcours. Nous ne sommes donc dans la science-fiction, mais bien à l’aube de nouvelles modalités d’évaluation de la performance d’une institution d’enseignement Des universités américaines s’y sont mises comme celles de l’University Innovation Alliance.
2/ Créer des scores indépendants dans de nombreuses matières : il serait très intéressant d’avoir des scores sur des outils communs sur des disciplines autres que l’anglais pour qualifier le niveau d’un candidat en dehors de l’évaluation propre de son institution d’origine. Là encore, des dispositifs sont à l’œuvre avec la possibilité d’administrer les tests de façon massive et non falsifiable comme de concaténer les résultats de façon globale, toujours grâce à l’Intelligence Artificielle.
3/ Se pencher sur les ratios d’encadrement dans des services clés comme évidemment les Relations Internationales ou les services carrières, tous ces départements qui demandent une interaction humaine forte pour véritablement assurer leur fonction. Analyser les durées effectives de scolarité qui peuvent être un proxy de la capacité à véritablement s’adapter au rythme d’apprentissage de l’étudiant/apprenant.
4/ De façon plus qualitative, regarder la réalité des mises à niveau pour les publics « diversifiés » : y a-t-il de véritables sessions de formations? Quand se situent-elles ? Avec qui ? Ou a-t-on seulement recours à du e learning, à charge pour le-la candidate de se mettre à niveau ?
5/ Regarder les frais « additifs » qui sont générés par des séjours à l’étranger ou des années de césure, et qui sont supportés par les parents, en plus de frais de scolarité annoncés, afin d’avoir un coût réel de la scolarité.
6/ Calculer pour les étudiants le ROI de leur scolarité, c’est-à-dire l’amortissement de leurs frais d’étude vs leur carrière à 5 ou 10 ans. On est incapable de dire à quel moment la valeur de la personne l’emporte sur l’effet diplôme ou si l’effet réseau perdure et peut compenser les relatives incompétences d’un alumni. Là encore des suivis dans la durée des alumni tels que le permettent les données massives objectiveront la réalité de la valeur d’une école.
Beaucoup d’autres pistes sont à explorer pour répondre à cette préoccupation de tout un chacun de la véritable valeur ajoutée d’une institution d’enseignement pour ses étudiants.
Il est urgent d’en mobiliser quelques-uns dès à présent dès à présent pour estomper l’effet Matthieu, à condition de le vouloir bien sûr. Mais les avantages peuvent être importants.
Une fable ou à faire ?
Les big data peuvent nous aider à réfléchir à d’autres projets d’écoles sans les condamner à sortir du jeu. Il faut pour cela que les classements soient capables de casser les corridors dans lesquels, plusieurs fois par an, les écoles s’essoufflent pour garder leur place en connaissant par avance l’ordre d’arrivée.
Cet infléchissement, même s’il est difficile à mettre en place répondrait indéniablement aux nouvelles attentes de toutes les parties prenantes de la société :
1/ Etre effectivement dans la RSESR : Responsabilité Sociétale de l’Enseignement Supérieur et de la Recherche, avec un véritable impact sur l’environnement socio-économique,
2/ répondre aux attentes de personnalisation des cursus des étudiants,
3/ innover au service d’un projet et non pas pour faire valoir de l’innovation, sans aller jusqu’au bout de son apport,
4/ pousser les équipes enseignants et administratives à une contribution globale au service de l’étudiant avec une objectivation des résultats.
L’enjeu est de trouver de nouvelles modalités d’évaluation de ce qui est si important et si immatériel : la formation dans l’enseignement supérieur pour nos étudiants et apprenants. Il est aussi de sortir de l’effet Mathieu en permettant à des écoles moins bien classées de démontrer leur valeur ajoutée en empruntant des chemins différents des leaders.
Cette réflexion permet aussi de revenir à la parabole de l’évangile d’où vient l’effet Matthieu et qui, d’après les exégètes n’est pas un cours d’économie mais bien l’idée de pousser chaque homme et chaque femme à faire grandir ses talents, et à avancer dans la vie avec confiance. N’est-ce pas là la véritable mission d’une Ecole de Management ?
Si vous avez aimé ce billet, partagez-le 🙂