PISA : un pis-aller ?

Oui, je sais, elle n’est pas très bonne. J’avais pensé également à « Le PISA nouveau est arrivé ! ». Le Beaujolais nouveau a en effet ceci de commun avec le rapport PISA 2009 d’être un événement mondial sur lequel plein de gens ont un avis. Mais avec le Beaujolais au moins, ceux qui en parlent l’ont goûté. Je ne suis pas sûr que ce soit le cas avec le PISA, une vaste enquête de l’OCDE sur les « acquis scolaires » des élèves âgés 15 ans dans 75 pays (les 34 membres de l’OCDE et 41 autres). Il faut dire que cette étude énorme, qui intègre à chaque édition (tous les trois ans) un nombre croissant de pays (avec désormais des données régionales — on parle beaucoup des résultats spectaculaires de la ville de Shanghai, qui écrase le reste du monde dans toutes les matières) et un nombre croissant de thèmes traités, atteint aujourd’hui plus de 1200 pages (1209 pour les cinq volumes parus en décembre, un 6ème est attendu en juin 2011).

Bien sûr, il y a une synthèse par volume et une synthèse des synthèses, mais c’est là que le bât blesse. La sophistication des méthodes, le souci des biais statistiques, l’invention d’outils permettant de mesurer des choses de plus en plus nombreuses, tout cela est impressionnant. On était même rassuré, aux débuts du programme du moins (1), de voir que les tâtonnements inductifs ont joué un grand rôle dans l’élaboration et l’évolution du système d’enquête : ce devrait être un gage de modestie et de bon sens. Mais de cela, il ne reste rien dans les synthèses 2009 : plus les résultats devraient inciter à la prudence, à expliciter les partis pris, la fragilité du lien entre les données et leur interprétation, plus les synthèses sont péremptoires, pour ne pas dire arrogantes, sous l’apparence feutrée et prudente du langage expertocratique : voici des faits indiscutables, des préconisations incontournables. Hélas, les commentaires dans la presse en rajoutent le plus souvent dans la simplification dogmatique des synthèses de l’OCDE.

La maladie de l’évaluation atteint ici le stade terminal, l’information devient l’outil de la méconnaissance, pis, du refus de savoir. Pas d’idée, juste votre rang ! C’est d’autant plus préoccupant que l’écho médiatique du PISA est à la mesure l’impact croissant des classements internationaux en tout genre sur l’action des gouvernants. Leur devise semble être aujourd’hui : le monde est trop compliqué pour être transformé, il s’agit seulement de s’y classer (appelons ça la 11ème thèse sur la réforme(2)). Améliorer la transmission des savoirs, ouvrir les jeunes à la culture, les préparer à la vie d’adultes ? Trop compliqué ! Plutôt que d’avoir une politique éducative, forcément complexe, forcément disputée, contentons-nous de grimper dans le classement au PISA. On pourrait croire que les études comme PISA améliorent la rationalité de l’action publique, mais elles ne font que la décerveler. Les experts de l’OCDE, enivrés de l’influence qu’ils ont acquise à la faveur de cette mode du benchmarking, ne peuvent plus s’arrêter. De trois ans en trois ans, PISA élève ses prétentions toujours plus haut, recommande à tout va, avec une certitude de plus en plus inébranlable : puisque les chiffres vous le disent ! Alors que les concepteurs de PISA avouaient pratiquement qu’ils ne savaient pas ce qu’ils mesuraient, ni un niveau scolaire, ni un potentiel académique, ni des compétences transdisciplinaires, ni des capacités concrètes (« dans les situations de la vie réelle »), mais une sorte de mélange de tout cela, le progrès bureaucratique a transformé l’imprécision en certitude universelle, non seulement sur les acquis scolaires, mais aussi sur la réduction des inégalités sociales, la motivation des élèves, la qualité des professeurs, et l’âge du proviseur.

C’est dommage, car le PISA recèle une mine d’informations : l’augmentation du pourcentage d’élèves en grande difficulté en France mais aussi celui des élèves au dessus de la moyenne ; le tassement des différences entre les systèmes scolaires massifiés depuis longtemps, de plus en plus agglomérés autour de la moyenne et la montée spectaculaire des performances des pays dont la massification scolaire est plus récente, en particulier en Asie ; l’accentuation du « gender gap », c’est-à-dire de la supériorité des filles sur les garçons en compréhension de l’écrit et en moyenne générale (mais pas en mathématiques), phénomène universel. Je tâcherai d’y revenir, quand j’aurai tout lu (je ne ferai pas semblant que c’est le cas).

Mais pire que les évaluateurs, il y a ceux qui les écoutent, et qui sont incapables de faire la différence entre les vraies découvertes, les truismes (« Dans tous les pays, les élèves qui prennent plaisir le plus à lire devancent largement ce qui prennent le moins »… sans commentaire), les extravagances, et les énoncés tellement abstraits et décontextualisés qu’ils sont dépourvus de sens, comme : « Les systèmes d’éducation les plus performants accordent une plus grande autonomie individuelle aux établissements dans l’élaboration des programmes et des politiques d’évaluation, sans toutefois permettre nécessairement la concurrence des établissements dans le même bassin scolaire. ».

La phrase rituelle « Même si les critères des enquêteurs de l’OCDE sont contestables » (ou ceux du classement de Shanghai, ou ceux du jury de Miss monde, etc.) a la vertu magique de faire semblant de soulever le problème et de n’en tenir aucun compte. Le tour est joué, le classement a remplacé la pensée. (3)

Encore un fois, je ne conteste pas l’utilité de l’enquête elle-même (du moins les parties I à III, car la partie IV, sur les politiques qui font les écoles de la réussite, est surtout un mélange de préjugés, de tautologies projectives, et de banalité indécidables). C’est sa présentation par l’OCDE et sa réception médiatique qui sont dangereuses.

Il y aurait encore beaucoup à dire sur ce qu’il y a dans les rapports PISA, mais je veux aussi parler de ce qui n’y est pas, et dont tout l’art des auteurs est de nous faire oublier que ça n’y est pas : ainsi les contenus d’enseignement. Voici un PISA qui aborde longuement le plaisir de lire (voir la perle citée plus haut), les différences de lectures entre les filles et les garçons, etc., mais où la nature de ces lectures n’apparaît nulle part : s’agit-il de L’Équipe ou de Shakespeare ? Rien non plus sur le contenu de l’enseignement, ce qui est transmis, car le dada de l’OCDE, c’est le management, les structures de commandement. Quand un patron ne sait pas quoi faire, il centralise ou il décentralise, il autonomise les « unités de base », ou il crée des « contrôles transversaux », blablabla. Ces considérations sur les structures pourraient avoir un peu de sens si elles étaient contextualisées, c’est-à-dire rapportées à l’histoire et à la culture du pays, à l’esprit des lois. On pourrait ainsi distinguer entre l’autonomie authentique et celle du petit chef caporalisé, du « patron » de supérette qui n’a que le pouvoir de sadiser ses caissières et de subir la tutelle de la maison mère. Bref, la « décentralisation » au profit des chefs d’établissement peut être tout et son contraire et ce que raconte le rapport à ce sujet du vent de la bouche (qui souffle cependant dans une direction déterminée : plus de décentralisation).

Autre éléphant blanc du PISA, la question des temporalités de l’apprentissage. Que veulent dire les notion de compétences, de capacités, de résolution de problème « à 15 ans ». Il ne faut pas confondre ce qu’un adolescent sait faire et ce qu’il saura faire : l’apprentissage est un processus étendu dans le temps. Dans beaucoup de disciplines, on peut aller plus vite au début mais caler plus tard, pour avoir court-circuité certaines bases. Il y a des apprentissages « inutiles » sur le moment mais qui deviennent très utiles en différé, de façon parfois prévisible (faire des gammes pour jouer Liszt proprement), parfois inattendue (faire du latin m’a permis d’apprendre plus facilement l’anglais et l’italien). La technique principale de l’enquête consistant à mesurer des compétences de résolution de problème « dans la vie réelle » répond à des contraintes (de comparabilité entre des pays et des systèmes scolaires très différents) et n’est certainement pas dénuée de pertinence, mais elle entraîne des biais dont celui-ci : il y a un droit à l’enfance, encore en vigueur à 15 ans, droit d’être autre chose qu’un adulte en miniature, et l’un des aspects de ce droit, c’est celui de ne pas être forcément capable de résoudre des problèmes de la vie réelle car on a autre chose à apprendre et à rêver, et que c’est l’inutile et le rêve dans l’enfance qui préparent les talents les plus opérationnels plus tard. Je ne reproche pas à PISA de laisser échapper cette dimension humaine, on ne saurait tout mesurer, une coupe instantanée est par définition aveugle sur la durée. Je lui reproche d’ôter au lecteur jusqu’au sens que ces choses, qui sont le tissu de la vie humaine, existent, et, a fortiori, ont la moindre importance pour les politiques de l’éducation.

Classer n’est pas comparer. Comparer est difficile, mais utile, classer facile et trompeur. Il est temps d’en finir avec la maladie de l’évaluation, de reconnaître avec lucidité que ce que nous apprenons dans ce genre d’études vaut bien moins que ce que nous perdons de vue à cause d’elles. L’évaluation repose plus souvent sur le principe aveugle : « qui veut noyer son chien l’accuse de la rage » (ou son homologue positif « tout confirme l’analyse du précédent comité central ») que sur le principe : « voyons ce qu’il en est ». Les politiques qui ont soif d’évaluation, de scientométrie et autres « outils » me font penser à ces banquiers qui ont cru grâce aux nouveaux produits financiers (titrisation, etc.) pouvoir faire leur métier en se passant de ce qui en est le cœur : l’appréciation du risque réel des entreprises réelles. On sait ce qu’il en advint.


(1) Voir le remarquable article de Nathalie Bulle, « L’imaginaire réformateur. PISA et les politiques de l’école », Le Débat, n° 159, mars-avril 2010.

(2) Les CSP bac + 12 de plus 50 ans auront reconnu un pastiche de la 11ème thèse sur Feuerbach de Marx (« jusqu’à présent, les philosophes n’ont fait qu’interpréter le monde, il s’agit maintenant de la transformer »).

(3) La phrase citée, une version parmi cent autres de cette clause stéréotypée, est d’Eric Zemmour, phénix du bas clergé médiatique, officiant dans le cas au Figaro Magazine. Il est savoureux de le voir tirer du classement médiocre de la France par PISA des conclusions exactement inverses de celles d’un autre clerc médiatique, celui-là évêque consacré de l’expertise pédagogique, Gérard Courtois, militant au journal Le Monde. Pour le premier, c’est la fin de l’école républicaine qui est coupable, le laxisme égalitariste, pour l’autre c’est au contraire, l’école républicaine, la sélection élitiste. Chacun projette ses certitudes. Un « expert » chacun le sait, c’est quelqu’un qui a un avsi et docn n’a pas besoin d’en changer. Les commentaires les plus sensés sont à ma connaissance ceux de Natacha Polony dans Le Figaro.

Be Sociable, Share!

Article du on vendredi, décembre 17th, 2010 at 18:13 dans la rubrique Non classé. Pour suivre les flux RSS de cet article : RSS 2.0 feed. Vous pouvez laisser un commentaire , ou un trackback sur votre propre site.

3 commentaires “PISA : un pis-aller ?”

  1. Thibaud Paul dit:

    Très bien, mais ça met en appétit plus que ça ne rassasie. On atend pour la suite des exemples du fonctionnement de la machine à évaluer, de ce qu’elle ignore et de ce qu’elle produit comme préjugé.

  2. Philippe PERROT dit:

    Bonjour,

    Je ne suis pas sûr que les administrateurs de l’OCDE ont « découverts » les pouvoirs du benchmarking sur les politiques publiques. On peut démontrer sans gros problèmes que les tests PISA sont des politiques publiques qui visent à modifier les systèmes éducatifs mondiaux dans un sens très précis. La méthode est celle de la course de concurrence : on choisi un critère qui traduit l’idéologie dominante (qui existe, n’en déplaise à Luc Boltanski et à la nébuleuse constructiviste : il s’agit de l’évolutionnisme culturel Hayek/Popper) tout en le présentant comme neutre et consensuel. C’est comme cela qu’on obtient le merveilleux « mathematical literacy » par exemple. Ce critère est à l’origine d’un classement dans lequel tout gain de place par le classé implique une modification du système éducatif dans le sens du critère de classement. En l’occurrence, il s’agit d’une déspécialisation, le rôle dévolu aux systèmes éducatifs publics nationaux étant celui d’une pré-formation et non d’une formation. De là les 15 ans et le « socle de connaissance ». Plus précisément, un marché du travail fluide nécessite de multiples reconversions dans la carrière. Or, dans l’économie de la connaissance, ces reconversions impliquent des formations. Il faut donc que les jeunes adultes aient reçus un formation générique susceptible de fournir le background de ces formations « tout au long de la vie ».

    Je prépare actuellement une thèse de sociologie très influencée par vos travaux, ainsi que ceux de Dumont et Lahire. Je peux apporter une démonstration bien plus complète. Contactez-moi par l’e-mail si vous êtes intéressé. Cordialement.

  3. Philippe PERROT dit:

    « Plutôt que d’avoir une politique éducative, forcément complexe, forcément disputée, contentons-nous de grimper dans le classement au PISA. » Pourquoi choisir ? De fort éléments de preuves plaident en effet pour concevoir PISA comme un politique éducative basée sur le principe de la progression dans un classement.
    Le point clef est : qu’évalue PISA en réalité ? Malgré les signes de bonne volonté, le critère ne paraît absolument pas consensuel. Cela n’était pas très visible dans la première session, en 2000. Évaluer la « literacy » dans le domaine de la lecture et de l’écriture, quoi de plus normal ? Par contre, évaluer la « literacy » dans le domaine des mathématiques et des sciences, voilà qui est infiniment plus douteux. De quels consensus relèvent la « mathematical literacy » et la « scientifical literacy » des évaluations 2003 et 2006 ? Comment un consensus peut-il outrepasser ce que le bon sens incline à considérer comme des oxymorons ?
    En fait, tout s’éclaire si on considère que PISA n’est pas une évaluation, mais un instrument de politique publique. C’est ce qu’on peut lire directement au détour d’une phraséologie politiquement correcte (cad qui nie une quelconque subordination par une instance supérieure) : « Elle [l’évaluation PISA] entend encourager dans l’enseignement et l’apprentissage des mathématiques la généralisation d’une approche […] ». Apprendre aujourd’hui, réussir demain. Premiers résultats de PISA 2003, p. 40).
    Comment s’opère cette généralisation ? Par une intégration par course de concurrence. Il s’agit de classer, et surtout de rendre saillant le classement, par rapport à un critère présenté comme neutre mais qui reflète en réalité les objectifs de la politique publique. Ainsi, toute amélioration dans le classement par les Etats implique des politiques publiques « locales » dans le sens du critère de classement. En France, on peut voir le « Socle commun des connaissances et des compétence » (avant 16 ans) comme un effort – non dénué de motifs proprement nationaux – pour adapter le système éducatif à PISA.
    A la question : « quel sont les objectifs de la politique publique ? », il est sans doute difficile de répondre sans être taxé cryptocratisme aigu (ce qui, je ne me fais pas d’illusions, a peut-être déjà été fait. Pas grave : je me console en relisant les cris d’offraie de Popper lisant les descriptions manifestement intemporelles de l’Etat Français par Hegel). Je me contenterais donc d’une remarque. La citoyenneté mathématique et scientifique (c’est la traduction de « x literacy ») vont dans le sens d’une dé-spécialisation et d’une dé-technicisation des enseignements. Or, par ailleurs, l’OCDE insiste sur le rôle des « nouvelles technologies » dans la croissance mondiale. Si on admet l’argument précédent, ça revient donc à dire que l’OCDE veut sortir l’école de l’économie. Cela paraît bizarre tant l’« education economic education growth black box », scellée au début des années 60 à l’ONU dans le cadre de la première planification éducative mondiale, semble fermement installée. Serait-on donc fondé à considérer qu’il y a ici quelque chose comme « des plans dans les plans » ?

Laisser un commentaire