Docs en stock : dans les coulisses de la démocratie universitaire

vadémécum

Vadémécum « évaluations confinées »

La question de l’évaluation est centrale dans les cursus étudiants et dans la vie d’une université. Le confinement déstabilise les enseignements, mais rend également caduques les modalités d’évaluation des connaissances, et donc de validation des modules, unités d’enseignement (UE) et diplômes.

Ce document est le résultat d’un travail collectif initial entre étudiant·e·s et enseignant·e·s de l’Université de Strasbourg.

Une enquête a été menée auprès des étudiant·e·s en sociologie de l’Université de Grenoble (La continuité pédagogique, vraiment ?, Pierre Merckle, 26 mars 2020), qui conclut de la façon suivante :

« En tout état de cause, les résultats de ce sondage plaideraient plutôt en faveur des conclusions suivantes :
– Seulement une très faible minorité des étudiant·e·s de sociologie de l’UGA se déclare pour l’instant en situation de suivre correctement des cours à distance.
– Dans ces conditions, instaurer des cours à distance, dont les évaluations, participerait à la validation du second semestre et provoquerait une profonde rupture de l’équité entre les étudiant·e·s.
– La seule mesure générale qu’il est possible de préconiser au vu de ces résultats est la validation de l’ensemble des enseignements dont les modalités de contrôle n’avaient pas été satisfaites à la date de la fermeture de l’université, ou reposeraient sur des connaissances qui devraient être acquises après cette date.
– La traduction la plus simple possible de cette mesure générale consisterait à valider le second semestre pour l’ensemble des étudiant·e·s ayant validé des UE de premier semestre, de façon à permettre à ces étudiant·e·s de poursuivre normalement leurs études sans “perdre” un semestre ou un an. »

Cependant, les situations sont extrêmement variables, et ces constats ne peuvent s’appliquer partout. Ils indiquent cependant que ces situations existent.

Principes généraux

Des principes généraux peuvent être énoncés, par exemple :

  • « Toute difficulté sera appréciée au bénéfice des étudiant·e·s. »
  • « Le contrôle de l’assiduité est suspendu pendant les périodes d’enseignement à distance. »

Cependant, ces principes ne permettent pas de décider des mesures d’évaluation concrètes, et face au confinement, aucune solution n’est parfaite.  n’aborde d’ailleurs même pas cette question. C’est pourquoi nous avons réalisé ce document qui rend compte de notre réflexion collégiale. Il a pour ambition d’identifier plusieurs modalités concrètes d’évaluation confinées et de discuter de leurs avantages et inconvénients. 

Autres documents :

Qui est le mieux en mesure de décider ?

En théorie, les présidences et CFVU devraient prendre les décisions sur ces modalités d’évaluations confinées, ou au moins indiquer une liste priorisée de modalités acceptées dans l’établissement. En pratique, ces instances décisionnaires peuvent limiter l’exercice de leurs responsabilité au contrôle et attendre que les composantes et équipes pédagogiques fassent remonter leurs demandes, et même entrer en négociation. De ce processus de décision, les étudiant·e·s sont au mieux consultés, au pire exclu.e.s.

La question doit être posée : qui est le mieux en mesure de décider ? Plusieurs obstacles empêchent les enseignants de prendre cette décision, notamment l’inévitable dégradation du lien pédagogique. Il leur est encore plus impossible que d’habitude de connaître pleinement la situation de tou·te·s leurs étudiant·e·s. Dès lors, il faut se demander si les étudiant·e·s ne seraient pas en meilleure position que les enseignant·e·s pour décider de leurs propres modalités d’évaluation. En fonction des circonstances, le choix pourrait leur être donné parmi un ensemble de modalités validées par l’équipe pédagogique, soit individuellement, soit collectivement si c’est envisageable. Les enseignants auraient alors un rôle de supervision du choix des étudiant·e·s pour eux·elles mêmes.

Amélioration continue du document et collecte de témoignage

Pour enrichir ce document, nous souhaitons collecter :

  • les observations et proposition de modifications ;
  • des témoignages concrets d’étudiant·e·s et enseignant·e·s.

Pour participer à cette action, vous pouvez renseigner l’enquête suivante :
https://framaforms.org/enquete-sur-les-evaluations-confinees-1585741433

Mesures d’évaluations confinées

Pause et reprise en janvier 2021

Description

Mettre en pause tous les enseignement et les reprendre en janvier 2021, en recommençant le semestre qui avait été entamé.

Avantages

  • Pas de stress pour les enseignant·e·s qui bricolent actuellement des cours à distance.
  • Pas de stress dû aux évaluations pour les étudiant·e·s qui se retrouvent à être évalué·e·s sur des contenus qu’ils et elles n’ont vu qu’à moitié.
  • Pas de sacrifice du filage pédagogique des UE : comment un·e étudiant·e ayant validé un cours x fait de manière bancale à distance peut suivre un cours demandant pour pré-requis le contenu du cours x ?
  • Gain de temps pour anticiper : personne ne sait actuellement quand est-ce qu’on sortira de ce confinement.

Inconvénients

  • Cela fait “perdre” un an aux étudiant·e·s, donc potentiellement augmentation du stress (mais est-ce vraiment du temps de perdu ? Est-ce qu’en passant en année supérieure sans avoir le contenu pédagogique des UE il ne risque pas d’être en échec et “perdre” des années à redoubler par la suite ?).
  • Cela double les effectifs de L1 en 2021 si la même décision n’est pas appliquée au lycée (mais nous aurions quelques mois pour exceptionnellement mettre plus d’enseignant·e·s en semestre 2).
  • Les enseignant·e·s et enseignant·e·s-chercheur·e·s auraient principalement leur service d’enseignement au second semestre.

Semestre blanc (neutralisation)

Description

Le semestre est déclaré blanc quelle que soit la « continuité pédagogique » effectuée. Aucune note n’est attribuée.

Avantages

  • Pas de stress pour les enseignant·e·s qui bricolent des enseignements à distance et n’en sont pas satisfait·e·s. 
  • Pas de stress pour les étudiant·e·s qui sont ainsi libéré·e·s de cette charge et peuvent se consacrer à autre chose que la préparation de l’examen (plaisir des études, soins, solidarité, emploi…).
  • Libération du temps pour préparer l’année prochaine afin d’accueillir au sein d’une Licence, d’un Master ou autre diplôme les étudiant·e·s à qui il manque ce semestre.
  • L’effort est recentré sur l’enseignement seulement et non les évaluations.

Inconvénients

  • La validation ne repose que sur le semestre 1, donc pas de possibilité de se rattraper au semestre 2 grâce au jeu de la compensation. 
  • Reporte des difficultés à l’année suivante, qui sera donc également anormale. 

Notes plancher

Description

Les évaluations sont maintenues. Une note minimale est automatiquement attribuée (10/20 par exemple ou 12/20). Les étudiant·e·s qui peuvent et veulent participer obtiennent une note égale ou supérieure selon leurs réponses.

Avantages

  • Les étudiant·e·s qui ne peuvent pas participer ont néanmoins une note qui ne les pénalise pas pour la validation de leur UE, module, semestre, diplôme. 
  • Les étudiant·e·s qui veulent avoir un retour sur leur travail et leur progression le peuvent, les autres peuvent souffler ou se consacrer à d’autres activités (solidarité, etc.).
  • Le stress est moindre pour les étudiant·e·s et les enseignant·e·s qui craignent de ne pas pouvoir tout faire (enseigner et évaluer).
  • Conservation du cadre initialement prévu, ce qui rassure.

Inconvénients

  • Validation sans nécessairement un rapport avec l’acquisition des connaissances.
  • Potentiel marqueur négatif des étudiant·e·s pour la suite.
  • Inégalité entre cours, modules, UE, selon que les enseignant·e·s y recourent ou non (laxisme versus sévérité), donc augmentation de la difficulté des jurys.
  • Pas une solution pour les notes supérieures au plancher qui sont nécessaires pour l’obtention de mentions ou de poursuite d’étude. 

Aménagement individuel des évaluations

Description

Les évaluations sont maintenues mais les formes d’exercice demandées essaient de prendre en compte la situation individuelle des étudiant·e·s.

Avantages

  • Conservation du cadre initialement prévu, ce qui rassure.
  • Allègement éventuelle de la charge de travail des étudiant·e·s.
  • Prise en compte des situations au cas par cas, ce qui permet de tenir compte des différences entre matières, entre objectifs, entre rythme de travail et d’acquisition.
  • Maintien d’un but (savoir faire l’exercice) permettant de maintenir un effort de travail orienté vers ce but : demande forte en ce sens de la part des étudiant·e·s.
  • Entretien et confort de ce qui a été vu et appris jusque là.

Inconvénients

  • Augmentation substantielle de la charge de travail des enseignant·e·s. 
  • Nécessité d’un lien entre enseignant·e·s et étudiant·e·s, que la situation a pu casser.
  • Impossibilité de mise en œuvre pour certaines matières ou certains savoir-faire (collecte d’informations, lecture critique, argumentation, rédaction…).
  • Fortes inégalités possibles entre les cours selon les enseignant·e·s. Il est recommandé de le faire collectivement avec l’ensemble des enseignant·e·s d’une filière, UE, diplôme.
  • Importante rupture d’égalité entre les étudiant·e·s.

Diminution de l’envergure de la formation

Description

Plutôt que de vouloir évaluer toutes les matières, comme on ne peut enseigner toutes les matières, on  peut identifier celle pour lesquelles un suivi a pu être assuré et on les évalue.
Le choix ne s’effectue pas en fonction d’une importance intrinsèque d’une matière mais en fonction des types d’apprentissages possibles “à distance” et donc des types d’évaluation possibles.
Le choix des enseignements/évaluation maintenus peut-être pris soit par les équipes pédagogiques, soit par les étudiant·e·s, soit en accord entre équipes pédagogiques et étudiant·e·s, soit par tirage au sort.

Avantages

  • Allègement de la charge de travail des étudiant·e·s et enseignant·e·s.
  • Bien faire quelques matières plutôt que de mal (ou pas) faire tout.
  • Discussion collectivement des critères pour définir non seulement de ce qui est indispensable / dispensable mais aussi ce qu’il est possible / impossible de faire.

Inconvénients

  • Pas de résolution du problème d’accès et inégalité des conditions matérielles, physiques et psychologiques.
  • Nécessité des capacités de délibérations collectives des équipes (temps et charge de travail). 
  • Sentiment d’injustice pour les étudiant·e·s fort·e·s ou à l’aise dans les matières abandonnées ou reportées.

Validation du semestre sur la base des notes du contrôle continu / déjà obtenues. 

Description

Validation du semestre sur la base des notes du contrôle continu déjà obtenues.

Avantages

  • Pas de nouvelles évaluations.
  • Libération du temps pour l’enseignement ou la solidarité plutôt que l’évaluation.

Inconvénients

  • Les notes obtenues à la mi-semestre sont souvent faibles voire très faibles (c’est notamment un moyen de garder mobilisé·e·s les étudiant·e·s en cours de semestres).
  • Fragilité légale : c’est une modification des pondérations des contrôles en cours de semestre sur des notes déjà obtenues. 
  • Limité aux formations qui pratiquent le contrôle continu.

Dette pédagogique

Description

Passage à l’année suivante mais avec une dette pédagogique : les modules non validés devront l’être l’année d’après.

Avantages

  • Diminution de la charge de travail durant la crise.
  • Un accompagnement particulier peut être prévu à la rentrée (en particulier pour les étudiant·e·s les plus fragiles).

Inconvénients

  • Augmentation de la charge de travail après la crise.
  • Limité aux semestres non diplômants.

Auto-évaluation supervisée

Description

Pour surmonter l’impossibilité des enseignant·e·s de connaître avec certitude les conditions de continuité pédagogique de chacun des étudiant·e·s, on peut confier aux étudiant·e·s eux-mêmes la responsabilité de la validation des acquis par l’auto-évaluation supervisée.
Les enseignant·e·s fournissent des tests aux étudiant·e·s et supervisent leur réalisation et leur évaluation. Ensuite, les étudiant·e·s s’attribuent la note qui sera comptée dans leur cursus.

Avantages

  • Mise en pleine responsabilité de chaque étudiant·e face à son parcours.
  • Neutralisation des risques de triche.
  • Maximisation de l’égalité de traitement, même si elle n’est pas parfaite (notamment vis-à-vis des étudiant·e·s n’ayant pas pu suivre les enseignements).
  • Minimisation du risque de recours ou d’injustices. 
  • Réduction du stress induit par la période de crise. 
  • Reprise facilitée en septembre.

Inconvénients

  • Beaucoup de responsabilités pour les étudiant·e·s et baisse du contrôle par les enseignant·e·s.
  • Abaissement du contrôle sur les étudiant·e·s mal intentionné·e·s (mais est-il possible de faire mieux ?).
  • Changement de paradigme profond qui peut ne pas convenir à une part non négligeable des enseignant·e·s et étudiant·e·s, et générer du stress.
  • Difficile à mettre en place dans un groupe qui n’a pas déjà été sensibilisé à cette pratique.
  • Double sollicitation des étudiants (rendre un travail puis l’auto-évaluer) qui suppose un investissement important de leur part et qui augmente aussi les risques de problèmes techniques.

Conclusion

En pratique, une réelle mis en oeuvre sera souvent un mélange subtil de plusieurs modalités pratiques d’évaluation confinée, dès lorsqu’elles restent compatibles.

Cependant, le point commun de toutes ces modalités est qu’elles ne permette pas de garantir pleinement l’égalité de traitement entre tou·te·s les étudiant·e·s. La raison en est simple : cette garantie n’est pas assurable dès lors que des étudiant·e·s sont privé·e·s d’enseignement, pour cause de maladie ou d’accès au numérique, et plus largement de conditions de travail.

Ces problématiques ne sont pas nouvelles, mais seulement mises en lumière et exacerbées par la situation. Ce sont les plus fragiles qui sont les plus fragilisé·e·s par la « continuité pédagogique ». Il convient donc, dès à présent, de préparer des mesures pour compenser cette fragilisation par un renforcement des dispositifs pédagogiques autour des plus fragiles, dès la sortie de crise. 

 

Photo de couverture par Ivan Aleksic sur Unsplash

Parcoursup : petit manuel de tri des candidatures à l’usage des enseignants du supérieur

“L’algorithme local”, c’est toi.

La réforme Parcoursup impose aux enseignants des filières non sélectives de trier les dossiers des bacheliers candidats. Ce tri soulève des inquiétudes légitimes : Quels sont ces mystérieux “algorithmes développés par les établissements” dont parle la Ministre ? La mise en demeure de la CNIL sur APB sera-elle suivie  d’effet ? Combien de temps va prendre l’évaluation des dossiers à la  DSI et aux enseignants ? Les lettres de motivation, pardon les “projets de formation motivés”, seront-ils vraiment lus ? Un coach orientation est-il vraiment indispensable ?

Finalement, la page Admission postbac est-elle réellement définitivement tournée ?

C’est l’occasion de partager l’expérience acquise en IUT, filière sélective, où nous avons l’habitude de traiter un grand nombre de dossiers et surtout de les classer. L’objet de ce billet est de donner quelques astuces pour évaluer les candidatures dans l’objectif de maximiser la réussite des étudiants recrutés.

Il est important de noter que la suite est issue d’une expérience particulière, le DUT, dans une filière particulière, l’informatique. Tout ne saurait revêtir un caractère général.

APB est mort, vive APB ?

APB était constitué d’un algorithme central d’affectation des bacheliers, qui est remplacé par un système interactif dans Parcoursup. Mais APB c’était aussi une interface d’aide à la décision, qui permettaient aux équipes pédagogiques de trier les dossiers de candidatures. Il est peu probable que cette interface soit substantiellement modifiée car c’est une machinerie complexe et qui fonctionnait bien. C’est donc de cette partie là que nous allons discuter.

Si tous les documents officiels ont été effacés du portail principal post-bac, on peut encore trouver un petit manuel technique fourni par l’académie de Nantes qui montre les différentes fonctionnalités de cette interface et comment les utiliser. Les images utilisées ici en sont issues.

Les “algorithmes développés par les établissements” : de simples moyennes pondérées.

Première étape pour classer un millier de dossiers de candidatures : calculer une moyenne pondérée unique, qui permettra de faire un premier tri grossier. C’est indispensable face à un tel volume d’information. Pour ce faire, l’interface permet de déclarer un coefficient pour chaque matière de chaque année. On va par exemple pouvoir mettre toutes les matières à 1, sauf Mathématiques de terminale à 10 et Mathématique de première à 5.

Ce jeu de coefficients peut être défini indépendamment pour chaque filière du bac. Mais on peut également ajouter des bonus/malus en valeur absolue en fonction de la filière, ce afin d’interclasser les dossiers si l’on estime, par exemple, que 11 de moyenne dans telle filière n’est pas équivalent à 11 dans telle autre.

apb1

Pour le premier classement, il est inutile de se lancer dans un système de pondération complexe. Il parait raisonnable d’identifier quelques matières critiques et de leur donner une forte pondération pour toutes les filières générales. Il faudra aussi un jeu de pondération pour les bac techno et pro, qui ont des matières particulières.

À l’issue de la première expérience, il sera possible de chercher des corrélations entre les notes du lycée et les taux de passage/redoublement/abandon pour tenter d’obtenir un jeu de pondération plus précis. Cependant, nous n’y sommes pas arrivés : statistiquement, la seule corrélation solide se limite à la note de Math de terminale, ce que nous avons refusé de faire.

En revanche, le bonus/malus en fonction de la filière est très délicat à fixer. Les différences entre bacs rendent très difficile l’interclassement. Les taux précis de réussite par filière, souvent évoqués, ne disent rien sur les chances de réussite individuelle des candidats. Il faudra donc au début se résoudre à fixer une valeur arbitraire, et la compenser par l’examen individuel du dossier, puis affiner la valeur arbitraire avec l’expérience.

L’examen individuel des dossiers

Une fois la moyenne unique calculée, tous les dossiers se retrouvent triés automatiquement. C’est là que les choses difficiles commencent, car il faut regarder tous les dossiers, un par un, pour :

  • vérifier la moyenne calculée automatiquement : il peut par exemple manquer des notes, ce que le système détecte mais qui nécessite une intervention manuelle ;
  • ajouter des bonus/malus manuels en fonction des pièces jointes (voir plus loin) ;
  • forcer la moyenne à une note arbitraire : 0 pour signifier “à absolument ne pas prendre” (erreur d’orientation), 20 pour “à absolument prendre” (certitude de réussite ou pari, malgré les notes) ou encore une note décidée pour interclasser un dossier qui n’est pas évaluable selon la procédure standard.

apb2

Les bonus/malus manuels sont des points ajoutés ou enlevés à la moyenne unique. De fait, ils vont faire monter/descendre le dossier dans le classement effectué automatiquement. Ces points sont donc inutiles pour les candidatures dont le classement de base implique une certitude dans l’admission ou un refus. Cependant, il faut tout de même les regarder rapidement, surtout les certitude de refus, pour détecter d’éventuels cas particuliers ou erreur de moyenne.

En revanche, les bonus/malus sont fondamentaux pour les dossiers qui sont dans une zone d’incertitude. Cette zone dépend fortement du contexte, et ne peut être connue qu’empiriquement, tout comme le nombre de points maximal à appliquer à la moyenne pondérée brute. Il est donc indispensable d’étudier les recrutements d’une année sur l’autre pour savoir quels sont les dossiers qui doivent être fouillés en profondeur, et combien de points doit représenter le bonus/malus.

Organisation

L’examen individuel des dossiers est une tâche très lourde, impossible sans y associer la totalité de l’équipe pédagogique. Il faut donc fixer un quota de dossiers par enseignant titulaire, et prévoir que quelques enseignants en fassent plus pour rattraper ceux qui en feront moins.

L’interface permet de se connecter avec des identifiants individuels, ce qui permet de savoir qui a étudié quel dossier pour obtenir d’éventuelles précisions. Utiliser un identifiant commun est donc à proscrire. Ceci étant dit, étudier des dossiers à plusieurs est difficile et nécessite un cadrage pour limiter la subjectivité. C’est ce que nous allons voir dans la suite.

Examen des bulletins scolaires

Globalement, les bulletins sont peu utiles. Les appréciations des enseignants sont souvent trop peu unanimes pour en tirer de réelles conclusions. Le même élève va être attentif dans un cours et indiscipliné dans l’autre. “Des progrès formidables en musculation” ne dit pas grand chose sur les chances de réussite dans un parcours en informatique, mais “n’écoute pas en cours” n’en dit pas plus, car on ne sait pas si l’élève devenu étudiant ne se passionnera pas soudainement.

Ceci dit, si l’équipe pédagogique accorde de l’importance à la discipline scolaire, il est possible de définir un bonus/malus en fonction des appréciations de comportement, pour favoriser les élèves studieux ou défavoriser les élèves perturbateurs.

Reste la question qui fâche : faut-il regarder le lycée d’origine (qui est écrit partout) ? La réponse vaudrait un billet complet.

Examen des avis de poursuite d’étude

Consacrés avec la “fiche avenir”, les avis de poursuite d’étude sont notoirement inutiles lorsqu’il s’agit d’évaluer les chances de réussite d’une candidat. Il est tout simplement impossible pour une équipe pédagogique du lycée de connaître les dizaines de milliers des filières universitaires, alors qu’un même bachelier a des chances de réussite différentes d’un établissement à l’autre, d’un département à l’autre. Comment espérer cela des enseignants du secondaire, alors-même qu’aucun universitaire ne connait la totalité des formations suffisamment pour savoir si un bachelier peut y réussir. En réalité, nous n’arrivons même pas à produire des “attendus” clairs et précis, évaluables, pour nos propres formations.

Ajoutons que d’un lycée à l’autre, d’une classe à l’autre, les recommandations peuvent varier du tout au tout pour des profils d’élève très similaires. Enfin, il arrive ponctuellement de tomber sur des dossiers à refuser avec certitude, conclu par “favorable” pour votre filière, ce qui ruine nécessairement la crédibilité globale du dispositif.

Sur cet aspect, on peut recommander de contrôler la pertinence des avis de la “fiche avenir” avec les taux de réussite réels, et en cas d’inadéquation, même pour un seul étudiant, de ne simplement pas regarder ces avis. Le pendant est une recommandation auprès des équipes pédagogiques du secondaire de ne pas perdre du temps à faire une chose impossible.

Examen du C.V.

Les C.V. des lycéens sont globalement tous identiques, et relativement vides, ce qui n’a rien d’étonnant. On peut considérer que c’est un exercice important pour s’insérer dans la vie professionnelle, mais en ce qui concerne l’évaluation des chances de réussite d’un bachelier dans une filière universitaire, sauf cas particuliers, les C.V. n’apportent rien de très pertinent, surtout depuis qu’ils sont normalisés par le formulaire de saisie sur la plateforme.

Si avis de poursuite d’étude et C.V. ne sont pas directement pertinents, on peut tout de même les intégrer dans des points d’appréciation globale, qui permettent une marge de subjectivité à l’examinateur. Reste à décider de l’importance de cette subjectivité dans la totalité des points de bonus/malus.

Examen du “projet de formation motivé”

Le projet de formation motivé est décrit ainsi sur la plateforme Parcoursup : “Exposez les raisons pour lesquelles vous souhaitez être candidat à cette formation et cette spécialité. Décrivez votre projet. Indiquez les raisons qui motivent ce choix d’orientation, les qualités indispensables, vos forces pour réussir, ainsi que vos points faibles”. Cette description est strictement identique à celle de la lettre de motivation sur APB. Néanmoins, les candidats devraient être limités à 1500 caractères sur Parcoursup.

D’expérience, et sauf formations particulières, les lettres de motivation sont globalement inutilisables pour évaluer les chances de réussite d’un étudiants. En premier lieu, elles sont extrêmement stéréotypées. Peut-être est-ce en lien avec la multiplications des ateliers de rédaction de lettre de motivation, ou celle des sites de conseil en ligne présentant des informations terriblement génériques. Peut-être est-ce aussi dû à une stratégie d’optimisation qui consiste à bien travailler un patron de lettre de motivation générique, déclinée sommairement pour chaque candidature, plutôt qu’à faire de multiples lettres spécifiques moins bien travaillées.

Ensuite, il est impossible de savoir si une lettre de motivation est réussie grâce à la motivation, ou grâce à des compétences en conviction. En réalité, la lettre de motivation n’évalue que la capacité à rédiger une lettre de motivation, ce qui, dans la plupart des cas, ne donne aucune indication sur les chances de réussite universitaire. Nous avons pu le constater, et c’est pourquoi, dans nos demandes, nous avons remplacé la lettre de motivation par une pièce complémentaire.

Examen des pièces complémentaires

Suite au constat d’inutilité des lettres de motivations, nous avons décidé de les remplacer par un questionnaire ciblant les choses que nous cherchions dans ces lettres. Grossièrement, nous sommes partis sur l’idée que les candidats étaient motivés à suivre notre formation (ils candidatent après tout), mais qu’ils pouvaient se tromper à propos de cette formation. C’est donc ce que nous avons cherché à identifier, avec un questionnaire vérifiant les connaissances du candidat concernant notre formation (et en aucun cas les connaissances sur notre discipline).

Par exemple : “Parmis les matières suivantes, lesquelles ont le plus d’importance dans notre formation : base de données, graphisme, droit… ?”. Cela permet de savoir si le candidat sait qu’en DUT informatique, il y a du droit mais pas de graphisme. Nous demandons également au candidat s’il est venu à notre journée “portes ouvertes”, quelles sont ses réalisations particulières dans notre discipline, et d’expliquer son parcours s’il est atypique.

En fait, nous demandons explicitement les choses que nous attendons de trouver dans une lettre de motivation. Et pour chaque réponse significative, nous ajoutons un certain nombre de points bonus. Petite astuce : les candidats qui ne répondent pas au questionnaire n’ont manifestement pas lu les instructions pour candidater, ce qui évalue très bien leur motivation.

A noter que si cette approche a permis de simplifier et objectiver, et donc harmoniser, l’examen des dossiers, nous n’avons pas pour autant observé d’amélioration des taux de réussite. De plus, son intégration dans Parcoursup semble plus difficile que dans APB.

Décompte des points bonus

Une fois chaque partie évaluée, l’examinateur doit compter le nombre de points bonus/malus et l’appliquer à la moyenne pondérée, ce qui va faire monter ou descendre la candidature dans le classement. Il y a également un champ “commentaire”, qui permet de laisser des notes aux autres examinateurs, pour expliquer un traitement particulier ou demander un deuxième avis, par exemple.

Cette saisie peut-être source d’erreur si votre système de bonus/malus est trop compliqué. Par exemple, si vous évaluez 27 critères pour définir un bonus entre 0 et 2 points, le calcul de tête va être difficile. C’est pourquoi on peut recommander d’avoir un système de bonus/malus simple. Par exemple : 10 critères à 0,1 point, en évitant les points négatifs, pour un bonus/malus entre 0 et 1 point.

Vérification

Lorsqu’on enchaîne les examens de dossiers, on commet rapidement des erreurs : les pièces sont nombreuses et souvent sans surprise, la monotonie tue l’attention. Imaginez une pile de copies à corriger qui ne seraient même pas dans votre discipline. Ajoutons également les sensibilités personnelles des examinateurs incapables de se contrôler (personnellement, si je vois “jeux vidéo” écrit quelque part et “malin mais pénible” sur les bulletins, je mets  ultra-favorable partout sans réfléchir… Et ça ne marche pas tout le temps).

C’est pourquoi il faut un vérificateur, infaillible de préférence, pour systématiquement contrôler et harmoniser les évaluations de ses collègues. Ce vérificateur devra également traiter une part des dossiers, afin de comprendre ceux des autres. La tâche est telle que prévoir deux collègues n’est pas de trop, mais il faut qu’ils soient prêts à réellement travailler ensemble.

Finalisation

Une fois tous les mails de rappel envoyés, le rush pour terminer les centaines de dossiers restants, la vérification de tous les cas particuliers, il n’y a plus qu’à envoyer définitivement le classement. Après quoi, plus rien n’est modifiable. Pensez à exporter le classement et toutes les données, ce qui permettra d’affiner la méthode de tri d’une année sur l’autre.

Pour assumer tout ce traitement, on peut recommander de désigner un responsable Parcoursup par diplôme et, vu la charge, de faire inscrire cette responsabilité dans les référentiels d’activité des établissements.

Conclusion

Deviner les candidats qui vont réussir un diplôme est une chose difficile, sinon impossible. Tout au plus pouvons-nous essayer d’arranger un classement pour que les candidats qui connaissent la formation soient favorisés. Dans les faits, il est même impossible de refuser un candidat qui se trompe manifestement d’orientation s’il a les notes nécessaires, y compris dans les filières sélectives. Mais cet arrangement est long, fastidieux, et bien souvent son étude à posteriori, confronté aux réussites réelles, ne démontre pas une efficacité vraiment très supérieure à un simple tri des notes sans étude de dossier.

En ce qui concerne la constitution du dossier de base (bulletins scolaires, C.V. et lettre de motivation), l’expérience montre qu’elle est inappropriée à l’évaluation des chances de réussite dans la plupart des filières universitaires. Pour les filières où ces pièces revêtent de l’importance, la normalisation imposée par la plateforme limite leur intérêt, au point qu’il faudrait tout de même les ajouter en pièces complémentaires. C.V. et lettre de motivation devraient donc être en fait des exceptions, et on peut recommander aux équipes qui comptent réellement étudier les dossiers de réfléchir en premier lieu à un questionnaire précis permettant au moins de simplifier et objectiver l’examen des dossiers.

Si Parcoursup devait vraiment s’adapter à l’évaluation des chances de réussite des candidats, il faudrait d’une part supprimer les pièces par défaut, et d’autre part développer une interface permettant d’évaluer simplement et sans risque d’erreur les réponses au questionnaire proposé par l’équipe pédagogique.

Reste un question fondamentale : Est-ce que l’examen des dossiers cherche à évaluer les chances de réussite du candidat, ou son mérite à intégrer la formation ? Entre un candidat très méritant mais ayant peu de chances de réussir et un candidat dé-méritant mais ayant de grandes chances de réussir, qui vaut-il mieux admettre ? C’est une question très concrète, au cœur des processus de sélection et d’orientation, à laquelle le ministère aurait dû répondre. En cela, la réforme Parcoursup est une occasion ratée de se poser les bonnes questions.

 

Enfin, malgré un réel travail pour améliorer notre recrutement, nous n’avons jamais réussi à réellement améliorer les taux de réussite. Les étudiants restent imprédictibles, et c’est heureux. De plus, il est difficile de voir comment définir des “mesures d’accompagnement personnalisées” sur la base d’un dossier de candidature Parcoursup. Au mieux peut-on définir une fourchette arbitraire de notes ou considérer la filière du bac, mais cela n’a rien de personnalisé. En soi, Parcoursup n’est donc pas une mesure en faveur de la réussite des étudiants, la page APB n’est tournée qu’en façade, et on est loin de “remettre de l’humain” dans la procédure d’affectation.

En revanche, l’étude des dossiers est une charge plus que conséquente, qui s’applique aujourd’hui à tous les enseignants du supérieur. Or, le problème principal est celui de l’encadrement des cours et de la disponibilité des enseignants qui croulent déjà sous les charges diverses et subissent une pression constante à la publication. On peut se demander comment réduire encore le temps consacré à l’enseignement va améliorer les conditions d’étude et la réussite des étudiants.

 

Bonus 1 : vertu du classement inversé des candidatures

Curiosité de Parcoursup, il serait à l’avantage de tous les candidats que les filières non-sélectives rendent un classement strictement inverse à celui des résultat scolaires. En effet, la nouvelle procédure d’affectation va avoir un effet pervers : supposons une filière non-sélective avec une capacité d’accueil de 100 places ; supposons qu’elle reçoive 500 candidatures, triées essentiellement en fonction des notes ; les 100 premiers recevront donc un “oui”, et les 400 autres “en attente” le temps que les “oui” se décident. La filière étant non-sélective, le dernier des 500 candidats devra être admis, il va pourtant rester “en attente” le temps que tous les autres devant lui se désistent, ce qui est inutilement anxiogène.

Les filières non sélectives devraient donc rendre un classement strictement inverse aux résultats scolaires, de façon à ce que le dernier des bacheliers obtienne le plus rapidement possible un “oui” pour une filière qui de toutes façons devra l’accepter. C’est, à ce stade, le seul moyen d’éviter des lycéens allant à leurs épreuves du bac en n’ayant que des vœux “en attente”, avec un  impact évidemment négatif sur leur motivation.

Bonus 2 : résumé des recommandations

  • Désigner un responsable Parcoursup, chargé d’organiser la procédure et d’affiner la procédure d’évaluation au fil des années (et demander l’ajout de cette charge dans les référentiels d’activités).
  • Se répartir les dossiers équitablement, mais charger le responsable Parcoursup de contrôler et d’harmoniser les évaluations.
  • Travailler empiriquement et sur la durée, en définissant une pondération et des bonus/malus arbitraires la première année, archiver les classements et les confronter systématiquement aux passage/redoublement/abandon de chaque candidat admis pour affiner les pondérations initiales au fil des années.
  • Garder le système de bonus/malus le plus simple possible pour éviter les erreurs.
  • Ignorer les pièces par défaut qui ne permettent pas d’évaluer les chances de réussite universitaire, et définir son propre questionnaire ciblé précisément sur ce que vous souhaitez évaluer.
  • Décider collectivement de prendre en compte ou d’ignorer le lycée d’origine.
  • Se contenter du classement automatique sans étude du dossier pour les filières non sélectives qui ne proposent pas de mesures d’accompagnement.
  • Rester conscient qu’évaluer avec certitude les chances de réussite ou le mérite réel est impossible, et que tout ce travail se résume à détecter les erreurs d’orientation, les cas particuliers et les paris.

Retrouvez-moi sur twitter.

Petit manuel de dévolution à l’usage des administrateurs tatillons

You say you want a devolution

Dans les prochains mois, le conseil d’administration de l’Université de Strasbourg va devoir se prononcer sur un nouveau schéma pluriannuel de stratégie immobilière (SPSI ou schéma directeur immobilier). Au centre de ce schéma se pose la question de la “dévolution du patrimoine immobilier à l’université”.

Selon le CNRTL, la dévolution est “l’attribution de biens ou de pouvoirs d’une personne physique ou morale à une autre”. Il s’agit donc d’un transfert de la propriété des biens immobiliers de l’Etat vers les universités.

C’est l’occasion de se pencher sur cette nouvelle évolution de l’ESR, qui s’est déjà posée dans de nombreuses universités, et se posera bientôt dans toutes. Malheureusement, il est bien difficile pour un enseignant-chercheur normal d’appréhender ses tenants et aboutissants… Heureusement, il y a les documents !

Les recommandations ici présentées sont à destination des administrateurs d’université soucieux de prendre une décision éclairée. Elles se basent essentiellement sur le rapport de l’IGAENR.

Le rapport de l’IGAENR

L’inspection générale de l’administration de l’éducation nationale et de la recherche (IGAENR) “a pour vocation d’observer et d’apprécier l’organisation et le fonctionnement du système éducatif à tous les niveaux d’enseignement, primaire, secondaire et supérieur. Elle en évalue l’efficacité et les performances, propose des mesures d’amélioration et assure le suivi de ses propositions”.

L’IGAENR a produit un rapport sur la dévolution du patrimoine immobilier aux universités en 2016. Les 4 pages de synthèse sont incontournables pour l’administrateur confronté à la dévolution. Trois expérimentations sont étudiées : Poitiers, Toulouse 1 et Clermont-Ferrand 1 ; ainsi que cinq études de cas : Strasbourg, Bordeaux, Clermont Auvergne (UCA), Aix-Marseille et Tours.

Retour d’expérience des trois expérimentations

Les trois établissements pilotes ont fait “de réels progrès dans de nombreux domaines de la gestion immobilière” avec “la mise en place d’outils de gestion et de pilotage plus élaborés”. Pour eux, “la dévolution a permis, grâce à un fort accompagnement budgétaire, d’accélérer la réalisation de projets de réhabilitation, de mise en sécurité et d’accessibilité du bâti”. Cependant, la dévolution “n’a pas permis d’améliorer significativement le taux d’utilisation des locaux, ni le produit des cessions et valorisations de bâtiments”.

Les avantages ne sont donc pas allés au-delà de la maîtrise et de l’accélération des réalisations, et les objectifs de “gestion optimisée de son patrimoine” ou “valoriser davantage son patrimoine” n’ont pas été validés.

Recommandation 1 : Faire établir les arguments qui permettent d’envisager les éventuelles améliorations qui n’ont pas été constatées dans les expérimentations.

Accompagnement budgétaire

En trois ans, l’accompagnement budgétaire des dévolutions pilotes correspond effectivement à presque un doublement du budget consacré à l’immobilier pour Poitiers et Toulouse 1, et à un quadruplement pour l’UCA (Annexe III, Tableau 4). Cette augmentation des dépenses est “nettement supérieure en moyenne à la dotation annuelle de dévolution” : un tiers en moyenne a été pris sur les ressources des établissements.

La période étudiée est beaucoup trop courte pour présager d’une stabilisation à moyen terme. Une projection sur 10 ans semble un minimum pour s’engager dans un tel processus, et elle devra prendre la forme d’un budget annexe immobilier.

Recommandation 2 : Baser sa décision sur l’établissement d’un budget pluriannuel consacré à l’immobilier, identifiant les dotations récurrentes, les dotations spécifiques à la dévolution et les ressources propres sur au moins 10 ans.

Le rapport note que “les universités bénéficiaires de la dévolution du patrimoine devront sans doute privilégier de manière générale une stratégie de montée en charge progressive de leurs dépenses de renouvellement et d’entretien, à mesure qu’elles pourront dégager des marges de manœuvre à cet effet par des économies sur d’autres postes ou des ressources propres nouvelles”.

Recommandation 3 : Intégrer au budget pluriannuel une prévision de la montée en charge des dépenses, avec l’identification des opportunités et risques en fonction des évolutions à la hausse comme à la baisse des marges de manœuvre.

Recommandation 4 : Définir explicitement la nature et le montant des “économies sur d’autres postes” et des “ressources propres nouvelles” permettant le financement de la dévolution.

BAIM

La constitution d’un budget annexe immobilier (BAIM) […] permet d’identifier à l’intérieur du budget de l’établissement les moyens qui sont attribués annuellement à l’entretien du patrimoine immobilier et d’isoler la part du fonds de roulement consacrée à l’immobilier“.

Constatant un écart de pratique dans la définition des BAIM, et notamment sur leur périmètre, les rapporteurs préconisent à l’Etat d’établir “un cadre commun et précis de règles applicables au périmètre des BAIM, à leur mode de financement et au traitement des dépenses de travaux entre charges et immobilisations”.

Engager un processus de dévolution en l’absence d’un tel cadre représente un risque conséquent de rendre les projections caduques lorsqu’il sera défini.

Recommandation 5 : S’appuyer sur le cadre commun et précis de règles applicables au BAIM, et à défaut différer le processus de dévolution jusqu’à sa définition par l’Etat.

Cession et Valorisation

La valorisation consiste à utiliser le patrimoine immobilier pour une activité commerciale afin d’obtenir des revenus réguliers, alors que la cession consiste à vendre une partie de ce patrimoine immobilier pour obtenir un revenu ponctuel.

La valorisation se confronte au principe de spécialité, une université “ne peut donc entreprendre d’activités extérieures à ses missions ou s’immiscer dans de telles activités”, alors que la cession se confronte au principe d’inaliénabilité des biens relevant du domaine public (voir Encadré 1 du rapport) qui, grossièrement, interdit la vente des locaux utilisés par le public.

Cependant, le rapport indique “un niveau de risque juridique relativement faible” et propose de “sécuriser, si la pratique le rendait nécessaire, le développement des activités de valorisation” (Proposition n° 7). En d’autres termes, les dirigeants devraient être assez libres de commercialiser ou vendre le patrimoine de leur université.

Le rapport note que “si les recettes de cession ou de valorisation constituent des compléments de financement appréciables, elles ne peuvent à elles seules financer les opérations de GER ou d’investissement dans aucune des trois universités”.

Les opérations de cession et valorisation ne sont donc pas des pistes pertinentes pour financer les missions de l’Université. En revanche, elles peuvent poser des problèmes d’un autre ordre, comme avec la vente de l’Observatoire de Floirac par l’Université de Bordeaux.

Recommandation 6 : Faire délibérer la liste exhaustive des opérations de cession et valorisation, accompagnée des projections budgétaires et des destinations des recettes.

Partenariats public-privé

Le rapport précise qu’une “piste doit préalablement être écartée : celle du recours systématique à des montages juridiques sophistiqués faisant intervenir une structure tierce de droit privé pour porter et/ou gérer l’intégralité du patrimoine immobilier des universités”. Cette affirmation n’est pas sans rappeler les conclusions du rapport sénatorial “Les contrats de partenariats : des bombes à retardement ?”.

Recommandation 7 : Écarter autant que possible les partenariats avec des structures tierces de droit privé et faire délibérer la liste exhaustive des partenariats envisagés.

Spécificités locales

Le rapport insiste régulièrement sur l’hétérogénéité des situations des établissements face à la dévolution, qui impose une analyse particulière pour chaque université. C’est l’objet de la proposition n° 9 : “confier aux inspections générales des ministères concernés la responsabilité de conduire des audits pré-dévolution permettant de s’assurer qu’un établissement candidat remplit les prérequis indispensables à la réussite de la dévolution qui figurent dans le cahier des charges.”

Recommandation 8 : S’appuyer sur la proposition n°9 du rapport pour demander un audit pré-dévolution par les inspections générales, et utiliser le cahier des charges de la dévolution (pièce jointe n°1) comme grille d’analyse locale.

Sécurisation de l’opération de dévolution

La sécurisation de l’opération de dévolution est à double sens. C’est l’objet des propositions n° 2 et 3 :

“Proposition n° 2 : élargir explicitement les objectifs de la dévolution du patrimoine à l’engagement des établissements bénéficiaires de maintenir en bon état dans le futur le bâti récent ou déjà rénové ; de rationaliser leurs implantations et l’occupation de leurs locaux ; d’optimiser les coûts de gestion et les économies d’énergie.”

“Proposition n° 3 : sécuriser les financements immobiliers de l’État à travers le maintien, toutes choses égales par ailleurs, du niveau de la dotation globale de fonctionnement aux établissements bénéficiaires, la stabilisation des crédits de mise en sécurité et d’accessibilité et la programmation à moyen terme de crédits équivalents à la part État du CPER en contrepartie d’engagements des établissements.”

Recommandation 9 : Faire expliciter et budgéter l’engagement de l’établissement, faire expliciter les financements immobiliers de l’Etat effectivement sécurisés, et mettre les deux en vis-à-vis pour évaluer la soutenabilité financière de l’opération.

Recours à l’emprunt

D’après les rapporteurs, “une nouvelle réflexion sur l’ouverture du recours à l’emprunt, qui constitue une piste qui déroge fortement au droit commun mais mérite d’être explorée : en effet, la volonté de responsabiliser davantage les universités dans le cadre de la dévolution se heurte à l’objectif de ne pas accroître la dette de l’État en rendant les conditions d’accès à l’emprunt plus difficiles”. La Proposition n° 4 est donc de “déroger au cas par cas au principe de l’interdiction du recours à l’emprunt”.

Le recours à l’emprunt engage les établissements pour une grande période (autour de 25 ans), qui ne permet pas de projection budgétaire solide (qui, au début des années 1990, aurait pu prédire la situation budgétaire actuelle des universités ?) et dépassant largement la durée des mandats de ceux qui les dirigent.

Il encourage donc mécaniquement une politique court-termiste, opportuniste et très risquée, qui risque de mener à terme à des difficultés de remboursement dont les conséquences ne sont pas connues.

Recommandation 10 : Faire expliciter le rapport risques/bénéfices d’un recours ou non à l’emprunt ; Si le recours à l’emprunt n’est pas explicitement exclu, faire expliciter les moyens d’action en cas de défaut de remboursement.

Type de dévolution

La Proposition n° 10 du rapport est : “proposer aux établissements candidats deux scénarios alternatifs de dévolution fondés l’un sur une dévolution totale réalisée en une fois et l’autre sur une dévolution progressive par tranches successives.”

Ces deux approches, avec leurs implications, sont développées dans le rapport.

Recommandation 11 : Définir le type de dévolution envisagé, et le cas échéant le calendrier et les tranches de la dévolution progressive.

Conclusion

Pour conclure, il faut noter ce passage important du rapport : “ces avantages en gestion ou en gouvernance sont cependant indépendants de la dévolution du patrimoine et peuvent déjà être recherchés par les universités, qu’elles soient simples affectataires ou pleinement propriétaires de leur patrimoine”.

En d’autres termes, la dévolution ne donne pas, en soi, plus de marges de manœuvre aux établissements. Les avantages constatés dans les expérimentations auraient pu l’être par la seule volonté d’une montée en compétence accompagnée d’importants financements spécifiques, sans procéder à la dévolution du patrimoine.

Le seul impact évident de la dévolution du patrimoine est sur l’autonomie de l’université, puisqu’elle allège les interactions avec l’Etat, et surtout ses responsabilités, en matière immobilière. Le précédent en la matière concerne les ressources humaines : depuis le passage à l’autonomie de la LRU, les universités sont en pleine charge de leur masse salariale.

La dévolution de la masse salariale est donc un exemple pertinent pour évaluer l’opportunité de procéder à la dévolution du patrimoine immobilier pour chaque établissement :

  • si la dévolution de la masse salariale a réellement permis à l’établissement une gestion plus agile et un développement des emplois, alors la dévolution du patrimoine immobilier est sans doute une bonne idée ;
  • en revanche, si la dévolution de la masse salariale a conduit l’établissement à des politiques d’austérité en matière d’emploi, la dévolution du patrimoine immobilier est sans doute une opération très risquée.

Recommandation 12 : Mettre en perspective la dévolution du patrimoine avec la dévolution de la masse salariale, et prendre une décision en fonction du bilan de ce précédent.