Comment faire cours correctement si l’on ne sait même pas qui on a en face de soi ? Tel est le casse-tête auquel sont confrontés les concepteurs de MOOC au quotidien. Pour adapter sa pédagogie et son discours, il faut comprendre son audience. Identifier son niveau de formation, ses attentes, ses motivations, ses intentions. Et pour cela, il n’y a malheureusement pas 36 solutions, il faut en général passer par des questionnaires. Je vous propose de revenir sur ce sujet complexe à travers l’une des nouvelles vidéos du MOOCAZ.
Comprendre l’audience de votre MOOC est essentiel tant pour le pilotage, la scénarisation et l’animation de la formation. Pour caractériser votre public de manière quantitative, les questionnaires représentent sans aucun doute le meilleur outil à votre disposition. Je vous propose de revenir brièvement sur les principales questions que pose leur mise au point. Tout d’abord « Comprendre son audience », qu’est-ce que cela veut dire exactement ? Pour commencer, c’est chercher à identifier son public sur la plan démographique ; mais c’est aussi appréhender ses intentions, ses motivations, ses contraintes, c’est chercher à comprendre le contexte dans lequel il suit le cours.
Dans la mesure où l’inscription est libre et ouverte à tous, vous aurez a priori affaire à un public hétérogène, des étudiants comme des personnes en activité, des lycéens, des retraités ou des personnes en recherche d’emploi. Vous pouvez commencer par représenter les proportions relatives des différentes catégories socio-professionnelles.
Tous les continents sont en général représentés dans un MOOC, la langue d’enseignement et un certain nombre de facteurs comme la plate-forme d’enseignement ayant un impact important sur l’importance relative des différents pays. Outre les catégories socioprofessionnelles et l’origine géographique, vous pouvez aussi vous intéresser à des paramètres démographiques comme le niveau d’étude ou la nature du diplôme obtenu, à l’activité professionnelle, ou bien sûr l’âge ou le genre. Deuxième point d’interrogation, les intentions des participants, qui sont aussi hétérogènes et diverses que le public. Nombreux sont ceux qui s’inscrivent sans intention de décrocher le certificat.
Pour interpréter les dynamiques observées, vous devez autant que possible chercher à identifier les intentions initiales des participants, tout en gardant à l’esprit qu’elles ne reflèteront pas nécessairement les résultats effectifs. Seul problème, les gens qui ne sont pas vraiment déterminés à suivre le cours ne répondent en général pas aux questionnaires, et vos résultats risquent d’être partiellement biaisés.
Ensuite, vient la question des motivations et du contexte. Ce n’est pas la même chose si l’on s’inscrit parce que l’on y a été incité par sa hiérarchie, si l’on suit le cours pour soi-même, ou si l’on s’intéresse avant tout au certificat. Selon les types de cours, certains s’inscrivent pour leur culture personnelle, pour monter en compétence, ou simplement pour entrer en contact avec d’autres personnes intéressées par le sujet abordé.
Ces motivations ne sont d’ailleurs pas mutuellement exclusives, et il est important de les comprendre pour pouvoir interpréter les dynamiques observées dans le cours. On peut également creuser la question du contexte. Se sont-ils inscrits à plusieurs ou de manière isolée, sur leur temps de travail, chez eux en soirée, ou dans les transports en commun ? Quel lien entretiennent-ils avec le MOOC ? Est-ce ou non avec l’objectif d’appliquer dans un contexte personnel ou professionnel les connaissances ou les compétences apprises, ou est-ce simplement récréatif ? Quelle est leur expérience du domaine? Les novices et les experts du domaine ne vont probablement pas suivre le MOOC de la même manière ou pour les mêmes raisons. Vous pouvez donc inclure une série de questions pour mieux comprendre les motivations des participants et le contexte dans lequel ils s’inscrivent.
Il y a également un certain nombre de questions dignes d’intérêt mais qui ont plus de sens posées en fin de MOOC. Tout d’abord, tout ce qui relève de la satisfaction. Noter la formation, avoir des retours sur les différents aspects de la formation. On peut également s’intéresser aux contraintes et aux difficultés rencontrées par les participants. Nombreux sont ceux qui prennent sur leur temps libre pour pouvoir suivre le cours, et les contraintes temporelles sont présentées comme l’un des facteurs de désengagement les plus récurrents. Cependant, les problèmes d’accès à Internet, ou la difficulté à comprendre le fonctionnement du cours sont aussi pointés de manière régulière.
Il y a une infinité de questions que l’on peut poser, en fonction des objectifs et des interrogations de l’équipe pédagogique et des éventuels chercheurs travaillant sur le MOOC. Seule contrainte, la longueur, car vous risquez de décourager un certain nombre de participants en proposant des questionnaires trop longs. Autre contrainte : la légalité des questions.
Il y a de nombreuses questions que l’on ne peut pas légalement inclure dans un questionnaire en France. Vous ne pouvez par exemple pas demander aux participants leur religion. De manière générale, vous devez faire un certain nombre de démarches préalables pour pouvoir réaliser votre questionnaire en toute légalité. Renseignez-vous donc sur ce qui est autorisé ou non, et sur ce qui implique de faire une déclaration ou une demande d’autorisation auprès de la CNIL.
Quelques remarques sur la forme pour terminer. Il faut distinguer les questions fermées, avec un nombre limité de réponses possibles, comme des questions à choix multiples et les questions ouvertes, où les participants peuvent rédiger leur réponse. Les questions fermées seront beaucoup plus faciles à analyser, et vous pourrez obtenir rapidement des résultats, mais vous pouvez passer à côté de phénomènes intéressants, que vous auriez pu détecter si vous aviez laissé davantage de liberté d’expression aux répondants.
En revanche, si vous voulez avoir des résultats quantitatifs sur la base de réponses ouvertes, vous devrez probablement faire appel à des traitements automatiques ou semi-automatiques des réponses qui peuvent être complexes à mettre en œuvre. Autre point d’attention, la façon dont vous tournez vos questions va avoir un impact considérable sur les réponses que vous obtiendrez, que ce soit pour les questions ouvertes ou les questions fermées. La moindre ambiguïté dans une formulation peut complètement biaiser les résultats. Il est donc prudent de tester le questionnaire au préalable, et de demander des retours à des personnes expérimentées au moment de la rédaction des questions.
Une fois que vous aurez mis au point les questionnaires, il faudra faire en sorte d’obtenir le maximum de réponses, le risque étant que seules les personnes les plus motivées répondent et que les résultats ne soient pas représentatifs de la population réelle du MOOC. Et bien sûr, après la conception et le travail de communication autour du questionnaire, vous aurez tout le travail d’analyse à mettre en oeuvre, mais ça, c’est une autre affaire …
PS : Au fait, dans un effort de normalisation des questionnaires, des gens de Stanford ont fait un petit papier dans Learning at Scale pour permettre de mieux analyser les motivations des participants pour suivre le cours : Why do you enroll in this course : developping a standardized survey question for reasons to enroll
PPS : Pour ceux qui veulent approfondir la question de la mise en place de questionnaires, un MOOC dédié vient d’ouvrir sur Coursera : Questionnaire Design for Social Surveys (University of Michigan)
PPPS: Vous avez remarqué que pour mieux comprendre les dynamiques à l’oeuvre et limiter les biais d’échantillonage, Coursera pose la question des intentions avant même que l’on entre dans le cours (et du coup c’est obligatoire de répondre). Pas bête du tout.
PPPPS : Si vous lancez un MOOC et que vous êtes intéressé par des collaborations sur le plan de la recherche (mais il faut tout de même une certaine taille critique), n’hésitez pas à me contacter. J’ai des modèles de questionnaires prêts à l’emploi, on pourra discuter …
Ah, au fait, on s’est amusés avec quelques doctorants à nous entraîner au concours Ma thèse en 180 secondes dans le cadre d’une formation de l’ENS Cachan. Voici la mienne (allez voir les autres, il y en a plein de bien …). Si vous voulez être gentils avec moi, aidez moi à gagner ce petit concours entre doctorants en likant et en twittant …
6 Responses to Mettre au point les questionnaires de son MOOC