Analyser les données de son MOOC

http://www.dreamstime.com/stock-photo-3d-small-people-complicated-question-image19385560Organiser un MOOC permet de récolter de grandes quantités de données, que ce soit via la plate-forme sur laquelle est organisé le cours ou via des questionnaires envoyés aux participants. Une fois que vous avez mis en forme et nettoyé ces données, vous pouvez entamer le travail d’analyse à proprement parler.  Sans entrer dans les détails techniques, je vous propose de faire un bref tour d’horizon de la question afin de mieux en comprendre les tenants et les aboutissants, à travers une des nouvelles vidéos du MOOCAZ.

Tout d’abord, la question des objectifs. On peut se placer dans une optique purement « recherche », chercher à valider ou invalider des hypothèses scientifiques, comme adopter une posture plus opérationnelle, l’idée étant alors d’améliorer la formation sur la base des données récoltées. Les objectifs peuvent être multiples: mieux comprendre les motivations, les attentes et les contraintes du public de la formation, identifier les facteurs qui augmentent la motivation, ou au contraire qui favorisent l’abandon. Il est important d’identifier ce qui a marché et ce qui a moins bien marché, pour pouvoir améliorer le MOOC à chaque nouvelle itération.

L’idée est de pouvoir à terme comprendre en temps réel les phénomènes à l’œuvre, et éventuellement influer sur le cours des événements. Mais cela demande de gagner en pouvoir prédictif, c’est-à-dire de disposer d’indicateurs fiables sur lesquels on peut se reposer pour tenter de prédire les évolutions du MOOC d’une semaine sur l’autre.

Revenons sur les différentes étapes du travail d’analyse. On peut commencer par une approche purement descriptive, et chercher à visualiser les différentes variables sous la forme de graphiques. Par exemple, on peut utiliser des camemberts pour représenter les proportions relatives des différentes catégories socioprofessionnelles, ou des motivations qui ont poussé les participants à s’inscrire.

En représentant les distributions de chacune de ces variables, on peut ainsi dresser une sorte de « carte d’identité » du MOOC. Mais cette approche purement descriptive montre rapidement ses limites. On peut approfondir l’analyse, en croisant entre elles ces variables pour détecter des phénomènes intéressants.  On cherche en général à identifier les facteurs qui impactent l’activité globale du cours, comme le nombre de personnes qui ont terminé la formation, qui ont participé aux activités, ou qui ont interagi sur les forums. Quels sont les paramètres qui permettent d’expliquer ces différences de comportement ? La catégorie socio-professionnelle, l’origine géographique ?

On peut ainsi croiser les données déclaratives issues des questionnaires et les traces issues des plates-formes. Mais pour vous assurer que les résultats que vous obtenez ne sont pas simplement dus au hasard, vous allez devoir passer par des tests statistiques. L’une des analyses les plus classiques consiste à faire le lien entre la complétion du cours et les variables démographiques. Reprenons la question du taux complétion et des catégories socio professionnelles. On peut par exemple voir ici que les proportions de ceux qui ont fini le cours ne sont pas les mêmes pour les étudiants et les cadres et professions intellectuelles. Il faut distinguer les deux types de variables, la variable à expliquer, c’est-à-dire la complétion du cours, et la variable explicative, la catégorie socioprofessionnelle, dont on recherche l’impact sur la variable à expliquer.

Si l’on veut tester qu’il existe bien un lien statistiquement significatif entre les variables à expliquer et les variables explicatives, il faudra employer un test statistique, après avoir vérifié que les conditions de validité sont bien remplies ; dans ce cas précis, c’est le test du chi2. Il faut qu’il y ait suffisamment d’effectifs, c’est-à-dire, de participants qui ont terminé le cours, pour respecter les conditions de validité.

Les résultats du test vous permettront de déterminer s’il vaut mieux rejeter ou non l’hypothèse selon laquelle il y a bien un lien entre les deux variables que vous analysez, ici le fait de finir le cours et la catégorie socioprofessionnelle. Cependant, il faut les prendre avec des pincettes. Il faudra vérifier qu’il n’y a pas de biais, que les conditions de validité du test sont bien respectées, et on ne pourra pas en tirer des relations de cause à effet simples. Bref, j’ai beaucoup simplifié, et si vraiment vous voulez approfondir la notion de test statistique, il vous faudra approfondir le sujet, par exemple à travers des MOOC.

Il vous faudra vous familiariser avec les différents modèles statistiques, car vous allez être rapidement limités avec le test du chi2. Imaginons que vous vous intéressiez à plusieurs variables explicatives et à leur importance relative pour expliquer une variable donnée, toujours la complétion du cours. Par exemple, en plus de la catégorie socioprofessionnelle, vous pouvez être intéressés par l’impact relatif du genre, ou de l’origine géographique, et peut-être même par l’interaction entre ces différentes variables. Pour cela, le test du chi2 ne marche pas, et vous allez devoir faire appel à d’autres modèles statistiques pour répondre à ces questions.

En fonction de la nature des variables à expliquer, et du nombre et de la nature des variables explicatives, vous aurez une grande diversité de tests parmi lesquels il vous faudra choisir. Entre le modèle linéaire, avec les ANOVA, les ANCOVA, le modèle linéaire généralisé, les modèles mixtes ou la régression logistique, il y a de quoi faire. Quel test appliquer à quelle variable, toute le problème est là. Cela dépendra avant tout de vos questions, des données que vous avez à votre disposition, et du degré d’approfondissement que vous désirez atteindre.

Et même si vous trouvez le bon test, même si vos données vous permettent de respecter les conditions de validité, même si vos résultats ne sont pas biaisés, il vous faudra encore savoir les interpréter correctement. Cela demande une bonne connaissance du monde de l’autoformation, de la scénarisation du MOOC, et des dynamiques du Web en général. Souvent, le simple bon sens suffit, mais une certaine expertise du domaine est parfois requise.

Il sera probablement nécessaire de compléter cette approche purement quantitative par une approche plus qualitative, avec des entretiens de participants par exemple. L’approche qualitative vous permettra d’éviter de passer à côté de phénomènes difficilement détectables via des questionnaires ou des learning analytics. Néanmoins, la préparation, l’organisation, la retranscription et l’analyse des entretiens peut nécessiter un certain temps.

L’analyse quantitative et qualitative de votre MOOC peut représenter un investissement considérable, et tout dépend de l’importance que vous donnez à la formation. Si le MOOC n’est pas pour vous un grand enjeu, vous pourrez alors sans doute vous contenter des indicateurs de base et d’une analyse rapide des questionnaires mis en place.

Mais si vous souhaitez véritablement améliorer votre formation, et partir à la conquête de nouveaux publics, alors il vous faudra sans doute approfondir ce travail. A vous de doser votre investissement en fonction de vos objectifs, mais je vous recommande d’investir autant que possible dans la phase d’analyse, et dans la communication autour des résultats. Cela vous permettra d’une part de rationaliser vos décisions et d’autre part de faire monter en compétence la communauté de concepteurs à travers vos retours d’expérience.

PS : vous avez vu que j’ai changé de style par rapport aux vidéos de la première édition. Je ne mets pas le titre, la diapo est quasiment vidé, épurée … Je me suis dit que c’était plus « propre » au final, mais ce n’est qu’un point de vue personnel.

PPS : cette coupe de cheveux est un désastre. Vous n’avez pas idée de l’impact de votre coiffeur sur le succès de votre MOOC(et sur votre réputation). C’est le problème avec le numérique, les traces restent ad vitam eternam … Sans compter le fait que les gens peuvent mettre sur pause et faire des captures d’écran qui vous font apparaître sous des profils peu flatteurs. M’enfin, c’est le jeu ma pauvre Lucette.

PPPS : Au fait, FUN a ouvert un poste en CDD de conseiller de la cellule d’appui (descriptif ici). Diffusez, diffusez …

Be Sociable, Share!

Leave a Comment

Filed under Non classé

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *