Osez la MOOR

La première conférence européenne d’envergure (sur les MOOC, on s’entend) est organisée en février à l’Ecole Polytechnique Fédérale de Lausanne. Nous assisterons à la première grand-messe de la communauté européenne. Recherche, pratique, politique, technologie, c’est une véritable kermesse. En ce qui me concerne, il est absolument vital que je parvienne à publier un article dans cette conférence. La deadline pour la soumission de l’article était initialement prévue pour ce soir, mais a été repoussée de deux semaines suite à de multiples protestations. Je propose ni plus ni moins à ceux qui le veulent de travailler avec moi de façon crowdsourcée à la finalisation de cet article, et de découvrir ensemble la M.O.O.R, ou Massive Open Online Research.

Mais tout d’abord, retour sur mes problématiques de recherche…

Engagement au sein du cours, personnalisation, scénarisation, fédération des communautés d’apprenants, etc. Nous avons récemment discuté de la multiplicité des questions soulevées par les MOOC dans les billets Quelles données récoltons-nous et pourquoi? et De la conception aux enjeux sociétaux. A travers le monde, les établissements, à commencer par les universités américaines, sont des dizaines à se lancer dans l’aventure. Pourtant, enseignants et décideurs manquent cruellement de recul sur le sujet, soulignant l’importance et la nécessité d’une recherche pluridisciplinaire.

Il suffit de lire l’appel à publication de la conférence sur les MOOC organisée par l’EPFL (dont parle Jean-Marie Gilliot dans son dernier billet), ou celui de la MOOC Research Initiative financée par la Bill Gates Foundation pour comprendre la diversité des questions posées par l’émergence des MOOC. Bien que je les trouve passionnantes, les questions techniques, juridiques, économiques, politiques ou sociétales ne sont pas de mon ressort. Je m’intéresse davantage à la recherche-innovation en pédagogie. Une des principales questions que je me pose, c’est celle de l’implication des participants dans la formation. En simplifiant, quelles sont les raisons pour lesquelles certains parviennent à aller au bout du cours, et d’autres non ?

Qui sont les participants ? Quelles sont leurs motivations ?

Première étape: comprendre le profil démographique du cours et les motivations des participants. Les questionnaires sont l’outil le plus approprié pour ce type de recherche dès lors que l’on souhaite suivre une approche quantitative. Nous avons récemment communiqué des bilans démographiques, à l’instar de nombreuses autres équipes. La promo était essentiellement composée de cadres supérieurs, avec environ 15% d’étudiants, 15% de personnes en recherche d’emploi, et 15% d’employés. Concernant l’origine géographique, environ deux-tiers résidant en France, et le dernier tiers du reste de la francophonie. Je vous renvoie au billet sur la question pour les détails.

Nous avions voulu aller un peu plus loin en posant des questions sur les motivations, mais les résultats sont avant tout qualitatifs. La question des objectifs est une alternative intéressante à celle des motivations. Ainsi, à la question Quel certificat souhaitez-vous obtenir ?  43% ont déclaré viser le certificat avancé (environ la moitié d’entre eux l’on ont), mais seuls 12.8 % ont déclaré vouloir consacrer au cours davantage de 6 heures, un engagement pourtant nécessaire pour son obtention selon Rémi Bachelet. De même, nous avons des données quant à l’expérience dans le domaine enseigné (la gestion de projet), et pour l’expérience dans l’apprentissage en ligne (participation à d’autres formations en ligne, etc).

La question de l’engagement

La surmédiatisation des faibles taux de certification au sein des MOOC (qui tournent en général autour de 10%) a conduit de nombreux chercheurs à se pencher au cours des derniers mois sur la question de l’engagement. Les analyses un peu rapides ont tendance à distinguer uniquement deux types de participants: ceux qui vont jusqu’au bout et obtiennent le certificat, et ceux qui « échouent ». Dans les faits, la situation est plus complexe; au sein des quelques 90% des personnes qui n’obtiennent pas le certificat, les décrocheurs sont loin d’être majoritaires. Nous avions déjà évoqué la question dans le billet sur les taux d’abandon, et une étude scientifique sur le sujet a récemment été publiée aux Journées Learning Analytics 2013, dont je vous recommande la lecture: Deconstructing Disengagement: Analyzing Learner Subpopulations in Massive Open Online Courses (Kizilcec et al. 2013). L’analyse se base sur trois cours d’informatique proposés sur Coursera, de niveaux distincts: pré-universitaire (HS-Level), licence (BS-level) ou Master (GS-level).

Pour une semaine donnée, on divise les participants en quatre catégories: les auditeurs libres, qui consultent le cours sans rendre de devoirs ni interagir sur les forums (A: Auditing), les participants qui rendent les devoirs à temps (T: On Track), les participants qui rendent les devoirs en retard, et ceux qui ne se sont pas connectés pour la semaine donnée (O: Out). Il est ainsi possible de déterminer un profil d’engagement pour chaque semaine, et de représenter via des flèches les flux hebdomadaires de participants entre chacune de ces catégories.

On voit ainsi un certain nombre de participants quitter de manière définitive la catégorie auditeurs libres au cours dès la première semaine pour rejoindre la catégorie des abonnés absents. A partir de ces catégorisations, il est possible de définir des trajectoires. Via une méthode de clusterisation (catégorisation des participants via des algorithmes), les auteurs de cet article catégorisent les participants en auditeurs libres, décrocheurs (Disengaging), touristes (ou Samplers), et assidus. Les décrocheurs sont ceux qui rendent régulièrement leurs devoirs mais qui finissent par abandonner. Les samplers sont ceux qui consultent de manière ponctuelle, apparaissent de temps en temps, et butinent les ressources, sans obtenir de certificat bien sûr. Les auditeurs libres suivent le cours jusqu’à son terme, mais sans rendre les devoirs. Enfin, les assidus rendent l’ensemble des devoirs.

J’ai à ma disposition beaucoup plus que les statistiques de participation aux devoirs (et les notes reçues correspondantes). J’ai également pour chaque participant les notes et les commentaires laissées au cours de l’évaluation par les pairs (pour ceux qui y ont participé), mais aussi le nombre de ressources consultées (page wiki, fils de discussion de forum), le nombre de messages postés, etc. Maintenant ce que je souhaite faire dans cet article, c’est de faire le lien entre les différents éléments. Y a-t-il un lien entre les objectifs, les motivations, le background (démographique, etc), et l’engagement à différentes échelles (obtention du certificat, participation aux évaluations par les pairs, etc) ? Quels sont les facteurs les plus importants pour expliquer la diversité des profils d’engagement, l’idée étant à terme d’identifier des leviers de choix pour les équipes pédagogiques ?

Pour ceux qui souhaiteraient contribuer d’une manière ou d’une autre à la rédaction de ce papier, toute bonne volonté est bienvenue. Concrètement, comment cela marche-t-il ? L’idée est très simple, je suis en train de travailler le brouillon de l’article sur un Google Doc (je préviens, c’est encore un brouillon). Tout le monde peut consulter et commenter le document, je garde en revanche le droit de modifier le texte pour éviter qu’un petit malin (ou un chercheur concurrent) ne sabote le travail. Malheureusement je ne peux pas donner directement accès aux données brutes, qui, même si elles sont en open data, sont partagées uniquement dans le cadre de partenariats de recherche. En revanche, vous êtes libres de :

•  Critiquer de manière constructive l’approche suivie, proposer des réorganisations du texte. Proposer des analyses, des thèmes qui pourraient être traités dans le cadre de cette étude.
• Proposer des reformulations de phrases.
• Si vous avez des compétences en statistique: Proposer des démarches d’analyse de données, me former gratuitement 🙂
• Si vous avez des compétences en anglais, m’aider à traduire le texte du français à l’anglais une fois la version française stabilisée, et travailler un peu la typologie. Je pense qu’il est préférable de commencer par une version en français pour la qualité de la rédaction ; par ailleurs, cela peut toujours servir d’avoir deux versions.

Je peux d’ores et déjà vous garantir que je ne pourrai pas intégrer toutes les propositions ou modifications suggérées, soit parce que je ne serai pas d’accord avec, soit parce que je n’aurai simplement pas le temps. En cas de désaccord, je n’aurai malheureusement pas non plus le temps d’argumenter mes choix, je fermerai la discussion sans quelconque justification ; ne le prenez pas mal, c’est la seule manière viable de fonctionner pour moi au vu du flux constant d’informations.

Sachez cependant que je prends en considération un grand nombre de propositions, et que cette façon de fonctionner m’avait permis de boucler en deux jours un article sur l’évaluation par les pairs, qui, s’il n’est pas révolutionnaire, a le mérite d’exister. En remerciement, vous aurez toute ma gratitude, même si je ne l’exprime pas directement; par un message personnel; et si votre contribution est significative, je peux vous mettre dans les remerciements officiels de l’article. A noter qu’au vu du nombre de contributeurs du dernier papier, je ne peux pas mettre cinquante noms, je ferai donc probablement un remerciement collectif. Une contribution ponctuelle ne peut suffire à devenir co-auteur, au vu de la charge de travail que j’ai assumée pour générer, extraire et nettoyer ces données.

L’idée est d’introduire l’esprit du MOOC dans la recherche. Ce n’est pas tant une démarche d’open data que d’open science, ou science ouverte, un courant de pensée au sein de la communauté scientifique. Outre l’aspect open science, cette démarche est inspirée des sciences participatives, mais ce n’en est pas pour autant, car c’est travailler directement avec des chercheurs. L’objectif est simple : introduire davantage de transparence dans le travail de recherche, d’une part car elle doit sortir de sa tour d’ivoire, d’autre part car il est normal qu’une recherche financée par le denier public soit accessible au public. Pourquoi la rendre disponible en amont de sa publication ? Parce que le MOOC Gestion de Projet m’a convaincu du potentiel de l’intelligence collective, et qu’une fois qu’on a goûté à son efficacité, difficile de revenir en arrière. Enfin, dernier intérêt: réussir à me concentrer sur cet article, car je déteste travailler seul sur un projet. On s’entend, la méthodo est encore au stade expérimental, mais si vous voulez découvrir la MOOR, bienvenue sur ce papier…