Analyser et valoriser son MOOC: une pratique encore trop rare …

budgetUne fois le MOOC terminé, tout n’est pas encore fini pour l’équipe pédagogique, loin de là, car il faut d’une part faire le bilan et d’autre part la valorisation de votre projet. Retour sur ces questions (entre autres), à travers une vidéo du MOOCAZ : Faire le bilan de votre MOOC, cela signifie plusieurs choses. D’une part en terme de budget, faire le point sur la manière dont vos ressources ont été dépensées. Combien de temps et d’argent avez-vous investi dans la conception des ressources ? dans la promotion du cours ? dans l’animation et le pilotage de la formation ?

Cette étape nécessite en principe d’avoir tenu un décompte des heures assez précis tout au long du projet.  Cela vous permettra d’identifier les principaux centres de coût associés au lancement d’un MOOC. D’une part vous avez les frais récurrents comme la promotion, l’animation et le pilotage de la formation, et d’autre part vous avez l’investissement dans la conception de ressources. En principe, les rééditions du MOOC sont nettement moins coûteuses que la conception de la première édition.

Ensuite, il faut faire le point sur les usages d’une part, et sur votre public d’autre part. Combien de personnes se sont inscrites, combien ont fini le cours ? L’idée est de chercher à comprendre un peu mieux la dynamique du MOOC. On peut représenter, semaine après semaine, la fluctuation de l’activité, en termes de visualisation des ressources, de participation aux forums, aux activités. Cela permet notamment de détecter s’il y a eu des périodes de décrochage, d’identifier les ressources et les activités qui ont eu le plus de succès.

La pertinence de vos analyses dépendra en grande partie des données que vous pourrez obtenir des différents outils sur lequel le cours était basé, à commencer par le LMS; on parle aussi de traces ou de learning analytics en anglais. Si vous avez utilisé des outils ou des services sur lesquels vous n’avez pas la main, il sera probablement difficile de réaliser une analyse quantitative de ces usages. Et quand bien même vous parviendriez à accéder aux données, il vous sera sans doute très difficile de relier les bases de données issues des différents outils, et de pouvoir par exemple tracer le comportement d’un utilisateur sur le LMS et les réseaux sociaux par exemple.

Parallèlement à l’analyse des traces, des questionnaires de satisfaction vous permettront d’avoir des retours plus qualitatifs sur la formation, ce qui vous permettra de compléter une analyse d’usages plutôt quantitative. Quelles parties ont été traitées trop superficiellement ? ou au contraire de manière trop approfondie ? Faut-il refaire certaines ressources ? Quelles sont les attentes pour les prochaines éditions ? Autant d’informations potentiellement très utiles pour les rééditions du cours.

Il s’agit ensuite de mieux cerner le public du cours. Pour réaliser ce bilan, il est nécessaire de réaliser l’analyse d’un ou de plusieurs questionnaires, postés en général en début de MOOC pour avoir le maximum de réponses, et qui permettront de répondre par la suite à un certain nombre de questions sur votre audience. Qui étaient les participants ? Par exemple sur le plan des catégories socio-professionnelles. Quelle était la proportion d’étudiants, de cadres supérieurs, de personnes en recherche d’emploi ? Quelles étaient les principales nationalités représentées ?

 Mais on peut aussi creuser un peu la question des motivations. Quelles étaient les principales motivations des participants ? Obtenir un certificat, monter en compétence ? Quelles étaient leurs intentions au moment de l’inscription ? Simplement consulter les ressources ou participer activement aux activités proposées ? Il ne faut pas cependant pas oublier que la qualité des conclusions que vous pourrez tirer de ces questionnaires dépendra en grande partie de la proportion des participants qui y auront répondu. Si seule une minorité y a participé, il sera difficile d’en tirer des conclusions robustes, car les répondants représentent sans doute une minorité de participants très motivés, et pas nécessairement représentative de l’audience du MOOC. On parle de biais d’échantillonage. C’est pour cela qu’il faut faire un gros travail de communication autour des questionnaires pour avoir le maximum de réponses et limiter ce biais, même s’il est impossible de s’en affranchir complètement.

Par ailleurs, si vous avez réalisé les questionnaires avec un outil extérieur à la plate-forme, comme Limesurvey ou autre, alors, à moins que vous n’ayez pris des mesures particulières (avoir un OpenID commun par exemple), vous ne pourrez pas a priori faire le lien entre les données issues des plates-formes et les données issues des questionnaires. Si toutefois vous parvenez à relier ces différents types de données, vous pourrez alors obtenir des résultats assez intéressants, et notamment chercher à comprendre qui a fait quoi au sein du cours. Par exemple, dans quelles parties du cours les participants se sont-ils le plus investies en fonction de leurs motivations, de leurs intentions initiales ou de leur origine socioprofessionnelle ? Observe-t-on un décrochage plus significatif au sein de certaines classes de participants, comme les étudiants ou au contraire les cadres, qui peuvent être soumis à de fortes contraintes temporelles ?

Nous sommes ici à la frontière entre la recherche scientifique et le travail de bilan. Une maîtrise des bases de la statistique peut être requise à ce stade. Des collaborations avec des chercheurs peuvent être nécessaires si vous voulez un travail poussé, mais vous risquez alors d’être soumis à leur rythme de publication. Si vous voulez des retours rapides, concrets, et qui correspondent à vos attentes, alors il vous faudra certainement mettre un peu la main à la pâte et utiliser quelques logiciels de statistiques. Il existe des logiciels très simples d’utilisation et gratuits, comme R, qui suffiront amplement pour ce que vous voulez faire.

Une fois le bilan réalisé, commence la phase de communication et de valorisation du projet. Toutes les analyses, tous les résultats que vous aurez pu obtenir, ont vocation à être partagés sur Internet, dans la mesure bien sûr où ils ne nuisent pas à la réputation du cours. Mais même un soi-disant échec peut être intéressant à analyser. Tout d’abord, ce n’est pas nécessairement de votre faute, ensuite, quand bien même vous auriez votre part de responsabilité dans cet échec, cela permet de tirer les conséquences de vos éventuelles erreurs, et votre interprétation des dynamiques observées est sans doute pertinente.

Ces retours d’expérience bénéficient à la communauté de concepteurs dans son ensemble. A titre personnel et même si je sais que tout le monde ne partage pas cette position, je prône la transparence la plus complète en ce qui concerne les difficultés rencontrées, à quelque niveau que ce soit, car cela permet de faire monter en compétence la communauté dans son ensemble. Après, il est sûr que cela peut poser des problèmes en termes de communication, et le message peut être mal interprété. Comme d’habitude, à vous de trouver le juste milieu.

Dernière forme de valorisation du projet, la valorisation des ressources produites. Vous avez sans doute dépensé beaucoup d’énergie pour produire des ressources, textes, ou vidéos, je vous recommande de les rendre accessibles au plus grand nombre et de les rendre aussi visibles que possible. Créez-vous une chaîne sur Youtube et partagez vos vidéos sur les réseaux sociaux. Si vous avez un blog, vous pouvez partager les textes que vous avez écrits, scripts de vidéos, énoncés de devoirs, ressources d’accompagnement, en faisant bien sûr quelques modifications pour les adapter au format du média que vous utilisez.

N’oublions pas que ce qui a de la valeur avec le numérique, ce n’est pas tant la ressource que l’usage, comme le nombre de vues par exemple. Autant on peut comprendre que l’on ferme les forums, et que l’on arrête d’organiser des activités, car l’équipe pédagogique a sans doute d’autres projets que le MOOC. Mais pour ce qui est des ressources, cela ne coûte en général pas grand chose de les rendre accessibles, et tous les moyens sont bons. Cela donnera davantage de visibilité et accroîtra la réputation du MOOC. Ce qui ne pourra que générer des retombées positives, comme par exemple un nombre plus important d’inscriptions pour les éditions suivantes.

Pour conclure, faire le bilan et la valorisation du MOOC, c’est utile aussi bien pour l’équipe pédagogique que pour l’ensemble de la communauté d’enseignants, de formateurs, de décideurs et de concepteurs de MOOC. La moindre des choses, c’est de rendre les ressources pédagogiques produites accessibles à tous à la fin du MOOC et de chercher à en accroître la visibilité. Par ailleurs, tous les retours que vous pourrez effectuer sont bon à prendre. Ils permettront d’enrichir le débat et de faire monter en compétences l’ensemble des parties prenantes. A vous de trouver les médias et les formes de communication appropriés; réaliser ces retours d’expérience est dans votre intérêt comme dans celui de l’intérêt général. Pour le moment, ce type de pratique est encore trop rare, et la montée en compétence ne bénéficie qu’aux auteurs des MOOC. Dans la mesure où la plupart ne jouent le cours qu’une fois, c’est bien dommage ….

Be Sociable, Share!

Leave a Comment

Filed under Non classé

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *