Passer au contenu

/ Centre de pédagogie universitaire

Je donne

Rechercher

Analyse des données d’apprentissage (learning analytics)

Qu’entend-on par analyse de l’apprentissage?

L’analyse de l’apprentissage (learning analytics) est la discipline consacrée à l'analyse des données de formation générées par l'apprenant. Les environnements numériques d'apprentissage (ENA ou LMS) donnent accès à une multitude de données qui, une fois, colligées, traitées, analysées et interprétées, permettent de mieux comprendre et d’optimiser l’apprentissage et l’environnement de formation. 

Les « traces » laissées par l'apprenant dans des environnements numériques d'apprentissage tels que StudiUM, constituent la plus grande partie des données d’apprentissage. Les rapports produit par cette plateforme peuvent ainsi nous informer sur le nombre et la durée des sessions de formation, sur la consultation des contenus (état, durée, nombre de vues totale et vues uniques, etc.) et sur les résultats aux activités. Par ailleurs, il est également possible d'analyser les traces inhérentes à l'environnement technologique de l'apprenant (système d'exploitation, fureteur Internet, appareil, etc.) pour faciliter le soutien offert aux utilisateurs et permettre à l'équipe pédagogique d'orienter au mieux ses efforts de développement.

Pourquoi s’intéresser à l’analyse des données d’apprentissage?

Sur le plan didactique, les données d'apprentissage permettent d'identifier les stratégies et les approches gagnantes.

Elles fournissent de précieuses informations à plusieurs niveaux :

  • La fréquentation

  • La consultation des contenus

  • Et surtout lorsqu’elles sont mises en corrélation avec les résultats aux évaluations (on analyse ici le parcours qu'a emprunté l'apprenant)

Pour le non initié, l’analyse des données peut – très souvent – s’avérer un exercice assez complexe car les niveaux de stratification et les facteurs de confusion ne sont pas évidents à identifier. Au-delà d'une expertise en pédagogie, il sera très utile de posséder des compétences en développement de site et en ergonomie web afin de pouvoir repérer les indicateurs clés comme le nombre de visites uniques versus le nombre de visites totales. Ce facteur permet notamment de comprendre si la formation attire mais surtout fait revenir l’étudiant. Si ce dernier ne revient pas, il faut chercher à comprendre pourquoi en s’interrogeant sur certains points : 

  • la complexité du parcours de formation
  • l’adéquation du contenu aux besoins
  • les normes de qualité pour mesurer les aspects esthétiques, ergonomiques (réf. expérience apprenant), techniques ou linguistiques

De plus, les données recueillies permettent d’identifier quelles ressources et activités sont les plus populaires:

  • Leur nombre de visites (uniques versus totales) – Par exemple : une ressource qui génère 1000 visites ne connaît pas la même popularité si l’analyse des données révèle qu’elle a été vue par 1000 étudiants une seule fois que si elle a été consultée par 100 étudiants 10 fois. Dans le premier cas, la ressource a eu un effet d’attraction mais aucune rétention alors quand dans le second, elle a certes attiré moins d’étudiants mais elle a su répondre à des objectifs d’inclusion.

  • La durée de consultation : données probantes quant à l’analyse de la performance d’une ressource. Les données permettent ainsi de comprendre si une ressource est consultée dans son entièreté ou abandonnée en cours de lecture car elle ne répond pas aux attentes et/ou besoins de l’étudiant. Cette analyse fournit alors de précieuses indications sur les contenus à réviser et dans certains cas, à supprimer.

Enfin, lorsque l’analyse des traces d’apprentissage permet d’identifier des stratégies pédagogiques gagnantes, il est alors possible d’identifier le parcours qui favorise

Comment bénéficier de l’analyse de l’apprentissage?

Générer des rapports

Dans Studium, plusieurs rapports permettent de suivre les progrès de l’étudiant :

1. Accéder aux données

Pour accéder aux données qui permettent d’analyser notre stratégie pédagogique, rendez-vous à :

Accueil / Cours / Votre cours / Administration du cours [Rapports]

  • Les rapports de compétences documentent la liste des compétences associées à un cours et le statut d’atteinte pour chaque étudiant.
  • Rapide à consulter, l’achèvement des activités présente, en un seul coup d’œil, les activités achevées par les étudiants. Selon les paramètres de suivi ; il est alors possible d’identifier quelles activités ont été complétées avec succès et celles pour lesquelles l’étudiant n’a pas encore satisfait les attentes de l’enseignant :

    1. Le statut de complétion est mis à jour manuellement par l’étudiant qui déclare avoir compléter le contenu de formation, l’enseignant n’a pas déclaré d’attente particulière ;
    2.  Le statut de complétion peut aussi être mis à jour automatiquement selon des contraintes configurées par l’enseignant qui n’a pas indiqué d’atteinte de niveau particulière;
    3. Les statuts de succès et d’échec sont réservés aux activités et ne s’appliquent pas aux ressources pédagogiques :
    •  L’étudiant a complété une activité (par exemple un test) mais n’a pas satisfait les attentes de l’enseignant
    •  L’étudiant a complété une activité et a répondu aux attentes de l’enseignant

  • L’achèvement de cours complète le rapport d’achèvement des activités dans le cas où l’enseignant a indiqué des conditions d’achèvement pour ses étudiants. Ces conditions peuvent se limiter aux statuts de complétion mais elles peuvent aussi s’étendre aux résultats (notes) ou encore comporter des contraintes de date. Cet outil est très utile également pour l’étudiant qui peut visualiser l’état d’avancement de son parcours en un seul graphique circulaire.
  • Les journaux donnent de l’information sur la fréquentation du cours : combien de fois un étudiant s’est connecté, pour faire quoi, à quelle heure, etc.
  • Le rapport d’activités du cours permet de dresser un palmarès des différentes ressources et activités de formation, il informe sur le nombre de visites, le nombre d’étudiants ainsi que sur la date de la dernière consultation.
  • La participation au cours permet d’identifier les étudiants qui ont ou pas consulté une ressource ou une activité. Il est alors possible d’effectuer une sélection d’étudiants pour leur envoyer un message.
  • Le rapport de statistiques produit un graphique illustrant le volume de la fréquentation du cours, l’enseignant peut ainsi cliquer sur une journée en particulier pour obtenir un aperçu plus précis, par exemple, des journaux.
  • Le suivi de l’étudiant produit un rapport sur les activités qu’un étudiant réalise au sein d’un cours. Ce dernier fournit de l’information sur sa fréquentation dans le cours : nombre de connexions, de messages déposés, les résultats obtenus, etc. et effectue un classement des étudiants à partir des données obtenues.

2. Générer des rapports en lien avec le suivi des évaluations

StudiUM permet également de générer plusieurs rapports en lien avec le suivi des évaluations : Accueil / Cours / Votre cours / Administration des notes/ … :

  • Rapport de l’évaluateur
  • Historique d’évaluation
  • Rapports d’objectifs
  • Rapport d’ensemble
  • Rapport du participant

Ces rapports peuvent être mis en relation avec les rapports énoncés précédemment pour analyser l'efficience d’une stratégie pédagogique. Ainsi, il est possible de constater qu’une ressource (vidéo) soit très populaire et plébiscité par toute une cohorte mais ne s’avère pas un facteur clé pour la réussite des étudiants. D’où l’importance d’analyser le parcours tant d’un point de vue quantitatif que qualitatif.

Interpréter les données

Pour interpréter ces données, il faut bien entendu détenir une certaine expertise mais il faut surtout savoir ce que l’on cherche. Autrement dit : quelles sont les questions auxquelles l’interprétation des données pourrait vous fournir des réponses. En voici quelques exemples : 

  • Mon cours attire-t-il mes étudiants?
  • Est-il complété, quelles sont les ressources et/ou activités les plus populaires ou à l’inverse, les moins appréciées? Cette question permet d’identifier ce sur quoi il n’est pas nécessaire de consacrer du temps de développement ; si le contenu est indispensable au cours, il conviendra de trouver une nouvelle stratégie pour mieux rejoindre les étudiants.
  • Mon approche et ma stratégie sont-elles gagnantes? On cherche ici à identifier les scénarios qui favorisent aussi bien la fréquentation du cours que la diplomation : quel scénario permet d’atteindre les meilleurs résultats.

Influencer sa stratégie pédagogique

Enfin, l’analyse des données permet de formuler des hypothèses de remédiation. À titre d’exemples :

  • dynamiser la scénarisation du cours (ref. storytelling)
  • mettre en place un niveau de gamification plus adapté aux objectifs du cours et au profil de ses étudiants
  • développer une approche plus sociale
  • Etc.