Obtenir et interpréter un rapport
En vertu de l’entente signée entre l’Université de Montréal et le SGPPUM il est convenu de parler de l’appréciation de la prestation d’enseignement pour identifier la rétroaction faite par les personnes étudiantes pour chaque cours. La plupart des textes décrivant cet exercice ont été modifiés au fil du temps sur le site internet du Centre de pédagogie universitaire, ainsi que dans les outils applicatifs (Omnivox et Clara). Toutefois, le terme évaluation peut encore se retrouver dans différents textes de même que dans les outils applicatifs (qui sont sous le contrôle du fournisseur de services). Une révision du vocabulaire utilisé dans les outils applicatifs est prévue dans les prochains mois. Notez que d’ici là, dans tous les cas pertinents, le terme évaluation de l’enseignement réfère à l’appréciation de l’enseignement.
Depuis l’hiver 2018, les enseignants et enseignantes peuvent accéder en ligne à tous leurs rapports individuels. Pour ce faire, ils doivent se rendre sur ce portail : umontreal.ca/evaluez.
À noter : Nous avons automatisé la production des rapports et il vous est désormais possible de récupérer les vôtres (individuels et synthèses) directement sur la plateforme Omnivox.
Il existe trois types de rapport qu’un membre du corps enseignant peut demander au CPU en cas de problème d’accès à la plateforme :
- Un rapport individuel. Il est fourni pour une prestation survenue avant l’utilisation d’Omnivox ou en cas d’impossibilité d’accéder à Omnivox. Toutefois, nous ne garantissons l’accès qu’aux données des cinq dernières années ;
- Un rapport cumulé. Nous pouvons cumuler les résultats de plusieurs sessions du même cours pour atteindre le seuil de participation (minimum 5 personnes répondantes) à condition que celui-ci soit offert par la même personne enseignante et appréciée par le même questionnaire ;
- Le rapport synthèse des appréciations de prestations d’enseignement. Il n’est fourni que sur demande au membre du corps professoral ou au directeur ou à la directrice de département et qu’en cas de problème d’accès à la plateforme Omnivox. Il présente la moyenne, par dimension observée, des résultats obtenus pour les prestations d’enseignement de chaque trimestre sur une période qui peut couvrir les cinq dernières années ou plus, si les données sont accessibles.
Pour faciliter l’émission de ce rapport, dans la mesure du possible, veuillez nous transmettre ces trois informations :
- Le nom du département
- Le ou les trimestres
- Le ou les sigles de cours
Interpréter les résultats de l’appréciation
Il n’est pas toujours facile d’avoir le recul nécessaire pour effectuer une lecture objective d’un rapport d’appréciation personnel et des commentaires qui l’accompagnent. Dans cette section, nous souhaitons vous transmettre quelques recommandations pour vous aider à faire de ce moment ce qu’il doit être : une occasion privilégiée de réflexion sur votre enseignement.
Validité
À la lecture des résultats d’une appréciation, il est essentiel de se rappeler quelle est la fonction principale de cet exercice, soit améliorer l’enseignement afin que les étudiants et étudiantes atteignent mieux leurs objectifs et ceux du programme d’études. Il ne faut pas oublier que la validité d’une mesure dépend de la justesse de l’interprétation des données comparativement aux buts poursuivis. En regard de la fonction établie, la lecture des résultats de l’appréciation peut permettre de cerner certaines forces et faiblesses dans la manière de dispenser l’enseignement ou parmi les choix qui ont été faits. Tirer des conclusions à un autre titre, par exemple pour tenter de s’attribuer une performance supérieure à celle d’un ou d’une collègue, est inadéquat puisque les questionnaires ne sont pas construits pour être utilisés dans cet esprit (consulter la page sur l’évaluation statutaire).
Première lecture
Dans un premier temps, il est recommandé aux enseignants et enseignantes d’effectuer une lecture en survol de leur rapport et des moyennes obtenues pour chacun des énoncés. Plus une moyenne est élevée, plus les étudiants et étudiantes sont d’accord avec l’énoncé du questionnaire, ce qui constitue normalement un bon point pour vous. De manière générale, 3,1 et plus pour un énoncé représente une bonne moyenne.
Les moyennes les plus basses découlent d’un plus grand nombre d’étudiants ou étudiantes se disant en désaccord avec l’énoncé ; ici commence donc le questionnement. Est-ce qu’un résultat plus faible à un énoncé révèle forcément une faiblesse dans l’enseignement ?
Une moyenne de 2,5 ou moins à un énoncé devrait signaler un aspect de l’enseignement à améliorer. Si vos résultats les plus bas se situent entre 2,6 et 3,0 de moyenne, vous pouvez examiner une autre donnée : le taux d’accord avec l’énoncé. Pour chaque énoncé, les rapports d’appréciation indiquent combien de personnes répondantes ont choisi 4 ou 3 (taux d’accord avec l’énoncé). À titre de guide, si vous constatez que ce taux est sous la barre de 70 %, vous pouvez juger que cet aspect de votre enseignement peut être amélioré.
En outre, les rapports que vous recevez proposent un classement des énoncés par dimension ainsi qu’une moyenne pour chacune de ces dimensions. Cette première lecture vous conduit donc à déterminer de probables forces dans votre enseignement ainsi que des directions qui peuvent être empruntées pour l’améliorer.
Commentaires écrits
Les commentaires laissés par les étudiants et étudiantes ne peuvent être accessibles que pour l’enseignante ou l’enseignant concerné. Ils doivent être consultés dans la perspective de confirmer certains constats faits à partir du rapport d’appréciation chiffré, de préciser ces constats et peut-être d’envisager des solutions suggérées par le groupe.
Plusieurs mises en garde doivent être prises en compte concernant les commentaires écrits. Il faut d’abord se rappeler qu’il s’agit d’un échantillon : ce ne sont pas tous les membres du groupe qui commentent et ce sont souvent les plus motivés à le faire, donc ceux qui ont les avis les plus marqués positivement ou négativement. Un commentaire récurrent peut néanmoins représenter une opinion minoritaire dans le groupe ; il convient dans ces cas d’effectuer une vérification auprès des énoncés correspondants dans le rapport chiffré. Enfin, il faut démontrer une ouverture à ce qu’un seul commentaire constructif original puisse mériter votre attention, en particulier s’il aborde un sujet ignoré par le questionnaire d’appréciation de la prestation d’enseignement ou propose des solutions.
Analyse du contexte
L’étape suivante de votre interprétation des résultats consiste à rechercher une explication plausible à ceux-ci. Détenir des hypothèses au sujet de la source des résultats obtenus vous permettra de réagir de manière pertinente.
- Tentez de visualiser le déroulement du cours ou du trimestre du point de vue des étudiants et étudiantes : est-ce que ce sont des gestes que vous avez posés, des décisions que vous avez prises ou des événements qui sont survenus qui expliquent en partie certains résultats ?
- Si votre groupe est hétérogène, est-ce qu’un groupe particulier a pu voir et vivre le cours d’une manière différente des autres ?
- Réexaminez les énoncés avec attention : est-ce que certains sont porteurs d’attentes plus difficiles ou plus faciles à satisfaire que d’autres ? Ceci pourrait vous amener à voir différemment ce qui apparaissait comme une force ou une faiblesse.
- Certains énoncés portant sur le cours lui-même ou référant au programme peuvent désigner une réalité en partie hors de votre contrôle.
- Certaines situations peuvent influencer l’enseignement et les réponses aux questionnaires d’appréciation. Consultez la section de la FAQ portant sur la validité et envisagez de communiquer vos réflexions sur la fiche de variables contextuelles à votre directeur ou directrice de département ou encore au doyen ou à la doyenne.
Le CPU est également à votre service pour vous assister dans l’interprétation de vos résultats. Vous pouvez nous écrire à appreciecours@cpu.umontreal.ca.