L’équipe de la CIFR a récemment discuté avec Elaine Van Melle, PhD, spécialiste de la recherche pédagogique à l’Université Queen’s et au sein de l’équipe CanMEDS du Collège royal des médecins et chirurgiens du Canada, des façons dont les directeurs de programme et les éducateurs médicaux peuvent mieux évaluer les innovations pédagogiques apportées à leurs programmes de formation.
Décrivez certains défis courants qui se posent aux directeurs de programme et aux éducateurs médicaux lorsqu’ils tentent d’évaluer les innovations pédagogiques.
Le premier défi : avoir l’évaluation en tête dès le départ. En général, l’évaluation n’entre en jeu qu’à la fin, bien après l’introduction et la mise en œuvre de l’innovation. Pour être efficace, l’évaluation doit être précédée d’un examen approfondi des besoins, d’une description claire du fonctionnement de l’innovation et d’une définition précise des objectifs à court, à moyen et à long terme. Dès qu’un éducateur médical se dit qu’il doit tenter quelque chose de nouveau, il doit déjà se préparer en vue de l’évaluation. Il n’est jamais trop tôt pour commencer!
Le deuxième défi : formuler une bonne question. La première question que se posent les éducateurs médicaux est : « Est-ce que cela fonctionne? ». Mais qu’est-ce que le mot « cela » désigne exactement? Comme l’a affirmé Michael Quinn Patton (2012), le spécialiste en évaluation que je préfère [ Trad. ] « Répondre à cette question est plus difficile qu’il n’y paraît. Il faut d’abord déterminer ce qu’il faut faire pour que le programme soit efficace, c’est-à-dire définir et mesurer les résultats et les objectifs escomptés et atteints. Le deuxième aspect qui permet d’approfondir la question est de préciser le « cela », c’est-à-dire le programme ou l’intervention. . . . L’aspect final, et le plus difficile, pour répondre à cette question est d’établir un lien entre la mise en œuvre et les résultats. »
Patton pose ensuite trois questions fondamentales de l’évaluation :
- Sur la mise en œuvre : Qu’est-il arrivé au sein du programme?
- Sur les résultats : Quels ont été les résultats?
- Sur l’attribution : Peut-on attribuer ces résultats à ce qui a été mis en œuvre?
Ces questions constituent un bon point de départ pour déterminer de manière efficace et utile l’objet d’une évaluation.
Référence : Patton MQ (2012). Essentials of Utilization-focused Evaluation. Thousand Oaks, CA: Sage Publications.
Pour ceux qui ne le connaissent pas, en quoi consiste le modèle de Kirkpatrick?
Il a été créé par le Dr Don Kirkpatrick dans les années 1950 dans le cadre de sa thèse de doctorat sur l’évaluation de l’efficacité de la formation des superviseurs. Il s’appliquait au départ aux programmes de formation professionnelle et il offre un cadre conceptuel de plus en plus utilisé pour les évaluations en formation médicale.
Le modèle de Kirkpatrick repose sur quatre niveaux d’évaluation des résultats, chaque niveau menant au niveau suivant.
Référence : Kirkpatrick DL et Kirkpatrick JD (2006). Evaluating Training Programs (troisième édition). San Francisco, CA: Berrett-Koehler Publishers
Quelles sont certaines limites des évaluations axées sur les résultats?
L’expression « évaluations axées sur les résultats » est trompeuse, puisque les innovations pédagogiques peuvent avoir plusieurs résultats différents. En général, ces résultats sont obtenus dans un certain délai, à court, à moyen et à long terme.
Les résultats à court terme permettent en général d’acquérir davantage de connaissances ou de compétences; les résultats à moyen terme font appel à des changements de comportement, comme des améliorations à la pratique clinique, et les résultats à long terme sont rattachés aux répercussions de l’innovation sur les soins aux patients ou le système de santé. On reproche deux choses aux évaluations axées sur les résultats.
D’abord, si le programme n’est pas encore stabilisé et en cours d’élaboration, le moment n’est peut-être pas venu de s’attarder aux résultats. Il peut être plus approprié de se demander d’abord si l’innovation a été apportée comme prévu. Comprendre clairement le fonctionnement du programme permet d’évaluer beaucoup mieux les résultats plus tard.
Ensuite, l’évaluation des résultats porte sur les résultats à long terme; p. ex., les répercussions de l’innovation sur les soins aux patients ou le système de santé. D’ici à ce que ce soit possible, le clinicien aura vécu plusieurs expériences différentes. Il est donc difficile de relier clairement l’innovation et les résultats à long terme.
Référence : Cook DA, West CP. (2013). Reconsidering the focus on “Outcomes Research” in medical education: A cautionary note. Academic Medicine; 88(2):1-6.
Comment les éducateurs peuvent-ils surmonter ces obstacles?
En utilisant un modèle logique, les éducateurs médicaux peuvent concevoir, mettre en œuvre et évaluer une innovation pédagogique, de manière simple et efficace. Comme le montre l’illustration, un modèle logique fournit un cadre pour structurer les composantes d’une innovation et, ainsi, déterminer l’objet d’une évaluation.
Un atelier préconférence de la CIFR examinera ce sujet en profondeur le 26 septembre 2013. D’ici là, visitez le site Web de la CIFR pour voir les exposés antérieurs de la Dre Van Melle sur l’évaluation des innovations.
Laissez un commentaire.