Des mécanismes pour assurer la validité de l'interprétation de la mesure en éducation - volume 3: Aspects pratiques

Chapitre 1. Moyens relevés dans les politiques institutionnelles d'évaluation des apprentissages (PIEA) pour assurer la validité des inférences en évaluation des apprentissages au collégial

Chapitre 1 Moyens relevés dans les politiques institutionnelles d’évaluation des apprentissages (PIEA) pour assurer la validité des inférences en évaluation des apprentissages au collégial Karine Paquette-Côté et Gilles Raîche La présente recherche de nature exploratoire constitue une première tentative de validation de la structure d’argumentation interprétative de Kane (2006) par son application à l’analyse des politiques institutionnelles d’évaluation des apprentissages (PIEA) du réseau collégial québécois. L’un de ses objectifs consistait à relever des moyens que les institutions peuvent utiliser pour assurer l’argumentation de la validité des inférences au regard des apprentissages des étudiants. Une analyse de contenu des politiques institutionnelles d’évaluation des apprentissages et une modélisation schématique ont été réalisées à partir de la structure de Kane, menant à l’élaboration de lignes directrices permettant de chercher à assurer l’argumentation de la validité des inférences d’évaluation en évaluation des apprentissages au collégial. 1. INTRODUCTION Depuis 1994, avec la création de la Commission d’évaluation de l’enseignement collégial (CÉEC), le système d’enseignement collégial du Québec s’est doté de mesures visant à garder un certain contrôle sur la qualité de la formation et de l’évaluation au sein du réseau collégial . Une de ces mesures est l’obligation, pour chaque établissement, de rédiger et de mettre en application une politique 8 Des mécanismes pour assurer la validité de l’interprétation de la mesure en éducation – Volume 3 institutionnelle d’évaluation des apprentissages (PIEA) . Comme une politique institutionnelle d’évaluation des apprentissages est un outil devant permettre d’orienter, d’encadrer et de soutenir les pratiques d’évaluation des apprentissages dans les établissements d’enseignement collégial, on s’attend à ce qu’elle contienne les éléments permettant la validation des inférences d’évaluation . Traditionnellement, la validité en évaluation a été définie comme la capacité d’un test à bien mesurer ce qu’il prétend mesurer . En 1951, Cureton définissait la validité comme ayant deux dimensions, la pertinence et la fiabilité (relevance and reliability), et comme étant la corrélation entre le score obtenu au test et le score vrai critérié (true criterion score) (Cureton, 1951, p . 623) . En 1966, l’American psychological association propose trois types de validité: la validité de construit, la validit é de contenu et la validité critériée, cette dernière étant prédictive ou concomitante (Cronbach, 1971) . Cette conception de la validité ayant été développée pour la mesure en psychologie, Cronbach souligne le besoin de définir la validité en fonction de son utilisation et de son interprétation en éducation . La validité est encore principalement associée à la validité d’un test, mais plus d’importance est accordée à l’interprétation . Cronbach (p . 447) mentionne d’ailleurs que, puisque chaque interprétation a son propre degré de validité, on ne peut jamais arriver à la simple conclusion qu’un test particulier est valide1 . Il ajoute ensuite que tous les aspects et tous les détails d’une procédure de mesure peuvent influencer la performance et, par conséquent, ce qui est mesuré (p . 449) . Il place la validité dans un contexte de validation , laquelle correspond au processus visant à évaluer la précision des prédictions ou des inférences réalisées sur la base du résultat obtenu à un test . En 1989, Messick définit la validité comme étant le jugement évaluatif intégré du degré auquel la preuve empirique et le rationnel théorique supportent la justesse et la pertinence des inférences et des actions basées sur les résultats d’une évaluation2 . Cette définition implique une conception de la validité en tant qu’argument, telle que l’a introduite Cronbach (1980) en décrivant la validation du jugement évaluatif comme un processus rhétorique dans lequel l’évaluateur doit justifier son jugement par la présentation d’arguments réalistes fondés sur des preuves empiriques . Deux principaux modèles ont été développés en parallèle dans les années 1990 et 2000 en accord avec cette conception de la validité: l’un plus particulièrement centré sur la 1 . «Because every interpretation has its own degree of validity, one can never reach the simple conclusion that a particular test ‘‘is valid’’» (Cronbach, 1971, p . 447) . 2 . «Validity is an integrated evaluative judgment...