Des mécanismes pour assurer la validité de l'interprétation de la mesure en éducation: L'évaluation Volume 2

Chapitre 5. Analyse de l’argumentation de la validité des inférences d’évaluation dans les politiques institutionnelles d’évaluation des apprentissages des établissements d’enseignement collégial québécois

Chapitre 5 Analyse de l’argumentation de la validité des inférences d’évaluation dans les politiques institutionnelles d’évaluation des apprentissages des établissements d’enseignement collégial québécois Karine Paquette-Côté et Gilles Raîche La présente recherche de nature exploratoire constitue une première tentative de validation de la structure d’argumentation interprétative de Kane (2006) par l’application de cette structure à l’analyse de politiques institutionnelles d’évaluation des apprentissages (PIEA) du réseau collégial québécois. Une analyse de contenu de politiques institutionnelles d’évaluation des apprentissages (PIEA) a été réalisée à partir de la structure d’argumentation interprétative de Kane (2006). Cette recherche a permis de formuler des hypothèses quant à l’exhaustivité, à l’exclusivité et à la pertinence des catégories du modèle de Kane (2006) dans le contexte de l’évaluation des apprentissages à l’enseignement collégial. Elle a aussi permis de proposer l’ajout de deux arguments supplémentaires à la structure d’argumentation initiale de façon à chercher à assurer la crédibilité de l’inférence d’évaluation aux yeux des acteurs concernés. 1. INTRODUCTION Dans l’enseignement supérieur, les apprentissages devraient être authentiques et significatifs puisqu’ils sont en rapport direct avec les actes et la profession future ou actuelle des étudiants (Gipps, 1994 ; Scallon, 2004 ; Wiggins, 1993) . Au plan de l’évaluation, 94 Des mécanismes pour assurer la validité de l’interprétation de la mesure en éducation – Volume 2 qu’il s’agisse de celle des apprentissages traditionnels ou de celle des compétences, il est aujourd’hui reconnu que le processus d’évaluation est toujours limité quant à son degré d’authenticité face à la tâche réelle (Raîche, 2008) . Le processus d’évaluation demeure un exercice de simulation durant lequel la performance de l’étudiant se distingue nécessairement de sa performance en contexte réel . À ce propos, Mucchielli (1971, p . 30-31) rappelle qu’un test est une mise à l’épreuve expérimentale qui correspond à une situation simulée . La correspondance entre la performance en contexte réel et le résultat obtenu à un test fait principalement appel à la notion de validité . Traditionnellement, la validité d’une évaluation a souvent été définie comme la capacité d’un test à bien mesurer ce qu’il est censé mesurer . En 1951, Cureton définissait la validité comme ayant deux dimensions, la pertinence et la fiabilité (relevance et reliability), et comme étant la corrélation entre le score obtenu au test et le vrai score critérié («true» criterion score) (p . 623) . En 1966, l’American Psychological Association propose trois types de validité : la validité de construit, la validité de contenu et la validité critériée, cette dernière étant prédictive ou concomitante (Cronbach, 1971) . Cette conception de la validité ayant été développée pour la mesure en psychologie, Cronbach (1971) souligne le besoin de définir la validité en fonction de son utilisation et de son interprétation en éducation . La validité est surtout associée à la validité d’un test, mais on accorde plus d’importance à l’interprétation . Cronbach (1971, p . 447) mentionne d’ailleurs que parce que chaque interprétation a son propre degré de validité, on ne peut jamais arriver à la conclusion qu’un test en particulier est valide1 . Il ajoute que tous les aspects et tous les détails d’une procédure de mesure peuvent influencer la performance et donc ce qui est mesuré (p . 449) . Cronbach place la validité dans un contexte de validation , laquelle correspond au processus visant à évaluer la précision des prédictions ou des inférences réalisées sur la base du résultat obtenu à un test . En 1989, Messick définit la validité comme jugement évaluatif intégré du degré auquel la preuve empirique et le rationnel théorique soutiennent la justesse et la pertinence des inférences et des actions basées sur les résultats d’une évaluation2 . Cette définition suppose une conception de la validité en tant qu’argument, telle que l’a introduite Cronbach (1980), qui décrit la validation du jugement évaluatif comme un processus rhétorique dans lequel l’évaluateur doit justifier son juge1 . «Because every interpretation has its own degree of validity, one can never reach the simple conclusion that a particular test “is valid”» (Cronbach, 1971, p . 447) . 2 . «Validity is an integrated evaluative judgment of the degree to which empirical...