Des mécanismes pour assurer la validité de l'interprétation de la mesure en éducation: La mesure Volume 1

Chapitre 6. Étude du comportementde 15 indices de détectionde patrons de réponsesinappropriés paramétriqueset non paramétriquesà partir d’une analysepar corrélations canoniques

Chapitre 6 Étude du comportement de 15 indices de détection de patrons de réponses inappropriés paramétriques et non paramétriques à partir d’une analyse par corrélations canoniques Sébastien Béland, Patricia Brassard et Gilles Raîche Lors de l’administration d’instruments de mesure du niveau d’habileté d’un étudiant, on assiste souvent à des tentatives de tricherie. Des indices ont été développés pour détecter les patrons de réponses inappropriés créés par ces tentatives. Or, la comparaison entre ces divers indices se limite généralement au calcul des corrélations entre eux. À ce titre, il serait plus indiqué d’utiliser l’analyse factorielle ou l’analyse par corrélation canonique afin d’obtenir une meilleure synthèse de ces corrélations. Dans le cadre de cette recherche, nous utilisons une démarche de type Monte Carlo pour étudier la relation qui existe entre certains indices de détection paramétriques et non paramétriques. Lors de l’administration d’instruments visant à mesurer le niveau d’habileté d’un étudiant, on assiste souvent à des tentatives de tricherie . Ainsi, le Centre pour l’intégrité académique (Center for Academic Integrity) rapportait que plus de 75% des étudiants ont admis avoir déjà triché à un test (Hutton, 2006, p . 171) . De même, une étude de Laurier, Froio, Pearo et Fournier (1998) montrait que 78% des enseignants du niveau collégial croient que les étudiants ne répondent pas correctement lors des épreuves scolaires . Conséquemment , ce type de comportement peut avoir des effets pernicieux sur la validité d’un test . En effet, l’observation d’un biais systématique dans la façon de répondre d’un étudiant peut causer 106 Des mécanismes pour assurer la validité de l’interprétation de la mesure en éducation – Volume 1 d’importants problèmes d’interprétation des scores . Ainsi, quelles voies s’offrent à nous pour tenter de détecter les individus qui adoptent de tels comportements lorsqu’ils passent un test? Zickar et Drasgow (1996) recensent plusieurs approches qui permettent d’éviter les comportements inappropriés . Notons, à titre d’exemple, que de nombreux auteurs conseillent aux évaluateurs de proposer des items qui sont difficiles à mésinterpréter . Par exemple, Edwards (1970) a suggéré de favoriser les questions ambiguës et moins explicites que ce que les évaluateurs souhaitent mesurer . Pour la mesure, quelques chercheurs suggèrent plutôt d’utiliser des indices de détection de patrons de réponses inappropriés tels que ceux développés par Tatsuoka et Tatsuoka (1982) ou Drasgow, Levine et Williams (1985) . Dans le cadre de ce chapitre, nous nous concentrerons plus particulièrement sur cette dernière stratégie . Ainsi, nous focaliserons notre démarche sur l’objectif général suivant: analyser la relation existant entre différents indices de détection de patrons de réponses inappropriés . 1. CONTEXTE THÉORIQUE 1.1. Cadre conceptuel Il existe plus d’une cinquantaine d’indices de détection de patrons de réponses inappropriés qui peuvent se diviser en deux grandes catégories (Karabatsos, 2003; Meijer et Sijtsma, 2001): les indices param étriques et les indices non paramétriques . Dans un premier temps, on constate que les indices non paramétriques découlent de la logique de comparaison en paires d’items (group-based index), dont la notion a surtout été élaborée par Guttman (1944, 1950) . Au plan pratique, cette approche est la plus facile à appliquer, car les calculs sont directement effectués à partir des données brutes du test . Dans un deuxième temps, on voit que les indices paramétriques proviennent du modèle probabiliste de la théorie de la réponse aux items (TRI) . Dans ce cas-ci, le calcul des patrons de réponses est plus fastidieux, car les données sont tributaires des estimations des modèles logistiques de la théorie de la réponse aux items . Dans le cadre de cette recherche, nous avons sélectionné 15 indices qui ont été regroupés dans le tableau 6 .1: Chapitre 6 – Étude du comportement de 15 indices de détection de patrons 107 Tableau 6.1 Classification des 15 indices sélectionnés Indices non paramétriques Indices paramétriques G Guttman (1944, 1950) U Wright et Stone (1979) NCI Tatsuoka et Tatsuoka (1982) lnU Wright...