Des mécanismes pour assurer la validité de l'interprétation de la mesure en éducation - volume 3: Aspects pratiques

Chapitre 7. Impact de la méthode d'estimation du niveau d'habileté et du choix des premiers items sur l'efficacité de l'administration adaptive du TCALS II

Chapitre 7 Impact de la méthode d’estimation du niveau d’habileté et du choix des premiers items sur l’efficacité de l’administration adaptative du TCALS II David Magis et Gilles Raîche1 Le TCALS II (test de classement en anglais, langue seconde, au collégial, 2e version) est un questionnaire constitué d’un nombre fixe de 85 items administré aux étudiants de la province de Québec qui entament des études au niveau collégial. Une version adaptative informatisée de ce test est envisagée pour la première fois dans cette étude. Deux problématiques sont regardées de plus près: le choix d’une méthode d’estimation du niveau d’habileté optimale et la sélection des premiers items du test. Ces deux problématiques sont étudiées simultanément par le biais de simulation Monte-Carlo à partir de plusieurs règles d’arrêt liées à la longueur du test. On en conclut que le choix des premiers items affecte peu l’estimation du niveau d’habileté, tandis que des différences notables apparaissent entre les quatre méthodes d’estimation comparées. Certaines conclusions et recommandations sont mentionnées pour la poursuite ultérieure de ces travaux. 1 . Cette recherche a été soutenue par une bourse postdoctorale du Fonds national de la recherche scientifique (FNRS), en Belgique, par le Conseil national de recherches du Canada et par le ministère de l’Éducation, du Loisir et du Sport du Québec . 130 Des mécanismes pour assurer la validité de l’interprétation de la mesure en éducation – Volume 3 1. INTRODUCTION Depuis les premiers travaux réalisés dans les années 1980 (Green, 1983a, 1983b; Weiss, 1983), le testing adaptatif informatisé (TAI) s’est imposé comme une méthode efficace d’administration de tests psychom étriques ou d’épreuves destinées à l’évaluation des apprentissages . Le testing adaptatif informatisé peut être décrit rapidement comme suit: l’apprenant est placé devant un ordinateur et reçoit une série d’items qui lui sont présentés l’un après l’autre . Le choix de l’item administré dépend des réponses de l’apprenant aux items précédemment administr és . En fait, à chaque réponse enregistrée, le niveau d’habileté de l’apprenant est estimé au moyen de méthodes issues de la théorie classique des tests (TCT) ou, plus fréquemment, de la théorie de la réponse à l’item (TRI) . Le test adaptatif se termine lorsque l’étudiant a répondu à un nombre déterminé d’items ou lorsque la précision sur l’estimation de son niveau d’habileté est jugée suffisante . Cette approche adaptative a plusieurs avantages sur l’administration de questionnaires (de type papier-crayon) où les items administrés sont fixés à l’avance . Tout d’abord, un test adaptatif réduit le risque de fraude, puisque chaque test est individualisé en fonction des réponses fournies par l’apprenant . Ensuite, il a été maintes fois démontré (Wainer, 2000) qu’un test adaptatif fournit la même précision d’estimation du niveau d’habileté avec un nombre moindre d’items qu’un test fixe similaire . Cela s’explique par le fait qu’un test adaptatif permet de sélectionner l’item le plus informatif pour le niveau d’habileté estimé provisoire . Le testing adaptatif informatisé permet aussi l’utilisation de différentes règles d’arrêt et de sélection du prochain item . Enfin, il fournit une estimation immédiate du niveau d’habileté . Toutefois, le testing adaptatif informatisé présente également des inconvénients . Le premier est d’ordre technique et financier: l’administration d’un testing adaptatif implique la disponibilité d’un grand nombre d’ordinateurs performants ainsi que la constitution d’une banque d’items suffisamment large pour permettre une sélection adéquate des items les plus informatifs . La construction, la calibration et la confidentialité d’une telle banque d’items impliquent un coût non négligeable . De plus, l’utilisation pratique du testing adaptatif nécessite une plateforme informatique et un programme adapté, convivial et facile d’utilisation . Malheureusement, il existe peu de logiciels de testing adaptatif informatisé disponibles actuellement . Enfin se pose le problème de la transformation d’un test fixe en test adaptatif: les chercheurs et spécialistes de l’éducation ayant généralement investi beaucoup de temps et d’efforts...