Des mécanismes pour assurer la validité de l'interprétation de la mesure en éducation - volume 3: Aspects pratiques

Chapitre 2. Comparaison d'outils technologies permettant l'analyse de données à l'aide des modèles de Rasch

Chapitre 2 Comparaison d’outils technologiques permettant l’analyse de données à l’aide des modèles de Rasch Éric Dionne, Julie Grondin et Jean-Guy Blais La modélisation de la mesure est une opération importante qui permet d’étayer la validité de construit en évaluation ou en recherche. Or, plusieurs logiciels permettent maintenant de modéliser les scores bruts. Dans le cadre de ce texte, nous exposerons les résultats d’une analyse comparative de deux logiciels (RUMM2020 et Winsteps) qui porte autant sur l’ergonomie de l’interface que sur les méthodes d’estimation (paramètres, adéquation modèle-données) ou sur l’information produite par ces logiciels. L’analyse illustre que les deux logiciels diffèrent quant à leur convivialité et à leur utilité pour certains types de recherche, mais que globalement chacun offre des résultats comparables tant au regard de la mesure que de la précision de cette dernière. 1. INTRODUCTION La modélisation de la mesure est une activité à la fois théorique et pratique . De nombreux développements sont apparus au cours des dernières années dans le domaine de la modélisation théorique des scores aux tests . Chaque année, de multiples articles (Blais et Maheux, 2003; Loye, 2005) font état de propositions originales visant à mieux modéliser les données ou les scores obtenus à l’aide de tests, de questionnaires ou de grilles d’observation par exemple, 40 Des mécanismes pour assurer la validité de l’interprétation de la mesure en éducation – Volume 3 et ce, dans des disciplines variées comme la didactique des sciences (Boone et Scantlebury, 2006; Liu et Boone, 2006) ou les sciences de la santé (Hagquist, Bruce et Gustavsson, 2009; Massof, 2002; Smith, Wright, Selby et Velikova, 2007 ; Tang Wai, Wong, Chiu, Lum et Ungvari, 2005) . Longtemps réservée à une élite composée d’initiés1 maîtrisant les techniques mathématiques, la modélisation de la mesure tend à se démocratiser auprès des membres de la communauté académique et scientifique . De ce fait, nous assistons à une plus grande prise en compte par les chercheurs des aspects liés à la mesure, ce que nous ne pouvons que saluer . Plusieurs facteurs peuvent expliquer l’intérêt grandissant pour la modélisation de la mesure . L’un de ces facteurs est assurément la plus grande disponibilité de logiciels spécialisés qui permettent maintenant de réaliser des analyses avancées sans devoir nécessairement maîtriser un langage, souvent rébarbatif, de programmation ou encore un vocabulaire permettant le codage des instructions de modélisation . À une certaine époque, seuls les spécialistes de la mesure s’intéressaient à ces outils et les maîtrisaient, mais depuis quelques années la convivialité des outils d’analyse s’est grandement améliorée . Cet état de fait permet maintenant à des «non-spécialistes» de la mesure d’utiliser à profit ces outils et ainsi d’apporter une plus-value à leurs travaux en prenant en compte les propriétés métriques des données analysées . L’idée de produire un texte à vocation pratique sur les outils récents de modélisation nous occupait l’esprit depuis un bon moment . En effet, à notre connaissance, il y avait relativement peu de textes publiés qui traitaient de ce sujet (Pomplun, Omar et Custer, 2004; Robin, Xing et Hambleton, 1999; Sick, 2009; Skaggs, 2004) et encore moins des écrits en français . Il nous apparaissait pertinent de présenter les différents logiciels actuellement disponibles tout en soulignant les forces et les limites de chacun d’eux . C’est à ce besoin que le présent texte tentera de répondre . Toutes les personnes (étudiants diplômés, chercheurs, professionnels de recherche, professeurs, etc .) qui s’intéressent à la nature et à la qualité des données devraient trouver des pistes intéressantes dans le choix et l’utilisation des outils de modélisation que nous présentons . Évidemment, tout propos associé à des outils technologiques est irrémédiablement condamné à être un propos éphémère . En effet, les logiciels actuellement disponibles seront, tôt ou tard (mais probablement plus tôt que tard), remplacés par d’autres outils, ce qui pourrait rendre caduc l’essentiel de la réflexion contenue dans ce texte . Pour tenter d’éviter cet écueil, nous avons organisé la comparaison des logiciels en faisant reposer notre analyse 1 . Le masculin est utilisé à titre...