Des mécanismes pour assurer la validité de l'interprétation de la mesure en éducation: L'évaluation Volume 2

Chapitre 2. Utilisation du degré de certitude et du degré de réalisme dans un contexte d’évaluation diagnostique

Chapitre 2 Utilisation du degré de certitude et du degré de réalisme dans un contexte d’évaluation diagnostique Serge Boulé et Dany Laveault Dans un contexte d’évaluation en appui à l’apprentissage, il peut être utile pour un étudiant de recevoir un feedback sur le réalisme de l’autoévaluation de ses réponses. Si le degré de réalisme varie en fonction des propriétés des items et des différences individuelles, son utilité dans ce contexte peut être réduite. Notre recherche a permis d’observer que, plus les étudiants sont performants, plus ils sont réalistes, et ce, quel que soit le genre. Également, plus l’item est facile, plus les étudiants sont réalistes. Les liens entre les niveaux taxonomiques des items, leur discrimination et le réalisme ne sont pas clairs et méritent d’être étudiés davantage. 1. INTRODUCTION Cette étude s’inscrit dans le cadre d’une recherche appliquée qui porte sur l’utilisation du degré de certitude en docimologie . Lors de la passation de tests, on peut demander aux individus d’exprimer leur certitude quant à la qualité de leurs réponses . Il s’agit en quelque sorte d’ajouter une modalité de réponse à chaque item permettant ainsi à l’individu d’indiquer son degré de certitude pour chacune de ses réponses . 32 Des mécanismes pour assurer la validité de l’interprétation de la mesure en éducation – Volume 2 Henmon (1911) introduit le concept de certitude des étudiants envers leur réponse . Le degré de certitude d’un étudiant que les réponses qu’il donne sont correctes est un élément qui peut être ajouté au processus d’évaluation et qui tient compte des degrés variables de connaissance . Leclercq et Poumay (2004, p . 3) définissent les degrés de certitude comme [l]’ensemble des jugements, des analyses, des régulations, conscientes ou non (mais qu’il importe de rendre explicites, observables et conscientes) effectués par l’apprenant sur ses propres performances (processus ou produits), dans des situations de PRÉ, PER ou POST performance. Il existe plusieurs façons d’exprimer le degré de certitude . Reach, Zerrouki, Leclercq et D’Ivernois (2005) proposent une échelle de probabilités d’exactitude qui pourrait varier par échelons de pas sûr du tout à absolument sûr . En fait, l’étudiant estime correctement ou non la qualité de ses réponses (bonne ou non), ce qui est adapté à l’évaluation des apprentissages . Il y a des erreurs plus graves que d’autres, surtout celles pour lesquelles nous sommes sûrs de ne pas nous tromper . Il serait utile de savoir si un étudiant se doute qu’il se trompe lorsqu’il donne une mauvaise réponse à un item, surtout dans le cas où la mauvaise réponse pourrait avoir des conséquences en situation réelle . Hunt (1993) distingue d’ailleurs trois états de la connaissance : connaissance , ignorance et méconnaissance . C’est cette dernière catégorie qui est particulièrement critique pour toute régulation des apprentissages . En comparant la certitude exprimée et la qualité des réponses, nous pouvons établir si l’individu est réaliste lorsqu’il juge de la qualité de ses réponses . La mesure du réalisme proposée s’obtient en vérifiant la concordance entre le degré de certitude exprimé et la qualité de la réponse obtenue . L’étudiant réaliste tend à anticiper une bonne réponse lorsque celle-ci est bonne et une réponse incorrecte lorsque celle-ci est incorrecte . L’utilisation du degré de certitude peut alors avoir une fonction formative à partir du moment où l’on donne un feedback à l’individu sur les éléments qui ont incité ce dernier à manquer de réalisme, ce que Hunt (1993) appelle la méconnaissance . La certitude, et par conséquent le réalisme, sont-ils des traits ou des caractéristiques dépendant du contexte? En contextes formatif et diagnostique, il est important de savoir si le réalisme de l’étudiant est indépendant du type de question posée et si des facteurs personnels l’influencent . Nous devons comprendre l’effet de ces facteurs pour que l’utilisation du degré de certitude soit exempte de biais et soit valide dans de tels contextes . Chapitre 2 – Utilisation du degré de certitude et du degré de réalisme 33 2...