Relating a Reading Comprehension Test to the CEFR Levels: A Case of Standard Setting in Practice with Focus on Judges and Items

The article addresses some problems and options in setting standards on language tests and examinations. More specifically, it reports on a set of three workshops conducted in the European context where standard setting in language education typically concerns linking tests and examinations to the Council of Europe’s Common European Framework of Reference for Languages (CEFR) published in 2001. The context of the workshops and the standard-setting procedures are described, and the results and their interpretations are discussed. The focus in the article is on judges (panels) and items, which are considered the most important determinants in valid standard setting (cut scores).

L’article adresse des problèmes et des options en relation avec la mise en place de normes d’évaluation dans les épreuves et les examens de langues. Plus précisément, cet article fait un rapport sur trois ateliers menés en contexte européen où, normalement, fixer des normes dans l’enseignement des langues implique lier desépreuves et des examens au Cadre Européen Commun de Référence (CECR) publié en 2001 par le Conseil de l’Europe. L’article décrit non seulement le contexte des ateliers et les procédés suivis pour fixer les normes mais discute aussi les résultats et les interprétations. Le point de mire est sur les juges et les points à appliquer, qui sont considérés comme étant les déterminants les plus importants pour fixer des normes valides (« seuils et valeurs limites »).