Standardsetting av læringsstøttende prøver i engelsk for Vg1
DOI:
https://doi.org/10.5617/adno.6281Emneord (Nøkkelord):
Standardsetting, Læringsstøttende prøver i engelsk, Det europeiske rammeverket,Sammendrag
Formålet med denne artikkelen er å beskrive framgangsmåten som ble brukt for å bestemme kuttskårer (grenser) mellom tre nivåer i Det europeiske ramme-verket for språk (A2, B1 og B2) på to læringsstøttende lytteprøver i engelsk for Vg1-elever. Målet har vært å undersøke om det er mulig å etablere enighet om kuttskårene, og om standardsetterne som deltok i arbeidet fikk tilstrekkelig opp-læring på forhånd. Videre var det et mål å se på hvilke konsekvenser kuttskårene vil få for fordeling av elever på de ulike rammeverksnivåene.
Standardsettingen ble gjennomført med utgangspunkt i pilotdata fra 3199 elever på Vg1, Cito-metoden og 16 panelmedlemmer med god kjennskap til Rammeverkets nivåer. Flere av panelmedlemmene var eller hadde vært lærere i engelsk for elever på 10. trinn eller Vg1.
Cito-metoden fungerte bra for å etablere kuttskårer som standardsetterne var forholdsvis enige om. Sluttresultatene viser at målefeilen var relativt liten. Resultatene viser større enighet om kuttskåren mellom nivåene B1 og B2 enn mellom A2 og B1, og dette kan ha en sammenheng med at det ble brukt mer tid på forberedelsesarbeid for B1 og B2.
Lærere i panelet som kjenner elevgruppa godt, mener at konsekvensen kutt-skåren har for fordeling av elever på de ulike rammeverksnivåene, stemmer med deres egen vurdering av elevenes lytteferdigheter.
Nøkkelord: standardsetting, testsentrert metode, Cito-metoden, standard, kutt-skår, vippekandidat
Standard setting for English tests for 11th grade students in Norway
Abstract
This article presents the process used to determine the cut scores between three levels of the Common European Framework of Reference for languages (A2, B1 and B2) for two English listening tests, taken by Norwegian pupils at the 11th grade. The aim was to establish whether agreement can be reached on cut scores and whether the standard setters received enough preparation before the event. Another aim was to examine the potential consequences the cut scores would have for the distribution of pupils across the different levels.
The standard setting took place using pilot data from 3199 pupils, the Cito method and 16 panel members with a good knowledge of the framework levels. Some panel members were or had been 10th or 11th grade English teachers.
The Cito method worked well for establishing cut scores with which the panel members mostly agreed. The results indicated a small margin of error. The results showed a higher level of agreement for the cut score between B1 and B2 than between A2 and B1, possibly connected to the longer preparation time dedicated to B1 and B2.
Teachers on the panel with good knowledge of the pupil base believe that the consequences these cut scores have for the distribution of pupils, correlate with their own experiences of pupils' ability.
Keywords: standard setting, test-centered method, the Cito method, standard, cut score, borderline person / minimally competent user
Nedlastinger
Publisert
Hvordan referere
Utgave
Seksjon
Lisens
Innhold publisert
i tidsskriftet Acta Didactica er - dersom ikke annet er uttrykt - lisensiert gjennom Creative Commons Lisens BY-NC-ND-4.0 (https://creativecommons.org/licenses/by-nc-nd/4.0/). Dette betyr at innhold kan kopieres, distribueres og spres i hvilket som helst medium eller format, så lenge disse vilkårene er fulgt:
- Kreditering: Du må oppgi korrekt kreditering og oppgi en lenke til lisensen.
- Ikke-kommersiell bruk: Du kan ikke benytte materialet til kommersielle formål.
- Ingen bearbeidelser: Du kan ikke distribuere bearbeidete versjoner av materialet.
NB: Creative Commons-lisensen gir deg ikke nødvendigvis alle de tillatelser som er nødvendig for din tiltenkte bruk. For eksempel kan andre rettigheter, som reklame-, personvern-, eller ideelle rettigheter, sette begrensninger på hvordan du kan bruke materialet.
Forfattere som publiserer i Acta Didactica aksepterer følgende vilkår:
- Forfatter(ne) beholder opphavsretten til artikkelen og gir Acta Didactica rett til første publisering, samtidig som artikkelen blir lisensiert under Creative Commons Lisens BY-NC-ND-4.0. Denne lisensen tillater deling av artikkelen for ikke-kommersielle formål, så lenge forfatteren og første publiseringssted Acta Didactica krediteres. Lisensen tillater ikke publisering av bearbeidede versjoner av artikkelen.
- Forfatteren står fritt til å publisere og distribuere arbeidet/artikkelen etter publikasjon i Acta Didactica, så lenge det henvises til tidsskriftet som første publiseringssted. Innsendte bidrag som er antatt for publikasjon eller som er til vurdering i Acta Didactica kan ikke samtidig være under vurdering for publikasjon i andre tidsskrifter, antologier, monografier eller lignende. Ved å sende inn bidrag aksepterer forfatteren at bidraget publiseres digitalt i Acta Didactica.