Basisbeginselen van een goede toets
Het uitgangspunt bij toetsen is dat ze valide en betrouwbaar zijn. Validiteit houdt grofweg in dat de toets de leerdoelen van de cursus dekt. Een toetsmatrijs kan je daarbij helpen om te bepalen hoeveel vragen je over welk onderwerp in de toets opneemt zodat je de dekking borgt. Betrouwbaarheid betekent dat de scores van studenten niet te veel aan toeval zijn te wijten. Om dit te bereiken, moet de toets voldoende vragen bevatten die zo goed mogelijk kunnen onderscheiden wie de stof wel of niet beheerst. ‘Slechte’ vragen kun je niet zomaar herkennen, zelfs niet als je je houdt aan alle constructieregels voor toetsvragen. Dat zie je pas als je een toets- en vraaganalyse van de antwoorden en scores van de studenten uitvoert. Hieronder een stappenplan hoe je dat doet.
Stap 1: voer een toets- en vraaganalyse uit
Maak na het afnemen van een toets een toets- en vraaganalyse. Bepaal eerst of de toets voldoende betrouwbaar is (cronbach alfa > 0,7). Als de betrouwbaarheid voldoende is, is nadere analyse van de vragen wat minder van belang. Is de betrouwbaarheid laag? Onderzoek dan de kwaliteit van de individuele vragen zoals de moeilijkheid (p-waarde) en het onderscheidend vermogen (rit-waarde). Bedenk wel: als je op voorhand al erg weinig vragen hebt, is de betrouwbaarheid waarschijnlijk laag en kun je die niet verbeteren. De volgende keer moet je dan meer vragen opnemen in de toets.
Stap 2: identificeer vragen die vaardigheid verkeerd meten
Sommige vragen identificeren de mate van kennis of vaardigheid van een student verkeerd. Dat kan enerzijds komen door onduidelijke formuleringen of anderzijds zelfs door sleutelfouten (het correcte antwoord fout rekenen of andersom). Bij een onduidelijke formulering gokken de studenten vaak het antwoord waardoor er eigenlijk wat willekeurig wordt geantwoord en een vraag-toetscorrelatie (rit) laag is (rit<0,2). Dit is vaak nadelig voor de score van alle studenten. Je kan daarom besluiten om de antwoorden op deze vraag voor alle studenten correct te rekenen of geheel te verwijderen.
Sleutelfouten (verkeerde antwoorden correct rekenen of andersom) zijn problematischer. Je kan deze vragen vaak herkennen, omdat de hoeveelheid studenten die deze vragen correct beantwoordt onder de kansscore ligt (dus bij vierkeuzevragen onder 25%, ofwel p<0,25 en de vraag-toetscorrelatie negatief: rit<0). Deze vragen kun je herstellen en daarna de scores opnieuw doorrekenen. Om studenten niet te benadelen is het advies om ook het goedgerekende, maar incorrecte, antwoord goed te blijven rekenen. De vraag verwijderen is niet per se nodig. Als de score onder kansscore ligt, maar de rit waarde is groter dan 0, dan kan het ook gewoon gaan om moeilijke stof, waarbij de vraag juist wel goed is.
Stap 3: identificeer vragen die vaardigheid nauwelijks meten
Goede vragen in een toets identificeren de mate van kennis of vaardigheden die studenten hebben optimaal. Dat gaat het best als de vragen niet te makkelijk of te moeilijk zijn (0,3>p<0,8). Vragen die bijna iedere student namelijk correct beantwoordt (p-waarde in de buurt van 1) maken weinig onderscheid. Dit maakt dat ze niet goed de vaardige of minder vaardige studenten van elkaar onderscheiden. Tegelijkertijd zijn niet alle gemakkelijke vragen irrelevant want de inhoud van de vragen kan namelijk wel degelijk van belang zijn. Ten eerste om de leerdoelen te dekken en ten tweede kan ook simpelweg gelden dat alle studenten heel goed gestudeerd hebben en dat bijna iedereen het correcte antwoord geeft. Bedenk voor een vervolgtoets bij voorkeur één of twee aantrekkelijker afleiders die minder vaardige studenten misschien wel zouden kiezen.
Stap 4: herzie de zak-slaaggrens alleen indien nodig
Als je vragen verwijdert, moet je de zak-slaaggrens opnieuw bepalen. Voer de herziening vooral uit om onterecht gezakte studenten te voorkomen. Een vuistregel daarbij is dat er in ieder geval niet meer studenten zakken dan zonder aanpassing van de sleutel of het verwijderen van de vragen. Als je besluit een vraag geheel correct te rekenen voor iedereen kun je de zak-slaaggrens laten zoals je op voorhand had bepaald. Naderhand hoef je geen toets- en itemanalyse meer uit te voeren met de aangepaste toets omdat de originele waarden het meeste zeggen. Dan kun je de volgende toetsgelegenheid gebruiken om verbeteringen te realiseren.
Meer weten?
Lees de Quickstart Toetsontwikkeling (pdf).