Het ontwikkelen van kwalitatief goede toetsen is complex

Het ontwikkelen van kwalitatief goede toetsen, bestaande uit gesloten vragen, open vragen of opdrachten (zoals beroepsproducten of proeven) is complex. Daarnaast blijkt dat docenten in het onderwijs weinig tijd hebben voor de ontwikkeling van toetsen. Ook al zijn trainingen gevolgd, dan nog blijkt dat docenten door tijdgebrek moeite houden met het ontwikkelen van toetsen (Draaijer, 2016).

Beperkte en ongestructureerde beschikbaarheid van richtlijnen

Richtlijnen voor het ontwikkelen van toetsen bestaan in veel varianten. In verschillende bronnen ligt de nadruk op richtlijnen voor het ontwikkelen van gesloten vragen. Er is minder aandacht voor richtlijnen voor het ontwikkelen van leerdoelen, open vragen en opdrachten en voor toets- en itemanalyse, en nog minder voor andere fasen van het ontwikkelproces zoals het samenstellen van een toets, het bepalen van de cesuur en het geven van een waardering in bijvoorbeeld een cijfer. Richtlijnen komen voor in hoofstukken van boeken, in gepubliceerde artikelen of in de vorm van losse lijstjes. Het ontbreekt echter aan een gestructureerd overzicht van richtlijnen die het ontwikkelproces van toetsen volgen. Dat werkt weinig uitnodigend om richtlijnen te gebruiken. De 180 richtlijnen in deze uitgave, geordend op basis van twaalf (toets)onderwerpen, bieden toets¬ontwikkelaars, vaststellers, degenen die analyses uitvoeren en borgers (zoals leden van examencommissies) handvatten om hun werk gestructureerd uit te voeren.

Ontstaan en validatie van 180 richtlijnen

Uit zestig (wetenschappelijke) bronnen zijn 1.513 richtlijnen voor het ontwikkelen en analyseren van toetsen overgenomen. Deze richtlijnen zijn geordend over twaalf (toets)onderwerpen. Na het ontdubbe-len, waar nodig aanvullen en herformuleren bleven 371 richtlijnen over. Deze richtlijnen zijn ter validatie (vaststellen van de geldigheid van de resultaten) voorge¬legd aan twaalf ter zake kundige en ervaren toetsdeskundigen, waarvan zes gepromoveerd. Deze twaalf toetsdeskundigen waren: Jan Adema, Monique Altemühl-Booltink, Irene Biemond, Joost Dijkstra, Silvester Draaijer, Tom Erkens, drie samenwerkende toetsdeskundigen van Examenservices, Desirée Joosten-ten Brinke, George Moerkerke, Bart Roosenboom, Gerard Straetmans en Tamara van Schilt-Mol.

De validatie vroeg naar relevantie en duidelijkheid van de 371 richtlijnen. Er is gebruik gemaakt van intraclass correlatieberekeningen om inzicht te krijgen in de overeenstemming tussen toetsdeskundigen. Door de toets¬deskundigen werden totaal 1.905 opmerkingen geplaatst. De verwerking van de verkregen informatie uit de validatie heeft geleid tot 208 richtlijnen. Vervolgens zijn deze 208 richtlijnen in een bespreking doorgenomen door drie toetsdeskundigen waarvan een gepromoveerd (Irene Biemond, Gerard Straetmans en Harry Molkenboer). Dit heeft uiteindelijk geleid tot de 180 gevalideerde richtlijnen.

Er zijn alleen richtlijnen verzameld en gevalideerd die betrekking hebben op een concreet toetsproduct, zoals leerdoelen, een toetsmatrijs, open vragen of een toets. Er zijn geen richtlijnen verzameld en gevalideerd die te maken hebben met het proces om te komen tot toetsen, zoals het laten beoordelen van toets door een collega of de organisatie van een afname. Processen dragen wel bij aan de kwaliteit van toetsing, maar vooral in tweede instantie. De meeste winst valt te behalen met richtlijnen voor toetsproducten.

Overzicht van richtlijnen

Deze uitgave bevat het overzicht van alle 180 richtlijnen. Deze zijn als volgt verdeeld over de (toets)onderwerpen (tussen haakjes het aantal richtlijnen per onderwerp):

• richtlijnen voor het basisontwerp van een toets (11)
• richtlijnen voor taalaspecten (5)
• richtlijnen voor leerdoelen (9)
• richtlijnen voor een toetsmatrijs (4)
• richtlijnen voor casussen (6)
• richtlijnen voor gesloten vragen, vooral de meerkeuzevraag (32)
• richtlijnen voor ‘andere’ gesloten vraagvormen (16)
• richtlijnen voor open vragen (22)
• richtlijnen voor opdrachten (35)
• richtlijnen voor cesuur en normeren (5)
• richtlijnen voor de toets (25)
• richtlijnen voor de toets- en itemanalyse (10)

ToolKit met gedrukte kaartjes met richtlijnen en gekleurde kaarthouders

Alle 180 richtlijnen zijn ook afgedrukt op kaartjes (één richtlijn per kaartje). Per (toets)onderwerp zijn de kaartjes in twaalf stevige plastic doosjes samengevoegd. Voor de opslag van de verschillende doosjes is een speciale doos ontwikkeld. Naast de doosjes met de kaartjes bevat de doos gekleurde kaarthouders. In deze houders kan een gebruiker de kaartjes plaatsen. Begonnen wordt met het kiezen van een set richtlijnen ((toets)onderwerp), bijvoorbeeld Open vragen die in de zwarte kaarthouder wordt geplaatst. Uit deze houder wordt het eerste kaartje met richtlijn gepakt. Wordt aan een richtlijn voldaan, dan wordt het kaartje in de groene houder met het opschrift Voldoet geplaatst. Daarnaast is er een rode houder met Voldoet niet, een oranje houder met Twijfel en een blauwe houder met Niet van toepassing, want ook dat zal voorkomen. De ToolKit bevat verder nog een doosje met acht lege kaartjes om bijvoorbeeld eigen richtlijnen te noteren. Tot de ToolKit behoort ook een A0-poster met posterhangers (geleverd in een koker).

Kosten

Het boek met het overzicht van de 180 gevalideerde richtlijnen omvat 32 pagina’s en kost € 19,95 inclusief 9% BTW, exclusief verzendkosten (€ 3,90 vrijgesteld van BTW).
Bestellen