Gebruiken van beoordelingsvormen voor opdrachten: checklists en rubrics

WhitePaper-online: Checklists en rubrics, hoe gebruik je ze? Vijf voorbeelden.

WhitePaper in PDF downloaden? Klik hier

Inleiding

Aanleiding voor deze WhitePaper is de situatie dat veel docenten in het beroepsonderwijs (middelbaar en hoger) onzeker zijn over het ontwikkelen en beoordelen van opdrachten zoals een presentatie, werkstuk, stageverslag, afstudeerscriptie, gedragsopdracht en dergelijke. Dat is jammer, omdat als een overzicht bestaat in wat erbij komt kijken, het niet ingewikkeld is.

Opdrachten worden meestal toegepast voor het meten prestaties van hogere orde denkvaardigheden.

Opdrachten zullen echter meestal niet alleen cognitief van aard zijn. Bij opdrachten worden kennis, inzichten, vaardigheden en competenties vaak integratief met elkaar getoetst. Dit betekent dat naast denkvaardigheden ook affectieve en psychomotorische vaardigheden aan de orde zijn. Hiervoor zijn goed toegankelijke en bruikbare taxonomieën beschikbaar (Bloom, Krathwohl, Masia & Dave, 1956, 1964, 1970, 2001).

De Piramide van Miller (1990) is van betekenis voor de keuze van de toetsvormen. Met behulp van de piramide kan ook zichtbaar worden gemaakt dat toetsen met lagere orde denkvaardigheden over het algemeen een lagere validiteit kennen maar betrouwbaarder zijn. En dat toetsen gericht op hogere orde beroepssituaties meer valide maar minder betrouwbaar zijn. Toetsen in of in gesimuleerde beroepssituaties liggen dicht bij de praktijk (meer valide), maar meten vaak maar een of een beperkt aantal beroepsbekwaamheden (minder betrouwbaar). Met toetsen met gesloten vragen gericht op kennis en inzicht kunnen in een korte tijd veel vragen worden aangeboden waardoor een breed spectrum van een kennisdomein kan worden bevraagd (meer betrouwbaar), maar dat alleen het meten kennis over het algemeen verder van de beroepspraktijk afstaat (minder valide) (zie figuur 3)

Omdat praktijkopdrachten in het algemeen minder betrouwbare toetsscores opleveren is het zaak om meetfouten, die elke toets altijd heeft, zoveel mogelijk te verkleinen. Dit is mede mogelijk door opdrachten zorgvuldig te ontwikkelen, waarbij de beoordeling al bij de ontwikkeling zo wordt georganiseerd dat de intra- en interbeoordelaarsbetrouwbaarheid zo groot mogelijk worden gemaakt. Bij opdrachten (maar ook bij open vragen) krijgt de beoordeling van opdrachten bij de ontwikkeling van de opdracht dan ook zeer nadrukkelijk de aandacht.

Goede opdrachten beginnen met een goede basis

Het beoordelen van gesloten en open vragen levert meestal geen of weinig problemen op. Het beoordelen van gesloten vragen is niet meer dan het turven van de goede antwoorden. Het beoordelen van open vragen wordt al wat lastiger. Maar met een goed antwoordmodel, een goede beoordelingsinstructie, gedetailleerde beoordelingscriteria en inhoudelijk deskundige beoordelaars is dit goed te doen.

Het ontwikkelen en beoordelen van opdrachten wordt over het algemeen als lastig ervaren. Dat is jammer want als de voorbereidingen goed zijn uitgevoerd, is ook het ontwikkelen en beoordelen van opdrachten niet heel erg complex. Tot de voorbereidingen behoren het ontwikkelen van een toetsspecificatieplan met de uitgangspunten voor de opdracht, het formuleren van concrete, eenduidige en meetbare leerdoelen en het ontwikkelen van een toetsmatrijs met een passende taxonomie. Bij opdrachten wordt de toetsmatrijs een opdrachtenontwerpschema genoemd. In dit schema vormen de leerdoelen de basis voor een of meer opdrachten. In het schema worden de leerdoelen niet uitgewerkt tot concrete, eenduidige en meetbare sub-leerdoelen, maar gelijk tot (globale) beoordelingscriteria.

Het is verstandig om de beoordelingscriteria gekoppeld aan het leerdoel uit te werken bij de ontwikkeling van het opdrachtenontwerpschema en niet, zoals veel voorkomt, pas bij de ontwikkeling van de opdracht. Ontwikkelaars van opdrachten laten zich bij de beoordelingscriteria dan teveel leiden door de opdracht zelf en vergeten het leerdoel.

Een voorbeeld van een opdrachtenontwerpschema ziet er als volgt uit:

Ontwikkelen en beoordelen van opdrachten lopen bij opdrachten in elkaar over

Beoordelen is het toekennen van een waardering aan een geleverde prestatie van een student op een toets aan de hand van geobjectiveerde (zover als mogelijk) beoordelingscriteria (Molkenboer, 2015).

Hoe het beoordelen plaatsvindt is afhankelijk van de gebruikte toetsvorm. Zo wordt een toets in de vorm van bijvoorbeeld een verslag anders beoordeeld dan een toets in de vorm van een gesprek (bijvoorbeeld een adviesgesprek of een gesprek met een patiënt), een gedraging (bijvoorbeeld een presentatie of het bedienen van een hijskraan) of een werkstuk (bijvoorbeeld een technische tekening of een kunstwerk). Voor alle beoordelingen geldt dat een beoordelaar een prestatie moet waarnemen. Aan de waarneming kent de beoordelaar vervolgens een waardering toe.

Om te voorkomen dat beoordelaars teveel subjectief waarnemen en subjectief waarderingen toekennen, wordt vooraf bepaald wat belangrijk is om waar te nemen en hoe een waardering moet worden toegekend. Hierdoor wordt een groot deel van het beoordelen op de tekentafel al gerealiseerd. Als in dit WhitePaper hierna wordt gesproken over beoordelen, wordt het beoordelen op de tekentafel bedoeld. Beoordelen in de vorm van waarnemen en waarderen tijdens of aansluitend aan een afname van een opdracht, worden in dit WhitePaper niet behandeld.

Schema voor het ontwikkelen en beoordelen van opdrachten

Voor het ontwikkelen en beoordelen van opdrachten heeft Bureau voor Toetsen & Beoordelen een schema ontwikkeld. Het schema wordt hierna toegelicht.

Vanuit de basis is duidelijk geworden om wat voor opdracht het gaat. Voor de opdracht wordt een opdrachtomschrijving gemaakt en voor de beoordeling wordt een beoordelingsvoorschrift ontwikkeld.

Opdrachtbeschrijving

Een goede opdrachtbeschrijving is belangrijk omdat die bepaalt welke prestatie de studenten moeten leveren, hoe het resultaat eruit moet zien, wanneer ze het resultaat moeten leveren en hoe het resultaat wordt beoordeeld (de beoordelingscriteria met de puntenverdeling). Als dit niet volkomen duidelijk is staan de betrouwbaarheid en de validiteit van de opdracht onder druk. Studenten leveren dan mogelijk resultaten op die minder aansluiten bij de gestelde doelen uit de basis.

Beoordelingsvoorschrift

Een beoordelingsvoorschrift is bedoeld voor de beoordelaars en bestaat uit twee delen: een beoordelingsinstructie en de beoordelingscriteria met een puntenverdeling. De beoordelingscriteria met de puntenverdeling zijn bedoeld voor de beoordelaars en, zoals hiervoor al aangegeven, ook onderdeel van de opdrachtomschrijving voor de student. De beoordelingsinstructie is vooral bedoeld om ervoor te zorgen dat (verschillende) beoordelaars op een eenduidige en goede wijze beoordelen.

Beoordelingscriteria en wat daar nog bij komt kijken

Hoewel het bij het beoordelen van een opdracht gaat om de beoordelingscriteria komt er meer bij kijken dan het gebruik van de beoordelingscriteria op zich. Bij het beoordelen van opdrachten spelen vier aspecten een rol die in een tabel worden samengebracht:

• De beoordelingscriteria; deze volgen uit het opdrachtenontwerpschema (toetsmatrijs).

• De beoordelingsschaal met de niveaus waarop wordt beoordeeld; bijvoorbeeld zeer onvoldoende, onvoldoende, voldoende, goed. Er zijn verschillende beoordelingsschalen mogelijk (zie het WhitePaper hierover).

• De indicatoren. Dit zijn de beschrijvingen van de verschillende niveaus behorend bij de beoordelingscriteria. Hiervoor bestaan twee oplossingen:

• Een checklist. De beschrijvingen van de indicatoren zijn per niveau gelijk voor alle beoordelingscriteria. Dit zijn korte en globale beschrijvingen wanneer iets bijvoorbeeld zeer onvoldoende, onvoldoende, voldoende of goed is. De beschrijving van de indicatoren zijn los van de tabel opgenomen (staan dus niet in de tabel).

• Een rubric. De beschrijvingen van de indicatoren zijn per beoordelingscriterium en per beoordelingsniveau verschillend en kennen per beoordelingscriterium toenemende concrete inhoudelijke aspecten waaraan moet worden voldaan. De beschrijvingen van de indicatoren staan in de tabel.

• Een puntenverdeling die leidt tot een score..

Schematisch ziet dit er als volgt uit (met een mogelijke opzet voor een puntenverdeling die leidt tot een score op de opdracht).

Voor het omzetten van de score op de opdracht naar een uitslag in bijvoorbeeld een cijfer wordt meestal een aparte tabel gebruikt. Daarbij kunnen ook eventuele knock-out-criteria een plaats krijgen. Het omzetten van de scores naar uitslagen wordt in een apart WhitePaper behandeld.

Vijf voorbeelden van drie hoofdvormen voor het beoordelen van opdrachten

Een checklist kent twee hoofdvormen. Een specifieke checklist die werkt als een afvinklijst al dan niet met aandacht voor een niveau-aanduiding. Of een globale checklist waar beoordelingscriteria worden samengenomen en er dus globaler wordt beoordeeld. Hierdoor zijn drie hoofdvormen voor de beoordeling van opdrachten te onderscheiden:

• Een specifieke checklist met specifieke beoordelingscriteria en een beoordelingsschaal met twee of meer niveaus (voorbeeld 1 en 2). Een checklist met meer niveaus wordt ook wel een ‘rating scale’ genoemd.;

• Een globale checklist met globale beoordelingscriteria en een beoordelingsschaal met meer niveaus (voorbeeld 3).

• Een rubric met analytische beoordelingscriteria (voorbeeld 4) en een vorm met één holistisch beoordelingscriterium namelijk de opdracht als geheel (voorbeeld 5). Het verschil wordt duidelijk uit de voorbeelden.

In de literatuur wordt ook nog onderscheid gemaakt in generieke en taakspecifieke rubrics. Generieke rubrics zijn van toepassing op een verzameling van vergelijkbare opdrachten, terwijl taakspecifieke rubrics alleen van toepassing zijn op die ene specifieke opdracht. Het voordeel van een generieke rubric is dat deze inzetbaar is voor verschillende opdrachten, maar door de generiek toepasbare opzet leveren ze minder betrouwbare scores op dan taakspecifieke rubrics. Taakspecifieke rubrics leveren daarnaast een betere feedback op voor de studenten. Het nadeel van een taakspecifieke rubric is de hoeveelheid werk om voor elke opdracht een specifieke rubric te ontwikkelen.

In dit WhitePaper wordt geen voorbeeld gegeven van een generieke rubric vanwege de betere bruikbaarheid van de taakspecifieke rubric.

Hierna worden de drie hoofdvormen voor de beoordeling van opdrachten met een voorbeeld toegelicht. Alle voorbeelden zijn gebaseerd op de onderstaande vaardigheidsopdracht, op basis van een rollenspel.

VOORBEELD VAN EEN INSTRUCTIE VOOR EEN TENTAMENOPDRACHT ‘Voeren van een klantgesprek’

Inleiding
Het voeren van een goed klantgesprek is een belangrijk onderdeel van je beroep als bouwkundige/architect. Klanten oriënteren zich via internet en voeren enkele kennismakingsgesprekken met een paar bureaus voordat ze de keus maken om verder te gaan met een bureau. Een dergelijk gesprek is een uitgelezen kans om je bureau en jezelf te presenteren. Met een vet verkoopverhaal zal je niet scoren. Met deskundigheid en echte interesse in de klant wordt de kans groter. Aan jou om in deze opdracht te laten wat je hierover geleerd hebt en kunt.

Bestudeer deze opdracht en de bijlagen goed en bereid je op het gesprek voor, voordat je het gesprek ingaat. (Ter informatie: deze tentamenopdracht hebben de studenten aan het begin van de onderwijseenheid al uitgereikt gekregen).

De opdracht
Als student Bouwkunde/Architectuur vervul je in deze opdracht de rol van architect. Je voert een klantgesprek met een mogelijke klant voor een informatief gesprek over het ontwerp van een vrijstaand woonhuis in de nieuwbouwwijk Uylenbosch (zie de bijlage over Uylenbosch).

De klant wordt gespeeld door twee ervaren acteurs. Voor de acteurs is ten behoeve van deze opdracht een instructie opgesteld. Hierin staat onder meer dat de klant representatief is voor de gemiddelde en zich normaal gedragende klant. Je hoeft dus geen bijzondere situaties te verwachten.

Hulpmiddelen en uitvoering
Je mag aantekeningen en andere informatie zoals over Uylenbosch meenemen naar het gesprek. Jouw aantekeningen worden niet gecontroleerd en worden ook niet beoordeeld. Een eigen gespreksleidraad is dus toegestaan. Je mag pen en papier, een rekenmachine en een schetsblok gebruiken. Het gebruik van een tablet of pc is niet toegestaan.

Drinken kun je halen bij de automaat. In de tentamenruimte (een speciaal hiervoor ingericht leslokaal) is een gesprekstafel aanwezig, met een kapstok. De klant zit voor je klaar in de wachtruimte, die ook is ingericht in het lokaal. Jij neemt voor aanvang plaats aan de gesprekstafel en haalt de klant zelf op. Dit doe je op aangeven van de beoordelaars die een apart hoekje hebben in het lokaal, waarna de tentamentijd gaat lopen.

Beoordeling
De beoordeling richt zich op de beoordelingscriteria die je in de bijlagen aantreft. Het maximaal aantal punten dat je kunt behalen is 26. Bij 20 punten of meer ben je geslaagd.

De beoordeling wordt gedaan door twee beoordelaars (waaronder niet je eigen docent) die onafhankelijk van elkaar beoordelen. Eén beoordelaar is docent aan de opleiding en de andere beoordelaar is een bouwkundige of een architect van buiten.

Tijd
Het klantgesprek mag maximaal 30 minuten duren (korter is geen probleem en de tijd is geen beoordelingscriterium). Na 30 minuten wordt de opdracht beëindigd, ongeacht in welke fase het gesprek zich bevindt. Wat dan niet aan de orde is geweest, wordt niet beoordeeld. Houd de tijd dus zelf goed in de gaten.

Time-out
Het kan voorkomen dat je om welke reden dan ook ongewild in een stresssituatie terecht komt. Het is mogelijk om dan een time-out aan te vragen. Het gesprek en de tentamentijd worden dan gestopt. Je krijgt 5 minuten de tijd om te herstellen. Vervolgens hervat je het gesprek. De gestopte tijd loopt vanaf dan weer door. De time-out heeft geen invloed op de beoordeling. De time-out mag niet worden gebruikt om jezelf tussentijds voor te bereiden op een tweede deel in het gesprek. Het moet voor alle aanwezigen duidelijk zijn dat je in een ongewilde stresssituatie terecht bent gekomen. Dit is dus een uitzonderingssituatie. Bij het vermoeden van misbruik zal de time-out niet worden toegekend.

Uitslag
Na afloop verzoeken de beoordelaars je het lokaal te verlaten om na een kwartier terug te komen, waarna je de uitslag krijgt en feedback krijgt op het resultaat. De beschikbare tijd voor de feedback is maximaal 15 minuten.

Herkansing
Gedurende dit studiejaar is één herkansing mogelijk ongeveer een maand na dit tentamen. Herkansers worden hierover nader geïnformeerd. Een tweede herkansing is pas mogelijk in het volgende studiejaar.

Losstaande vervolgopdracht
Let op! Op basis van het gesprek, werk je in een vervolgopdracht het gesprek uit tot een brief aan de klant met als bijlage een kostenindicatie en een schetsontwerp. Maak dus aantekeningen. Het maken van aantekeningen en de aantekeningen zelf worden niet beoordeeld.

Veel succes met de uitvoering van de opdracht.

Opmerkingen:

• De beoordeling zou ook gedaan kunnen worden door twee medestudenten of de eigen docent. Dit is afhankelijk van het toetsdoel, formatief of summatief, en/of de zwaarte van het tentamen.

• Of een time-out wenselijk is, is afhankelijk van het toetsbeleid. De hier geschetste tentamensetting met acteurs kan toetsangstigen dermate treffen dat een stressmoment ontstaat. De optie is mede bedoeld als geruststelling dat een stressmoment niet tot het einde van het tentamen hoeft te leiden.

Het nadeel van een checklist met alleen Niet-voldaan/voldaan is dat er geen onderscheid wordt gemaakt tussen minder en meer belangrijke beoordelingsaspecten. Zo is bijvoorbeeld het herhalen van de naam van de klant van een geheel ander orde dan het stellen van voldoende vragen.

Met een checklist met een beoordelingsschaal met meerdere beoordelingsniveaus en een aangepast puntensysteem is dit bezwaar te ondervangen (zie onder het voorbeeld hierna).

* Er valt wat voor te zeggen om bepaalde beoordelingscriteria maximaal de score ‘Voldoende’ te geven. Bijvoorbeeld ‘1. Heet de klant welkom’, ‘2. Stelt zichzelf voor’, ‘3. Herhaalt de naam van de klant’ en dergelijke. De reden hierachter is dat jezelf voorstellen ook niet overdreven moet worden en voldaan hieraan goed genoeg is. Dit biedt dan ook ruimte om belangrijke beoordelingscriteria juist wel hoger te kunnen scoren zoals ‘10. Stelt inhoudelijke relevante vragen naar de wensen van de klant’ en ‘12. Vraagt door’.

Voor de student dient duidelijk te zijn voor welke beoordelingscriteria dit dan geldt. Denk er ook aan dat het aantal niveaus om te beoordelen een rol speelt bij deze wijze van beoordelen.

In voorbeeld 3 worden vijf beoordelingsniveaus gebruikt. In voorbeeld 2 zijn dit er vier. U ziet dat als meer beoordelingsniveaus worden gebruikt, het lastiger wordt om een goed onderscheid tussen de niveaus weer te geven.

Omdat de ruimte in de kolommen beperkt is en de beoordelingscriteria en -indicatoren vaak veel tekst bevatten kan de volgende opmaak van een rubric een handig alternatief zijn.

Voorbeeld 4 betreft een zogenaamde analytische rubric. Daarnaast bestaat een holistische rubric. Bij een analytische rubric wordt elk beoordelingscriterium gescoord. De totaalscore wordt bepaald door de afzonderlijke scores. Bij een holistische rubric geeft de beoordelaar een score op basis van het resultaat als geheel.

Het nadeel van een holistische rubric is dat de feedback op basis van de rubric globaal is.

Overwegingen bij een checklist en een rubric

Overwegingen bij een specifieke checklist

Gezien vanuit de beoordelaar

• De beoordelaar heeft de rol van observator en hoeft bij een specifieke checklist niet te interpreteren wat hij ziet (bij twee beoordelingsniveaus) of beperkt te interpreteren wat hij ziet (bij meer beoordelingsniveaus).

• Hierdoor wordt een groot deel van een subjectieve beoordeling weggenomen en neemt de objectiviteit toe.

• Beoordeling vindt ‘on the fly’ plaats op basis van waar te nemen gedragingen, waardoor de beoordeling relatief eenvoudig is uit te voeren.

• Checklists kennen een vaste volgorde van waar te nemen gedragingen, terwijl in de praktijk de gedragingen niet altijd in die volgorde voor hoeven te komen. De beoordelaar moet de checklist goed eigen hebben gemaakt, om hier soepel mee om te gaan. Voorkomen moet worden dat de beoordelaar gaat zoeken in de checklist en hierdoor vervolgens waarnemingen gaat missen, omdat de student ondertussen doorgaat met het uitvoeren van de opdracht.

• Bij het gebruik van meer beoordelingsniveaus dient de betekenis van de aanduidingen van de niveaus eenduidig te zijn voor de beoordelaars.

• Voorkomen moet worden dat de beoordeling zich richt op de grondigheid van het zichtbare gedrag in plaats van op de beheersing ervan (Wilkinson, Frampton, Thompson-Fawcett, Egan, 2003).

Zelfs voor een specifieke checklist die op het eerste gezicht concreet en goed hanteerbaar lijkt te zijn, is een training in het gebruik ervan gewenst. Met name de laatste drie punten van de opsomming hiervoor vergen, voorafgaand aan de beoordeling, de aandacht van de beoordelaar.

Beoordelaars hebben soms moeite met de inzet van checklists omdat studenten die gebruiken als een afvinklijst bij het leren. Dit is geen probleem als de checklist recht doet aan de (belangrijke) leerdoelen. Daarnaast is het zo dat onderdelen van een checklist niet allemaal gesloten gedragingen betreffen. De gedragingen uit het eerste voorbeeld zoals “Vat wat de klant heeft gezegd kort samen” en “Stelt inhoudelijke relevante vragen naar de wensen van de klant” zijn wel voor te bereiden door de student, maar door de aard van het gesprek en wat de klant zegt, zal de student toch moeten laten zien wat hij werkelijk beheerst.

Gezien vanuit de student

• Vanuit het oogpunt van leren en transparantie heeft de student de checklist vooraf ontvangen en bestudeerd. De student zal zijn voorbereidingen voor de toets (en dus zijn studie) richten op de checklist. Studenten weten waarop ze worden beoordeeld en hoe. Doordat met een checklist meer objectief kan worden beoordeeld ervaren studenten dit als meer rechtvaardig (minder afhankelijk van de beoordelaar) en transparant.

• Feedback kan concreet worden gegeven op de aspecten waaraan de student niet heeft voldaan of die onvoldoende waren. Dit geeft de student duidelijke handvatten waarop hij zijn bekwaamheid moet verbeteren.

Overwegingen bij een globale checklist

Gezien vanuit de beoordelaar

• Met een globale checklist wordt meer integratief beoordeeld (meer aspecten worden ineen en in relatie tot elkaar beoordeeld). De beoordelaar is niet alleen een observator die waarneemt, maar ook de deskundige die interpreteert wat hij ziet. Er wordt een groter beroep gedaan op zijn professionele deskundigheid om integratief te kunnen beoordelen.

• Globale checklist zijn hierdoor gevoeliger voor de beoordelaar als persoon met zijn persoonlijke eigenschappen, voorkeuren, deskundigheden, ervaringen, humeuren en dergelijke. Beoordelaars moeten zich hiervan bewust zijn en weten dat een beoordeling hierdoor meer subjectief wordt dan een beoordeling op basis van een specifieke checklist. Deze aspecten betreffen met name de intrabeoordelaarsbetrouwbaarheid.

• Een globale checklist dwingt een beoordelaar minder in een keurslijf dan een specifieke checklist, waardoor de beoordelaar meer gebruik kan maken van zijn deskundigheid voor zijn interpretatie van wat hij waarneemt en vindt.

• De interpretatie van de beoordeling (de scoring dus eigenlijk) kan pas plaatsvinden als een onderdeel van de opdracht is afgerond of soms zelfs pas nadat de hele opdracht is afgerond. Hierdoor wordt de beoordeling minder gedetailleerd, minder objectief (de beoordelaar moet veel zelf interpreteren) en meer subjectief.

• Het kan nodig zijn om meer studenten beoordeeld te hebben om tot een eerlijke en vergelijkbare beoordeling te komen tussen de verschillende studenten. De globale checklist kan dan pas achteraf goed ingevuld worden in tegenstelling tot de specifieke checklist. Om studenten uit elkaar te houden moet de beoordelaar tussentijds aantekeningen maken. Het maken van aantekeningen leidt weer af van het waarnemen en interpreteren.

Vanuit het aspect van objectiviteit en het gemak van de beoordeling van een specifieke checklist zouden beoordelaars een voorkeur kunnen hebben voor het gebruik van specifieke checklists, ondanks dat minder een beroep wordt gedaan op hun integratieve beoordelingsvaardigheden op basis van hun professionele deskundigheid. Daar staat tegenover dat met een globale checklist door de beoordelaar meer rekening kan worden gehouden met de totaalindruk (per onderdeel of met betrekking tot de gehele opdracht) van de neergezette prestatie.

Gezien vanuit de student

• De student zal zijn voorbereidingen op de toets nu ook weer, maar anders, richten op de aard van de beoordeling. De globale checklist is meer algemeen, maar nog wel specifiek genoeg, om zich goed voor te kunnen bereiden op de toets. Doordat hij weet dat de beoordeling globaler is, zal hij zich minder specifiek en meer algemeen voorbereiden. Hij heeft minder houvast dan bij de specifieke checklist en zal meer terugvallen op wat tijdens het leerproces is aangereikt aan informatie.

• De feedback die de student terug kan krijgen zal algemener en globaler van aard zijn en daardoor minder concreet (en minder bruikbaar) dan de feedback op basis van de specifieke checklist.

Studenten zouden het meeste hebben aan een combinatie van feedback op basis van een specifieke checklist (concreet) en op basis van een globale checklist met een meer integratieve en overall mening van de professioneel deskundige beoordelaar. De oplossing hiervoor kan worden gevonden in een combinatie van de specifieke en de globale checklist.

Overwegingen bij een rubric

De overwegingen voor het gebruik van een rubric bij het beoordelen zoals genoemd bij de globale checklist gelden ook voor de rubric.

Zoals hiervoor gesteld bij het gebruik van een brede beoordelingsschaal (dus meer dan twee beoordelingsniveaus) is het kennen van de betekenis van de aanduiding van de beoordelingsniveaus belangrijk. Bij een rubric (zie tabel 2) zijn de indicatoren beschrijvingen van de beoordelingsniveaus en geven weer hoe de meer globaal beschreven beoordelingscriteria beoordeeld moeten worden. Daarbij bevatten de indicatoren zelf ook weer, maar dan meer concreet meetbare of zichtbare, beoordelingscriteria. Al met al is een rubric een nogal tekstueel beoordelingsinstrument. Met een goede voorbereiding kan een rubric worden gebruikt voor het beoordelen van een vaardigheidsopdracht om gedrag te beoordelen. Het gebruik van een specifieke of een globale checklist is voor het waarnemen van gedrag in veel gevallen praktischer.

Kiezen van een beoordelingsvorm

Welke beoordelingsvorm zich het beste leent voor een opdracht is van veel factoren afhankelijk. Een belangrijke factor is het soort opdracht met het soort beoordelingsbekwaamheid dat nodig is.

Het gebruik van een checklist als afvinklijst, al dan niet met beoordelingsniveaus leent zich goed voor het beoordelen van enkelvoudige gedragsvaardigheden waarbij geobserveerd moet worden, zoals bij medische en verzorgende handelingen zoals het aansluiten van een infuus bij een patiënt in het ziekenhuis of het wassen en aankleden van een cliënt in een verzorgingstehuis. Zijn gedragsvaardigheden meervoudig en dus integratief zoals bij het verzorgen van een presentatie of therapeutische handelingen dan leent een rubric zich weer beter. Vanwege het tekstuele karakter van een rubric, waardoor veel gelezen moet worden, is een goede voorbereiding en een goede kennis van de rubric voorafgaand aan de uitvoering van de opdracht noodzakelijk. Tegelijk goed observeren en lezen gaat namelijk slecht samen. De rubric zal dan meestal pas achteraf en aansluitend aan de uitvoering van de opdracht gebruikt worden.

Omdat met een rubric meer integratief beoordeeld wordt, past een rubric goed bij opdrachten die integratief van aard zijn. Een afvinklijst is dan minder geschikt. Denk bijvoorbeeld aan de kwaliteit van redeneren binnen een verslag of een therapeutische handeling waarbij het niet alleen gaat om de handelingen op zich, maar ook om het gelijktijdige contact met de patiënt.

Opdrachten waarbij meer oplossingen goed zijn, laten zich slecht vangen in afvinklijsten en is een rubric meestal beter geschikt. Bij de beoordeling van een werkstuk zou een combinatie van een afvinklijst met een rubric wel goed kunnen werken. De afvinklijst voor het beoordelen van de karakteristieken van het product (afmetingen, nauwkeurigheid, gewicht, kleurgebruik, materiaalgebruik, afwerking en andere kenmerken), terwijl de rubric zich leent voor het verslag waarin bijvoorbeeld het proces van de ontwikkeling is beschreven en gemaakte keuzes zijn onderbouwd.

Referenties

Anderson, L. W., Krathwohl, D.R., & Mayer, R.E. (2001). A taxonomy for learning, teaching, and assessing: A revision of Bloom’s Taxonomy of Educational Objectives. New York: Longman.
Bloom, B.S. (1956). Taxonomy of Educational Objectives, the classification of educational goals – Handbook I: Cognitive Domain. New York: McKay.
Dave, R.H., (1970). Psychomotor levels. In R. J. Armstrong et al., Developing and Writing Behavioral Objectives, 33-34. Tucson, AZ: Educational Innovators Press.
Krathwohl, D.R., Bloom, B.S., & Masia, B.B. (1964). Taxonomy of Educational Objectives, the Classification of Educational Goals, Handbook II: Affective Domain. New York: David McKay.
Krathwohl, D.R., Bloom, B.S., & Dave, R.H., (1970). Psychomotor levels. In R. J. Armstrong et al., Developing and Writing Behavioral Objectives, 33-34. Tucson, AZ: Educational Innovators Press.
Masia, B.B. (1964). Taxonomy of Educational Objectives, the Classification of Educational Goals, Handbook II: Affective Domain. New York: David McKay.
Miller, G.E. (1990). The assessment of clinical skills/competence/performance. Academic medicine, 65, 63-67.
Molkenboer, H.F.A.M. (2015). Toetsen volgens de toetscyclus – Deel 1. Enschede: Bureau voor Toetsen & Beoordelen.
Wilkinson TJ, Frampton CM, Thompson-Fawcett M, Egan T. Objectivity in objective
structured clinical examinations: checklists are no substitute for examiner commitment. Acad.Med. 2003 Feb;78(2):219-22.

Dank voor het doornemen of lezen.

Met een vriendelijke groet,

Bureau voor Toetsen & Beoordelen
Harry Molkenboer
06 53 67 47 03