Doorzoek alle bundels

Zoek in de bundels:
Uitgebreid zoeken »

Bundel 15 | Vijftiende conferentie Het Schoolvak Nederlands (2002)

Bijdrage: De beoordeling van schrijfvaardigheid in de tweede fase (Bert Meuffels)
Download deze bijdrage in PDF-formaat »

die van het traditionele opstel? Een positief antwoord hierop is afhankelijk van de vraag of storende effecten die bij de beoordeling van opstellen een contaminerende rol spelen, al dan niet zijn uitgeschakeld bij de beoordeling van schrijfdossier en gedocumenteerde tekst.

3 Storende effecten; mogelijke maatregelen

Een voor de hand liggende factor die tot een lage intersubjectieve overeenstemming tussen beoordelaars leidt, is het signifisch effect: verschillen in de opvatting (betekenis) van de beoordelingstaak. De een legt in zijn oordeel de nadruk op correct en verzorgd Nederlands, een tweede acht de structuur van doorslaggevend belang voor de kwaliteit, een derde is allergisch voor spelfouten, enzovoort. Bij gebrek aan theorie over relevante kenmerken waaraan een goed schrijfproduct zou (moeten) voldoen, heeft elke beoordelaar een zekere mate van vrijheid om in zijn beoordeling zijn eigen particuliere voorkeuren voor bepaalde tekstkenmerken (of voor het relatieve gewicht van bepaalde kenmerken) te benadrukken, met als onvermijdelijk gevolg dat verschillende beoordelaars van hetzelfde product andere waarderingen toekennen. Deze vrijheid die een beoordelaar heeft bij de zogenaamde globale beoordeling wanneer hij volgens eigen maatstaven en normen opstellen beoordeelt, kan met behulp van een analytisch beoordelingsschema aan banden gelegd worden: hierbij moet een beoordelaar aan de hand van een lijstje met vooraf gespecificeerde tekstkenmerken als 'stijl', taalgebruik', 'opbouw' enzovoort de opstellen analyseren en beoordelen. Maar anders dan verwacht, lijkt analytische beoordeling nauwelijks tot betrouwbaarheidswinst te leiden (Meuffels 1994). Een ander tot nu toe onopgelost probleem betreft de vraag welke tekstkenmerken precies, en hoeveel, in het analytisch beoordelingsvoorschrift moeten worden opgenomen, en hoe de oordelen over al deze tekstkenmerken tot een totaaloordeel gecombineerd moeten worden.

Een tweede factor die verantwoordelijk kan zijn voor de divergentie in oordelen, dus voor onbetrouwbaarheid, is het halo-effect: de beoordelaar laat zich, bewust dan wel onbewust, bij zijn oordeelsvorming leiden door zijn (voor)kennis van de schrijver in kwestie. Is deze schrijver een joviale leerling die zich tijdens het schooljaar coöperatief heeft opgesteld, dan zal de beoordeling stellig anders uitpakken dan wanneer het om het opstel van een recalcitrante leerling zou gaan, ook al leveren beiden een uit objectief oogpunt gelijkwaardige prestatie. In theorie kunnen een aantal effectieve maatregelen tegen dit type storend effect opgesomd worden (bijvoorbeeld: ontdoe alle opstellen van voor de beoordelaar bekende en relevante informatie over de schrijvers, of laat alle opstellen beoordelen door volstrekt onafhankelijke beoordelaars die onbekend zijn met de leerlingen in kwestie), maar in de praktijk blijken dergelijke maatregelen meestal onhaalbaar.

Een ander type effect dat een negatieve invloed heeft op de betrouwbaarheid van opstelbeoordeling is de persoonlijke vergelijking. Daarmee wordt de voor een beoordelaar min of meer karakteristieke wijze van gebruik van onze cijferschaal bedoeld: de een beoordeelt streng, de ander mild; de een geeft extreme oordelen, de ander brengt slechts kleine nuances in zijn oordelen tot uitdrukking, enzovoort. Ter bestrijding van dit effect hebben buitenlandse onderzoekers, vooral in Zweden en de VS,

1 32 I De beoordeling van schrijfvaardigheid in de Tweede Fase - Bert Meuffels