u bent hier: nt2-beginnersdoelen » Start maatwerk organiseren » Evaluatie » Meten van leerrendement
Het uiteindelijke doel van het bieden van maatwerk vanuit rollen is het verhogen van leerrendement bij cursisten. Hoe maak je hard dat maatwerk vanuit rollen meerwaarde heeft? Hoe laat je zien aan docenten en management, opdrachtgevers, en niet te vergeten potentiële cursisten, dat maatwerk beter werkt, leuker is, enzovoort?
Hiervoor kunnen er een aantal prestatie-indicatoren geformuleerd worden:
Aan de hand van deze indicatoren kun je het rendement bepalen, wat je vervolgens kan vergelijken met het rendement van een 'controlegroep', bijvoorbeeld een andere groep in de instelling voor wie de cursus (nog) niet is opgezet rond individueel maatwerk vanuit rollen. Ook kan je de verzamelde gegevens vergelijken met gegevens van vroegere trajecten met hetzelfde type cursisten.
Het meten van het rendement moet liefst gemakkelijk uit te voeren zijn. U hoeft dan ook niet alle indicatoren in uw onderzoekje te betrekken. Tenslotte gaat het om een indicatie en niet om een wetenschappelijk onderzoek.
Selecteer daarom een aantal bij uw instelling passende indicatoren en zoek, eventueel met behulp van de suggesties hieronder, manieren om die indicatoren in kaart te brengen.
Het is wel aan te bevelen meerdere indicatoren in kaart te brengen, om iets over het rendement te kunnen zeggen. En combineer liefst indicatoren die feiten weergeven (ziekteverzuim, uitval, taalniveau gemeten met een taaltest e.d.) met het bevragen van de mening en de ervaring van cursisten (en docenten).
Hieronder vindt u een voorzet voor het in kaart brengen van de verschillende prestatie-indicatoren.
Stel taalniveau van de cursisten meerdere malen per traject vast (minimaal twee keer: halverwege en aan het eind van het traject) en zet daarbij het aantal uren les. De ultieme toets is het tempo waarin cursisten het einddoel van de cursus halen, bijvoorbeeld een examen. Lukt dat sneller met maatwerk dan met ‘gewone’ cursisten?
Zet zo mogelijk zowel in de maatwerkgroep als in de controlegroep twee types testen in: één standaard taaltest en één functionele testvorm, bijvoorbeeld 'assessments'. In assessments wordt de cursist in een functionele, eventueel gesimuleerde situatie gebracht waarin hij kan laten zien in hoeverre hij in die situatie kan functioneren op het verlangde taalniveau. Heeft de cursist gewerkt aan het doel 'Sollicittatiegesprek voeren', dan kan bij wijze van assessment een (zogenaamd) sollicitatiegesprek gevoerd worden. Op die manier kan een mogelijk verschil in prestatie tussen de maatwerkgroep en de controlegroep niet te wijten zijn aan een verschil in gewenning aan standaardtoetsen.
Assessments zijn niet makkelijk te maken. Kies daarom bijvoorbeeld uit bestaand lesmateriaal rollenspellen per rol, die niet in precies die vorm worden aangeboden gedurende het onderwijs in beide groepen, maar pas als 'toets' worden gebruikt. Pas het rollenspel een beetje aan voor verschillende taalniveaus.
Toets dan de cursisten één voor één. Zorg er daarbij altijd voor, dat in het rollenspel altijd maar één cursist participeert en dat de andere rol (die van functionaris o.i.d.) door een andere docent wordt gespeeld. Je toetst dus individueel per cursist en roept elke cursist apart op om dat assessment te komen doen.
Hoe beoordeel je de taalvaardigheid in het assessment? Stel per rollenspel vast wat de cursist voor elkaar moet krijgen (afgeleid uit de doelen van de rol en de beschrijving in de doelencatalogus, passend bij het taalniveau). Scoor vervolgens op de volgende onderdelen (en in die volgorde):
Zie voor dit type beoordeling ook de Nederlandse Staatsexamens NT2 en het inburgeringsexamen.
Standaard taaltesten zijn makkelijker en vaker af te nemen. Kijk wel uit dat het traject geen toetsbatterij wordt met af en toe les.
Houd verzuim bij van de cursisten in de maatwerkgroep zoals u gewend bent te doen in groepen. Vergelijk de maatwerkgroep met een lopende gewone groep of met een afgeronde groep.
Let er bij het vergelijken op dat de trajecten die de twee groepen volgen:
Helemaal vergelijkbaar zijn groepen nooit, maar een groep ongeletterde vrouwen van boven de 40 met veel gezondheidsklachten mag je bijvoorbeeld niet vergelijken met een groep jonge redelijk opgeleide vrouwen die aan het werk willen.
Vergelijk de uitval uit de maatwerkgroep met uitval uit een vergelijkbare gewone groep (zie onder 'verzuim'). Maak daarbij onderscheid tussen uitval waar je geen invloed op hebt (mensen verhuizen, worden zwanger e.d.) en uitval waar je we wel invloed op hebt. Alleen het laatste telt mee voor de rendementsvergelijking.
Vraag zowel bij de begeleiding van de maatwerkgroep als de controlegroep regelmatig en vanaf het begin naar de leerwensen. Selecteer uit de intakeprocedure voor beide groepen dezelfde vragen die je steeds opnieuw in de begeleiding aan de orde stelt. Maak een formulier met die vragen en noteer kort de antwoorden.
Zet op dit formulier ook een vraag voor de begeleider, bijvoorbeeld:
Deze cursist kan:
Zo kun je nagaan of en in hoeverre de maatwerkcursisten beter in staat zijn hun wensen aan te geven.
Informeer bij de begeleiding van zowel maatwerkcursisten als gewone cursisten naar hun ervaring met het onderwijs. Stel aan beide groepen cursisten dezelfde vragen, bijvoorbeeld:
Laat docenten en begeleiders een klein 'maandboek' (zoals een 'dagboek') bijhouden, waarin ze hun ervaring met maatwerk en gewone groepen vergelijken. Laat hen dat telkens doen aan de hand van een aantal vaste vragen. Voorbeelden van vragen voor docenten:
Voorbeelden van vragen voor begeleiders:
