Meten van leerrendement

Het uiteindelijke doel van het bieden van maatwerk vanuit rollen is het verhogen van leerrendement bij cursisten. Hoe toon je aan dat maatwerk vanuit rollen meerwaarde heeft? Hoe laat je zien aan docenten en management, opdrachtgevers en niet te vergeten potentiële cursisten, dat maatwerk beter werkt?

Aan de hand van een aantal indicatoren kun je het rendement bepalen. Dat vergelijk je vervolgens met het rendement van een 'controlegroep'. Dat kan een andere groep in de instelling zijn voor wie de cursus nog niet is opgezet rond individueel maatwerk vanuit rollen. Ook kan je de verzamelde gegevens vergelijken met gegevens van vroegere trajecten met hetzelfde type cursisten.

Hoe doe je zo’n onderzoekje?

Het meten van het rendement moet bij voorkeur gemakkelijk uit te voeren zijn. Je hoeft dan ook niet alle indicatoren in het onderzoekje te betrekken. Tenslotte gaat het om een indicatie en niet om een wetenschappelijk onderzoek.

Selecteer daarom een aantal bij de instelling passende indicatoren en zoek, eventueel met behulp van de suggesties hieronder, manieren om die indicatoren in kaart te brengen.

Het is wel aan te bevelen meerdere indicatoren in kaart te brengen om iets over het rendement te kunnen zeggen. Bij voorkeur wordt een combinatie gezocht van indicatoren die feiten weergeven (ziekteverzuim, uitval, taalniveau gemeten met een taaltest, enz.) met het bevragen van de mening en de ervaring van cursisten en docenten.

Hieronder enkele suggesties voor het in kaart brengen van de verschillende prestatie-indicatoren.

 

1. Taalniveau in relatie tot het aantal uren les

Stel taalniveau van de cursisten meerdere malen per traject vast (minimaal twee keer: halverwege en aan het eind van het traject) en zet daarbij het aantal uren les. De ultieme toets is het tempo waarin cursisten het einddoel van de cursus halen, bijvoorbeeld een examen. Lukt dat sneller met maatwerk dan met ‘gewone’ cursisten?

Zet zo mogelijk zowel in de maatwerkgroep als in de controlegroep twee types testen in: één standaard taaltest en één functionele testvorm, bijvoorbeeld 'assessments'. In assessments wordt de cursist in een functionele, eventueel gesimuleerde situatie gebracht waarin hij kan laten zien in hoeverre hij in die situatie kan functioneren op het verlangde taalniveau. Heeft de cursist gewerkt aan het doel 'Sollicittatiegesprek voeren', dan kan bij wijze van assessment een (zogenaamd) sollicitatiegesprek gevoerd worden. Op die manier kan een mogelijk verschil in prestatie tussen de maatwerkgroep en de controlegroep niet te wijten zijn aan een verschil in gewenning aan standaardtoetsen.

Assessments zijn niet makkelijk te maken. Kies daarom bijvoorbeeld uit bestaand lesmateriaal rollenspellen per rol, die niet in precies die vorm worden aangeboden gedurende het onderwijs in beide groepen, maar pas als 'toets' worden gebruikt. Pas het rollenspel een beetje aan voor verschillende taalniveaus. 

Toets dan de cursisten één voor één. Zorg er daarbij altijd voor, dat in het rollenspel altijd maar één cursist participeert en dat de andere rol (die van functionaris o.i.d.) door een andere docent wordt gespeeld. Je toetst dus individueel per cursist en roept elke cursist apart op om dat assessment te komen doen.

Hoe beoordeel je de taalvaardigheid in het assessment? Stel per rollenspel vast wat de cursist voor elkaar moet krijgen (afgeleid uit de doelen van de rol en de beschrijving in de doelencatalogus, passend bij het taalniveau). Scoor vervolgens op de volgende onderdelen (en in die volgorde):

  • Is het verstaanbaar/leesbaar? Zo ja:
  • Is het een adequate reactie op de situatie/opdracht? Zo ja:
  • Is het gebruikte taalniveau A1, A2, B1 (al naar gelang de vereisten bij deze taak)?

Zie voor dit type beoordeling ook de Nederlandse Staatsexamens NT2 en het inburgeringsexamen.

Standaard taaltesten zijn makkelijker en vaker af te nemen. Kijk wel uit dat het traject geen toetsbatterij wordt met af en toe les.

2. Verzuim

Houd verzuim bij van de cursisten in de maatwerkgroep zoals u gewend bent te doen in groepen. Vergelijk de maatwerkgroep met een lopende gewone groep of met een afgeronde groep.

Let er bij het vergelijken op dat de trajecten die de twee groepen volgen:

  • vergelijkbaar zijn in looptijd: niet het ene heel kort en de ander lang;
  • vergelijkbaar zijn in startdatum en einddatum: niet een groep die in september start vergelijken met een groep die in april start. Dit in verband met variabelen als vakantieperiodes, weer (lees: regen, sneeuw, kou) en daarmee samenhangende tegenzin en ziekte, ontwenning enz.
  • vergelijkbaar zijn qua opleidingsniveau en taalniveau;
  • vergelijkbaar zijn qua samenstelling man/vrouw en hun leeftijd.

Helemaal vergelijkbaar zijn groepen nooit, maar een groep ongeletterde vrouwen van boven de 40 met veel gezondheidsklachten mag je bijvoorbeeld niet vergelijken met een groep jonge redelijk opgeleide vrouwen die aan het werk willen.

3. Uitval

Vergelijk de uitval uit de maatwerkgroep met uitval uit een vergelijkbare gewone groep (zie onder 'verzuim'). Maak daarbij onderscheid tussen uitval waar je geen invloed op hebt (mensen verhuizen, worden zwanger e.d.) en uitval waar je we wel invloed op hebt. Alleen het laatste telt mee voor de rendementsvergelijking.

4. De mate waarin de cursist in staat is eigen leerwensen aan te geven

Vraag zowel bij de begeleiding van de maatwerkgroep als de controlegroep regelmatig en vanaf het begin naar de leerwensen. Selecteer uit de intakeprocedure voor beide groepen dezelfde vragen die je steeds opnieuw in de begeleiding aan de orde stelt. Maak een formulier met die vragen en noteer kort de antwoorden.

Zet op dit formulier ook een vraag voor de begeleider, bijvoorbeeld:

Deze cursist kan:

  • Uit zichzelf makkelijk zijn leerwensen formuleren.
  • Een richting benoemen voor zijn leerwens.Voor de preciezere formulering moet de begeleider helpen.
  • Niet uit zichzelf een leerwens benoemen. De begeleider moet erg sturen voordat er een leerwens aangegeven wordt.
  • Geen leerwens aangeven.

Zo kun je nagaan of en in hoeverre de maatwerkcursisten beter in staat zijn hun wensen aan te geven.

5. Enthousiasme bij cursisten

Informeer bij de begeleiding van zowel maatwerkcursisten als gewone cursisten naar hun ervaring met het onderwijs. Stel aan beide groepen cursisten dezelfde vragen, bijvoorbeeld:

  • Wat vind je van de lessen?
  • Leer je wat je nodig hebt?
  • Leer je wat je wilt leren?
  • Vind je dat je snel genoeg vooruitgaat met taalleren?
  • Wat vind je van het lesmateriaal?
  • Wat mis je in de lessen?

6. Enthousiasme bij docenten en begeleiders

Laat docenten en begeleiders een klein 'maandboek' (zoals een 'dagboek') bijhouden, waarin ze hun ervaring met maatwerk en gewone groepen vergelijken. Laat hen dat telkens doen aan de hand van een aantal vaste vragen.

Voorbeelden van vragen voor docenten:

  • Merk ik verschil in de vordering van maatwerkcursisten en gewone cursisten? Zo ja, welke verschillen zijn dat?
  • Hoe voel ik me tijdens de maatwerklessen? Wat betekent maatwerk voor mijn rol en vaardigheden als docent? Kan ik daarmee uit de voeten?
  • Hoe zijn de organisatorische en facilitaire randvoorwaarden geregeld? Hoeveel last heb ik van lacunes daarin?
  • Wat zou ik liever doen: maatwerklessen geven of gewone lessen?

Voorbeelden van vragen voor begeleiders:

  • Merk ik verschil in de vorderingen van maatwerkcursisten en gewone cursisten? Zo ja, welke verschillen zijn dat?
  • Is mijn rol als begeleiders moeilijker of zwaarder dan bij de begeleiding van gewone cursisten? Hoe komt dat? Is dat een positief aspect of is het juist negatief voor de cursist?
  • Welke type cursisten begeleid ik liever, maatwerkcursisten of gewone cursisten?
15 juli 2014