3.1 Criteria voor descriptoren van Gemeenschappelijke Referentieniveaus

Een van de functies van het Referentiekader is dat het partners helpt de vaardigheidsniveaus te beschrijven die volgens bestaande normen, toetsen en examens vereist zijn om zo vergelijkingen mogelijk te maken tussen verschillende kwalificatiesystemen. Met dat doel voor ogen zijn het Beschrijvingsschema en de Gemeenschappelijke Referentieniveaus ontwikkeld. Samen vormen deze een raster van begrippen dat gebruikers kunnen hanteren om hun systeem te beschrijven. Idealiter voldoet een schaal van referentieniveaus in een gemeenschappelijk kader aan vier criteria. Twee hebben betrekking op aspecten die te maken hebben met het beschrijven van taalvaardigheid, twee op aspecten die te maken hebben met het meten van taalvaardigheid:

Beschrijvingscriteria

• Een schaal binnen een gemeenschappelijk referentiekader moet contextvrij zijn om generaliseerbare resultaten uit verschillende specifieke contexten te kunnen omvatten. Dit wil zeggen dat een gemeenschappelijke schaal bijvoorbeeld niet moet worden gemaakt voor de schoolcontext om vervolgens te worden toegepast op volwasseneneducatie, of omgekeerd. Toch moeten de descriptoren in een schaal binnen een gemeenschappelijk referentiekader tegelijkertijd wel context-relevant zijn, dat wil zeggen: betrekking kunnen hebben op iedere relevante context en passen bij de functie waarvoor ze in die context worden gebruikt. Dit betekent dat de categorieën waarmee wordt beschreven wat leerders in verschillende contexten kunnen doen, betrekking moeten kunnen hebben op alle doelcontexten die voor de verschillende groepen leerders binnen de algemene doelgroep bruikbaar zijn.
• De beschrijving dient ook gebaseerd te zijn op theorieën van taalcompetentie. Aan dit criterium is moeilijk te voldoen omdat de beschikbare theorieën en onderzoeksresultaten ontoereikend zijn om als basis te fungeren. Toch zullen de indeling in categorieën en de beschrijvingen een theoretisch fundament moeten hebben. Bovendien moet de beschrijving, hoewel theoretisch onderbouwd, ook gebruikersvriendelijk blijven - toegankelijk voor de gebruikers - en hen aansporen verder te denken over wat competentie in hun context betekent.

Metingscriteria

• De plaatsing van bepaalde activiteiten en competenties op de schaal binnen een gemeenschappelijk referentiekader moet objectief bepaald zijn, dat wil zeggen dat die plaatsing op een meettheorie gebaseerd moet zijn. Dit om te voorkomen dat fouten in het systeem worden gemaakt door het overnemen van niet-onderbouwde conventies en vuistregels van de auteurs, van bepaalde groepen gebruikers of van bestaande schalen die als voorbeeld hebben gediend.
• Het aantal niveaus dat wordt gekozen moet adequaat zijn om de vooruitgang in verschillende onderwijssectoren en leersituaties aan te duiden maar mag in een bepaalde context niet meer zijn dan het aantal niveaus waartussen mensen redelijkerwijs en consequent onderscheid kunnen maken. Dit kan betekenen dat men op de schaal voor verschillende dimensies stappen van verschillende grootte moet kiezen, of dat men kiest voor een tweesporenbenadering met naast bredere (algemene, landelijke) ook smallere (lokale, pedagogische) niveaus.

Hoewel het moeilijk is om aan deze criteria te voldoen, vormen zij een bruikbaar uitgangspunt. In de praktijk kan men trachten eraan te voldoen met een combinatie van intuïtieve, kwalitatieve en kwantitatieve methoden. Dit is tegengesteld aan de zuiver intuïtieve wijze waarop schalen van taalvaardigheid normaal gesproken worden ontwikkeld. Intuïtief in een groep iets ontwikkelen werkt wellicht goed bij de ontwikkeling van systemen voor bepaalde contexten, maar heeft bepaalde beperkingen bij de ontwikkeling van een schaal voor een gemeenschappelijk referentiekader. De grootste zwakte van het vertrouwen op intuïtie is dat de plaatsing van een bepaalde formulering op een bepaald niveau subjectief is. Ten tweede is het ook mogelijk dat gebruikers uit verschillende sectoren perspectiefverschillen hebben als gevolg van de behoeften van hun leerders. Een schaal heeft, net als een toets, geldigheid in relatie tot contexten waarin is aangetoond dat die schaal werkt. Validatie houdt kwantitatieve analyse in en is een voortdurend, in theorie oneindig proces. De methodologie die is toegepast bij de ontwikkeling van de gemeenschappelijke referentieniveaus en hun toelichtende descriptoren is daarom tamelijk streng geweest. Er is gebruik gemaakt van een systematische combinatie van intuïtieve, kwalitatieve en kwantitatieve methoden. Eerst is de inhoud van bestaande schalen geanalyseerd met betrekking tot beschrijvingscategorieën die in het Referentiekader worden gehanteerd. Vervolgens is het materiaal in een intuïtieve fase bewerkt, waarbij nieuwe descriptoren zijn geformuleerd die zijn besproken door deskundigen. Daarna is met verschillende kwalitatieve methoden gecontroleerd of docenten/leerkrachten uit de voeten konden met de gekozen beschrijvingscategorieën en of de descriptoren werkelijk de categorieën beschreven die zij geacht werden te beschrijven. Ten slotte zijn de beste descriptoren in de reeks geschaald met behulp van kwantitatieve methoden. De juistheid van deze schaal is daarna gecontroleerd in herhalingsstudies.

Technische aspecten van de ontwikkeling en het schalen van beschrijvingen van taalvaardigheid komen aan de orde in de bijlagen. Bijlage A bevat een inleiding over het schalen en de methoden waarmee deze schalen kunnen worden ontwikkeld. Bijlage B geeft een beknopt overzicht van het Zwitserse project (Swiss National Science Research Council Project) waarin de gemeenschappelijke referentieniveaus en toelichtende descriptoren zijn ontwikkeld voor verschillende onderwijssectoren. In de bijlagen C en D worden vervolgende twee verwante Europese projecten geïntroduceerd, waarin een vergelijkbare methodologie is gehanteerd om zulke descriptoren te ontwikkelen en te valideren met betrekking tot jongvolwassenen. Het in bijlage C beschreven project is DIALANG. Als onderdeel van een breder beoordelingsinstrument heeft DIALANG descriptoren uit het Gemeenschappelijk Europees Referentiekader uitgebreid en aangepast ten behoeve van zelfbeoordeling. In bijlage D wordt het 'Can Do'-project van de ALTE (Association of Language Testers in Europe) beschreven. In dit project is een uitgebreide reeks descriptoren ontwikkeld en gevalideerd, die ook gerelateerd kunnen worden aan de Gemeenschappelijke Referentieniveaus. Deze descriptoren vormen een aanvulling op die van het Referentiekader zelf in die zin dat ze zijn geordend met betrekking tot gebruiksdomeinen die relevant zijn voor volwassenen.

De in de bijlagen beschreven projecten vertonen een grote mate van gemeenschappelijkheid, zowel wat betreft de Gemeenschappelijke Referentieniveaus zelf als wat betreft de begrippen die op verschillende niveaus van de schaal in de descriptoren zijn opgenomen. Dit betekent dat er toenemend bewijs is om aan te nemen dat aan de eerder geschetste criteria ten minste gedeeltelijk is voldaan.