U bent hier: start » onderwijs » europees referentiekader

Bijlage B. Illustratieve descriptorschalen

In deze bijlage wordt het Zwitserse project beschreven waarbinnen de illustratieve descriptoren voor het Gemeenschappelijk Europees Referentiekader zijn ontwikkeld. Ook de geschaalde categorieën worden vermeld, met verwijzingen naar de pagina's waar ze in het hoofddocument te vinden zijn. De descriptoren in dit project zijn geschaald en gebruikt om de niveaus in het Referentiekader te definiëren met de in bijlage A geschetste methode 12c (het Rasch-model).

Het Zwitserse onderzoeksproject

Oorsprong en context

De in hoofdstuk 3, 4 en 5 opgenomen descriptorschalen zijn opgesteld op basis van de uitkomsten van een project van de Zwitserse Raad voor Wetenschappelijk Onderzoek dat is uitgevoerd tussen 1993 en 1996. Dat project was een uitvloeisel van het Rüschlikon-symposium in 1991. Doel was de ontwikkeling van doorzichtige vaardigheidsuitspraken over verschillende aspecten van het beschrijvende schema van het Referentiekader, die ook zouden kunnen bijdragen tot de ontwikkeling van een Europese Taalportfolio.

Een studie in 1994 concentreerde zich op interactie en productie en bleef beperkt tot Engels als vreemde taal en tot oordelen van docenten/leerkrachten. Tijdens een studie in 1995 werd die van 1994 deels herhaald, aangevuld met het onderwerp 'receptie' en de talen Frans en Duits. Aan de beoordeling door docenten/leerkrachten werd zelfevaluatie toegevoegd, alsmede enige examengegevens (Cambridge; Goethe; DELF/DALF).

In totaal waren bijna 300 docenten/leerkrachten en circa 2800 leerders uit zo'n 500 klassen bij de twee studies betrokken. Leerders uit de onderbouw en de bovenbouw van het middelbaar onderwijs, het beroepsonderwijs en het volwassenenonderwijs waren in de volgende verhoudingen vertegenwoordigd:

	Onderbouw MO	Bovenbouw MO	Beroepsonderwijs	Volwassenenonderwijs
1994	35%	19%	15%	31%
1995	24%	31%	17%	28%

Er waren docenten/leerkrachten uit de Duits, Frans, Italiaans en Reto-Romaans sprekende taalregio's van Zwitserland bij de studies betrokken, hoewel het aantal uit de Italiaans en Reto-Romaans sprekende gebieden zeer beperkt was. In elk van beide jaren gaf ongeveer een kwart van hen les in zijn of haar moedertaal. Zij vulden vragenlijsten in de doeltaal in. Daarom werden de descriptoren in 1994 alleen in het Engels en in 1995 in het Engels, Frans en Duits ingevuld.

Methodiek

In het kort was de methodiek van het project de volgende:

Intuïtieve fase:

1. Gedetailleerde analyse van taalvaardigheidsschalen die in 1993 openbaar beschikbaar waren of verkrijgbaar waren via contacten met de Raad van Europa; een lijst van de schalen vindt u aan het eind van dit overzicht.
2. Deconstructie van die schalen tot beschrijvende categorieën, verwant aan die welke worden geschetst in hoofdstuk 4 en 5, om een eerste verzameling van geclassificeerde, bewerkte descriptoren tot stand te brengen.

Kwalitatieve fase:

3. Ontleding in categorieën van opnamen van docenten/leerkrachten die op video getoonde taalvaardigheid bespreken en vergelijken om te verifiëren of de door gebruikers gehanteerde metataal correct was weergegeven.
4. 32 workshops waarin docenten/leerkrachten
   1. descriptoren rangschikten in de categorieën die zij moesten beschrijven,
   2. kwalitatieve oordelen velden over de helderheid, correctheid en relevantie van de beschrijving en
   3. descriptoren sorteerden in bandbreedtes van vaardigheid.

Kwantitatieve fase:

5. Beoordeling van representatieve leerders door docenten/leerkrachten aan het eind van het schooljaar met behulp van een reeks overlappende vragenlijsten, samengesteld uit de descriptoren die in de workshops als de helderste, meest gerichte en meest relevante uit de bus waren gekomen. In het eerste jaar werd een reeks van 7 vragenlijsten gebruikt, elk bestaande uit 50 descriptoren, die de vaardigheid moesten bestrijken vanaf leerders die 80 uur Engels hadden gehad tot en met gevorderde sprekers.
6. In het tweede jaar werd een andere reeks van vijf vragenlijsten gebruikt. Het verband tussen de beide studies was het feit dat descriptoren voor gesproken interactie in het tweede jaar opnieuw werden gebruikt. Leerders werden per descriptor beoordeeld op een schaal van 0 tot 4, waarin het verband werd beschreven met de omstandigheden waarin zij geacht werden volgens de descriptor te presteren. De interpretatie van de descriptoren door de docenten/leerkrachten is geanalyseerd met behulp van het Rasch-schaalmodel. Deze analyse had twee doelen:
   1. om op een meetkundige schaal een 'moeilijkheidswaarde' aan elke descriptor toe te kennen;
   2. om statistisch significante verschillen te ontdekken in de interpretatie van de descriptoren met betrekking tot de verschillende onderwijssectoren, taalregio's en doeltalen, om descriptoren te identificeren die zeer stabiele waarden hadden in verschillende contexten zodat zij bruikbaar waren voor de holistische schalen van de Gemeenschappelijke Referentieniveaus.
7. Beoordeling door alle deelnemende docenten/leerkrachten van video's met taalgebruik van bepaalde leerders uit de studie. De bedoeling van deze beoordeling was het kwantificeren van verschillen in strengheid tussen de docenten/leerkrachten om met die verschillen rekening te kunnen houden bij het aanwijzen van het prestatiebereik in de Zwitserse onderwijssectoren.

Interpretatiefase:

8. Identificatie van 'cesuren/drempels op de descriptorschaal om de in hoofdstuk 3 geïntroduceerde reeks van Gemeenschappelijke Referentieniveaus voort te brengen. Samenvatting van de niveaus in een holistische schaal (tabel 1), een beschrijvingsschema voor zelfevaluatie (tabel 2) en een beoordelingsmatrix die verschillende aspecten van communicatieve taalcompetentie beschrijft (tabel 3).
9. Presentatie van illustratieve schalen in hoofdstuk 4 en 5 voor categorieën die schaalbaar zijn gebleken.
10. Aanpassing van de descriptoren aan het zelfevaluatiemodel om een Zwitserse proefversie van de Europese Taalportfolio tot stand te brengen. Deze omvat (a) een zelfevaluatiematrix voor luisteren, spreken, gesproken interactie, gesproken productie, schrijven (tabel 2) en (b) een checklist voor zelfevaluatie van elk van de Gemeenschappelijke Referentieniveaus.
11. Een afsluitende conferentie waarop de onderzoeksresultaten werden gepresenteerd, ervaringen met de Portfolio werden besproken en docenten/leerkrachten konden kennismaken met de Gemeenschappelijke Referentieniveaus.

Resultaten

Het schalen van descriptoren voor verschillende vaardigheden en voor verschillende soorten competenties (linguïstische, pragmatische, sociaal-culturele) wordt bemoeilijkt door de vraag of beoordelingen van deze verschillende aspecten wel of niet kunnen worden gecombineerd tot één meetbare dimensie. Deze moeilijkheid wordt niet veroorzaakt door of uitsluitend toegeschreven aan de Rasch-methode maar geldt voor alle statistische analyses. Rasch vormt echter een streng model. Testgegevens, beoordelingsgegevens van docenten/leerkrachten en zelfbeoordelingsgegevens kunnen zich in dit opzicht verschillend gedragen. Bij de beoordeling door docenten/leerkrachten in dit project waren bepaalde categorieën minder succesvol dan andere zodat zij moesten worden verwijderd uit de analyse om de correctheid van de uitkomsten niet in gevaar te brengen. Tot de categorieën uit de oorspronkelijke serie descriptoren die zijn afgevallen, behoren de volgende:

1. Sociaal-culturele competentie
   Descriptoren die uitdrukkelijk de sociaal-culturele en sociolinguïstische competentie beschrijven. Onduidelijk is in hoeverre dit probleem werd veroorzaakt (a) doordat dit concept losstaat van de taalvaardigheid, (b) door tamelijk vage descriptoren die in de workshops als problematisch werden aangeduid of (c) door inconsistente antwoorden van docenten/leerkrachten wie het aan voldoende kennis van hun leerlingen ontbrak. Dit probleem strekte zich uit tot descriptoren van de vaardigheid om fictie en literatuur te lezen en te appreciëren.
2. Werkgerelateerd
   Descriptoren die van docenten/leerkrachten verlangden dat zij een inschatting maakten over – gewoonlijk werkgebonden – activiteiten anders dan die welke zij rechtstreeks in de klas konden observeren, zoals telefoneren, formele vergaderingen bijwonen, formele presentaties verzorgen, verslagen en essays schrijven, officiële correspondentie voeren. Dit ondanks het feit dat het beroeps- en volwassenenonderwijs goed vertegenwoordigd was.
3. Negatief concept
   Descriptoren die betrekking hebben op de noodzaak te simplificeren en de behoefte aan herhaling of uitleg, die impliciet negatieve concepten vertegenwoordigen. Zulke aspecten konden beter worden beschreven in clausules bij een positief geformuleerde descriptor, bijvoorbeeld als volgt:
   

   Kan over het algemeen heldere, tot hem of haar gerichte gesproken standaardtaal begrijpen over vertrouwde zaken, mits hij of zij af en toe om herhaling of herformulering kan vragen.

Lezen bleek zich voor deze docenten/leerkrachten in een andere dimensie af te spelen dan gesproken interactie en productie. Toch bleek de wijze van gegevens verzamelen het mogelijk te maken het lezen apart te schalen en vervolgens de leesschaal te vergelijken met de hoofdschaal. Schrijven was geen speerpunt van de studie en de in hoofdstuk 4 opgenomen descriptoren voor geschreven productie zijn voornamelijk ontwikkeld vanuit die voor gesproken productie. De door DIALANG en ALTE gerapporteerde (zie respectievelijk bijlage C en bijlage D) relatief stabiele schaalwaarden voor lees- en schrijfdescriptoren uit het Referentiekader, suggereren echter dat de voor lezen en schrijven gekozen benaderingen redelijk doeltreffend waren.

De beschreven complicaties met de categorieën hebben alle betrekking op het schaalprobleem van een- versus meerdimensionaliteit. Meerdimensionaliteit blijkt ook op een tweede manier met betrekking tot de populatie van leerders wier vaardigheid wordt beschreven. In een aantal gevallen was de moeilijkheid van de descriptor afhankelijk van de onderwijssector. Zo vinden volwassen beginners volgens hun docenten/leerkrachten opdrachten 'in het echte leven' significant gemakkelijker dan veertienjarigen. Dat lijkt intuïtief een redelijk oordeel. Dergelijke variatie wordt een 'Differential Item Function' (DIF) genoemd. Voor zover mogelijk zijn descriptoren met DIF vermeden bij het opstellen van de samenvattingen voor de Gemeenschappelijke Referentieniveaus in de tabellen 1 en 2 in hoofdstuk 3. Er waren zeer weinig significante effecten van de doeltaal, en geen van de moedertaal, met uitzondering van de indruk dat wie in zijn of haar moedertaal onderwijst wellicht een strengere interpretatie van het woord 'begrijpen' hanteert op gevorderde niveaus, in het bijzonder ten aanzien van literatuur.

Praktijk

De illustratieve descriptoren in de hoofdstukken 4 en 5 zijn (a) op het niveau gepositioneerd waarop de feitelijke descriptor empirisch is gekalibreerd in de studie, (b) op dat niveau samengesteld uit elementen van aldus gekalibreerde descriptoren (voor enkele categorieën zoals Openbare mededelingen die niet in de oorspronkelijke studie voorkwamen), (c) geselecteerd op basis van de uitkomsten van de kwalitatieve fase (workshops) of (d) geschreven tijdens de interpretatiefase om een gat in de empirisch gekalibreerde subschaal te dichten. Dit laatste punt is bijna helemaal van toepassing op Beheersing, waarvoor erg weinig descriptoren in de studie waren opgenomen.

Vervolg

In een project van de universiteit van Bazel (1999–2000) zijn de descriptoren van het Referentiekader als basis gebruikt voor een zelfbeoordelingstoets bij toelating tot de universiteit. Daarbij werden ook descriptoren toegevoegd voor sociolinguïstische competentie en voor het maken van aantekeningen in een universitaire context. De nieuwe descriptoren werden geschaald op de niveaus van het Referentiekader met dezelfde methodiek die in het oorspronkelijke project was toegepast. Ze zijn opgenomen in deze editie van het Referentiekader. De correlatiecoëfficiënt tussen de oorspronkelijke schaalwaarden van de descriptoren van het Referentiekader en hun waarden in deze studie bedroeg 0,899.

Literatuur

North, B. 1996/2000: The development of a common framework scale of language proficiency. Dissertatie, Thames Valley University. Herdruk 2000, New York, Peter Lang.

In voorbereiding: Developing descriptor scales of language proficiency for the CEF Common Reference Levels. In J.C. Alderson (red.) Case studies of the use of the Common European Framework. Raad van Europa.

In voorbereiding: A CEF-based self-assessment tool for university entrance. In J.C. Alderson (red.) Case studies of the use of the Common European Framework. Raad van Europa. North, B. en Schneider, G. 1998: Scaling descriptors for language proficiency scales. Language Testing 15/2: 217–262.

Schneider en North 1999: 'In anderen Sprachen kann ich' . . . Skalen zur Beschreibung, Beurteilung und Selbsteinschätzung der fremdsprachlichen Kommunikationsfähigkeit. Bern, Projectverslag National Onderzoeksprogramma 33, Zwitserse Raad voor Wetenschappelijk Onderzoek.

De descriptoren in het Referentiekader

In aanvulling op de tabellen in hoofdstuk 3, waarin de Gemeenschappelijke Referentieniveaus zijn samengevat, zijn de volgende illustratieve descriptoren her en der in de tekst van de hoofdstukken 4 en 5 opgenomen:

Document B1. Illustratieve schalen in hoofdstuk 4: Communicatieve activiteiten

R E C E P T I E	Gesproken	Algemene luistervaardigheid Interactie van moedertaalsprekers begrijpen Luisteren als lid van het aanwezige publiek Luisteren naar mededelingen en aanwijzingen Luisteren naar radio- en geluidsopnamen
	Audiovisueel	Kijken naar televisie en film
	Geschreven	Algemene leesvaardigheid Correspondentie lezen Lezen ter oriëntatie Lezen ter informatie en argumentatie Aanwijzingen lezen
I N T E R A C T I E	Gesproken	Gesproken interactie in het algemeen Begrijpen van interactie Begrijpen van een moedertaalspreker als gespreksgenoot Gesprek Informele discussie Formele discussie (vergaderingen) Doelgerichte samenwerking Verkrijgen van goederen en diensten Informatie-uitwisseling Ondervragen en ondervraagd worden
	Geschreven	Algemene schriftelijke interactie Correspondentie Notities, berichten en formulieren
P R O D U C T I E	Gesproken	Mondelinge productie in het algemeen Monoloog: ervaringen beschrijven Monoloog: een pleidooi houden (bijvoorbeeld in een debat) Openbare mededelingen Publiek toespreken
	Geschreven	Schriftelijke productie in het algemeen Creatief schrijven Verslagen en essays schrijven

Document B2. Illustratieve schalen in hoofdstuk 4: Communicatiestrategieën

RECEPTIE	• Aanwijzingen identificeren en daaruit interpretaties afleiden
INTERACTIE	• Het woord (de beurt) nemen • Samenwerken • Vragen om opheldering
PRODUCTIE	• Planning • Compensatie • Monitoring en herstel

TEKST

• Aantekeningen maken tijdens seminars en colleges
• Tekstverwerken

Document B4. Illustratieve schalen in hoofdstuk 5: Communicatieve taalcompetentie

 

LINGUÏSTISCH	Bereik: Beheersing:	Algemeen bereik Bereik woordenschat Grammaticale correctheid Beheersing woordenschat Fonologische beheersing Orthografische beheersing
SOCIOLINGUÏSTISCH		Sociolinguïstisch
PRAGMATISCH		Flexibiliteit Het woord (de beurt) nemen – nogmaals Thematische ontwikkeling Coherentie Propositionele nauwkeurigheid Vloeiendheid van de gesproken taal

Document B5. Samenhang in de kalibratie van descriptoren

De plaats waar een bepaalde descriptor op de schaal verschijnt, vertoont een hoge mate van samenhang. Laten we als voorbeeld 'onderwerpen' nemen. Er zijn geen descriptoren voor onderwerpen opgenomen, maar er wordt wel naar onderwerpen verwezen in verschillende categorieën van descriptoren. De drie meest relevante categorieën waren Beschrijven en vertellen, Informatie-uitwisseling en Bereik.

In het volgende diagram is te zien hoe op deze drie gebieden wordt omgegaan met onderwerpen. Hoewel de inhoud van de drie diagrammen niet identiek is, wordt bij vergelijking een grote mate van samenhang zichtbaar, die in alle gekalibreerde descriptoren wordt weerspiegeld. Dit soort analyse is de basis geweest voor het samenstellen – door elementen te combineren – van descriptoren voor categorieën die niet in de oorspronkelijke studie waren opgenomen (zoals Openbare mededelingen).

BESCHRIJVEN EN VERTELLEN:
A1 waar zij wonen	A2 mensen, uiterlijk voorwerpen, huisdieren, bezittingen achtergrond, werk gebeurtenissen en activiteiten plaatsen en levensomstandigheden voorkeuren/afkeren plannen/afspraken gewoonten/routines persoonlijke ervaringen	B1 plot van een boek/film ervaringen reacties daarop dromen, wensen, ambities verhaal vertellen basisgegevens van onvoorspelbare gebeurtenissen zoals een ongeluk	B2	C1 heldere en gedetailleerde beschrijving van een complex onderwerp	C2
INFORMATIE-UITWISSELING:
A1 zichzelf en anderen thuis tijd	A2 simpel, alledaags, direct beperkt, werk en vrije tijd simpele aanwijzingen en instructies tijdsbesteding, gewoonten, routines activiteiten in het verleden	B1 gedetailleerde aanwijzingen verzamelende feitelijke info over vertrouwde zaken binnen bepaald gebied	B2	C1	C2
BEREIK: KENMERKEN:
A1	A2 elementaire gemeenschappelijke behoeften alledaagse routinehandelingen simpel en voorspelbaar overleven vertrouwde situaties en onderwerpen simpele concrete behoeften: persoonlijke gegevens, alledaagse routines, verzoeken om inlichtingen alledaagse situaties met een voorspelbare inhoud	B1 meest onderwerpen betrekking op dagelijks leven: familie, hobby's, interesse, werk, reizen, actualiteit	B2	C1	C2

Document B4. Als bron gebruikte taalvaardigheidsschalen

Holistische schalen voor algemene spreekvaardigheid

• Hofmann: Levels of Competence in Oral Communication 1974
• University of London School Examination Board: Certificate of Attainment – Graded Tests 1987
• Ontario ESL Oral Interaction Assessment Bands 1990
• Finse schaal met negen niveaus van taalvaardigheid (1993)
• European Certificate of Attainment in Modern Languages 1993

Schalen voor verschillende communicatieve activiteiten

• Trim: Possible Scale for a Unit/Credit Scheme: Social Skills 1978
• North: European Language Portfolio Mock-up: Interaction Scales 1991
• Eurocentres/ELTDU Scale of Business English 1991
• Association of Language Testers in Europe, Bulletin 3, 1994

Schalen voor de vier vaardigheden

• Foreign Service Institute Absolute Proficiency Ratings 1975
• Wilkins: Proposals for Level Definitions for a Unit/Credit Scheme: Speaking 1978
• Australian Second Language Proficiency Ratings 1982
• American Council on the Teaching of Foreign Languages Proficiency Guidelines 1986
• Elviri e.a.: Oral Expression 1986 (in Van Ek 1986)
• Interagency Language Roundtable Language Skill Level Descriptors 1991
• English Speaking Union (ESU) Framework Project: 1989
• Australian Migrant Education Program Scale (alleen luisteren)

Schalen voor mondelinge beoordeling

• Dade County ESL Functional Levels 1978
• Hebrew Oral Proficiency Rating Grid 1981
• Carroll B.J. and Hall P.J. Interview Scale 1985
• Carroll B.J. Oral Interaction Assessment Scale 1980
• International English Testing System (IELTS): Band Descriptors for Speaking & Writing 1990
• Goteborgs Univeritet: Oral Assessment Criteria
• Fulcher: The Fluency Rating Scale 1993

Kaders voor de inhoud van lesprogramma's en voor beoordelingscriteria van pedagogische voortgangsfasen

• University of Cambridge/Royal Society of Arts Certificates in Communicative Skills in English 1990
• Royal Society of Arts Modern Languages Examinations: French 1989
• English National Curriculum: Modern Languages 1991
• Nieuw Nederlands examenprogramma 1992
• Eurocentres Scale of Language Proficiency 1993
• British Languages Lead Body: National Language Standards 1993