Er zijn verschillende theoretische modellen en verklarende factoren voor tekstbegrip. Hier een aantal uitgelegd en de handleiding Adaptieve Capaciteiten Test Begrijpend Lezen.
Overzicht
1. Theoretische achtergrond
Er zijn verschillende theoretische modellen en verklarende factoren voor tekstbegrip – of begrijpend lezen – aangedragen in de literatuur. Hieronder worden enkele daarvan kort besproken.
Bij tekstbegrip wordt er een onderscheid gemaakt tussen technisch lezen en begrijpend lezen . In eerste instantie werd aangenomen dat technisch lezen (ook wel decoderen genoemd, doelend op processen op lager niveau, dus op klank-, letter- en woordniveau) een voorwaarde was voor begrijpend lezen (waarbij processen op hoger niveau een rol spelen, dus op zins- en tekstniveau (Van Elsäcker, 2002). Uit onderzoek bleek dit echter niet altijd het geval te zijn (Aarnoutse en Van Leeuwe, 1988). Hierdoor gaat men nu meer uit van een interactief model, waarbij processen op zowel hoog als laag niveau een rol spelen bij het lezen (Van Elsäcker, 2002).
Cognitieve capaciteiten
Er zijn verschillende factoren gedefinieerd die met begrijpend lezen samenhangen. Belangrijke factoren lijken de kenmerken van een persoon te zijn: zo is consistent aangetoond dat woordenschat en intelligentie (met name verbale intelligentie, maar ook ruimtelijke intelligentie) samenhangen met tekstbegrip. Er zijn volgens Aarnoutse en Van Leeuwe (1988) ten minste drie belangrijke redenen waarom intelligentietests en tests voor begrijpend lezen samenhangen; 1) beide soorten tests doen een beroep op de bekwaamheid in probleemsituaties de juiste verbanden te leggen, 2) in intelligentietests kunnen veel opdrachten slechts door middel van begrijpend lezen uitgevoerd worden en 3) het verbale gedeelte van veel intelligentietests vereist meer specifieke capaciteiten zoals leesvaardigheid of een bepaalde woordenschat.
Onderzoek heeft dan ook aangetoond dat scores op intelligentietests een relatief sterke samenhang vertonen met scores op tests voor begrijpend lezen. Correlaties variëren ongeveer tussen de .30 en .50 (waarbij sterkere relaties gevonden worden voor verbale capaciteiten; Aarnoutse en Van Leeuwe, 1988; Cain, Oakhill, & Bryant, 2004; Overmaat, Roed, & Ledoux, 2002). Hierbij moet opgemerkt worden dat het meeste onderzoek gedaan is naar intelligentie en begrijpend lezen onder leerlingen in het basisonderwijs. Er lijkt echter bewijs te zijn dat de rol van intelligentie bij begrijpend lezen – vergeleken met bijvoorbeeld woordenschat of technisch lezen (Aarnoutse en Van Leeuwe, 1988) – sterker wordt met leeftijd (Birch & Belmont, 1965; Singer, 1977).
Werkgeheugen
Dit werkgeheugen is ook gerelateerd aan het opslaan en verwerken van informatie – wat vereist is bij de cognitieve processen die een rol spelen bij begrijpend lezen: zo dienen alinea’s aan elkaar verbonden te worden, informatie opgeslagen te worden voor later gebruik, er dienen verbanden gelegd te worden etc. (Cain, Oakhill, & Bryant, 2004; Carretti, Borella, Cornoldi, & De Beni, 2009; Daneman & Carpenter, 1980; de Jonge & de Jong, 1996). Dit werkgeheugen lijkt op zijn beurt echter sterk gerelateerd aan algemene intelligentie – er is zelfs twijfel of deze twee constructen niet identiek aan elkaar zijn (Ackerman, Beier, & Boyle, 2005; Oberauer, Schulze, Wilhelm, & Süß, 2005).
Metacognitie
Ook metacognitieve kenmerken worden verondersteld een rol te spelen bij begrijpend lezen. Met metacognitieve kenmerken wordt het inzicht en vermogen tot het reguleren van zijn of haar eigen lees-, leer- of denkproces bedoeld (Baker & Brown, 1984; Bonset & Hoogeveen, 2009; Flavell, 1979). Zo ging De Glopper (1996) na in hoeverre de vaardigheid in begrijpend lezen van leerlingen verklaard kan worden vanuit het vermogen tot zelfcontrole bij het leesproces in de vorm van planning, monitoring en evaluatie. Er kwam naar voren dat zelfcontrole erg belangrijk is voor begrijpend lezen: een conclusie die herhaaldelijk getrokken wordt in de literatuur (Bonset & Hoogeveen, 2009; Flavell, 1979). Ook is er veel onderzoek gedaan naar de positieve effecten van het hanteren van metacognitieve strategieën tijdens het lezen – bijvoorbeeld samenvatten, voorspellen van wat komen gaat, en vragen bedenken (Goudvis & Harvey, 2000; Pressley, Wharton-McDonald, Mistretta-Hampston, & Echevarria, 1998).
Motivatie en andere affectieve factoren
Leesmotivatie is één van de kenmerken die tot het affectieve domein gerekend kan worden – dus hoe een persoon tegenover lezen staat. Andere affectieve factoren zijn bijvoorbeeld leesattitude, leesplezier en vrijetijdslezen (Bonset & Hoogeveen, 2009). Over het algemeen worden wisselende resultaten gevonden tussen deze kenmerken en begrijpend (lees)prestaties (Bonset & Hoogeveen, 2009). Over het algemeen wordt een positief effect gevonden van leesmotivatie op leesprestaties (Baker & Wigfield, 1999; Guthrie, Hoa, Wigfield, Tonks, Humenick, & Littles, 2007), hoewel dit in de Nederlandse context minder het geval lijkt (Bonset & Hoogeveen, 2009; Van Elsäcker, 2002). Verder zijn er onderzoeken die kleine, positieve relaties aantonen tussen vrijetijdslezen en leesprestaties (Guthrie, Wigfield, Metsala & Cox, 1999), terwijl andere onderzoeken geen effecten vinden (Carver & Leibert, 1995; Otter, 1993). Een recente meta-analyse lijkt echter te suggereren dat we wel degelijk een positief effect van vrijetijdslezen op leesprestaties mogen verwachten, zelfs bij volwassenen (Mol & Bus, 2011).
Een mogelijke verklaring voor de overwegend wisselende resultaten kunnen mogelijke indirecte effecten of moderatoren zijn. Zo kunnen leesattitudes het gebruik van leesstrategieën beïnvloeden, wat de mate van tekstbegrip weer bevordert (Van Kraayenoord & Schneider, 1999). Ook blijken er belangrijke verschillen tussen autochtonen en kinderen met een etnische herkomst wat betreft het effect van vrijetijdslezen op leesprestaties (Van Elsäcker en Verhoeven, 2003).
‘Externe’ kenmerken
Tot slot zijn er nog een aantal ‘externe’ kenmerken aan te duiden die van belang zijn bij tekstbegrip. Met ‘extern’ bedoelen we hier factoren waar de persoon zelf weinig invloed op heeft: denk hierbij bijvoorbeeld aan de gezinssituatie, het leesklimaat thuis (bij kinderen), de etnische herkomst (van de ouders) en het sociale milieu waarin men zich begeeft. Al deze aspecten zijn vaak verbonden met elkaar, waardoor het lastig is eenduidige conclusies te trekken over de effecten hiervan op leesprestaties.
Zo worden er belangrijke verschillen gevonden tussen etnische groepen wat betreft leesniveau: zo blijkt dat kinderen van Turkse en Marokkaanse komaf beduidend lagere leesprestaties laten zien dan andere groepen (Overmaat et al., 2002; Vinjé, 1991). Deels lijkt dit samen te kunnen hangen met het leesklimaat thuis (Van Elsäcker, 2002). Onder het leesklimaat valt bijvoorbeeld het leesgedrag van de ouders, bibliotheekbezoek van de ouders en de mate waarin er wordt voorgelezen door de ouders. Tegelijkertijd verschillen bevolkingsgroepen in Nederland wat betreft hun sociaaleconomische- en sociaal-culturele status, wat ook het leesklimaat thuis beïnvloedt: wanneer men over meer financiële middelen beschikt dan kan men bijvoorbeeld meer boeken aanschaffen om het lezen te bevorderen (Van Elsäcker, 2002).
De geïnteresseerde lezer verwijzen we graag door naar de samenvatting van het empirisch onderzoek naar begrijpend lezen door Bonset & Hoogeveen (2009). Bij de interpretatie van het bovenstaande moet overigens in ogenschouw genomen worden dat veruit het meeste onderzoek bij leerlingen uit het basisonderwijs gedaan is.
2. Uitgangspunten
2.1. Meetdoel
Beheersing van de Nederlandse taal is een belangrijke factor bij de integratie van personen met een migratieachtergrond (Dagevos, 2001). Gordon (1964) noemde het beheersen van de taal van de ontvangende samenleving een van de belangrijkste elementen van culturele assimilatie. Voor de overheid is het leren van de Nederlandse taal zelfs een voorwaarde (https://www.rijksoverheid.nl/onderwerpen/nieuw-in-nederland/inhoud/inburgering-en-integratie-van-nieuwkomers) en zij heeft het daarom tot een verplicht onderdeel gemaakt van de inburgering. Ook draagt het beheersen van de taal bij aan het behalen van maatschappelijk succes (zie bijvoorbeeld Park, 1999).
Het is dus belangrijk om een goede inschatting te hebben van het taalniveau dat iemand beheerst. Met behulp van de ACT Begrijpend Lezen kan er binnen een relatief korte tijd (ongeveer 20-25 minuten) een beeld gevormd worden van het taalniveau van een persoon.
De test kan zodoende in alle situaties gebruikt worden, wanneer het van belang is meer inzicht te krijgen in het leesniveau van een persoon. Het kan bijvoorbeeld wenselijk zijn de test in te zetten alvorens een intelligentietest(batterij) of persoonlijkheidstest af te nemen: zo kan bepaald worden of de kandidaat het benodigde leesniveau bezit om de instructies van de overige tests te begrijpen.
2.2. Koppeling met het Europees Referentiekader Talen (ERK)
Bij de ontwikkeling en rapportage van de ACT Begrijpend Lezen zijn we bij de bepaling van het leesniveau van een persoon uitgegaan van het
Europees Referentiekader Talen (ERK). Het ERK is een internationaal erkend Europees raamwerk van niveauomschrijvingen voor moderne (vreemde) talen.
De voordelen van het werken met het ERK zijn onder andere (via www.erk.nl):
- Internationaal vergelijkbare taalniveaus: de taalniveaus worden in het buitenland herkend en erkend.
- Vervolgstudie of werk in het buitenland: aantoonbare taalcompetentieniveaus.
- Mogelijkheid tot zelfbeoordeling: met behulp van de
can do-statements verbonden aan het ERK systeem kan de eigen taalbeheersing beoordeeld worden. - Mogelijkheid tot zelfplanning: men kan niet alleen bepalen wat zij kunnen, maar ook wat ze moeten leren om hun taalcompetentie verder te ontwikkelen in de verschillende vaardigheden en domeinen.
- Levensecht leren: de
can do-statements beschrijven situaties waarvan men zich kan voorstellen dat zij zich in een vreemde taal zullen moeten redden; hierdoor wordt het leerproces een stuk realistischer. - Inzicht in beheersingsniveaus van deelcompetenties: een taal kan worden geleerd voor specifieke doelstellingen (zoals het lezen van publicaties over bepaalde onderwerpen, het werken of studeren in het buitenland); om te kunnen handelen in bepaalde domeinen (zoals vakantie, werk, school of universiteit); of om teksten te produceren bestemd voor een specifiek publiek (van leeftijdgenoten tot officiële instanties). Het ERK maakt dit inzichtelijk.
- Mogelijkheid om te differentiëren: men kan werken aan die aspecten van taal waar zij (meer) training in nodig hebben.
- Internationale examens: er zijn internationaal erkende certificaat (zoals Cambridge, Goethe, DELF, DELE) die ook gekoppeld zijn aan het ERK.
Door het leesniveau terug te koppelen in termen van het ERK raamwerk is het dus eenvoudig voor de kandidaat om in te schatten wat zijn/haar leesniveau precies inhoudt en wat daaraan verbeterd kan worden. Voor eventuele (vervolg)cursussen biedt het ERK bij het behaalde leesniveau in de ACT Begrijpend Lezen direct een nuttig referentiekader.
2.3. Adaptief testen
De ACT Begrijpend Lezen meet het leesniveau van een persoon op adaptieve wijze: bij een adaptieve test krijgt de kandidaat steeds het beste (= het meest informatieve) item dat geselecteerd is op zijn/haar niveau, op basis van zijn/haar eerder gegeven antwoorden.
Specifiek gaat dit als volgt: de kandidaat krijgt eerst een tekst (met bijbehorende vragen) op A1 niveau. Op basis van het aantal goed beantwoorde vragen wordt iemands niveau bepaald. Op basis van vooraf gestelde criteria wordt een nieuw item uit de grote itembank gezocht die voor dit niveau het meest informatief is. Op basis van dit gegeven antwoord wordt weer het nieuwe leesniveau bepaald, waarna weer het beste item wordt gezocht, et cetera. Na zeven teksten (dus na 28 vragen) stopt de test.
Adaptief testen heeft een aantal voordelen ten opzichte van klassieke, lineaire tests.
2.3.1. Testen op het juiste niveau
De kandidaat wordt altijd getest op zijn/haar eigen niveau, op basis van eerder gegeven antwoorden. Hiermee vermijden we dat kandidaten met een laag niveau te moeilijke vragen krijgen, en dat kandidaten met een hoog niveau te makkelijke vragen krijgen. Er wordt aangenomen dat dit leidt tot een verhoogde motivatie bij het maken van de test ten opzichte van klassieke, niet adaptieve tests (Linacre, 2000; Mead & Drasgow, 1993; Sands & Waters, 1997). Mensen met een lager niveau raken minder gedemotiveerd of afgeschrikt door te moeilijke items, terwijl mensen met een hoger niveau niet verveeld worden of onoplettend door te makkelijke items gaan (Wise, 2014). Echter, andere onderzoeken lijken te suggereren dat adaptief testen gepaard kan gaan met demotivatie bij testnemers, bijvoorbeeld omdat ze tussendoor geen makkelijkere items krijgen (om weer even ‘op adem te komen’/bevestigd te worden in hun kunnen) en geen vragen kunnen overslaan (Frey, Hartig, Moosbrugger, 2009; Hausler & Sommer, 2008; Ortner, Weisskopf, & Koch, 2013; Tonidandel, Quiñones, & Adams, 2002). Dit laatste punt is echter niet uniek voor adaptieve tests. Ook het feit dat bij een adaptieve test (relatief) sneller moeilijkere items gesteld worden, wat leidt tot een percentage correct van ongeveer 50% over de gehele test, zou kunnen leiden tot minder motivatie (Colwell, 2013). Bij de ACT Begrijpend Lezen beginnen we echter bij een relatief laag niveau: hierdoor zal voor de meeste mensen het percentage correct hoger liggen, wat de testbeleving ten goede zal komen.
2.3.2. Korter testen
Door het gebruik van een adaptieve test zijn we in staat om in veel kortere tijd een zeer betrouwbare meting van de vermogens van de kandidaat te bereiken, omdat er geen ‘nutteloze’ items bevraagd worden (Hambleton, Swaminathan, & Rogers, 1991; Weiss & Kingsbury, 1984). Dit werkt kostenbesparend in het geval de kandidaat op locatie de test maakt. Ook vragen we op deze manier minder tijd van de kandidaat.
2.3.3. Nauwkeuriger meten
Omdat we geen items gebruiken die geen informatie geven over de vermogens van de kandidaat, bijvoorbeeld omdat ze veel te makkelijk of veel te moeilijk zijn, wordt er nauwkeuriger gemeten (Hambleton et al., 1991; Weiss & Kingsbury, 1984).
2.3.4. Geringere bekendheid van de items
Veel capaciteitentests kennen het probleem van itembekendheid, bijvoorbeeld op internet (Sympson & Hetter, 1985; Van der Linden & Glas, 2010; Veldkamp, 2010). U kunt zich voorstellen dat de betrouwbaarheid van de uitslag van een test hierdoor drastisch afneemt. Onze adaptieve begrijpend lezen test kent dit probleem niet. De itembank voor elke subtest bestaat uit een groot aantal items (119 teksten, dus 476 items) waarvan iedere kandidaat er slechts een klein aantal te zien krijgt. Bovendien worden de items niet in een vaste volgorde aangeboden. Hierdoor is gewaarborgd dat de score van een kandidaat niet afhankelijk kan zijn van bekendheid met de items.
2.4. Testlets
De ACT Begrijpend Lezen maakt, zoals gebruikelijk bij adaptieve tests, gebruik van
itemresponstheorie (IRT; zie bijvoorbeeld Hambleton, Swaminathan, & Rogers, 1991, en Embretson & Reise, 2000). Om specifiek te zijn, maken we gebruik van
testletresponstheorie (TRT; Thissen, Steinberg, & Wainer, 1989; Wainer & Kiely, 1987; Wainer, Bradlow, & Wang, 2007): omdat er bij tests voor tekstbegrip meerdere vragen over dezelfde tekst gesteld worden kan niet aan bepaalde assumpties van IRT (bijvoorbeeld onafhankelijkheid van de items) voldaan worden. TRT houdt rekening met deze afhankelijkheden tussen items.
3. Ontwikkeling
In het voorjaar van 2016 zijn er Neerlandici/taaldocenten/toets ontwikkelaars gezocht voor de ontwikkeling van de teksten en vragen van de ACT Begrijpend Lezen. Uiteindelijk werden er drie personen geschikt bevonden. Alle drie hadden ruime ervaring met het ontwikkelen van les- en toetsingsmateriaal voor begrijpend lezen en tekstbegrip, bijvoorbeeld als docent Nederlands of NT2 (waarbij ook de categorieën van het ERK gebruikt worden). Ook waren zij betrokken bij het opstellen van cursussen, en het inschatten van taalniveaus (in ERK-termen) van cursisten bij intake- en eindgesprekken met cursisten. Alle drie waren zij dus zeer bekend met het ERK. Het aantal jaar ervaring met bovenstaande activiteiten was gemiddeld 12.33 jaar (5, 16 en 16 jaar ervaring).
Aan de drie tekstschrijvers is ieder gevraagd 42 teksten te schrijven met elk 4 vragen. Deze teksten waren verdeeld over de 6 leesniveaus: A1, A2, B1, B2, C1 en C2. Ook kregen de schrijvers de opdracht de teksten tussen de 600 en 1200 tekens te houden: de complexiteit van de teksten en vragen diende onderling door de inhoud te variëren, niet door de tekstlengte.
Vervolgens werden de teksten van iedere schrijver door de andere twee beoordeeld; zowel op fouten/verbeteringen alsook het leesniveau. Iedere tekstschrijver kreeg de teksten van de anderen voorgelegd (geanonimiseerd en zonder indicatie van het beoogde tekstniveau) om te beoordelen welk tekstniveau deze teksten hadden.
Op basis van deze beoordelingen is de mate van overeenstemming tussen de inschattingen van de tekstniveaus berekend. Hiervoor is de associatiemaat Kappa gebruikt met kwadratische wegingen (omdat een verschil in beoordeling tussen A1-A2 minder groot is dan bijvoorbeeld A1-B2). Kappa tussen schrijver 1 en schrijver 2 was .82, tussen schrijver 1 en 3 was de overeenstemming .75 en tussen schrijver 2 en 3 was dit .92. De richtlijnen voor Kappa zijn als volgt (Altman, 1991):
- < 0.20: Slecht
- 21 – 0.40: Matig
- 41 – 0.60: Gemiddeld
- 61 – 0.80: Goed
- 81 – 1.00: Zeer goed
Vergeleken met deze richtlijnen was de mate van overeenstemming tussen de beoordelaars wat betreft het leesniveau van de teksten goed tot zeer goed te noemen. Bovendien bleek dat erg grote discrepanties (dus bijvoorbeeld één beoordeling van een tekst als C1 en van een andere schrijver als A1) niet voorkwamen. Bij zeven teksten was dit wel het geval: deze teksten zijn dan ook niet opgenomen in de test. Over het algemeen kunnen we dus concluderen dat de teksten in de test van het beoogde niveau zijn.
4. Testmateriaal
4.1. Opgaven
Per tekst (dus per vier vragen) krijgt de kandidaat drie minuten de tijd. Het aantal minuten per tekst is gebaseerd op de gemiddelde leessnelheid van de gemiddelde Nederlander. Ook hebben een aantal mensen intern getest of het haalbaar was om de teksten te lezen en de vragen te beantwoorden binnen de beschikbare tijd.
4.2. Rapport
In het rapport wordt op basis van de gegeven antwoorden het leesniveau van de kandidaat teruggekoppeld. Daarbij wordt aangegeven dat een persoon met een bepaald taalniveau ook in staat is om teksten die onder zijn of haar taalniveau liggen te begrijpen. Teksten die boven het taalniveau van een persoon liggen kunnen echter problemen opleveren. Iemand zal dan bijvoorbeeld meer moeite hebben om een tekst in korte tijd te lezen of zal niet alle details eruit kunnen halen.
Naast het algemene taalniveau wordt in het rapport ook per taalniveau aangegeven hoeveel vragen de kandidaat gekregen heeft en hoeveel hij/zij er goed had. Dit geeft de kandidaat (en de adviseur) meer inzicht in de verkregen scores. Het kan bijvoorbeeld blijken dat een kandidaat alle A2 vragen goed heeft, de helft van de B1 vragen, en een klein deel (bijv. 25%) van de B2 vragen. Hoewel het algemeen leesniveau van deze persoon op B1 zal uitkomen, wordt hieruit duidelijk dat deze persoon qua niveau meer tegen B2 aan zit dan A2.
De teksten waarin beschreven wordt wat iemand met het leesniveau van de kandidaat zoal kan, zijn ontleend aan de beschrijvingen van de leesniveaus van het ERK. Voor meer informatie over deze beschrijvingen verwijzen we naar http://www.erk.nl/docent/niveaubeschrijvingen/.
Zie voor een voorbeeldrapport https://www.ixly.nl/wp-content/uploads/2017/03/Voorbeeldrapport-ACT-Begrijpend-Lezen.pdf.