Intelligentie en assessment van intellectuele capaciteiten

Het testen van de intellectuele capaciteiten van kandidaten is altijd verstandig, zeker als het gaat om functies die nu veel van het intellect verlangen. Maar waarom is dat zo? En als we het doen, welke testen gebruiken we? En belangrijker misschien nog, waar leggen we de grens?
Op basis van drie cases wil ik laten zien wat het strategische belang van intelligentietesten zijn voor drie ondernemingen. Na het lezen van dit artikel weet je beter hoe intelligentie werkt en hopelijk hoe je bij selectieprocedures intelligentietesten kunt gebruiken.

Wat is intelligentie nu eigenlijk precies?

Om te beginnen, laten we eens kijken waar het om gaat bij intelligentie of cognitieve capaciteiten. De definitie van intelligentie loopt nogal uiteen:

“Intelligentie is het niveau van presteren in verhouding tot dat van leeftijdgenoten.”

“Intelligentie is het vermogen om kennis en ervaring toe te passen bij het oplossen van problemen.”

“Intelligentie is is een mentale eigenschap met veel verschillende functies; zoals de mogelijkheid overeenkomsten en verschillen op te merken in waarnemingen, zich in de ruimte te oriënteren, te redeneren, plannen te maken, problemen te doorgronden en op te lossen, in abstracties te denken, ideeën en taal te begrijpen en te produceren, informatie op te slaan in het geheugen en daar weer uit op te halen, te leren van ervaringen.”

“Intelligentie is dat wat een intelligentietest meet.”

Pieter Drenth (emeritus hoogleraar Psychologie aan de Vrije Universiteit te Amsterdam) omschreef het begrip intelligentie als volgt: “Intelligentie is een conglomeraat van verstandelijke vermogens, processen en vaardigheden, zoals:

• abstract, logisch en consistent kunnen redeneren,
• relaties kunnen ontdekken, leggen en doorzien,
• problemen kunnen oplossen,
• regels kunnen ontdekken in schijnbaar ongeordend materiaal,
• met bestaande kennis nieuwe taken kunnen oplossen,
• zich flexibel kunnen aanpassen in nieuwe situaties,
• zelfstandig kunnen leren, zonder directe en volledig instructie nodig te hebben.

In bovenstaande omschrijving van Pieter kan ik me goed vinden. Intelligentie niet één ding is maar verschillende dingen. Bij  intelligentie gaat het vermogen om verschillende cognitieve taken goed uit te kunnen voeren. Ik trek wel eens de vergelijking met sport, als metafoor. Als je goed bent in sport, kun je meestal verschillende sporten goed uitvoeren.

Een groot uitzendbureau testte decennia lang haar accountmanagers. Een analyse van de functie wees uit dat er vooral verbale en probleemoplossende cognitieve vaardigheden van belang waren, rekenen minder. Het denken was eerder concreet dan abstract. De problemen waren niet zozeer moeilijk, maar wel was belangrijk snel inschattingen te kunnen maken onder tijdsdruk. De intelligentietest bestond daarom uit testen die probleemoplossend vermogen testen en verbale testen. Het criterium was een overall 25% HBO niveau (G-score). Daar werd hard aan vastgehouden, ook in tijden van schaarste, dus wanneer het moeilijk was geschikte mensen te vinden. Mensen die goede sociale skills hadden, maar toch beneden de 25% scoorden, werden toch afgewezen.

Dit uitzendbureau was de eerste in haar markt die stringent selecteerde op intelligentie. Jaar in jaar uit won dit uitzendbureau marktaandeel, om uiteindelijk marktleider in haar segment te worden. Het winnen van marktaandeel gebeurde opmerkelijk vooral in een dalende markt, minder tijdens een groeiende markt. Waarschijnlijk speelde het gemiddeld betere probleemoplossende vermogen ten opzichte van concurrenten in een moeilijkere markt een belangrijkere rol dan tijdens een groeimarkt.
Op zich wel logisch natuurlijk.

Zo is het ook met cognitieve taken. Als je goed kunt denken (= intelligent) kun je allerlei cognitieve of denk taken goed uitvoeren. Maar cognitieve taken die meer op elkaar lijken is dit meer het geval dan bij cognitieve taken die minder verwant zijn. Als je goed kunt tennissen, kun je waarschijnlijk ook goed overweg met een honkbalknuppel. Als je goed kunt hardlopen, kun je waarschijnlijk ook goed verspringen.  Maar één maat voor intelligentie gaat er een beetje aan voorbij dat er gewoon verschillende soorten cognitieve taken zijn.

Intelligentie: steekproef uit alle mogelijke cognitieve taken

Nu is het zo dat er een correlatie van ongeveer 0,50 is tussen verschillende intelligentietests. Dus het resultaat op één cognitieve test voorspelt voor 25% de resultaten van een andere cognitieve test. Dat is nagenoeg bij alle intelligentietesten het geval. Stel nu het dat er een groot aantal verschillende cognitieve taken zijn. Dan kun je een intelligentietest die bestaat uit verschillende sub-tests zien als een steekproef uit alle mogelijke cognitieve taken. Vervolgens kun je je afvragen hoe groot de steekproef uit deze taken moet zijn, om tot een overall score te komen. Dat is feitelijk wat een intelligentie test beoogt te doen: biedt een serie verschillende cognitieve taken aan en vergelijk de score van mensen onderling om te kijken hoe iemand scoort ten opzichte van een groep anderen.

Weer terug naar sport. Je wil een algemene ‘sport’ test samenstellen om het Sport- Quotiënt (SQ)te bepalen,  vergelijkbaar met het IQ. Je gaat nu een steekproef doen uit alle sporten en je stelt een programma samen bestaande uit een balsport, een atletiek onderdeel en nog een paar. De prestatie op iedere sport vergelijk je met de prestatie van anderen. Zo ontstaat een SQ. Maar wat betekent dat nou, zo’n SQ?Wanneer je een sportploeg wilt  samenstellen, bijvoorbeeld een voetbalploeg, doe je er dan verstandig aan om deze algemene sport-test af te nemen? Dus je neemt bij honderd mensen een algemene tienkamp af en selecteert de best presterende op die test. In zijn algemeen is dat natuurlijk al veel beter dan lukraak een team samenstellen. Maar wellicht is het beter om een specifiek op voetbal afgestemde sport test te gebruiken? Waarschijnlijk wel.

Waarom voorspellen intelligentietests  succesvol functioneren?

Laten we even stilstaan bij de vraag waarom intelligentie de beste voorspeller is van succesvol functioneren, met een correlatie van tussen de .30 en.50. Deze relatie wordt telkens opnieuw bevestigd door wetenschappelijk onderzoek (zie o.a. Schmidt & Hunter, 1998). Je kunt een baan opvatten als een samenstelling van cognitieve taken. Die taken zijn soms heel precies, soms wat diffuus. De 100 meter hardlopen is heel precies. Een voetbalwedstijd diffuus, omdat je daar verschillende dingen goed moet kunnen: hardlopen is daar maar één van.  De meeste functies hebben ook diffuse taken: je luistert naar een gesprek en moet daar de essentie uit halen. Je krijgt een probleem voorgeschoteld dat nieuw is en om een creatieve oplossing vraagt. Je leest deze tekst, die moet je proberen te begrijpen en uiteindelijk vertalen naar je dagelijkse werk. Daarbij omvat een baan natuurlijk meer dan alleen cognitieve taken, maar ook sociale taken of motorische taken waar je niet echt bij na hoeft te denken.

De functieanalyse van deze ICT-ers liet zien dat vooral algemene intelligentie belangrijk was. Men moest zich vrij snel nieuwe informatie eigen kunnen maken en uit een moeilijk verhaal de grote lijn halen was ook belangrijk. Opdrachtgevers waren niet altijd heel duidelijk, dus om uit een verhaal de essentie te halen, en daar dan oplossingen voor te bedenken was essentieel. Maar bij het uitwerken van programmatuur was precisie essentieel. Men moest zeer lang achter elkaar nauwkeurig werken Tests als stroomdiagrammen waren daarom in het testprogramma opgenomen.
Interessant is dat aanvankelijk de aftestgrens op 60% lag. Dus 60% van de kandidaten werd vanwege intelligentie vroeg in de selectieprocedure afgewezen. Dat gaf een enorme druk op de recruitment afdeling. De ‘new hires’ volgende veelal en opleiding van een jaar. Een evaluatie gaf aan dat niemand van de groep afviel en dat iedereen goede cijfers haalde. Dat leidde tot het besluit om de norm te verlagen naar 40% ten opzichte van het HBO niveau. En dat gaat ook nu nog erg goed, ook in een tegenvallende markt. Dus dit criterium paste beter bij de organisatie, de functie en haar markt.

Een correlatie van rond de 40% geeft aan dat een deel van de prestatie afhankelijk is van intelligentie, maar een deel ook niet. Motivatie, management, omgeving, sociale skills spelen ook een rol. Intelligentie voorspelt dus prestatie omdat een functie deels uit cognitieve taken bestaat.

Is .40 veel of weinig?

Soms hoor ik wel eens dat een correlatie van .40 betekent dat slechts 16% van de variantie in prestatie verklaard wordt door intelligentie. En dat een correlatie van .30 betekent dat slechts 9% van de variantie verklaart wordt! Een correlatie moet je immers kwadrateren om de verklaarde variantie te berekenen, vandaar dat deze snel minder wordt. En dat omdat dit zo laag is wordt gezegd dat je intelligentietesten bij personeelsselectie niet zo serieus hoeft te nemen. Maar is dat ook zo? Is het niet zo dat wanneer een organisatie jaar in jaar uit 5% beter presteert dan een concurrent, die daar vreselijk blij van wordt?  Ik vind het dus niet veel, maar wel zeer betekenisvol, een verklaarde variantie van een procent of tien. En daarom is het verstandig om wel te selecteren op intelligentie.

Welke intelligentietest pas je toe?

Even terug naar de sportmetafoor. Bepaal eerst wat voor sport iemand moet spelen. Is het een heel gerichte of een meer diffuse sport? Is het een tienkamp of één type wedstrijd? Een marathon of een sprint? Om te bepalen welke capaciteitentesten je inzet, is het verstandig te kijken naar wat voor cognitieve taken bij een functie horen. Zelf ga ik altijd uit van de top 3 of top 5 cognitieve taken. Dus bij een accountant gaat het erom nauwkeurig cijfermateriaal te verwerken, conclusies te trekken, moeilijke literatuur over belastingen te lezen, enzovoorts. Een Software Engineer moet een verhaal van een klant begrijpen en concreet kunnen maken, moet een abstracte analyse kunnen zetten en moet heel precies seriële cognitieve taken uitvoeren. Selecteer vervolgens uit de capaciteitentesten testen die daar het beste bij aansluiten. Een manier om dit te doen is je twee vragen te stellen:

1. Op welke manier biedt informatie zich aan? Dient het materiaal zich aan in woorden, cijfers of figuren? Bijvoorbeeld, bij een jurist is het materiaal vaak het geschreven of gesproken woord, bij een accountant teksten en cijfers.
2. Is de oplossing besloten in het materiaal zelf (concreet) of  met er een nieuwe gedachte gevormd worden. Bijvoorbeeld, een som is cijfermatig concreet, een cijferreeks is cijfermatig abstract.

Wanneer je dit doet, is het veelal relatief eenvoudig om een goede testbatterij samen te stellen. Vier à vijf sub-testen, die qua materiaal en abstractieniveau aansluiten bij de cognitieve taken van een functie, geven gezamenlijk een goed voorspeller van prestatie. Veel meer testen afnemen is niet zo zinvol, omdat er dan testen bij komen die wellicht minder relevant zijn. Bovendien kan een zesde test de overall score vaak niet meer echt veranderen.

Terug naar de theorie over intelligentie

Spearman kwam met het idee van een G-factor, een algemene factor, voor intelligentie. Daarnaast zijn er specifieke factoren. Dit strookt met het concept van cognitieve taken en dat de prestatie op verschillende intelligentietests met elkaar correleren. Als je daar een factoranalyse op los laat, zie je één grote factor ontstaan die veel variantie van tests verklaren. Daarnaast ontstaan andere, kleinere factoren. Die noemde Spearman S-factoren, specifieke factoren. Die hangen van samen met het type test, zoals we hierboven beschreven. Je krijgt dan een verbale, numerieke of figuratieve factor. Wat je precies ziet hangt af van de testen die je hebt toegepast en de eigenschappen van de groep waarbij je testen afneemt. Anderen betogen juist dat er meerdere onafhankelijke factoren zijn voor intelligentie, zoals ‘fluide’ intelligentie en ‘cristalized’ intelligentie. Fluïde intelligentie gebruik je voor problemen die je niet eerder bent tegengekomen, terwijl uitgekristalliseerde intelligentie ruwweg gaat over het toepassen van kennis en ervaring. De meeste intelligentietesten die gebruikt worden voor selectie proberen de fluïde intelligence te meten. Dat is ook logisch. Want je wil niet meten welke kennis iemand al heeft of kan toepassen, maar je wil weten hoe creatief iemand met nieuwe informatie om kan gaan. Hier is overigens veel meer over te zeggen, maar voor nu houd ik het hierbij qua uitstap naar de theorie.

De grens, waar ligt die?

Zoals al aangegeven, de relatie van intelligentie met de prestatie in een functie is niet een één op één relatie. Dus ook mensen met een lage score op de intelligentietest presteren soms toch wel goed. Het punt is alleen dat de kans daarop afneemt bij lage scores. Je moet je dus afvragen bij welke scores de kans op een goede prestatie toeneemt en welke kans je acceptabel vindt. Is dat bij een gemiddeld HBO niveau of moeten we denken aan een hoog HBO niveau? Voor het ICT bedrijf bleek bijvoorbeeld dat een testgrens van 40% op HBO niveau voldeed. Voor het uitzendbureau was een grens van 25% al acceptabel, omdat sociale skills daar zo belangrijk waren. Voor een top notch Juristenkantoor lag het echter op 75% van het WO niveau. Kortom, 75% van de afgestudeerden werden alleen al op intelligentie afgewezen! Dat is een enorm aantal. Zij konden zich dat veroorloven omdat bijna alle afgestudeerden daar wel wilden werken. Maar dat is niet voor alle organisaties weggelegd. Dus waar de grens ligt, dat hangt af van de functie, de organisatie en de arbeidsmarkt. We denken graag met u mee!

Conclusie: testen, doen!

Wil je een strategisch verschil maken in de markt, dan is het erg verstandig om intelligentietesten of capaciteitentesten in te zetten bij personeelsselectie. Dat kan echt een enorme impact hebben op de organisatie en de positie op de markt.

Diddo van Zand

Links:

Bekijk hier de testcatalogus