Consistentie, Zelfbeeld en Antwoordtendentie van de WPV

Meer inzicht in de manier waarop de vragen van de WPV zijn beantwoord

Consistentie, Zelfbeeld en Antwoordtendentie zijn toegevoegd aan het rapport van de WPV om meer inzicht te geven in de manier waarop de vragen van de WPV zijn beantwoord. In dit artikel leest u over deze maten en hoe u ze kunt interpreteren.

Voorkomen van Bias

Stel u heeft een respondent een persoonlijkheidsvragenlijst laten invullen, hoe zeker bent u er nu van dat het profiel ook passend is bij de respondent en dat u niet op het verkeerde been wordt gezet? Een vragenlijst kan nog zo betrouwbaar en valide zijn, toch geeft dit u geen garantie over de juistheid van het resultaat. Biases rondom sociaal wenselijkheid, responstendentie en consistentie liggen altijd op de loer. Hoewel door onderzoek de kans op een vertekend profiel relatief klein is, kunnen toch vertekeningen optreden. Hoe kun je meer duidelijkheid krijgen over de correctheid van het profiel? Om dit mogelijk te maken hebben wij drie maten toegevoegd aan het rapport van de WPV. Deze maten maken het patroon achter de gegeven antwoorden zichtbaar.

Sociaal wenselijkheid en persoonlijkheid

Vaak krijg ik tijdens het geven van trainingen testinterpretatie de vraag of er bij de WPV gecorrigeerd wordt voor sociaal wenselijkheid. Mijn antwoord is dan dat niet noodzakelijk is omdat de WPV meerdere normgroepen bevat. Bij adviessituaties is de motivatie om sociaal wenselijk te antwoorden niet tot nauwelijks aan de orde. Voor de respondent is het in deze situatie van belang een zo objectief en betrouwbaar mogelijk beeld van de persoonlijkheid te krijgen. Dit ligt bij selectiesituaties anders. Hierbij gaat het er voor een respondent niet om te achterhalen hoe hij als persoon in elkaar zit. Nee, hierbij gaat het erom te laten zien dat de persoonlijkheid aansluit bij wat de organisatie zoekt. Door gebruik te maken van een selectienormgroep wordt dan automatisch gecorrigeerd voor sociaal wenselijkheid. Je weet namelijk met redelijk grote zekerheid dat er in een selectiesituatie sociaal wenselijk geantwoord wordt.

De ‘informatie’ achter het antwoordpatroon

Wel interessant is het om naar het antwoordpatroon van een respondent te kijken. Geeft een respondent consistente antwoorden of liggen de gegeven antwoorden op twee items met een hoge correlatie ver uit elkaar? Geeft de respondent kritische antwoorden of denkt hij juist heel positief over zichzelf? En maakt de respondent gebruik van de extreme antwoordopties of kiest hij juist voor het veilige midden? Om antwoord te kunnen geven op bovenstaande vragen hebben wij bij de WPV drie maten toegevoegd:  Consistentie, Zelfbeeld en Antwoordtendentie. Met deze maten kunt u de informatie achter het antwoordpatroon van een respondent naar boven halen. We zullen deze drie maten toelichten.

Consistentie

De naam zegt het al, deze maat geeft aan hoe consistent uw respondent de vragenlijst heeft ingevuld. Hieruit kunnen we afleiden of we het profiel serieus kunnen nemen of dat we er met een kritisch oog naar moeten kijken. Een zeer lage score op consistentie wijst mogelijk op lukrake antwoorden. In de normgroep zijn wij op zoek gegaan naar itemparen die een hoge correlatie met elkaar hadden. Daarbij keken we zowel naar itemparen binnen de eigen schaal of factor als naar itemparen buiten de eigen schaal of factor. In totaal hebben wij  48 itemparen gevonden die hoog positief of negatief correleerden. De afwijking van de respondent op deze itemparen wordt vergeleken met de normgroep. In het rapport betekent een hoge score in de grafiek een consistent antwoordpatroon. Een lage score betekent dat de vragenlijst minder consistent is ingevuld.

Bij zeer lage scores, sten 3 en lager, dienen de resultaten met voorzichtigheid te worden geïnterpreteerd. De kans is aanwezig dat de respondent lukraak heeft geantwoord. Tijdens de rapportbespreking kunt u vragen op welke manier de respondent de vragenlijst heeft ingevuld. Een indicatie kan zijn de tijd die het de respondent heeft gekost om de vragenlijst in te vullen. De gemiddelde invultijd ligt tussen de 30 en 40 minuten. Ook is het verstandig om te achterhalen of de respondent de vragen goed heeft begrepen. Een laatste tip is de respondent te vragen zichzelf te omschrijven op een aantal persoonlijkheidseigenschappen. Aan de hand hiervan kunt u toetsen of dit overeenkomt met de resultaten in het rapport.

Zelfbeeld

Deze maat zegt iets over de mate waarin de respondent een kritisch of een positief zelfbeeld laat zien. Een lage score geeft een zeer zelfkritische houding weer, een hoge score een positief zelfbeeld. De score komt tot stand door te kijken naar de competentie scores van de kandidaat. Laat de respondent allemaal bovengemiddelde scores zien op de competentie-indicator van de WPV dan draagt dit bij aan een hogere score, dus een positief zelfbeeld. Wanneer de scores op de competentie-indicator laag zijn draag dit bij aan een lagere score, een kritisch zelfbeeld.

Vertekeningen in het Zelfbeeld

Dit zelfbeeld kan overigens  vaak correct zijn, positieve of extraverte persoonlijkheden vullen de vragenlijst veelal op een enthousiaste manier in. Zij kiezen makkelijker voor uitersten dan personen die van zichzelf wat kritischer of bescheidener zijn.  Het kan echter ook zo zijn dat door de manier van invullen het persoonlijkheidsprofiel te kritisch of te positief  blijkt. Zo kan iemand met een kritisch zelfbeeld wel eens te kritisch staan ten opzichte van zichzelf en daardoor lager scoren op de competentie-indicator. Een zeer succesvolle manager met een perfectionistische inslag liet bijvoorbeeld een zeer kritisch zelfbeeld zien. Naar mijn idee onterecht. De competentie-indicator liet daardoor te lage scores zien. Omgekeerd heb ik meegemaakt dat iemand zeer hoog scoorde, wat duidelijk ingegeven was door de behoefte een goed beeld van zichzelf te schetsen. De maat Zelfbeeld geeft hier inzicht in. Overigens is in deze context Zelfbeeld iets anders dan Zelfvertrouwen, al zal er zeker wel een samenhang zijn. De score op Zelfbeeld gaat over alle schalen heen.

Tips voor het bespreken van Zelfbeeld

Of de score op Zelfbeeld klopt met de werkelijkheid is niet uit de vragenlijst te halen. Belangrijk is het om tijdens de nabespreking stil te staan bij extreem hoge of extreem lage scores op Zelfbeeld. Bij een hoge score (+8) is het aan te raden te vragen naar concrete voorbeelden. Vraag de respondent naar voorbeelden waarbij iets goed ging maar ook juist naar voorbeelden waarbij iets minder goed ging. Ook kunt u vragen stellen als: welke verbeteringspunten heeft u wel eens van uw leidinggevende teruggekregen, waar irriteren uw collega’s zich bij u aan? Vraag de respondent bij een lage score op Zelfbeeld (<3) naar situaties waarbij het goed ging. Vraag ook naar de sterke punten die zijn leidinggevende heeft terug gegeven of naar punten die collega’s waarderen. Vraag tenslotte of de respondent de gegeven positieve punten herkent of dat hij er anders over denkt en waarom.

Antwoordtendentie

De antwoordschaal van de WPV is een vijf-punts Likertschaal die loopt van ‘Zeer mee oneens’ tot ‘Zeer mee eens’. De antwoordtendentie maat laat per antwoordmogelijkheid zien wat de afwijking is van de gegeven antwoorden van de respondent ten opzichte van de normgroep. In de normgroep is per antwoordoptie gekeken hoe vaak deze gemiddeld is gekozen. Tijdens het invullen van de WPV wordt geteld hoe vaak iedere antwoordoptie wordt aangeklikt, dit wordt vergeleken met de gemiddelden in de normgroep. Het rapport van de WPV laat in percentages ‘per antwoordoptie’ de afwijking zien vergeleken met de normgroep. Wanneer de grafische weergave een negatief percentage laat zien betekent dit dat de respondent de betreffende antwoordoptie minder vaak heeft aangeklikt dan de normgroep. Een positief percentage houdt in dat de antwoordoptie vaker is gekozen dan de normgroep.

In het bovenstaande voorbeeld heeft de kandidaat juist de extremen zeer benadrukt, meer dan 50% vaker is de één en vijf gebruikt. Dat kan tot extremere scores leiden in de grafiek. Wanneer we kijken naar de Consistentie en Zelfbeeld maten, dan heeft deze kandidaat wel consistent de vragen beantwoord. Ook is het zelfbeeld niet extreem positief of negatief. In dit geval concluderen we dat het afwijkende antwoordpatroon niet tot een vertekening in het rapport heeft geleid.

Tips voor het bespreken van Antwoordtendentie

Globaal geeft de antwoordtendentie een beeld weer of iemand durft te kiezen voor uitersten of dat hij bang is om risico’s te nemen. Per antwoordoptie mogen afwijkingen tot rond de 25 procent als ‘normaal’ worden beschouwd. Afwijkingen boven dit percentage behoeven extra aandacht. Heeft de respondent extremer gescoord dan de normgroep, dus meer antwoordoptie 1 en/of 5 en minder optie 3? Vraag dan naar hoe hij beslissingen neemt en of beslissingen wel eens tot fouten hebben geleid. Heeft de respondent veiliger gescoord, dus meer optie 3 en minder optie 1 en/of 5? Vraag dan naar situaties waarin de respondent risico’s heeft durven nemen en waarin hij knopen heeft moeten doorhaken.

Afwezigheid van consistentie en antwoordtendentie maat bij de WPV Adaptief

Bij de WPV Adaptief wordt niet gerapporteerd op consistentie of antwoordtendentie. Bij de WPV Adaptief worden de vragen geselecteerd die voor een bepaalde kandidaat de meeste informatie gaan opleveren. Er worden vragen gesteld totdat een betrouwbare uitspraak gedaan kan worden. Wanneer een kandidaat inconsistente antwoorden geeft zullen er meer vragen gesteld worden totdat er een voldoende consistent beeld is ontstaan. Met andere woorden: In de vragenlijst zelf wordt al rekening gehouden met de consistentie.
Door het adaptieve karakter van de vragenlijst is het ook niet mogelijk om de antwoordtendentie op eenzelfde manier te berekenen als bij bijvoorbeeld de WPV Normatief. Dit komt onder andere omdat verschillende kandidaten niet dezelfde items en niet hetzelfde aantal items te zien. De antwoordpatronen kunnen niet afgezet worden tegen een normgroep omdat de samenstelling van de vragenlijst voor elke kandidaat anders is geweest.

Tot besluit

Met het toevoegen van Consistentie, Zelfbeeld en Antwoordtendentie willen wij voor adviseurs inzichtelijk maken op welke wijze de kandidaat de vragenlijst heeft ingevuld. Wanneer de scores op deze maten binnen de marges vallen kunt u er zeker van zijn dat de respondent de vragenlijst betrouwbaar heeft ingevuld. Daarentegen wil het niet zeggen dat een respondent met scores buiten de marges niet eerlijk is geweest! Wel is het in dat geval van belang een nadere toelichting op de resultaten te vragen tijdens het interview.