Addendum Handleiding Morele Waarden

Inleiding

Periodiek onderzoeken we bij Ixly onze vragenlijsten op betrouwbaarheid en (interne) validiteit, en updaten wij de normen bij onze vragenlijsten en tests. Gezien de normering van de Morele Waarden vragenlijst uit 2012 dateerde, en we sinds die tijd veel nieuwe data hebben verzameld, leek het ons nuttig deze vragenlijst weer eens onder de loep te nemen. Hieronder kunt u lezen hoe wij te werk zijn gegaan, wat onze bevindingen waren, en hoe dit uiteindelijk tot een vernieuwde en verbeterde versie van de vragenlijst heeft geleid. Allereerst wordt de gebruikte data beschreven, vervolgens gaan we in op bewijs voor de validiteit van de vragenlijst. Tot slot beschrijven we de betrouwbaarheid en de gebruikte normgroepen.

Data

Voor de analyse zijn de data gebruikt van kandidaten die de vragenlijst in een echte selectiesituatie gemaakt hebben, tussen december 2014 en april 2019. Hierbij zijn alleen de data gebruikt van kandidaten van wie ook informatie over de achtergrondgegevens als leeftijd, geslacht en opleidingsniveau bekend was. Dit resulteerde in een steekproef van 1145 personen (zie de sectie Normgroep voor meer informatie over deze steekproef).

Verwijderen van items op basis van verdeling scores op items

Allereerst is gekeken naar de verdelingen van de scores op de items. Hierbij viel op dat een aantal items (4) zeer sterke plafond- of vloereffecten lieten zien. Dit wil zeggen dat het grootste gedeelte van de respondenten hier respectievelijk “Zeer mee eens” of juist “Zeer mee oneens” op in had gevuld. Omdat deze items geen onderscheidend vermogen hebben, zijn deze uit de vragenlijst verwijderd.

Validiteit

Factoranalyse

Om de interne structuur van de vragenlijst te onderzoeken is vervolgens een factoranalyse gedaan. Allereerst werd een exploratieve factoranalyse gedaan: hieruit kwamen de vier beoogde factoren over het algemeen goed naar voren. Echter, er bleek ook dat een aantal items beter bij een andere schaal bleken te passen (8 in totaal). Ook bleken er 9 items niet duidelijk te laden (ladingen kleiner dan .30) op één van de vier factoren. Deze 9 items zijn uit de vragenlijst verwijderd. 

Vervolgens hebben we de nieuwe factorstructuur die uit de exploratieve factoranalyse kwam getoetst op basis van de exploratory structural equation modeling-methode (ESEM; Asparouhov & Muthén, 2009). Deze methode is min of meer een kruising tussen confirmatieve factoranalyse (CFA) en exploratieve factoranalyse (EFA), waarbij de onderzoeker een vooraf veronderstelde factorstructuur kan definiëren en op basis van fitwaarden kan bepalen of deze beoogde structuur ook terug te vinden is in de data. Het model met de vier beoogde factoren liet een adequate model fit zien (CFI = .80; TLI = .83; RMSEA = .049; SRMR = .037). De factorladingen van dit model zijn weergegeven in Tabel 1: alle items laadden sterk op hun beoogde factoren, en er waren geen substantiële kruisladingen. 

In psychologische modellen van morele waarden wordt algemeen aangenomen dat er één algemene factor aanwezig is, waar verschillende facetten of schalen (zoals de vier hierboven beschreven schalen) bij onder te brengen zijn (Ashton & Lee, 2005). Om te bekijken of er inderdaad een algemene factor is die deze vier schalen verklaard, is er gekeken naar de onderlinge correlaties tussen de vier schalen. Als er een algemene factor is, dan zouden we (gemiddelde) positieve correlaties tussen de vier schalen mogen verwachten. Uit Tabel 2 blijkt dat we deze correlaties inderdaad vinden.

Om de aanwezigheid van de algemene factor meer formeel te toetsen is een (exploratieve) factoranalyse gedaan op de vier schalen. Hieruit kwam één duidelijke factor naar voren die 47% van de variantie verklaarde. De factorladingen van de schalen op deze factor waren ook hoog (tussen de .63 en .73). Uit ESEM-analyses bleek ook dat het toevoegen van een algemene factor een significante verbetering van het model opleverde. Uit zowel exploratieve als confirmatieve analyses bleek dus de veronderstelde algemene factor van morele waarden terug te vinden in onze vragenlijst.

De hiervoor beschreven analyses leveren bewijs voor de interne validiteit van de vragenlijst. De structuur van de nieuwe vragenlijst is in overeenstemming met de structuur van morele waarden uit de literatuur, met een algemene (hoofd)factor waaronder een aantal lager liggende schalen meer differentiatie geven. Het aantal items per schaal van de nieuwe vragenlijst (en de oude vragenlijst) zijn weergegeven in Tabel 3.

Betrouwbaarheid

Op de diagonaal van Tabel 2 zijn de betrouwbaarheidscoëfficiënten weergegeven van de vier schalen. Deze zijn, naar de richtlijnen van de COTAN (2009), voldoende tot goed te noemen. Dit betekent dat de vragenlijst, wat betreft de betrouwbaarheid, voor selectiedoeleinden gebruikt kan worden.

De betrouwbaarheid van de (algemene) factorscore is berekend met de formule voor de gestratificeerde alfa (zie Nunnally, 1978, p. 248). Deze betrouwbaarheid was .94 en dus zeer hoog. De generaliseerbaarheid wordt berekend met de formule voor alfa waarbij echter niet de items als eenheid worden genomen, maar de schaalscores (zie Snijders, Tellegen & Laros, 1988). De generaliseerbaarheid geeft de verwachte correlatie met een factorscore gebaseerd op een andere, even grote, steekproef van schaalscores uit hetzelfde domein van de betreffende factor. De generaliseerbaarheid was .79 en daarmee ook voldoende te noemen.

Normgroep

Om te bekijken hoe representatief de steekproef van 1145 personen is voor de beroepsbevolking, is er allereerst gekeken naar de verdeling wat betreft geslacht, leeftijd en opleidingsniveau (de categorisering in laag-midden-hoog is tot stand gekomen aan de hand van de indeling van het CBS). De verdelingen van deze variabelen zijn weergegeven in tabellen 4 tot en met 6. 

Uit Chi-kwadraattoetsen bleken deze verdelingen te verschillen van de verdelingen in de beroepsbevolking van Nederland (data verkregen via het CBS, 2018). Daarom is besloten om deze achtergrondkenmerken te wegen, om ervoor te zorgen dat de normgroep een representatieve weergave van de beroepsbevolking is. De verdeling wat betreft opleiding, leeftijd en geslacht in de uiteindelijke, gewogen steekproef is weergegeven in onderstaande tabellen 7 tot en met 9. Voor opleidingsniveau zijn ook de aantallen specifiek per opleidingsniveau weergegeven.

Kenmerken scores

Bij de Morele Waarden vragenlijst wordt er gerapporteerd in stenscores. Deze schaal loopt van 1 tot 10. Stenscores zijn een vorm van standaardscores met een gemiddelde van 5.5 en een standaarddeviatie van 2. Stenscores geven een beeld van hoe een bepaalde score zich verhoudt tot het gemiddelde van alle scores. Stenscore 4, 5, 6 en 7 liggen allemaal binnen 1 standaarddeviatie van het gemiddelde. Stenscore 2, 3 en 8, 9 liggen tussen 1 en 2 standaarddeviatie van het gemiddelde. Stenscore 1 en 10 liggen meer dan 2 standaarddeviaties van het gemiddelde. De gemiddelde score in de normgroep ligt precies op de grens van de vijfde en zesde sten. Om van ruwe schaalscores naar stenscores te komen gebruiken we de continue fit-methode (zie Van der Woud, 2008). Voor een uitgebreide uitleg over hoe dit precies werkt – en hoe de factorscore precies genormeerd wordt – verwijzen we naar de handleiding van de WPV Compact (Ixly, 2012, p. 50-55). De kenmerken van de ruwe scores en de stenscores zijn weergegeven in Tabel 10. 

Uit Tabel 10 blijkt dat de ruwe scores op de schaal Normvastheid vrij scheef verdeeld en ‘gepiekt’ zijn (dat wil zeggen, een hogere piek in scores dan men theoretisch mag verwachten bij een normaal verdeling). De verdeling van de schaal Bescheidenheid is ook enigszins scheef, de verdelingen van de overige schalen zijn goed normaal verdeeld. De stenscores zijn mooi normaal verdeeld zonder erge scheef- of platheid: dit is logisch, aangezien het doel van de normering is om iemands score af te zetten tegenover het gemiddelde in de steekproef.

Conclusie

De vernieuwde Morele Waarden vragenlijst is op een aantal punten verbeterd ten opzichte van de vorige versie. Zo zijn de minder goed functionerende items verwijderd, is er op basis van verschillende factoranalyses een verbeterde structuur aangebracht, en is de normering geüpdatet met een grotere en meer representatieve steekproef. Bovendien zijn de hoge betrouwbaarheden behouden gebleven waardoor het instrument goed in te zetten is voor selectiedoeleinden.

Referenties

Ashton, M. C., & Lee, K. (2005). Honesty‐humility, the Big Five, and the five‐factor model. Journal of Personality, 73, 1321-1354.

Asparouhov, T., & Muthén, B. (2009). Exploratory structural equation modeling. Structural Equation Modeling: A Multidisciplinary Journal, 16, 397-438.

Nunnally J. C. (1978). Psychometric Theory. USA: McGraw-Hill, inc.

Snijders, J. Th., Tellegen, P. J., & Laros, J. A. (1988). S.O.N.-R 5½-17 Verantwoording en Handleiding. Groningen: Wolters-Noordhoff BV.

Van der Woud, M. A. E. (2008). Normering van testscores met behulp van het continue fitmodel. Utrecht; Orga-Toolkit.