Handleiding SJT Leiderschap

1. Uitgangspunten van de testconstructie

 1.1 Theorie leiderschap

In de wetenschappelijke literatuur zijn veel gevarieerde definities te vinden van leiderschap. Stogdill stelde zelfs in 1974 gekscherend dat er bijna net zoveel definities waren van leiderschap als het aantal personen dat het concept heeft proberen te definiëren. Toch hebben veel definities over het algemeen gemeen dat leiderschap voornamelijk gaat over een sociaal beïnvloedingsproces tussen een leider en één of meer volgers, met als doel om activiteiten en relaties te structureren binnen een groep of organisatie (Parry, 1988). Deze aspecten zijn ook terug te vinden in recente definities van leiderschap, zoals de veel geciteerde definitie van Yukl (2010): “[Leiderschap is] het proces van invloed uitoefenen op anderen om te begrijpen en overeen te stemmen wat gedaan moet worden en hoe het gedaan moet worden, alsmede het faciliteren van individuele en collectieve inzet om gemeenschappelijke doelen te behalen”. In het onderzoek naar leiderschap zijn verschillende stromingen te onderscheiden. In deze handleiding wordt eerst kort ingegaan op de vroege theorieën van leiderschap, om vervolgens uitgebreider in te gaan op de contingentietheorieën van leiderschap en de relatief nieuwe theorieën van transformationeel leiderschap. Binnen de transformationeel leiderschapstheorieën zal met name het full range leadership model van Bass (1985) belicht worden, omdat deze ook gebruikt is voor de ontwikkeling van de SJT Leiderschap. Voor een uitgebreider overzicht van stromingen binnen het onderzoek naar leiderschap, zie Cherry (2010) en Derue et al. (2011).

1.1.1 Vroege theorieën van leiderschap

De theorieën over grote (mannelijke) leiders (‘great man theories’) waren de eerste theorieën omtrent leiderschap die opkwamen vanaf de 19e eeuw. Volgens deze theorieën hebben leiders aangeboren persoonskenmerken die ze geschikt maken voor een leiderschapsrol. Leiderschap heeft volgens deze theorieën een heroïsch karakter (Cherry, 2010). Een gematigde variant van deze theorieën waren de eigenschapstheorieën (‘trait theories’), waarin gedeelde kenmerken (e.g., persoonlijkheidskenmerken of gedragskarakteristieken) van leiders werden gezocht (e.g., Galton & Eysenck, 1869). Het grootste kritiekpunt op deze theorieën was de inconsistentie van de eigenschappen die leiderschap moesten voorspellen, want niet iedereen met een bepaalde eigenschap is noodzakelijk een (goede) leider. De kritiek op de eigenschapstheorieën zorgde ervoor dat het leiderschapsonderzoek zich ging richten op de gedragingen van leiders. Een belangrijke implicatie van deze theorieën was dat leiderschap aangeleerd dient te worden en daarmee geen aangeboren kwaliteit is (Cherry, 2010). Een andere belangrijke bijdrage van deze theorieën was het onderscheid tussen taakgericht leiderschap en relatiegericht leiderschap (House & Aditya, 1997). Het was hiermee een voorloper op de contingentie-theorieën die het onderzoek naar leiderschap eind twintigste eeuw zouden gaan domineren (Derue et al., 2011).

1.1.2 Fiedler’s contingentie-model van leiderschap

Contingentie-theorieën zijn gebaseerd op de aanname dat de effectiviteit van een leiderschapsstijl of het gedrag van een leider begrepen moet worden in de interactie met de situatie. Binnen de contingentie-theorieën van leiderschap worden daarmee aspecten uit eerdere theorieën van leiderschap geïntegreerd. De eerste psycholoog die op basis van dit principe een model voor leiderschap ontwikkelde was Fiedler (1967). Fielder meende dat de effectiviteit van een taakgerichte of relatiegerichte leiderschapsstijl afhankelijk is van de mate waarin een situatie “gunstig” of “ongunstig” is. In het model wordt een gunstige situatie gekenmerkt door een goede relatie tussen de leider en zijn volgers, een duidelijke taakstructuur en een sterke machtspositie van de leider. Een ongunstige situatie wordt bijvoorbeeld gekenmerkt door een slechte relatie tussen de leider en zijn volgers, een onduidelijke taakstructuur en een slechte machtspositie van de leider. Het contingentie-model van leiderschap schrijft voor dat een taak-georiënteerde stijl tot betere prestatie leidt wanneer de situatie heel gunstig of heel ongunstig is, terwijl een relatie-georiënteerde stijl te prefereren is wanneer de situatie gemiddeld gunstig is.

Fielder’s contingentie-model heeft geleid tot veel onderzoek naar de interactie tussen situationele kenmerken en de effectiviteit van leiderschap. Desondanks is het model naar verloop van de tijd ook in diskrediet gebracht (e.g., Vroom, 2007). De kritiek op het model van Fielder bestond uit een drietal verwijten, namelijk dat het model theoretische onduidelijkheden bevat, dat het geleid heeft tot inconsistente empirische bevindingen en het weinig variantie verklaart in de relatie met teamprestaties (House & Aditya, 1997). Ondanks de controverses omtrent zijn theorie wordt Fiedler beschouwd als een pionier op het gebied van leiderschapstheorieën waarin een balans gevonden tracht te worden tussen de eigenschappen van leiders en aspecten van de situatie.

1.1.3. Contingentie-modellen in navolging van Fiedler

Het onderzoek in navolging van Fiedler resulteerde in een aantal alternatieve contingentie-theorieën, zoals het normatieve contingentie-model van Vroom en Yetton (1973), de situationele theorie van Hersey en Blanchard (1974) en de path-goal theorie van House en Mitchell (1974). Deze theorieën hebben gemeen dat de effectiviteit van verschillende leiderschapsstijlen moet worden begrepen in samenspel met situationele factoren. De contingenties – de kenmerken – van de situatie die zij onderscheiden zijn onder andere eigenschappen van de taakomgeving (e.g., taakstructuur), karakteristieken van ondergeschikten (e.g., volwassenheid en vaardigheden) en de relatie tussen de leider en de volgers. Vervolgonderzoek naar deze modellen is over het algemeen niet in staat geweest de resultaten van de oorspronkelijke studies te repliceren (McCleskey, 2014). Op conceptueel gebied is op de contingentie-theorieën aangemerkt dat deze er niet in geslaagd zijn om een eenduidig beeld te schetsen van relevante situationele kenmerken (Yukl, 2002). Daarnaast houden de contingentie-theorieën over het algemeen geen rekening met de wijze waarop het gedrag van een leider de contingente condities kan beïnvloeden (Bass, 1997). Desondanks hebben de theorieën wel implicaties geboden voor hedendaagse theorieën van leiderschap, zoals de situatieafhankelijkheid van leidinggevend gedrag en het gegeven dat leiderschapsstijlen ook binnen personen kunnen variëren (Hallinger, 2011). Het paradigma van transformationeel leiderschap, dat in eerste instantie een aanvulling was op de contingentie-theorieën, heeft na verloop van tijd ook situationele factoren geïntegreerd om een completer beeld te kunnen schetsen van leiderschap (Avolio, 2007). In het volgende deel wordt nader ingegaan op het paradigma van transformationeel leiderschap.

1.1.4. Transformationeel leiderschap door Burns

Transformationeel leiderschapstheorieën zijn gericht op de invloed die leiders kunnen hebben op volgers om uit te stijgen boven de eigen belangen waardoor optimale prestaties kunnen worden verwezenlijkt ten bate van de organisatie (Bass, 1985). In de literatuur over transformationeel leiderschap wordt over het algemeen een onderscheid gemaakt tussen transformationeel leiderschap en transactioneel leiderschap; dit onderscheid is afkomstig uit het werk van Burns (1978). Transformationeel leiderschap is gericht op het veranderen en motiveren van volgers, middels geïdealiseerde invloed (charisma), intellectuele stimulatie en individuele aandacht. Transformationeel leiderschap stimuleert volgers alternatieve manieren te bedenken om de omgeving te veranderen. Transactioneel leiderschap is gericht op een overeenkomst tussen leider en volger waarin de leider duidelijk maakt wat de taken van de volgers zijn en welke beloning hier voor de volgers tegenover staat. Dit betekent ook dat een leider de prestaties van de volgers monitort en correctief optreedt wanneer afgesproken standaarden niet worden gehaald (Bass, 1999).

1.1.5. Transformationeel leiderschap door Bass

In een uitbreiding op het werk van Burns (1978) werden door Bass (1985) de verschillende factoren van transformationeel- en transactioneel leiderschap geformuleerd, die een grote invloed hebben gehad op het paradigma van transformationeel leiderschap. Transformationeel- en transactioneel leiderschap werden door Bass geconceptualiseerd als bestaande uit zeven leiderschapsfactoren: charisma, inspiratie geven, intellectuele stimulatie, individuele aandacht, contingente beloning, management-bij-uitzondering en laissez-faire leiderschap. Deze conceptualisatie werd aangeduid als de ‘full range leadership theory’ (vanaf nu naar gerefereerd als de FRLT) omdat de theorie aspecten bevatte van een gebrek aan leiderschap tot geleidelijk aan een steeds effectievere aanwezige vorm van leiderschap. In zijn latere werken heeft Bass de factoren charisma en inspiratie geven samengevoegd, resulterend in een zes factor model van transformationeel leiderschap (Bass, 1988).

1.1.6. Uitbreiding van het full range leadership model

Op basis van studies tussen 1985 en 1990 (e.g., Bycio, Hackett & Allen, 1985; Den Hartog, Muijen & Koopman, 1990; Tercy & Percy, 1994) werd het model uitgebreid door Bass en collega’s, resulterend in een negen factor model (Bass & Avolio, 1997; Antonakis & House, 2002; Antonakis, Avolio & Sivasubramaniam, 2003). De negen factoren bestaan uit vijf factoren van transformationeel leiderschap: geïdealiseerde invloed (eigenschap), geïdealiseerde invloed (gedrag), motivatie door inspiratie, intellectuele stimulatie en individuele aandacht. Daarnaast worden drie factoren van transactioneel leiderschap onderscheiden: contingente beloning, management-bij-uitzondering (actief) en management-bij-uitzondering (passief). De laatste factor is laissez-faire leiderschap, deze is niet op te delen omdat het een gebrek aan leiderschap omvat. Naast de negen factoren bestaat het model uit drie hogere orde factoren, namelijk: transformationeel leiderschap, transactioneel leiderschap en laissez-faire leiderschap. Deze drie-factorstructuur werd ook gerepliceerd in onderzoeken naar de ‘multi-factor leadership questionnaire’ (vanaf nu naar gerefereerd als de MLQ), de vragenlijst van Bass (1997) die gebaseerd is op de FRLT .

1.1.7. Vervolgonderzoek naar de FRLT en MLQ

De FRLT en de MLQ zijn door de jaren heen veelvuldig gebruikt, onderzocht en bekritiseerd. Yukl (1999) stelde in zijn kritiek op de theorieën van transformationeel leiderschap dat de onderliggende processen van transformationeel leiderschap onduidelijk zijn, waardoor de effectiviteit lastig te verklaren is. Hij wees erop dat vaagheid omtrent de begrippen transformationeel leiderschap en ook transactioneel leiderschap ten kosten kunnen gaan van de constructvaliditeit. In een meta-analyse van Judge en Piccolo (2004) naar de validiteit van de FRLT werd daarnaast gesteld dat de correlaties tussen de factoren van transformationeel leiderschap, transactioneel leiderschap en laissez-faire leiderschap de discriminante validiteit van de schalen ondermijnt. Ook is het model verweten dat het geen situationele contingenties specificeert, waarin transactioneel of laissez-faire leiderschap eventueel de meest effectieve vorm van leiderschap zou kunnen zijn, terwijl het model wel de assumptie heeft dat leiders niet uitsluitend transformationeel kunnen/moeten zijn.

1.1.8. Factorstructuur van de FRLT en MLQ

De hoge correlaties tussen de subfactoren onderling en de correlatie tussen contingente beloning en transformationeel leiderschap impliceren dat een drie-factor structuur (e.g., Heinitz, Liepmann & Felfe, 2005; Den Hartog, Muijen, Koopman, 1997), of zelfs een twee-factor structuur (Ryan & Tipu, 2013; Bycio, Hackett, & Allen, 1995), verkozen dient te worden boven de door Bass & Avolio (1997) geanalyseerde negen-factorstructuur. Andere studies argumenteren op basis van factoranalyses dat een negen-factorstructuur juist nodig is om het construct leiderschap te representeren (e.g., Antonakis, 2001; Rowold & Heinitz, 2007; Muenjohn & Armh2, 2008). De factorstructuur van de FRLT wordt volgens Antokanis, Avolio en Sivasubramaniam (2003) beïnvloed door de homogeniteit van de steekproef. Met name de negen-factorstructuur van de FRLT wordt vaker gevonden in homogene steekproeven, waarin geslacht van de volgers/leider en de hiërarchische structuur relatief gelijk zijn. De drie-factorstructuur is waarschijnlijk robuuster tegen verschillen in de samenstelling van de steekproef. De onderzoeken naar de factorstructuur van de FRLT hebben tot op heden geen uitsluitsel kunnen bieden. Vaak is beargumenteerd dat een drie factorstructuur gebruikt dient te worden voor empirische doeleinden en de negen-factorstructuur geschikter is voor trainingsdoeleinden (Antokanis, Avolio en Sivasubramaniam, 2003; Heinitz, 2006). Ondanks dat een negen factorstructuur informatief kan zijn voor de ontwikkeling van (transformationeel) leiderschap, gaat de complexiteit ten kosten van de validiteit wanneer heterogene steekproeven worden gebruikt. Voor de ontwikkeling van de leiderschapstest is de drie-factorstructuur gehanteerd, omdat de vragenlijst toepasbaar dient te zijn bij het selectievraagstuk en onderzocht zal worden in heterogene steekproeven.

1.1.9. Integratie contingentie-theorieën en transformationeel leiderschap

De invloed van situationele contingenties op de effectiviteit van leiderschapsgedrag werd in een vroeg stadium ook erkent door Bass (1997). In de oorspronkelijke formulering van het FRLT model is de rol van de situatie onderbelicht; transformationeel leiderschap werd daarin namelijk altijd geacht het meest effectief te zijn, ongeacht de context (Antokanis, Avolio en Sivasubramaniam, 2003; Avolio, 2007). In het debat worden voornamelijk de eerdergenoemde contingentie-theorieën van leiderschap aangehaald, waarin gesteld wordt dat de effectiviteit van leidinggevend gedrag afhankelijk is van situationele factoren (e.g., Fiedler, 1964; Blanchard, Zigarmi, & Nelson, 1993). Bass (1997) stelt dat het onderzoek naar de validiteit van contingentie-theorieën gemengde resultaten opleverde en dat de invloed van de situatie op de effectiviteit van leiderschap klein is. Hij erkent wel dat het verschil tussen transformationeel en transactioneel leiderschap niet in iedere situatie even duidelijk is. Hoewel resultaten inderdaad impliceren dat transformationeel leiderschap over het algemeen de meest effectieve vorm van leiderschap is (Lowe, Kroeck, & Sivasubramaniam, 1996; Spinelli, 2006; Rowold Heinitz, 2007), wordt in ander onderzoek gesteld dat in specifieke situaties transactioneel leiderschap en/ of laissez-faire leiderschap ook een goede tot betere leiderschapsvorm is. Judge en Piccolo (2004) stellen dat een manager met genoeg voorzieningen even effectief kan zijn met transactioneel leiderschap, maar dat wanneer een manager over weinig voorzieningen beschikt transformationeel leiderschap superieur is. In ander onderzoek naar de FRLT wordt gesuggereerd dat laissez-faire leiderschap effectief is, zodra volgers over genoeg motivatie en vaardigheden beschikken (Peus, Braun, & Frey, 2013). Avolio (2007) stelt dat een benadering waarin situationele contingenties worden geïntegreerd nodig is, om de theorieën en modellen van leiderschap geschikt te maken voor organisaties met snel veranderende interne en externe omgevingen.

Uit het bovenstaande kan geconcludeerd worden dat een test voor leiderschapskwaliteiten optimaal is wanneer er rekening gehouden wordt met situationele factoren. Daarom ligt het voor de hand hiervoor een Situational Judgement Test (SJT) te gebruiken omdat deze, de term zegt het al, rekening houdt met de kenmerken van situaties, op basis waarvan bepaalde antwoorden beter of slechter zijn. In de volgende secties wordt ingegaan op de kenmerken van SJT’s in het algemeen, en de SJT Leiderschap in het bijzonder.

1.2. Theoretisch uitgangspunt SJT Leiderschap

1.2.1. Meetdoel

De SJT Leiderschap is zoals gezegd een situationele beoordelingstest, primair ontwikkeld voor selectiedoeleinden: het moet een instrument zijn om inzicht te krijgen in de managementvaardigheden van een kandidaat om zo een goede, geïnformeerde keuze te maken bij het selectievraagstuk. De test kan echter ook in adviessituaties ingezet worden wanneer men meer inzicht wil krijgen in de leiderschapsstijlen- en kwaliteiten van de kandidaat.

1.2.2. Keuze van theoretisch model

Voor de keuze van het theoretisch model zijn verschillende aanbevelingen uit de literatuur in acht genomen die betrekking hebben op de constructie van SJT’s (e.g., Whetzel & McDaniel, 2009). Voor de constructie van SJT’s wordt in de literatuur met name een construct-benadering geadviseerd, waarbij de onderdelen van de test worden beschreven in termen van het construct (Arthur & Villado, 2008). Het wordt aanbevolen om hierbij een onderliggend model te gebruiken, zodat de inhoud van de items geïdentificeerd kunnen worden in termen van het onderliggend theoretisch construct (Oostrom, De Stoete & Lievens, 2015). Als voorwaarde voor het gebruik van een theoretisch model wordt gesteld dat het model positief getest moet zijn op betrouwbaarheid en validiteit, omdat de voordelen van een construct-benadering alleen gelden wanneer het model correspondeert met de werkelijkheid (Whetzel & McDaniel, 2009). Het is met name van belang dat op basis van het model de juistheid van de antwoordmogelijkheden onderscheiden kan worden. Dit betekent dat met het model gefundeerd moet kunnen worden welke antwoordmogelijkheden de meest effectieve toepassingen zijn van het construct.

Zoals in paragraaf 1.1 beschreven is, is er een breed scala aan theorieën en modellen omtrent leiderschap. Echter, meerdere onderzoekers hebben geopperd dat er een gebrek is aan leiderschapstheorieën die de verschillende benaderingen omtrent leiderschap integreren (e.g., Yukl, Gordon & Taber, 2002; Avolio, 2007; Derue et. al, 2011). Fielder stelde, in een poging om eerdere perspectieven te integreren, dat de effectiviteit van een leiders persoonlijke kenmerken afhankelijk is van de situatie. Het contingentie-model van Fiedler en de contingentie-modellen in navolging van zijn onderzoek (e.g., Hersey-Blanchard model, Vroom-Yetton model) worden tegenwoordig niet meer beschouwd als modellen waarmee consistente voorspellingen kunnen worden gedaan (House & Aditya, 1997). De full range leadership theory van Bass (1997) heeft daarentegen wel ondersteuning gekregen in vervolgstudies. Het FRLT model van Bass stelt dat transformationeel leiderschap over het algemeen de meest effectieve leiderschapsdimensie is, maar erkent ook dat situationele contingenties een rol spelen. Deze situationele contingenties zijn oorspronkelijk niet in het model opgenomen, maar wel in vervolgstudies geïdentificeerd (e.g., Judge & Piccolo, 2004; Avolio, 2007).

De empirische ondersteuning voor de validiteit van het FRLT model, de hiërarchische structuur van het model, en de eerdere succesvolle toepassing van het model bij de constructie van een leiderschap SJT (zie, Peus, Braun, & Frey, 2013), zijn doorslaggevende criteria geweest om de test van Ixly te baseren op het full range leadership model (Bass, 1997) en de situationele moderatoren die geïdentificeerd zijn in vervolgstudies naar het model (e.g., Judge & Piccolo, 2004; Peus, Braun, & Frey, 2013) . Volgens het FRLT model is transformationeel leiderschap over het algemeen de meest effectieve vorm van leiderschap, ongeacht het soort leider of manager. Het onderzoek naar het oorspronkelijke model erkent echter ook dat er situationele factoren kunnen zijn die de effectiviteit van de dimensies beïnvloedt. Het gaat daarom volgens het FRLT model om een balans richting transformationeel leiderschap, in plaats van uitsluitend transformationeel leiderschap. In vervolgonderzoeken naar de situationele contingenties van het model zijn factoren geïdentificeerd die de effectiviteit van de dimensies beïnvloeden (e.g., vaardigheden en motivatie van volgers en voorzieningen manager). Dit betekent dat in sommige situaties transactioneel, of zelfs laissez-faire leiderschap, te prefereren is boven transformationeel leiderschap. Uit deze studies blijkt wel dat transformationeel leiderschap het meest robuust is, ofwel het minst afhankelijk van situationele factoren (Antonakis; Avolio & Sivasubramaniam, 2003; Judge & Piccolo, 2004).

De SJT Leiderschap heeft daarom als uitgangspunt dat een gevarieerd patroon aan leiderschapsgedragingen leidt tot betere leiderschapsprestaties, maar dat transformationeel leiderschap over het algemeen de voorkeur heeft. Dit betekent dat gedrag dat gecategoriseerd wordt als transformationeel leiderschap het meest effectief is bevonden, tenzij op basis van voorgaand onderzoek specifieke situationele factoren zijn gespecificeerd waarin transactioneel of laissez-faire leiderschap effectiever is gebleken. De test integreert daarmee het FRLT model dat geformuleerd is in 1985 en de vervolgstudies naar het model van de afgelopen dertig jaar (e.g., Judge & Piccolo, 2004; Peus, Braun, & Frey, 2013); dit betekent ook dat de test een integratie is tussen het paradigma van transformationeel leiderschap en het paradigma van contingent leiderschap, zoals in recente onderzoeken is aanbevolen (Yukl, Gordon & Taber, 2002; Avolio, 2007; Derue et. al, 2011).

Ontwikkeling

De bouwelementen van een situationele beoordelingstest (SJT) bestaan uit een aantal testitems met bijbehorende antwoordmogelijkheden.

In dit hoofdstuk worden de ontwikkeling van en de gemaakte keuzes voor beide onderdelen van de SJT Leiderschap en de daarbij behorende onderzoeken apart beschreven.

2.1. Ontwikkeling testitems en antwoordopties

2.1.1. Kritieke incidenten analyse

Om een itempool te kunnen creëren, oftewel om verschillende scenario’s te ontwikkelen voor de test, is begin 2016 een kritieke incidenten analyse uitgevoerd door Ixly. Organisaties zijn telefonisch benaderd voor deelname aan het onderzoek. Vervolgens zijn aan 22 managers van verschillende organisaties in Nederland vragen gesteld over de belangrijkste situaties in het werk van een manager. In online vragenlijsten en semi-gestructureerde interviews hebben de managers uiteengezet wat volgens hen de belangrijkste werksituaties zijn waarin effectief leiderschap tot uiting komt. In deze interviews hebben zij ook effectieve gedragingen en minder effectieve gedragingen geïdentificeerd. Uit de kwalitatieve data is middels codering gezocht naar terugkerende thema’s (e.g., conflict tussen werknemers, moeizame teambijeenkomst, crises op de werkvloer) en hebben specifieke situaties, al dan niet aangepast, als inspiratie gediend voor het schrijven van de scenario’s. Tevens zijn de situationele contingenties van Pawer en Eastman (1997) gebruikt om de scenario’s in te delen in ‘transactioneel leiderschap scenario’ en ‘transformationeel leiderschap scenario’; afhankelijk van de leiderschapsstijl die volgens hen in bepaalde situaties het meest effectief zou zijn. Een transformationeel leiderschap scenario was bijvoorbeeld het stimuleren van innovatie, zoals tijdens een brainstorm. Een ‘transactioneel leiderschap scenario’ was bijvoorbeeld het omgaan met medewerkers die weigeren om het werk uit te voeren. Op basis van de verkregen informatie zijn 35 scenario’s geschreven, waarbij 26 transformationeel leiderschap scenario’s en 9 transactioneel leiderschap scenario’s. Deze verhouding representeert de superioriteit van de transformationele leiderschapsstijl volgens het full range leadership model (Bass, 1985; Pawer & Eastman, 1997). De scenario’s zijn geschreven in de context van een manager op een tijdschriftredactie, omdat verondersteld werd dat dit een context is waarvan makkelijk een beeld kan worden gevormd. Om de beeldvorming te stimuleren is een introductietekst geschreven en zijn vier medewerkers voorgesteld waarnaar in de scenario’s gerefereerd wordt.

2.1.2. Pre-screening

Vervolgens zijn de 35 scenario’s voorgelegd aan een steekproef van 16 managers; de managers uit deze steekproef verschilden gedeeltelijk van de vorige steekproef managers. De managers beoordeelden de scenario’s op representativiteit (schaal: 1, heel laag, tot 7, heel hoog) en kregen de mogelijkheid om opmerkingen te geven over de scenario’s, waarbij ook mogelijke wijzigingen konden worden aanbevolen. Ter compensatie kregen de deelnemende managers een gratis E-Assessment aangeboden (t.w.v. 92 euro). Het gemiddelde aantal jaren ervaring van de leiders was 14.7 jaar (SD = 9.2, tussen de 1 en 32 jaar) en het gemiddelde aantal ondergeschikten was 51.3 (SD = 92.8, tussen de 2 en 350 personen). Dit was dus een diverse maar over het algemeen ervaren groep managers.

Vervolgens zijn 15 scenario’s geselecteerd op basis van de representativiteitsscore, waarbij per scenario gekeken is naar het gemiddelde en de standaardafwijking. Er werd verondersteld dat scenario’s met een hoog gemiddelde (boven een gemiddelde van 4) de werksituaties van managers relatief beter reflecteert dan de scenario’s met een lager gemiddelde (onder 4). De laagste representativiteitsscore van de geselecteerde scenario’s was 4.5 en de hoogste was 5.9; over het algemeen waren alle scenario’s dus redelijk representatief te noemen. Daarnaast werd verondersteld dat voor de scenario’s met een lagere spreiding (dus een lagere standaardafwijking) tussen managers meer onderlinge overeenstemming bestaat, in de mate waarin dit scenario de werksituatie representeert. Een standaard deviatie van meer dan 1.5 werd beschouwd als relatief hoog, en antwoorden met een spreiding van 1.5 of hoger werden dan ook geschrapt. De laagste standaarddeviatie van de geselecteerd scenario’s was .82 en de hoogste 1.34. De hoogste standaarddeviatie van de niet-geselecteerde scenario’s was 1.90. Voor het selecteren van de scenario’s is ook rekening gehouden met de gemiddelden en standaarddeviaties van de antwoordmogelijkheden (zie 2.5.2).

Scenario’s waarbij veel verschil bestond tussen de effectiviteit van de verschillende antwoorden werden beschouwd als te “makkelijk”: als er één antwoordmogelijkheid overduidelijk het meest effectief is, dan zal dit item weinig discriminerend vermogen hebben. “Veel verschil” werd gedefinieerd als een verschil van meer dan 2 punten tussen de effectiviteit van de geselecteerde antwoordmogelijkheden (bijvoorbeeld; laissez faire 1.8 en transformationeel 4.5).

Van de 15 scenario’s die uiteindelijk geselecteerd zijn voor de SJT Leiderschap van Ixly, is de gemiddelde representativiteit 5.43 (schaal 1 tot 7) en de standaarddeviatie .93.

2.1.3. Antwoordmogelijkheden ontwikkelen en selecteren

2.1.3.1. Ontwikkeling

Zoals genoemd in 2.1.2. is onder een steekproef van 22 managers gevraagd naar effectieve en ineffectieve gedragingen. Deze gedragingen zijn ingedeeld op basis van de facetten van het FRLM (Bass, 1985). Gedragingen werden ingedeeld in: inspirationele motivatie, individuele aandacht, intellectuele stimulatie, contingentie management, management bij uitzondering en laissez faire. Gedragingen die in meerdere categorieën vielen werden ingedeeld in meerdere categorieën. Het model heeft als basis gediend voor het schrijven van de antwoordmogelijkheden. Elk antwoord reflecteerde een van de verschillende facetten. Dit betekent dat gedragingen die in meerdere categorieën vielen zijn aangepast, zodat ze maar tot één van de facetten behoorden (zoals uiteengezet door Bass, 1985). Voor elk scenario zijn 7 antwoordmogelijkheden geschreven, dus voor elk facet 1 antwoordmogelijkheid, met uitzondering laissez faire waar voor elk scenario 2 antwoordmogelijkheden zijn geschreven. Dit is gedaan omdat de scenario’s gereduceerd zouden worden op basis van onderzoek. Het doel was om de antwoordmogelijkheden van 7 te reduceren naar 3, waarbij elk antwoord een hoofdstijl van het FRLM representeerde (i.e., laissez faire leiderschap, transactioneel leiderschap en transformationeel leiderschap). Voor transformationeel leiderschap kon gekozen worden uit antwoorden die vielen onder de volgende drie facetten: inspirationele motivatie, intellectuele stimulatie en individuele aandacht. Voor transactioneel leiderschap kon gekozen worden uit antwoorden die behoorden tot de volgende twee facetten: contingent management en management bij uitzondering. Voor laissez faire leiderschap kon alleen gekozen worden voor het facet laissez faire, daarom was het noodzakelijk om twee laissez faire antwoorden te ontwikkelen voor het onderzoek.

2.1.3.2. Selecteren

In het onderzoek onder 16 managers zijn de antwoordmogelijkheden geselecteerd op basis van de overeenkomst van de antwoordpatronen conform het model en de effectiviteitsscore (gemiddelde minimaal boven 2 en standaarddeviatie maximaal 1.5). In het onderzoek hebben managers de effectiviteit beoordeeld voor elk van de 7 antwoordmogelijkheden, van 1 (heel laag) tot 7 (heel hoog). Vervolgens is voor elke leiderschapsstijl 1 van de antwoorden geselecteerd, waarbij rekening is gehouden met het model van Pawer en Eastman (1997); dat wil zeggen, in transactionele scenario’s is geprobeerd om het meest effectieve transactionele antwoord te kiezen. Dit wil ook zeggen dat voor laissez faire over het algemeen een lagere effectiviteit als acceptabel werd beschouwd dan voor transformationeel en transactioneel. De effectiviteit (meest effectief of meest ineffectief) voor transactioneel en transformationeel werd beoordeeld op basis van het model van Pawer en Eastman (1997). Antwoordmogelijkheden waarbij de rangorde conform het model was (na selectie van de antwoordmogelijkheden) werden beschouwd als het meest valide. Dit betekent dat in transactionele scenario’s (d.w.z., scenario’s waarin kenmerken geïntegreerd zijn, waardoor transactioneel het meest effectief zou zijn), transactioneel ook hoog zou moeten scoren (hoog is hierbij boven 4). Tot slot zijn alleen scenario’s geselecteerd waarvan de antwoordmogelijkheden niet meer dan 2 punten onderling verschilden in effectiviteit (bijvoorbeeld; laissez faire 3.2, transactioneel 3.5 en transformationeel 4). Dit is gedaan omdat het ‘goede antwoord’ anders mogelijk te duidelijk zou zijn.

De betrouwbaarheidsindicatoren voor de drie leiderschapsvormen waren: transformationeel .78, transactioneel .86 en laissez-faire .90. De gemiddelde effectiviteit van de vormen was: transformationeel 4.32, transactioneel 3.56, laissez faire 2.72. Dit patroon was daarmee conform het model: volgens het FRLM zou namelijk, in het algemeen, transformationeel leiderschap het meest effectief zijn, en laissez faire het minst. De gemiddelde effectiviteit van transformationeel leiderschap in transformationele scenario’s was 4.53 en in transactionele scenario’s 3.95. De gemiddelde effectiviteit van transactioneel leiderschap in transactionele scenario’s was 4.59 en in transformationele scenario’s 2.95. Deze uitkomst laat zien dat de vormen hoger zijn beoordeeld in de scenario’s waarin zij volgens het model ook het meest effectief zouden zijn.

2.2. Validatieonderzoek

De eerste validatie van de test heeft plaatsgevonden onder een steekproef van 208 managers, in juni 2016, waarbij de data werd verzameld bij een ISO gecertificeerd onderzoekspanel. Aan deze managers zijn de 15 scenario’s voorgelegd die geselecteerd waren zoals beschreven in de vorige sectie. Uit een eerste analyse van de data bleek dat er 19 personen waren die de test niet serieus hadden ingevuld; daarom is deze data niet meegenomen in de rest van de analyses die hieronder besproken worden.

De steekproef bestond uit 112 mannen (59.3%) en 77 vrouwen (40.7%). De gemiddelde leeftijd was 43.5 jaar (SD = 11.5, variërend tussen de 18 en 67 jaar). De verdeling van de steekproef wat betreft opleidingsniveaus is weergegeven in Tabel 2.1. Uit de tabel blijkt dat de leiders uit de steekproef uiteenlopende opleidingsniveaus hadden genoten.

Uit Tabel 2.2. is op te maken dat de managers werkzaam waren in uiteenlopende sectoren.

2.2.1. Beschrijvende resultaten

De gemiddelde effectiviteit van de laissez faire antwoorden was 4.28 (SD = .89), van transactioneel 4.75 (SD = .72) en transformationeel 5.01 (SD = .74). Deze drie gemiddelde scores verschilden significant van elkaar (p < .01). Dit patroon is conform het FRLM; immers, volgens dit model is transformationeel leiderschap door de bank genomen het meest effectief en laissez faire leiderschap het minst.

De gemiddelde scores van de stijlen in de situaties waar, gegeven de kenmerken van de situaties, transformationeel leiderschap als het meest effectief beschouwd konden worden waren: 5.13 (SD = .77) voor transformationeel leiderschap en 4.58 (SD = .80) voor transactioneel leiderschap. De gemiddelde scores van de stijlen in transactioneel leiderschap scenario’s, waarin de kenmerken erop duidden dat de transactionele antwoordoptie het meest effectief was, waren 5.01 (SD = .78) voor transactioneel en 4.83 (SD = .81) voor transformationeel leiderschap. Voor deze gemiddelde scores gold dat ze significant van elkaar verschilden (p < .01). Dit betekent dat de leiderschapsstijlen hoger zijn beoordeeld in de situaties waarin zij volgens het model ook effectiever zouden moeten zijn: deze bevindingen bieden hiermee goede ondersteuning voor de (inhouds)validiteit van de SJT Leiderschap.

2.2.2. Gehanteerde uitkomstmaten

 In dit onderzoek en in de terugkoppeling in het rapport van de SJT Leiderschap werden vijf uitkomstmaten berekend. Er is in de literatuur veel discussie over welke maten het best zijn bij SJT’s en hoe deze berekend zouden moeten worden. De keuze voor de uitkomstmaten bij de SJT Leiderschap kwam tot stand op basis van de literatuur, hoe goed deze theoretisch te onderbouwen zijn, hoe goed deze in de praktijk bruikbaar zijn (ze moeten uit te leggen zijn aan kandidaten), betrouwbaarheid en validatiegegevens (bijvoorbeeld correlaties met overige uitkomsten, zie sectie Criteriumvaliditeit).

De eerste drie uitkomstmaten zijn simpelweg de effectiviteitsratings op de drie stijlen van een kandidaat. Om deze echter te onderscheiden van de overige maten die we hanteren noemen we die in het vervolg “voorkeur”, omdat we mogen aannemen dat iemand die bijvoorbeeld consequent de antwoordoptie die transformationeel leiderschap meet een hoge effectiviteitsbeoordeling geeft een voorkeur voor deze stijl heeft.[2]

De overige twee maten hebben meer te maken met hoe goed iemand de effectiviteit van de verschillende reacties kan inschatten. De eerste maat, een totale effectiviteitsmaat, is berekend door voor iedere effectiviteitsbeoordeling het absolute verschil te nemen met de gemiddelde effectiviteitsbeoordelingen van de managers (experts) (zie 2.1.3.2.) en deze vervolgens op te tellen. Omdat een hogere score in dit geval een groter verschil met het expertoordeel betekent (dus een slechtere inschatting van de effectiviteit) is deze somscore vervolgens omgepoold. Hoe hoger de uiteindelijke score, hoe beter dus de inschatting van de effectiviteit van de reacties.[2]

De laatste maat neemt in ogenschouw dat in sommige situaties de ene leiderschapsstijl beter is, en in andere situaties de andere. Zoals eerder beschreven zijn op basis van de theorie scenario’s geschreven waar transactioneel leiderschap de beste reactie is, en anderen waar transformationeel leiderschap het beste is. Zo zijn er dus situaties waar de rangorde van de beoordelingen transformationeel-transactioneel-laissez faire zou moeten zijn of juist transactioneel-transformationeel-laissez faire. Op basis van de gegeven effectiviteitsbeoordelingen van een persoon is een rangordening te maken en op basis hiervan zijn punten gegeven. Bijvoorbeeld: als iemand in een transformationeel scenario de transformationele reactie een 6 had gegeven, transactioneel een 4 en laissez faire een 3, dan kreeg deze persoon drie punten. Een persoon die de transformationele reactie een 6 had gegeven, maar laissez faire een 4 en transactioneel een 3 kreeg echter twee punten, aangezien hij/zij niet goed ingeschat had dat transactioneel beter zou zijn dan laissez faire. Zo was er per scenario 0 tot 3 punten te verdienen. De punten van de scenario’s werden uiteindelijk bij elkaar opgeteld. Dit resulteerde zo in een maat van iemands inzicht in welke situatie om wat voor soort leiderschapsstijl vroeg.

2.2.3. Interne structuur

2.2.3.1. Factorstructuur per stijl

Per stijl – dus bijvoorbeeld op de 15 antwoordmogelijkheden die transformationeel leiderschap moeten meten – is een exploratieve factoranalyse uitgevoerd, om te onderzoeken of de onderliggende facetten naar voren kwamen (contingentie management en management bij uitzondering bij transactioneel leiderschap en inspirationele motivatie, intellectuele stimulatie en individuele aandacht bij transformationeel leiderschap). Vervolgens zijn op basis van deze exploratieve analyses confirmatieve factoranalyses gedaan. De resultaten worden hieronder per stijl besproken.

Hoewel volgens de scree plot een oplossing met drie factoren de beste leek (die samen 44.5% van de variantie in de scores verklaarden), kwamen bij transformationeel leiderschap niet heel sterk de drie veronderstelde facetten naar voren. Het leek erop dat bepaalde thema’s in antwoorden (bijvoorbeeld ‘doorvragen’) ervoor zorgden dat zij samen clusterden. Een oplossing met één factor (die 35.0% van de variantie verklaarde) leek een redelijk alternatief.

In de confirmatieve analyses bleek een model met drie gecorreleerde facetten echter een redelijk goede beschrijving van de data (CFI = .89, RMSEA = .080, SRMR = .064), echter, hierin waren de correlaties tussen de facetten ongeveer gelijk aan 1. Een model waarin één factor geschat werd liet dezelfde fitwaarden zien (CFI = .89, RMSEA = .078, SRMR = .064).

Bij de exploratieve analyse van transactioneel leiderschap kwamen de twee facetten duidelijker naar voren. De vier items die management bij uitzondering zouden moeten meten vormden een eigen facet. Slechts één item van het facet contingentie management liet een hoge lading zien (.70) zien op het management bij uitzondering facet. Eén ander item liet middelmatige ladingen zien op beide facetten (.31 en .43). Inspectie van beide items leidde tot het inzicht dat in deze items aspecten van beide facetten leken voor te komen. Over het algemeen werd de beoogde structuur met twee facetten echter bevestigd.

Dit kwam ook naar voren uit de confirmatieve analyses. Een model met twee gecorreleerde facetten (CFI = .81, RMSEA = .096, SRMR = .092) was aanzienlijker beter dan een model met één factor (CFI = .72, RMSEA = .116, SRMR = .099). De correlatie tussen de twee factoren in het eerstgenoemde model was .55, wat aangeeft dat, zoals theoretisch te verwachten, de twee facetten aparte constructen meten maar wel met elkaar samenhangen. De fitwaarden van het model waren echter niet toereikend; op basis van de exploratieve factoranalyse zijn vervolgens enkele kruisladingen toegevoegd, waarna het model goede fit liet zien (CFI = .92, RMSEA = .063, SRMR = .057). Hieruit kunnen we concluderen dat voor transactionele leiderschap de veronderstelde structuur met twee facetten redelijk goed bevestigd werd in de SJT Leiderschap.

Voor laissez faire werd één algemene factor verondersteld, en deze werd ook duidelijk gevonden. In de exploratieve factoranalyse kwam duidelijk één factor naar voren die 41.6% van de variantie verklaarde. Een confirmatief model met één factor liet redelijke maar niet toereikende fitwaarden zien (CFI = .86, RMSEA = .09, SRMR = .071). Op basis van de modificatie indices en inhoudelijke inspectie van de items bleken er drie items te zijn die duidelijk over “eigen verantwoordelijkheid geven” gaan. Een model dat rekening hield met deze samenhang door de foutvarianties van deze items te laten correleren liet adequate fit zien (CFI = .91, RMSEA = .075, SRMR = .058). In de SJT Leiderschap lijkt laissez faire leiderschap dus, zoals verondersteld, ééndimensionaal te zijn.

Voor twee van drie factoren werd de beoogde structuur teruggevonden (transactioneel en laissez faire leiderschap). Omdat dit voor transformationeel leiderschap niet het geval was hebben wij in eerste instantie besloten alleen te rapporteren op voorkeur voor de hoofdfactoren en niet de facetten.

 2.2.3.2. Structuur van gehele test

Hiervoor zijn analyses besproken per leiderschapsstijl. Er zijn ook analyses uitgevoerd op het gehele model, waarbij alle antwoordmogelijkheden in zowel exploratieve als confirmatieve factormodellen bekeken zijn.

In de exploratieve factoranalyse verklaarden de drie eerste factoren 41.6% van de variantie in de geobserveerde scores. De factorladingen zijn weergegeven in Tabel 2.3. Met kleuren zijn de onderliggende facetten weergegeven. Over het algemeen kunnen we concluderen dat de veronderstelde drie-factoren structuur teruggevonden wordt, met enkele kanttekeningen. Er waren enkele items die kruisladingen lieten zien, of een hogere lading lieten zien op een andere factor dan de veronderstelde. Voorbeelden hiervan zijn item 11 en 14 van laissez faire (laadden op transformationeel leiderschap). Echter, inspectie van deze items toonde aan dat bij deze items feitelijk niets gedaan werd (laissez faire), alleen dat de onderbouwing geïnterpreteerd zou kunnen worden als gedrag dat valt onder transformationeel leiderschap. Deze afwijkende ladingen waren inhoudelijk dus goed te verklaren.

Verder valt op dat de items die verondersteld waren management bij uitzondering te meten, laden op de laissez faire factor. Ook dit is echter eenvoudig inhoudelijk en theoretisch te verklaren. Management bij uitzondering bestaat uit de actieve en passieve variant. In ons geval zijn de antwoordmogelijkheden meer passief dan actief, waarbij de leider dus – met een gegronde reden – afwacht met handelen. Aangezien laissez faire ook passief is (de leider grijpt niet in), is het logisch dat deze items op de laissez faire factor laden.

Op basis van de exploratieve factoranalyse en de analyses per stijl, zoals beschreven in de vorige sectie, is een confirmatief model getoetst. Confirmatieve factoranalyse bij SJT’s is vaak een redelijke uitdaging, omdat de antwoordopties die horen bij een bepaald scenario – hoewel theoretisch misschien onafhankelijk – hierdoor afhankelijk van elkaar worden. Dit hebben wij ondervangen door de foutvarianties van de antwoordopties binnen één scenario met elkaar te laten correleren. In ons model werd één transformationele leiderschap-factor geschat, de twee facetten van transactioneel leiderschap, en de laissez faire factor. Alle correlaties tussen de latente factoren werden vrij geschat, met uitzondering van de correlatie tussen management bij uitzondering en laissez faire die om eerder beschreven redenen gelijk gesteld werd aan 1. Een model waarin enkele kruisladingen en gecorreleerde foutvarianties (op basis van eerdere analyses) werden toegestaan leverde een marginaal fittend model op, waarbij de RMSEA wel een voldoende lage waarde liet zien (.066), de SRMR een aan voldoende grenzende waarde (.093) en de CFI een onvoldoende waarde (.81).

De correlaties tussen de latente variabelen zijn weergegeven in Tabel 2.4. Er lijkt voldoende bewijs voor discriminante validiteit: gelet op de hoogte van de correlaties vertonen de verschillende factoren niet te veel overlap. De sterkere relatie tussen transformationeel leiderschap en contingentie management is overigens een bekend gegeven in de literatuur (Bycio, Hackett, & Allen, 1995).

Bij de interpretatie van de fit van het model moet opgemerkt worden dat, zoals gezegd, het vaak lastig is een goed passend model te vinden voor SJT’s. In dit opzicht zijn de gevonden resultaten bevredigend. Bovendien hebben we voor het aantal factoren en relaties die we moeten schatten een relatief beperkte steekproef qua grootte (N = 189). De resultaten kunnen zo misschien beïnvloed zijn door kenmerken van deze steekproef. Het is daarom zinvol de structuur in andere steekproeven te crossvalideren. Om deze redenen hebben we voor de eerste versie van de SJT Leiderschap nog geen aanpassingen in de structuur of itemcontent gedaan. Na crossvalidatie in andere en grotere steekproeven zal dit verder onderzocht worden.

2.2.4. Betrouwbaarheid

Aangezien een leider met een hoge score op Situationeel Leiderschap per situatie juist een andere leiderschapsstijl toont, zou de betrouwbaarheidscoëfficiënt voor deze score geen goede maat zijn. Immers, als de normgroepen in iedere situatie dezelfde scores toekennen aan dezelfde stijlen, levert dat een hoge betrouwbaarheid op, maar dat zou juist geen situationeel leiderschap meten.

Voor de Inzicht in Effectiviteit waarop de SJT Leiderschap ook rapporteert, zijn de betrouwbaarheidscoëfficiënten wél representatief. Bij de vernieuwing van de SJT Leiderschap (beschreven in Hoofdstuk 4) zijn deze opnieuw berekend. Voor de selectie normgroep is dat 0.83 en voor de advies normgroep 0.82. Hiermee kunnen we concluderen dat de schalen van de SJT Leiderschap uiterst betrouwbare maten zijn.

2.2.5. Verschillen in scores op basis van geslacht, opleiding en leeftijd

Door middel van ANOVA-toetsen zijn de verschillen in scores op basis van geslacht, opleiding en leeftijd getoetst. Ook zijn de effectgrootten Cohen’s d (bij twee categorieën) en η² berekend. Voor de interpretatie van de resultaten zijn de volgende vuistregels aangehouden; Voor Cohen’s d geldt dat .20 wordt beschouwd als een klein effect, .50 als een gemiddeld effect en >.80 als een groot effect (Cohen, 1988). Voor η² geldt dat > .01 wordt gezien als een klein effect, > .06 als een gemiddeld effect en > .14 een groot effect.

2.2.5.1. Geslacht

 Er is relatief veel onderzoek gedaan naar de verschillen in leiderschapsstijlen tussen mannen en vrouwen. Een meta-analyse van Eagly, Johannesen-Schmidt en Van Engen (2003) toonde aan dat vrouwen over het algemeen meer transformationeel waren dan mannen, terwijl mannen wat meer management bij uitzondering (passief) en laissez faire stijlen lieten zien. De onderzoekers concludeerden echter ook dat de gevonden verschillen relatief klein waren (d’s tussen de .02 en .27).

In Tabel 2.5. zijn de sekseverschillen weergegeven voor de scores op de SJT Leiderschap. Zoals uit eerder onderzoek gebleken (Eagly et al., 2003) scoren vrouwen hoger op transformationeel leiderschap. Ook de hogere score van vrouwen op transactioneel leiderschap

is goed te verklaren; uit de eerder genoemde meta-analyse bleek dat vrouwen hoger scoren op contingentie management, en de meeste transformationele items uit de SJT Leiderschap meten dit facet. De bevinding dat mannen hoger scoren dan vrouwen op laissez faire werd niet teruggevonden in ons onderzoek. In lijn met de meta-analyse duiden de waarden van Cohen’s d op klein tot en met laaggemiddelde effectgrootten. Belangrijk om op te merken is tot slot dat mannen en vrouwen weinig van elkaar verschillen in hoeverre zij de effectiviteit van situaties in kunnen schatten (bovenste en onderste rij van de tabel).

2.2.5.2. Opleidingsniveau

Ook is gekeken naar verschillen op basis van opleidingsniveaus. In Tabel 2.6. zijn de opleidingsniveaus van de deelnemers uit de steekproef weergegeven, met in de rechterkolom de indeling van de verschillende opleidingsniveaus in de drie categorieën, gebaseerd op de indeling van het CBS. Uiteindelijk betekende dit dat er 9 (4.8%) personen werden ingedeeld in de lage categorie, 64 (33.9%) personen in de middelste categorie en 116 (61.4%) in hoogste categorie. Hoewel deze verdeling scheef is, is dit niet verwonderlijk: managers en leidinggevenden hebben over het algemeen hogere opleidingsniveaus (omdat zij de capaciteiten of human capital hebben om zichzelf op te werken; Boxman, De Graaf, & Flap, 1991).

ANOVA-toetsen wezen uit dat er geen significante verschillen waren op de vier uitkomstmaten van de SJT Leiderschap tussen de verschillende opleidingsniveaus; ook de effectgrootten lieten zien dat er geen noemenswaardige verschillen waren op basis van opleidingsniveau (Tabel 2.7.).

Deze resultaten geven de indicatie dat de test goed bruikbaar is bij zowel lager als hoger opgeleiden. Dit dient echter nog wel een keer bevestigd te worden bij een grotere steekproef van lager opgeleiden.

2.2.5.3. Leeftijd

Ook voor de variabele leeftijd is gekeken of er verschillen in scores waren; daarvoor werden de deelnemers ingedeeld in drie leeftijdscategorieën 18-35 jaar (53 personen, 28.0%), 36-50 jaar (82 personen, 43.4%) en 51-67 jaar (54 personen, 28.6%).

In Tabel 2.8. zijn de gemiddelde scores voor de drie leeftijdscategorieën weergegeven. Voor drie van de scores werden significante verschillen gevonden, waarbij de effectgrootten voor de totale effectiviteitsscore en de voorkeur voor laissez faire als gemiddeld aangeduid kunnen worden, en voor de rangorde score relatief groot. Post-hoc tests toonden aan dat voor alle drie de scores waarvoor verschillen werden gevonden gold dat de jongste groep significant verschilde van de overige twee groepen (terwijl de middelste en hoogste categorie niet van elkaar verschilden). Gezien de hogere score van jongeren op laissez faire leiderschap zijn deze resultaten goed te verklaren: wel kunnen we verwachten dat jonge leiders minder goed kunnen inschatten hoe goed (of eigenlijk slecht) bijvoorbeeld laissez faire leiderschap werkt in de praktijk. Hierdoor zullen zij een hogere score op deze stijl scoren: omdat experts laissez faire over het algemeen lager inschatten, kan dit het gevonden verschil voor de totale effectiviteitsscore verklaren. Hetzelfde geldt voor de rangorde score: als laissez faire steeds te hoog wordt ingeschat, dan zal dit ook invloed hebben op de rangorde score.

We kunnen concluderen dat voor geslacht en opleidingsniveau de gevonden verschillen klein waren, en dat deze voor geslacht in lijn waren met eerder onderzoek. Voor leeftijd gold dat de verschillen iets groter waren, maar dat deze ook goed theoretisch te verklaren waren. Hiermee draagt dit onderzoek bij aan de begripsvaliditeit van de SJT Leiderschap.

2.2.6. Criteriumvaliditeit

 Om de criteriumvaliditeit van de verschillende uitkomstmaten te onderzoeken is de relatie onderzocht van deze maten met het aantal jaren ervaring en het aantal ondergeschikten van de leiders in de steekproef. We hebben deze criteria gekozen omdat we mogen verwachten dat betere leiders meer ervaring hebben en leiding geven aan meer ondergeschikten. De correlaties zijn weergegeven in Tabel 2.9.

De lage correlatie tussen het aantal jaren ervaring en het aantal ondergeschikten (r = .15) geeft aan dat dit twee verschillende criteriummaten zijn wat betreft leiderschapskwaliteiten. De variabelen transformationeel, transactioneel, laissez faire, effectiviteitsscore en rangorde score zijn scores die ook in het rapport worden teruggekoppeld naar de kandidaat. Zoals we mogen verwachten zien we een positieve relatie tussen het inschatten van de effectiviteit van transformationeel leiderschap en het aantal jaren ervaring. Ook conform het theoretisch model is de negatieve relatie tussen jaren ervaring en laissez faire: leiders met meer ervaring schatten laissez faire ook minder effectief in dan mensen met minder ervaring. Tot slot zien we dat het goed kunnen inschatten wanneer een bepaalde leiderschapsstijl meer effectief is dan een andere gegeven de situatie, ook positief samenhangt met het aantal jaren ervaring.

De onderste drie rijen zijn maten die niet in het rapport voorkomen maar berekend zijn ten behoeve van het onderzoek naar de criteriumvaliditeit. Voor iedere deelnemer is de gemiddelde score op de antwoorden die transformationeel leiderschap meten berekend in de situaties die vroegen om een transformationele leiderschapsstijl. Hetzelfde is gedaan voor transactioneel leiderschap. Deze gemiddelden zijn dus ook maten die aangeven of iemand weet dat sommige situaties om ander soort leiderschap vragen. Vervolgens zijn deze gemiddelden met de criteriummaten gecorreleerd. Ook is binnen de persoon de variabiliteit van de gegeven antwoorden berekend door de standaarddeviatie over de antwoorden te berekenen; iemand met een hogere score heeft dus meer gevarieerd in zijn antwoorden (dan weer transformationeel wat hoger, dan weer transactioneel etc.). Volgens het theoretisch model zijn de betere leiders degenen die een verscheidenheid aan stijlen laten zien.

Tabel 2.9. laat zien de gemiddelde transformationele score in transformationele situaties en transactionele score in transactionele situaties positief samenhangen met het aantal ondergeschikten van de leiders. De variabiliteit in de keuze voor de drie stijlen was positief gecorreleerd met het aantal jaren ervaring.

De resultaten tonen aan dat de SJT Leiderschap voorspellende waarde heeft wat betreft belangrijke eigenschappen van leiders/managers, zoals aantal jaren ervaring en aantal ondergeschikten. Dit is belangrijk omdat de SJT Leiderschap gebruikt zal worden om de beste leiders te selecteren, dus die het beste in de managersfunctie zullen presteren; dit onderzoek heeft aangetoond dat de SJT Leiderschap hier bij kan helpen. Ook als de test als adviesinstrument ingezet wordt zijn deze validatiegegevens waardevol: het feit dat meer ervaren leiders beter scoren op de test geeft aan dat de testscores gebruikt kunnen worden om zwakkere punten wat betreft leiderschapsstijl in kaart te brengen, om deze vervolgens te verbeteren.

[1] Op basis van de literatuur (bijv. McDaniel, Psotka, Legree, Yost, & Weekley, 2011) is ervoor gekozen om de scores die uiteindelijk in het rapport worden weergegeven te standaardiseren binnen de persoon. Zo wordt de invloed van antwoordtendenties op de behaalde scores teruggedrongen.

[2] De effectiviteitsbeoordelingen werden ook eerst gestandaardiseerd binnen de persoon, net als de effectiviteitsbeoordelingen van de experts. Uiteindelijk werd tussen deze twee maten het absolute verschil berekend en opgeteld.

Normering

Bij de vernieuwing van de SJT Leiderschap test (beschreven in Hoofdstuk 4) is deze ook opnieuw genormeerd. Zie tabel 3.2 voor de demografische gegevens van de normgroepen. Uit de test komen een aantal scores naar voren, zoals beschreven in sectie 2.2.2. Allereerst een score die reflecteert in hoeverre de kandidaat in staat is in te zien dat in verschillende situaties andere leiderschapsstijlen het meest effectief zijn. En ten tweede een algemene effectiviteitsscore, waarbij de effectiviteitsratings vergeleken zijn met die van een aantal managers (beschreven in Hoofdstuk 2).

Deze scores worden teruggekoppeld in gestandaardiseerde scores, dat wil zeggen dat de scores van een kandidaat worden vergeleken met de normpopulatie. Bij de SJT Leiderschap gaat het erom inzicht te krijgen in hoe goed iemand leiding kan geven; het ligt daarom voor de hand de behaalde scores te vergelijken met andere leiders om een goed beeld te krijgen van hoe men scoort ten opzichte van andere leiders. Daarom zijn de twee hiervoor beschreven scores genormeerd op twee steekproeven bestaande uit kandidaten die de test in de afgelopen jaren daadwerkelijk hebben ingevuld in advies en selectie situaties respectievelijk.

Bij de SJT Leiderschap wordt er gerapporteerd in stenscores. Per schaal worden de ruwe schaalscores omgezet in stenscores. Dit zijn bij benadering normaal verdeelde scores op een schaal die loopt van 1 tot 10. Het theoretisch gemiddelde is 5.5 met een standaarddeviatie van 2, de spreiding van de ware scores is gefixeerd op 2. De schaal is symmetrisch en volgt een normaalverdeling. Standaardscores, en dus ook stenscores, geven een beeld van de manier waarop een bepaalde score zich verhoudt tot de normpopulatie, in ons geval leiders/managers. Stenscore 4, 5, 6 en 7 liggen allemaal binnen 1 standaarddeviatie van het gemiddelde. Stenscore 2, 3 en 8, 9 liggen tussen 1 en 2 standaarddeviatie van het gemiddelde. Stenscore 1 en 10 liggen meer dan 2 standaarddeviaties van het gemiddelde. De gemiddelde score in de normgroep ligt precies op de grens van de vijfde en zesde sten. De percentages die horen bij de afzonderlijke stenscores zijn opgenomen in Tabel 3.1.

Als men een stenscore van 8 op een bepaalde schaal scoort betekent dit dat men tussen 1 en 2 standaarddeviaties hoger scoort dan het gemiddelde, en dat 6.7% (4.4 + 2.3) van de personen uit de normgroep een hogere score hebben behaald. Er is voor een rapportage in stenscores gekozen omdat deze makkelijk te interpreteren en te begrijpen zijn en voor de toepassing van de SJT Leiderschap gedetailleerd genoeg zijn. Een mogelijk nadeel is dat stenscores wel eens verward worden met schoolcijfers. Een stenscore van bijvoorbeeld 5 is niet een onvoldoende, maar betekent een ‘gemiddelde’ score die in de normgroep veel voorkomt. Het is dus van belang dat de adviseurs, recruiters en loopbaanbegeleiders weten hoe ze deze scores moeten interpreteren.

De stenscores worden niet gelijk discreet berekend, maar als intervalscore, en alleen discreet gerapporteerd. De procedure die is gehanteerd bij het omzetten van ruwe schaalscores naar stenscores wordt uitgebreid beschreven in Van der Woud (2007), op te vragen bij Ixly.

Toepassing, interpretatie en gebruik

Toepassingsmogelijkheden

De SJT Leiderschap kan in elke situatie ingezet worden waarbij het van belang is om meer te weten te komen over de leiderschapsstijlen en -kwaliteiten van een persoon, zowel in selectie- als in adviessituaties. De vragenlijst kan ingevuld worden door eenieder die deel uitmaakt van de Nederlandse beroepsbevolking. De kandidaat kan door middel van de testresultaten inzicht vergaren of een leiderschapsrol bij hem/haar past, en over de kwaliteiten en verbeterpunten die hij/zij heeft met betrekking tot leiderschapsstijlen- en kwaliteiten. Bovendien geeft het de (potentiële) werkgever informatie over welke leiderschapsstijlen iemand als effectief ziet (en of dit past bij de organisatie) en dus hoe effectief iemand zal zijn in een managementfunctie.

Vereiste kennis voor het gebruik van dit assessment

Als de SJT Leiderschap door een professional gebruikt wordt om anderen te adviseren, dan moet gegarandeerd worden dat:

• Diegene competent, gekwalificeerd, gelicenseerd of geautoriseerd is om psychologische tests te gebruiken voor de verschillende terreinen, zoals assessment, coaching, het geven van trainingen en Human Resource Management, waarin hij/zij werkzaam is. Eén en ander in overeenstemming met de in het land geldende wet- en regelgeving.
• Diegene zal handelen en gebruik maken van het product in overeenstemming met de nationale of internationale beroepsstandaarden en professionele ethiek.
• Diegene zal handelen en gebruik maken van het product in overeenstemming met de nationale of internationale wet- en regelgeving, instructies en richtlijnen en alle andere toepasselijke overheid-of semi-overheidsregels.
• Diegene het product enkel en alleen zal gebruiken voor de organisatie waar hij/zij werkzaam voor is of voor zijn/haar eigen bedrijf, in eigen naam en voor eigen rekening. Het is niet toegestaan het product te verkopen, leasen, kopiëren, geven, te overhandigen of over te dragen op welke manier dan ook aan welk bedrijf of persoon dan ook, behalve voor het gebruik van de producten en diensten als integraal onderdeel van de dienstverlening aan cliënten of voor gebruik binnen de organisatie die de directe werkgever van de professional is.

Interpretatie van de scores

Het rapport van de SJT Leiderschap is opgebouwd uit tekstuele en grafische weergaven van de resultaten. De grafische weergaven zijn gebaseerd op percentages of stenscores (zie Hoofdstuk 3 voor uitleg over de interpretatie hiervan). Het rapport bestaat uit drie delen, gebaseerd op de drie type scores (zie sectie 2.2.2.) die hierin besproken worden:

• Voorkeur voor leiderschapsstijlen: door middel van percentages wordt weergegeven welke leiderschapsstijl de voorkeur heeft van de kandidaat. Grafisch wordt ook weergegeven waar deze voorkeur valt ten opzichte van de normgroep. Daaronder volgt een uitspraak waar de leiderschapsstijl van de kandidaat getypeerd wordt.
• Inzicht in situatiegebonden leiderschap: in dit onderdeel wordt ingegaan op de mate waarin de kandidaat in kon schatten dat in verschillende situaties andere leiderschapsstijlen het meest effectief zijn. Grafisch wordt weergegeven hoe goed de kandidaat hiertoe in staat was. Voor de berekening van deze score worden alle antwoorden meegenomen: hoe dichterbij iemand bij de juiste volgorde van de stijlen zit, hoe beter de kandidaat hier zal scoren.
  Vervolgens wordt een tabel getoond waarin de antwoorden van de kandidaat getoond wordt. Voor het gemak van interpretatie is hier gekozen om alleen de hoogst geschatte leiderschapsstijl per situatie te laten zien, omdat dit de leiderschapsstijl is die de kandidaat naar verwachting zal toepassen. Deze ‘gekozen’ stijlen worden onderverdeeld in de verschillende type situaties. De groen uitgelichte cellen representeren de situaties waarin de kandidaat de hoogste score aan de juiste stijl heeft gegeven.
• Inschatting van de effectiviteit van de reacties: in dit onderdeel wordt per stijl weergegeven hoe goed men de effectiviteit (in vergelijking met een groep experts) van de reacties kon inschatten. Wederom volgt hier een uitspraak over de prestatie van de kandidaat ten opzicht van het gemiddelde van de normgroep.

Geheel tot slot volgen nog een aantal tips voor de ontwikkeling van leiderschapskwaliteiten en hulp bij het in de praktijk brengen van de verschillende stijlen. Een voorbeeldrapport van de SJT Leiderschap is te vinden op de website van Ixly.

Vernieuwing

De SJT is begin 2023 aangepast. Van onze klanten kregen wij te horen dat het oude rapport moeilijk te begrijpen was, of niet zeer overzichtelijk. We ontvangen graag feedback omdat wij nastreven testen en rapporten van goede kwaliteit af te leveren en deze continu te verbeteren. Vandaar is er een intern project gestart om een compleet nieuw rapport te maken, dat eenvoudiger en meer overzichtelijk is. Hierdoor ontstaat ook de mogelijkheid om de berekening van de scores te herzien. Er is voor gekozen minder te rapporteren over substijlen en fouten niet meer op te splitsen in onder- of overschattingen. Dit is veel informatie en voor adviseurs is niet altijd duidelijk wat men ermee kan duiden. Ook is de voorkeur van de kandidaat niet meer genormeerd. Omdat het hier over een voorkeur score gaat, werd met stenscores duidelijk waar de kandidaat zich bevond ten opzichte van andere kandidaten, maar ging de informatie over welke stijl zij zelf de voorkeur aan gaven verloren. De nieuwe grafische weergave laat door middel van percentages zien waar de voorkeur van de kandidaat ligt. Tevens is het vergelijk met andere kandidaten nog steeds mogelijk door een zone die weergeeft waar het gemiddelde van de normgroep zich bevindt.

De volgende verandering is een aanpassing aan de score op het Situationeel Leiderschap. Zoals besproken in hoofdstuk 2.2.2, werd deze score bepaald door in hoeverre de effectiviteit inschattingen van de kandidaat overeenkomen met de type situatie. Het type situatie was gebaseerd op de Situational Judgement Theorie die bij de ontwikkeling van de scenario’s was gebruikt. Vervolgens werd de inzicht in effectiviteit score bepaald door de kandidaat ter vergelijken met het expertpanel (beschreven in hoofdstuk 2). In één scenario wijkte het expertpanel af van wat op theorie verwacht de beste reactie zou zijn. Met de vernieuwing van de SJT Leiderschap is ervoor gekozen het type scenario te baseren op het expert panel. Dit zorgt voor consistentie door het rapport omdat de inzicht scores van een kandidaat ook op het expertoordeel gebaseerd zijn. Na het rapporteren van het Situationeel Leiderschap, wordt er ook een tabel weergegeven met de antwoorden van de kandidaat. Voor een meer overzichtelijke weergave laten wij nu, in plaats van de percentages in het oude rapport, de gekozen stijl per situatie zien. Hierdoor is beter te zien welke situaties een kandidaat mogelijk moeilijker kan inschatten of welke leiderschapsstijl te veel of te weinig gebruikt wordt door de kandidaat. Als laatste aanpassing tonen wij nu het inzicht van de kandidaat grafisch als stenscores, waarbij ook stenscores gegeven worden aan het inschatten van de leiderschapsstijlen individueel.

Software en ondersteuning

De SJT Leiderschap kan op iedere computer met internetverbinding met een werkende browser ingevuld worden. Er hoeft verder geen specifieke software geïnstalleerd te worden. De portal ondersteunt alle veelgebruikte desktop internet browsers, zoals Internet Explorer 7 (IE7) en hoger en recente versies van Chrome, Firefox en Safari onder Windows XP (en hoger), Apple OSX 10.4 of hoger en gangbare Linux versies. Ook is het mogelijk de test te maken op tablets (zoals de iPad) of smartphones. Verder ondersteunen wij geheel open internet verbindingen. In de praktijk zullen niet al te strenge beveiligingsinstellingen of proxies geen probleem zijn. Daarnaast vraagt het systeem niet om installatie van aanvullende programma’s, waardoor ook in niet officieel ondersteunde browsers het assessment vrijwel altijd werkt. Om de vragenlijst in het online systeem te kunnen maken is verbinding met internet nodig. Mocht de internetverbinding tijdens het invullen van de vragenlijst wegvallen, dan ondervindt de kandidaat daar geen hinder van in de zin dat er resultaten verloren gaan. In dergelijke gevallen is het tijdelijk niet mogelijk om naar een volgende pagina te gaan. Op het moment dat de verbinding is hersteld worden de ingevulde antwoorden van de betreffende pagina verstuurd naar de server en is het voor de kandidaat weer mogelijk om verder te gaan met het invullen van de resterende pagina’s.

Voor vragen over de systeemeisen en technische ondersteuning kunnen kandidaten contact opnemen met de helpdesk van Ixly. De helpdesk is iedere werkdag van 08.00 tot 17.30 bereikbaar via helpdesk@ixly.nl of 088-4959000.