header

A&O-items november 2016

ALGORITMES en validiteit (4)

godfried_westen Godfried Westen onderzoekt in een reeks artikelen de populariteit van algoritmes en de ontwikkeling en toepassing daarvan op het vakgebied van de A&O-psycholoog. In deze editie het vierde artikel Algoritmes en validiteit.

De oordelen van rechters worden altijd getoetst door bezwaar- en beroepsprocedures. Desalniettemin blijken ze soms in spraakmakende gevallen onjuist. Voor assessmentpsychologen is het minder gebruikelijk om de oordelen te ‘toetsen’ aan de praktijk. Eigenlijk raar.

Geldigheid
In de wereld van psychotherapeuten is in de afgelopen decennia veel geïnvesteerd in het achterhalen van de werkzaamheid van de toegepaste therapie. Hiervoor is een efficiënte benadering bedacht: routine outcome monitoring, ROM. Door middel van onder andere ROM kan de werkzaamheid van specifieke therapieën als cognitieve gedragstherapie (CGt) aangetoond worden. Dit is waardevolle informatie. Deze aanpak maakt meer evidence based werken mogelijk in een wereld waar werken volgens de strikte regels der wetenschappelijke kunst – randomized clinical trial – vaak onhaalbaar is.

A&O-psychologen houden bij de keuze van instrumenten rekening met psychometrisch onderzoek en wetenschappelijke toetsing.  Alhoewel ik mijn hand er niet voor in het vuur steek dat psychologen een in psychometrisch opzicht ondeugdelijk instrument als MBTI (Myers-Briggs Type Indicator) niet toch gebruiken. Ik ben dan ook pleitbezorger van het verhogen van het aandeel statistiek in de studie Psychologie.

De validiteit voor de betere capaciteitentests is voldoende aangetoond (zij het verre van perfect). Maar voor het merendeel van de persoonlijkheidsinstrumenten is de validiteit niet of ontoereikend aangetoond. En hoe goed een algoritme ook ontworpen is, als de gebruikte instrumenten niet voldoende geldigheid bezitten, dan blijft de geldigheid van een oordeel gebaseerd op een algoritme ongewis. Natuurlijk kan men voor instrumenten de COTAN-beoordeling als vertrekpunt nemen. De sleutel naar verbetering van de validiteit van adviezen ligt echter in informatie over de geldigheid ervan in de praktijk.

ROM en de A&O-psychologie
Kahneman (2012) maakt onderscheid tussen professionals, zoals bankiers en ook psychologen, die geen goede informatie krijgen over de geldigheid van hun voorspellingen en adviezen, en professionals die die informatie wel krijgen, zoals een brandweerman of een chirurg. De eerstgenoemde groep leert niet van ervaring, de tweede wel. De effectiviteit van de eerstgenoemde groep hangt dan ook niet samen met ervaring of gebruikte methode, maar met generieke competenties als aandacht, relatiegerichtheid, overtuigingskracht, optimisme (gespeeld dan wel echt) en zelfvertrouwen.

Ik ben naarstig op zoek naar slimme, routinematige en goedkope manieren om vast te stellen hoe (selectie)adviezen uitpakken in de praktijk. Het effect van restriction of range is hierbij niet te vermijden (al kan daarvoor gecorrigeerd worden, dat is wel een serieuze beperking). Ik vermoed dat ROM een antwoord kan zijn op die zoektocht. Ik ben benieuwd of ROM al toegepast wordt in ons werkveld. Kortom: heeft iemand ervaring met ROM bij assessmentvraagstellingen?

Pilot met effectmeting
In de zomerperiode heb ik een stagiair (afstuderend psycholoog/ methodoloog) begeleid bij het uitvoeren van een pilot met effectmeting. Daarbij deden zich veel praktische problemen voor, bijvoorbeeld dat managers nog onvoldoende zicht hadden op het functioneren van aangestelde medewerkers. Maar de pilot heeft wel de bruikbaarheid aangetoond van een smartphone applicatie (Qualtrics) bij het uitvoeren van een effectmeting onder managers en hun medewerkers. Ook zijn veel andere potentiële makkelijk beschikbare bronnen voor effectmeting benoemd, met name uit het personeelsinformatiesysteem (ziekteverzuim, ontslag, promotie, etc.). Voor wie meer wil weten over de pilot en effectmeting: benader me gerust.

Een heel voor de hand liggende manier om de geldigheid van uitspraken met behulp van een algoritme op een goed niveau te krijgen, bleek uit analyses van een tweede stagiair: meer checks op zorgvuldige uitvoering van het algoritme. Er werden namelijk veel slordigheidsfouten gemaakt, zoals het opvoeren van verkeerde schaalwaardes, foutieve berekening van gemiddeldes et cetera.  Dat is eenvoudig te voorkomen door het algoritme te automatiseren. Technisch is dat geen enkele probleem. En de kosten verdienen zich snel terug door vermindering van de tijd die een psycholoog nodig heeft voor het algoritmisch beoordelen.
In het volgende artikel ga ik in op de rol van de A&O-psycholoog in de nieuwe door algoritmes overheerste werkelijkheid.


Literatuur

  • Kahneman, D. (2012). Thinking, Fast and Slow. Amsterdam: Penguin Books.

Eerder verschenen


beeldmerk_registerpsycholoog

Godfried Westen, Registerpsycholoog NIP/ Arbeid & Organisatie en eigenaar van adviesbureau Doipte.

Reageren? Mail naar A&O-items.