De mythe van de witte jas

Tristan Lavender
De opmars van online assessment doet menig ambachtelijk vakman in de pen klimmen. De oorsprong van alle tumult: graaft de psycholoog niet zijn eigen graf door online tests te ontwikkelen met geautomatiseerde rapportagesystemen? Ja, zo vreest Jasper Stuivenberg. Niet omdat de psycholoog zichzelf overbodig zou maken, maar omdat de opkomst van online assessment 'het draagvlak en krediet van de assessmentpsychologie in zijn algemeenheid ondermijnt'. Voor genuanceerde uitspraken over individuen zou geen ruimte meer zijn, met alle narigheid van dien.

Ik onderschrijf de mening van Stuivenberg dat veel van de bestaande (online) tests nog niet volledig recht doen aan de complexiteit van de menselijke persoonlijkheid. Ik verbind hier echter een andere conclusie aan. Waar Stuivenberg concludeert dat het ervaringsoordeel van de psycholoog onmisbaar is, pleit ik ervoor dat psychologen hun instrumentarium aanscherpen zodat er juist minder vertrouwd hoeft te worden op hun intuïtieve en feilbare oordelen. Dat betekent geenszins dat de expertise van de psycholoog uit het beoordelingsproces verwijderd wordt, zoals Stuivenberg suggereert. Die expertise blijft net zo belangrijk, maar zij wordt geformaliseerd in geautomatiseerde testsystemen en daarmee ontdaan van subjectieve grillen.

Een oude controverse opnieuw actueel
De huidige controverse is niet nieuw. De Amerikaanse psycholoog Paul Meehl haalde zich in 1954 menig verontwaardigde reactie op de hals met de publicatie van zijn boek Clinical versus statistical prediction. Daarin stelde hij dat sommige klinische voorspellingen beter volgens een statistische formule kunnen worden gedaan dan door een ervaren clinicus. Meehl baseerde zich op een groot aantal empirische studies waarin psychologen en psychiaters op basis van een persoonlijkheidstest een uitspraak moesten doen over de psychische toestand van een persoon. Hun uitspraken werden vervolgens afgezet tegen een objectief criterium met betrekking tot de toestand van de persoon. Telkens bleek een simpele lineaire formule een even goede of zelfs betere voorspelling te geven dan het intuïtieve oordeel van de clinicus.

Toevalstreffers? Onderzoek van de laatste vijftig jaar bevestigt: een actuariële voorspelling op basis van vaste beslisregels snijdt meer hout dan een ervaringsoordeel. Niet alleen binnen het klinische domein, maar ook in een werkgerelateerde context (Grove & Lloyd, 2006).

Het is daarom verwonderlijk dat er nog met zo veel vertrouwen over het eigen deskundige oordeel wordt geschreven, terwijl ons toch op zijn minst enige bescheidenheid past. Psychologen zijn uitstekend in staat om bloot te leggen aan welke redeneer- en beoordelingsfouten de mens zich kan bezondigen, maar denken daar zelf vaak immuun voor te zijn. Het wordt tijd dat we niet alleen onszelf maar ook onze wetenschap serieus gaan nemen.

Een ondoorzichtige jungle
Ik pleit er daarom voor om uit te gaan van een gedeelde, wetenschappelijke kennisondergrond die geformaliseerd en geautomatiseerd kan worden in een online test- en rapportagesysteem.

Dan moet die kennisondergrond er natuurlijk wel zijn. Helaas laat die ondergrond op dit moment nog te wensen over. Vraag drie assessmentpsychologen hoe ‘ontwikkelbaar’ zij bepaalde persoonlijkheidskenmerken achten, en de kans is groot dat je drie verschillende antwoorden krijgt. Dat geeft te denken over de status van onze wetenschap. Welke breed erkende ankerpunten hebben wij eigenlijk in onze beroepsuitoefening, naast bijvoorbeeld de Big Five? Guus Schreiber, hoogleraar intelligente informatiesystemen aan de Vrije Universiteit Amsterdam, spreekt in een analyse van onze medische zusterwetenschap van 'een ondoorzichtige jungle met vele lacunes en vele tegenstrijdigheden'. Is die kwalificatie niet net zo goed van toepassing op de psychologie?

Kennistechnologie, in de vorm van medische expertsystemen, kan volgens Schreiber een heilzaam effect hebben op de geneeskunde. Een wetenschap die haar kennis wil automatiseren in zelfdenkende computersystemen wordt namelijk gedwongen om eerst onderzoek te doen naar de aard en structuur van die kennis. Als bouwer van zo’n computersysteem moet je immers weten met welke beslisregels je het systeem gaat uitrusten. Gaten in de beschikbare kennis worden aldus blootgelegd en tegenstrijdigheden kunnen niet langer genegeerd worden.

Heilzaam voor de psychologie
Van online assessment kan daardoor een heilzame werking uitgaan op de psychologie. Online assessment dwingt ons om onze expertise te expliciteren en om de lacunes en ongerijmdheden in die expertise onder ogen te zien.

Als we mede op basis van iemands persoonlijkheid voorspellingen doen over het toekomstige functioneren van die persoon in een specifieke baan binnen een specifieke organisatie, op welke empirisch aangetoonde verbanden baseren we ons dan eigenlijk? Luidt het antwoord 'dat weten we eigenlijk niet zo goed', dan stuiten we op een praktische drempel in onze testontwikkeling. Want met welke beslisregels voeden we ons online rapportagesysteem dan? Deze praktische drempel vormt tegelijkertijd een duidelijk signaal dat onze wetenschappelijke kennis op dit punt nog tekort schiet, of in ieder geval niet eenduidig is. Online assessment noopt ons tot een herbezinning op onze wetenschap en spoort ons aan tot nader empirisch onderzoek. Het ideale resultaat is dat we als discipline gerichte stappen vooruit zetten.

Een bijkomend voordeel van online assessment is dat de psychologie er transparanter mee wordt. De teksten in een automatisch gegenereerd testrapport zijn gebaseerd op expliciete beslisregels, die desgewenst controleerbaar zijn. De kennis die in het systeem besloten ligt kan beperkt of betwistbaar zijn, maar het systeem is in ieder geval volledig expliciet in hoe het ‘denkt’. Dat kan niet gezegd worden van de psycholoog die mede op basis van impliciete criteria en vuistregels tot zijn oordeel komt.

Schreiber schrijft in dit verband: 'Een van de grootste problemen van onze huidige gezondheidszorg is dat het professionele gedrag van artsen niet of nauwelijks inzichtelijk is voor buitenstaanders. Daardoor is vrijwel geen correctie van buitenaf mogelijk. De mythe van de witte jas mag dan wel wat van haar glans verloren hebben, zij is er nog steeds. Expertsystemen kunnen een belangrijke bijdrage leveren aan de ontmythologisering van de medische wetenschap door inzichtelijk te maken hoe de geneeskunde bedreven wordt.' Weer dringt de vergelijking met de psychologie zich op.

Herbezinning
Kortom, ik deel de mening dat de huidige generatie (online) tests nog niet in alle gevallen de zo begeerde nuance kan brengen. Ik heb in dit artikel bovendien niet de pretentie gehad om een pasklaar antwoord te hebben op alle vragen die dat gemis binnen de beroepspraktijk oproept. Wel heb ik duidelijk willen maken dat de opmars van online assessment niet alleen vanuit praktisch, maar ook vanuit wetenschapstheoretisch oogpunt grote voordelen biedt. Online assessment en andere vormen van kennistechnologie kunnen bijdragen aan een meer uitgekristalliseerde, inzichtelijke en transparante psychologie.

Dat de uitslagen van online tests soms meer nuancering behoeven, betekent niet dat we dan maar onze toevlucht moeten blijven nemen tot het intuïtieve oordeel van de Psycholoog. We kunnen die nuancering óók – en beter, want minder subjectief – bewerkstelligen door de wetenschappelijke kennisondergrond en reikwijdte van ons instrumentarium te versterken. Dat vraagt om een grondige herbezinning op ons vakgebied.

Het wordt tijd dat we onze wetenschap weer serieus gaan nemen en niet langer vertrouwen op de status van onze witte jas.

Tristan Lavender is psycholoog bij HFMtalentindex.

Literatuur
Grove, W.M., & Lloyd, M. (2006). Meehl’s contribution to clinical versus statistical prediction. Journal of Abnormal Psychology, 115(2), 192-194.

Meehl, P.E. (1954). Clinical Versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence. Minneapolis: University of Minnesota Press.

Schreiber, A. Th. (ongedateerde internetpublicatie). Computers: heelmeesters van de toekomst? http://www.cs.vu.nl/~guus/papers/Schreiber86a.pdf

Reageren? Mail naar A&O-items.