algemeen
nip
       

NIEUWSBRIEF ARBEIDS- & ORGANISATIEPSYCHOLOGIE
Jaargang 14 - nr. 3 - juni 2016


ALGORITMES en beslisregels (2)

godfried_westen Godfried Westen onderzoekt in een reeks artikelen de populariteit van algoritmes en de ontwikkeling en toepassing daarvan op het vakgebied van de A&O-psycholoog. In deze juni-editie het tweede artikel Algoritmes en beslisregels.

Ik heb gewerkt aan constructie van verschillende psychologische diensten waarbij via algoritmes bepaalde geschiktheidsuitspraken automatisch gerapporteerd worden. Ik zie me zelf overigens niet als een groot expert op het vlak van algoritmes: ik put hoofdzakelijk uit - in mijn ogen toch nog beperkte - praktijkervaring. Voor de duidelijkheid: dit is geen valse bescheidenheid.

Zo is het aantal tests waarmee gerekend wordt vaak nog klein, twee: een intelligentietest en een Big V. Ik verwacht dat er snel nieuwe varianten bijkomen waarbij resultaten van veel meer dan twee instrumenten via een algoritme omgewerkt worden naar uitspraken over personen. Ik denk dan aan de uitkomsten van de betere instrumenten, zoals social judgement tests,  gecomputeriseerde simulaties, betrouwbare drijfverentest en persoonlijkheidsvragenlijsten. Alles door de COTAN minimaal voldoende beoordeeld. Uitkomsten worden dan met behulp van algoritmes omgewerkt tot een betrouwbaar en meer valide uitspraak over kwaliteiten van mensen. Daarbij onderscheid ik twee onderdelen in het algoritme:

  1. Structurering en uniformering van het oordeelvormingsproces
    Per te beoordelen aspect, in mijn geval competenties, worden de detailbronnen aangegeven die relevant zijn. Dit gebeurt dan vooral op basis van omschrijvingen van schalen van bijvoorbeeld een persoonlijkheidsvragenlijst, de score op een competentie zoals verkregen in een gedragsgericht gesprek et cetera. Het resultaat wordt besproken met een of twee ervaren collega’s en consensus weegt mee. Een meer geavanceerde manier is gebaseerd op data-analyse. Daarbij neem je bijvoorbeeld correlaties tussen schalen als vertrekpunt. Betekenisvolle (significante) positieve of negatieve correlaties indiceren samenhang, met andere woorden ‘een patroon’ of in de woorden van Denny Borsboom (2016) ‘een netwerk’. Ik vermoed dat correlaties een steviger bodem zijn voor een algoritme dan consensus tussen psychologen.

  2. Beslisregels
    Een beslisregel uniformeert het afwegingsproces. Dat kan bijvoorbeeld in de vorm van een minimum gemiddelde voor een ‘voldoende’ score op een competentie. De oordelen die in de vorige stap vastgesteld zijn voor de relevante competenties worden met behulp van de beslisregel op een geüniformeerde manier vertaald naar het advies. Dat kan de kans op succes in een specifieke functie betreffen maar ook de mate waarin een persoon beschikt over voldoende 'duurzame inzetbaarheid'.

Uit veel onderzoek is gebleken dat het weinig toevoegt om gewicht toe te kennen aan schalen of competenties. Samengenomen corrigeren algoritmes op deze manier een menselijk manco: menselijke oordelen op basis van complexe samengestelde informatie zijn met aan waarschijnlijkheid grenzende zekerheid inconsistent.

Voordelen, nadelen en risico's

Voordelen

  1. Ze maken het mogelijk om wetenschappelijke evidence based inzichten eenduidig te verwerken, zoals de voorspellende waarde van intelligentietests en de Big V-factor gewetensvolheid.
  2. Ze vergroten de kans dat verschillende professionals een (soort)gelijk advies geven in vergelijkbare situaties; de beoordelaarsbetrouwbaarheid neemt toe.
  3. Ze maken het gehele oordeelvormingsproces transparant en dus beter ‘uitlegbaar’.
  4. Bij het ontwerp van het algoritme wordt begripsmatige overlap tussen competenties heel duidelijk geïllustreerd. Namelijk in overeenkomst in subschalen van persoonlijkheids- of motivatievragenlijsten die relevant zijn voor een competentie.
  5. Door de grotere transparantie van het oordeelvormings- en afwegingsproces kan er meer inzicht ontstaan in de hefbomen, de aangrijpingspunten voor verbetering en ontwikkeling. Transparantie en het afleggen van verantwoording voor de keuzes die nu eenmaal in elk algoritme gemaakt moeten worden, zijn essentieel.

Nadelen en risico’s
De eis van transparantie en openbaarheid - ten eerste dat er gebruikgemaakt wordt van een algoritme en hoe het werkt - is essentieel. Anders zal het misbruik zeker nog meer toenemen: gegevens verzameld voor het ene doel, worden nu al vaak gebruikt zonder expliciete toestemming - wat niet hetzelfde is als een meldingsplicht - voor een ander heimelijk doel. Er zijn ook nog andere risico's en nadelen: 

  1. Algoritmes kunnen gebruikt worden om de eigen verantwoordelijkheid te ontlopen als het fout gaat. De adviseur zegt dan bijvoorbeeld: ‘Ik volgde de uitkomst van het algoritme’. Dit is alleen te voorkomen door de professional verantwoordelijk te blijven houden voor professionele beantwoording van de oorspronkelijke vraag en juist gebruik. Zo kan te instrumenteel handelen (zonder aandacht voor ongerijmdheden, voor afwijkende situaties, etc.) beter vermeden worden.
  2. Algoritmes kunnen een soort ‘functionele gefixeerdheid’ in de hand werken. Voorbeeld: als je denkt dat voor het losdraaien van een schroef een schroevendraaier nodig is, vergeet je dus dat het ook kan met een muntje. Om deze gefixeerdheid te voorkomen, moeten algoritmes periodiek - 1 x per 6 maanden - kritisch bezien worden op welke praktijksituaties ze niet goed ‘passen’, er mogelijk teveel over ‘over 1 kam geschoren wordt’.
  3. Algoritmes gaan altijd uit van een minder complexe werkelijkheid dan de echte werkelijkheid. En dat is natuurlijk een bron van fouten. Algoritmes zijn alleen van toepassing voor een bepaalde specifieke vraagstelling. Om dat te blijven zien is voortdurend kritische beschouwing nodig voor ‘afwijkingen’, voor gevallen waarin het algoritme onvoldoende van toepassing is.

Ook is een nadeel dat de professional weinig ruimte ervaart voor een zelfstandige afweging en een eigen aanpak. Dat kan de motivatie om te werken met algoritmes en juiste toepassing ervan verlagen. En vormt daarmee mogelijk ook de verklaring voor de beperkte populariteit van algoritmes. Ik heb een aantal collega-psychologen gevraagd hoe ze hun rol zien bij rapportage met behulp van een algoritme. In de laatste bijdrage in deze serie zal ik daar nader op in gaan. Ik neem dan ook ervaringen mee van toepassing van een algoritme.

Literatuur
Borsboom, Denny (2016). Bodemschatten. Wat grondslagenonderzoek de psychologie te bieden heeft. De Psycholoog, 51(4), 11-20.

Zie ook
ALGORITMES en subjectieve oordelen (1)

Godfried Westen, Registerpsycholoog NIP/ Arbeid & Organisatie en eigenaar van adviesbureau Doipte.

Reageren? Mail naar A&O-items.