header

A&O-items september 2016

ALGORITMES en praktijk (3)

godfried_westen Godfried Westen onderzoekt in een reeks artikelen de populariteit van algoritmes en de ontwikkeling en toepassing daarvan op het vakgebied van de A&O-psycholoog. In deze editie het derde artikel Algoritmes en praktijk.

Algoritmes worden op steeds meer terreinen toegepast. Zo experimenteert men in de advocatuur met een robot. Deze robot (ROSS) kent alle wetten, jurisprudentie en overige juridische informatie. ROSS is zelflerend en kunstmatig intelligent. Dat wil zeggen dat hij informatie kan koppelen en leert van reacties op zijn output. ROSS zal de advocatuur ingrijpend gaan veranderen. In Amerika voorspellen algoritmes civielrechterlijke uitspraken voor 70% juist. Deze algoritmes zijn gebaseerd op analyses van een groot aantal civielrechterlijke uitspraken. Die analyses leggen patronen in de rechterlijke denkwijze bloot en de variabelen die het sterkst samenhangen met uiteindelijke uitspraak.

Onlangs (maart 2016) promoveerde Colin Lee van de Erasmus Universiteit op een algoritme waarmee cv’s van kandidaten voor een functie werden beoordeeld. Het algoritme maakte gebruik van een groot databestand waarin alle cv-informatie was opgenomen, benevens de oordelen van recruiters. Het algoritme voorspelde 70-80 % nauwkeurig de beslissing van de recruiter om een kandidaat op basis van zijn cv uit te nodigen of niet. Overigens: dit zegt weinig tot niets over de geschiktheid van sollicitanten. Op termijn is een realistische verwachting dat deze gegevens aangevuld worden met prestatiebeoordelingen.

Patroonherkenning
Patroonherkenning is een belangrijk onderdeel van artificiële intelligentie en spontaan leren. In zijn boek De wijsheidsparadox (2010) voert Elkhonon Goldberg argumenten aan voor het belang van patroonherkenning voor ‘wijzer handelen’. Ook las ik over de site ravellaw.com die informatie geeft over wat individuele rechters belangrijk vinden en vaak zwaar weegt bij uitspraken. Het gevaar van dergelijke algoritmes is dat de juistheid van de weging en oordeelsvorming geen aandacht krijgt. We laten ons in dat geval leiden door vuistregels en routines zonder de geldigheid ervan kritisch te toetsen.

Een algoritme alleen gebaseerd op beschrijvende informatie en waarbij een oordeel van experts voorspeld wordt zoals in het geval van het algoritme van de promovendus, is risicovol. De beoordelingsfouten van de betrokken recruiters worden namelijk voor een deel gekopieerd door het algoritme. Elke beroepsgroep krijgt ermee te maken: de huisarts, de medisch specialist en ook de assessmentpsycholoog zal geen uitzondering zijn. Hoe ontwerp je als assessmentpsycholoog een algoritme zodanig dat het een verbetering is ten opzichte van de bestaande praktijk?

Wat zijn de stappen om een algoritme te maken ten behoeve van assessment?

  • In een variant ontworpen voor selectie was de eerste stap een voorstel voor koppeling van instrumenten aan competenties. Een intelligentietest, persoonlijkheidsvragenlijsten (2x), een drijfverenscan, een social judgementtest en competenties beoordeeld in een gedragsmatig gesprek. In dit project ging het om 12 goed gedefinieerde en geankerde competenties.
  • Het begint met het lezen van de omschrijving van de subschalen van psychologische instrumenten zoals intelligentietest, persoonlijkheidsvragenlijsten, simulaties et cetera. Ik raad zeker aan om de technische handleidingen van tests te bekijken en te gebruiken om schalen en eventuele hogere orde factoren te koppelen aan competenties.
  • Volgende stap is een bespreking van het voorstel met collega-adviseurs. Daarbij werd per instrument en per schaalscore bezien in hoeverre die relevant werd geacht voor de competentie(s).
  • Na aanpassing werd het algoritme vervolgens voorgelegd aan een tweetal uitvoerende adviseurs met het verzoek om het algoritme kritisch te toetsen. Ook dat leidde tot aanpassingen. In die fase is consensus tussen experts het belangrijkste criterium. Het is van belang dat men steeds de omschrijving van de schaal of de factor en de te beoordelen competentie erbij pakt.
  • Als de overeenstemming tussen de adviseurs/ experts laag blijft - ook na kritische lezing van de omschrijving van de subschaal en eventueel ook de items van de subschaal -  geldt: bij twijfel niet oversteken.
  • Een speciaal aandachtspunt is alineariteit van schalen. In ons hoofd zit vaak lineariteit ingebakken: afhankelijk van de schaal is meer beter of minder beter. Maar voor sommige schalen geldt dat gemiddelde scores juist positief zijn. Bij een handmatig door een adviseur uit te voeren algoritme wordt het te complex om niet-lineaire schalen mee te wegen. Zolang het algoritme niet door een computer uitgevoerd wordt, verdient het de voorkeur alineaire schalen niet op te nemen in het algoritme. Een geautomatiseerd algoritme kan natuurlijk wel niet-lineaire schalen - in alle verschijningsvormen - eenvoudig meewegen.
  • Door alleen instrumenten te gebruiken en methoden toe te passen die goed getoetst zijn aan wetenschappelijke inzichten en criteria, is de kans groot dat het algoritme ook in wetenschappelijk opzicht de toets der kritiek kan doorstaan. Voor psychologische instrumenten hebben wij de beschikking over de COTAN-beoordeling die het mogelijk maakt de betere instrumenten te kiezen.

Voortdurend verbeteren
Door te werken volgens de hiervoor beschreven stappen, krijgt men het beste van twee werelden: de informatie over de instrumenten aangevuld met ervaringskennis. Een groot voordeel van de hiervoor beschreven aanpak is dat ervaringskennis op een systematische wijze meegenomen wordt. Vuistregels kunnen geëxpliciteerd en tegen het licht gehouden worden. Ervaringskennis wordt zo gedeeld en daarmee ook in zekere mate collegiaal getoetst.

Evaluatie van toepassing van het algoritme te verbeteren onder assessmentpsychologen kan nuttig zijn voor verbetering van het algoritme. Nog belangrijker zijn echter de statistische analyses van beschrijvende databestanden, zoals ik in mijn vorige artikel in A&O-items heb aangegeven. Het allerbelangrijkste is echter objectieve informatie over de geldigheid van de uitspraken. Dat is het onderwerp van de volgende column.


Literatuur

  • Goldberg, E. (2010). De wijsheidsparadox – hoe het verstand groeit terwijl de hersenen ouder worden. Amsterdam: Wereldbibliotheek.
  • Lee, C.I.S.G. (2016). Big Data in Management Research (No. EPS-2016-365-ORG). ERIM Ph.D. Series Research in Management. Erasmus University Rotterdam. Retrieved from http://hdl.handle.net/1765/79818

Eerder verschenen


beeldmerk_registerpsycholoog

Godfried Westen, Registerpsycholoog NIP/ Arbeid & Organisatie en eigenaar van adviesbureau Doipte.

Reageren? Mail naar A&O-items.