Column Jasper van Kuijk

Als het algoritme seksistisch is: leg dat maar eens uit

Denkfouten in het hedendaags ontwerp gefileerd door innovatie-expert (en cabaretier) Jasper van Kuijk. Deze week: beslisalgoritme.

Een man en een vrouw vragen beiden de nieuwe digitale Apple Card aan. Zij heeft een hogere kredietscore dan hij, ze zijn getrouwd in gemeenschap van goederen en doen gezamenlijk belastingaangifte. Toch krijgt zij een twintig keer lagere kaartlimiet dan hij. Toen dit gebeurde bij Jamie Hansson, ging haar man, software-ondernemer David Heinemeier Hansson, los op Twitter. Meer vrouwen bleken vergelijkbare ervaringen te hebben en de financiële toezichthouder van de staat New York stelt nu een onderzoek in.

Merkwaardig genoeg kon Apple’s helpdesk niet uitleggen waarom Jamie Hansson een lagere kredietlimiet kreeg. Twee opties: of Apple weet zelf niet hoe het betreffende beslisalgoritme werkt, of Apple wil niet dat klanten dat weten.

Waar fysieke producten aanwijzingen bevatten hoe ze werken, is software vaak een ‘black box’. Bij een fiets nodigen bijvoorbeeld de trappers uit om je voeten erop te zetten en het is zichtbaar dat je daarmee het achterwiel in beweging brengt. Bij software daarentegen zijn er geen fysieke componenten waaruit je af kunt leiden hoe het systeem werkt en moet uitleg daarover aan de gebruiker bewust worden ontworpen.

Beeld de Volkskrant infographics/Thijs Balder

Dat wordt alleen maar relevanter nu steeds meer beslissingen worden geautomatiseerd, bij bedrijven, maar ook bij overheidsorganisaties. Overigens is dat automatiseren iets minder radicaal dan het klinkt. Vroeger voelde het misschien alsof de bankmedewerker de hoogte van je hypotheek bepaalde door een cavia los te laten in zo’n doolhof met drie poortjes aan het eind, maar die had ook gewoon een rekenmodel. De bankmedewerker dus, niet de cavia. Maar een van de gevaren die op de loer ligt als je zo’n rekenmodel automatiseert is dat mensen binnen een organisatie niet meer snappen hoe beslissingen tot stand komen. Het beruchte ‘computer says no’.

Computerwetenschappers stellen daarom dat klanten of burgers bij geautomatiseerde beslissingen recht hebben op uitleg. Niet alleen de uitslag moet worden gecommuniceerd, maar ook welke variabelen er zijn meegenomen bij het beoordelen van een sollicitatie, hypotheekaanvraag of uitkeringsaanvraag. Zodat je je ertegen kunt verweren.

En waar dit bij door mensen geprogrammeerde software al van belang is, wordt het bij systemen die draaien op kunstmatige intelligentie (AI) nog veel belangrijker. Want bij zelflerende systemen worden de beslisregels niet voorgeprogrammeerd, maar door het systeem zelf ontwikkeld. Dan is het van groot belang dat het systeem duidelijk uitlegt wat het doet en waarom. Uitlegbare kunstmatige intelligentie wordt dat genoemd.

Vroeger moesten dingen aan de mens duidelijk maken hoe de mens met het ding moest omgaan. Met de opkomst van AI wordt het steeds belangrijker dat dingen uitleggen hoe zij met mensen omgaan.

Al is die uitleg slechts een middel. Een middel om ontspoorde besluitvorming zichtbaar te maken (lezen we mee, afdeling fraudebestrijding van de Belastingdienst?). Het uiteindelijke doel is te voorkomen dat we met onze beslisprocessen bestaande en zelfs nieuwe vooroordelen automatiseren.

Jasper van Kuijk op Twitter: @jaspervankuijk.

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2019 DPG Media B.V. - alle rechten voorbehouden