Opinie

Opinie: Even opletten, als we bij de overheid algoritmen zonder discriminatie willen

In het debat over discriminerende algoritmen bij overheidsinstellingen wordt geschermd met grote begrippen en halve technische waarheden. Voor een eerlijke digitale toekomst, moet ook worden gelet op praktische haalbaarheid van oplossingen.

Getroffen ouders op de publieke tribune van de Tweede Kamer tijdens een debat over de toeslagenaffaire. Beeld ANP
Getroffen ouders op de publieke tribune van de Tweede Kamer tijdens een debat over de toeslagenaffaire.Beeld ANP

In het artikel Stop algoritmen van overheid die tot discriminatie en uitsluiting leiden (O &D, 15 juli) waarschuwt Nani Jansen Reventlow dat de Wet Gegevensverwerking door Samenwerkingsverbanden (ook wel Super-SyRI genoemd) kan leiden tot nieuwe toeslagenaffaires.

De mogelijkheid dat publieke en private partijen persoonsgegevens uitwisselen en gebruikmaken van vooringenomen algoritmen, is inderdaad een nachtmerriescenario. Maar de analyse in het artikel hoe algoritmen leiden tot institutioneel racisme en hoe dit bestreden moet worden, is onvolledig en in tegenspraak met zichzelf.

Op de rem

De conclusie van het artikel luidt ‘dat we, tot goed is uitgezocht hoe we de disproportioneel negatieve impact van algoritmen op bepaalde groepen kunnen voorkomen, onze drang tot ‘vooruitgang’ moeten intomen’. Oftewel, meer onderzoek naar de werking van algoritmische systemen is nodig. Tot die tijd moet de voet op de rem van de in sneltreinvaart digitaliserende overheid om fundamentele rechten van burgers te beschermen.

Vooringenomenheid

Het onderzoeken van vooringenomenheid van algoritmen ten aanzien van bepaalde groepen staat echter haaks op een andere oplossingsrichting die in het artikel wordt genoemd om ethische algoritmen te realiseren. Namelijk het wetsvoorstel waarvan de auteur betreurt dat het door de Tweede Kamer is afgewezen. Het wetsvoorstel pleitte voor een algemeen verbod op het gebruik van de variabelen nationaliteit of etniciteit bij algoritmische risicoprofilering.

Maar ‘bij een algemeen verbod is gericht zoeken naar risicogroepen met betrekking tot slachtofferschap niet meer mogelijk’, schreef de minister van Binnenlandse Zaken in reactie op het wetsvoorstel. Kortom, het pleidooi voor onderzoek naar welke nationaliteiten en etniciteiten systematisch benadeeld worden door algoritmen, staat op gespannen voet met het pleidooi voor een algemeen verbod op het gebruik van nationaliteit en etniciteit als variabelen in algoritmische systemen.

In haar argumentatie eet de auteur van twee walletjes door belangrijke technische implicaties van gepresenteerde oplossingsrichtingen onbenoemd te laten. Daarnaast ontbreekt in het artikel een volledig beeld van beleidsmaatregelen die wel door de overheid zijn genomen om discriminerende algoritmen in de toekomst te voorkomen.

Motie-Klaver: gulden middenweg

Neem de motie-Klaver, die eind 2020 door de Tweede Kamer werd aangenomen. Deze motie ‘verzoekt de regering, het gebruik van nationaliteit, etniciteit en geboorteplaats als datavariabele in alle risicomodellen, -profielen, -systemen, -selectie en zwarte lijsten die binnen het overheidswezen gebruikt worden volledig uit te sluiten’. Tenzij er een objectieve rechtvaardiging is om de variabelen wel te gebruiken. Bijvoorbeeld om de vooringenomenheid van algoritmen mee te onderzoeken.

Hiermee is een gulden middenweg tussen de twee wensen van mevrouw Jansen Reventlow (enerzijds de variabelen nationaliteit en etniciteit afschaffen, anderzijds slachtofferschap gebaseerd op deze variabelen meten) al werkelijkheid. Dat de motie-Klaver in het artikel niet wordt genoemd, geeft een vertekend beeld van de actie die de Nederlandse overheid neemt om institutioneel racisme uit algoritmische systemen te weren.

Vervolgens begeeft het artikel zich vanuit statistisch perspectief op glad ijs door zowel het gebruik van beschermde variabelen (zoals etniciteit en nationaliteit) als proxyvariabelen (variabelen zoals postcode en geletterdheid die meelopen met nationaliteit of etniciteit) aan te vallen. Waarom? Omdat vrijwel alle variabelen in een algoritme in zekere mate gecorreleerd zijn aan beschermde variabelen en daarmee functioneren als proxyvariabelen.

Ethische-statistische patstelling

Variabelen zoals leeftijd, geslacht, inkomen en opleidingsniveau zijn in zekere mate allemaal een proxyvariabele voor nationaliteit of etniciteit. Het willen afschaffen van zowel beschermde- als proxyvariabelen heeft als gevolg dat geen enkele variabele meer in een algoritme gebruikt kan worden. Hoe deze ethische-statistische patstelling in de praktijk op een verantwoorde manier doorbroken kan worden, wordt in het artikel niet besproken.

Gegeven dit complexe vraagstuk rond het gebruik van beschermde variabelen in algoritmen, hoe kunnen ethische algoritmen dan wél worden gerealiseerd? Onderzoekers naar fair machine learning adviseren om beschermde variabelen juist in algoritmische systemen te blijven gebruiken.

Hoogleraar Big Data Ecosystemen Sander Klous schreef in Trouw dat door ‘het weglaten van discriminerende factoren als etniciteit, er minder duidelijk zicht is op de [vooringenomenheid] van algoritmen. De oplossing is niet het weglaten van deze indicatoren, maar het inzetten op de juiste manier’.

Kortom, in de strijd tegen institutioneel racisme vindt de mevrouw Jansen Reventlow mij volledig aan haar zijde, maar door selectief te schermen met onvolledige en tegenstrijdige oplossingsrichtingen komen we niet verder. Om ethische algoritmen te realiseren, moet een precair evenwicht worden gevonden tussen het rechtmatig en onrechtmatig gebruik van beschermde variabelen. Laten we samen een inhoudelijk debat blijven voeren om deze balans te vinden.

Jurriaan Parie is onafhankelijk data-onderzoeker, gespecialiseerd in het onderzoek naar ethische algoritmen.

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden