Het weren van foute algoritmes: een lovenswaardig en ogenschijnlijk onuitvoerbaar streven

Control-Alt-Delete

Bard van de Weijer bespreekt de logica en onlogica van technologica. Deze week: foute algoritmes.

Bard van de Weijer Foto Cigdem Yuksel

New York wil foute algoritmes gaan weren. Software die groepen burgers discrimineert of buitensluit, mag niet langer draaien op de stadscomputers. Een lovenswaardig en ogenschijnlijk onuitvoerbaar streven. Het weren van slechte algoritmes is alsof McDonald's de strijd aanbindt met calorieën en president Trump zegt dat de Amerikaanse samenleving best eens baat kan hebben bij nivellering.

De aanleiding voor New Yorks besluit is een softwarepakket dat werd gebruikt voor forensisch dna-onderzoek. Deze Forensic Statistical Tool hanteerde onder meer te grote foutmarges, waardoor nu mogelijk duizenden misdaden opnieuw onderzocht moeten worden.

Een werkgroep gaat bekijken welke algoritmes New York gebruikt bij besluiten door ambtenaren en of daarbij sprake is van discriminatie op basis van geslacht, geloof, ras, seksuele voorkeur, of een mogelijke voorliefde voor de muziek van Famke Louise. Ook wil de stad de broncode inzien van software die ze gebruikt bij het nemen van zulke beslissingen.

Het is, schrijft het journalistieke platform ProPublica dat de zaak aan het rollen bracht, van het grootste belang te onderzoeken of software die aan de basis ligt van beslissingen over het leven van burgers, data op een wetenschappelijk verantwoorde wijze verwerkt.

Dus is het goed dat New York gaat controleren of de spulletjes uit Silicon Valley een beetje fatsoenlijk gemaakt zijn. De vraag is alleen of het gaat lukken. Het blijkt vaak een kwestie van toeval als wordt vastgesteld dat software 'verkeerde' besluiten neemt. Kijk maar hoe lang het heeft geduurd voor de sjoemelsoftware van Volkswagen aan het licht kwam en hoe lastig het blijkt om andere verdachte dieselautofabrikanten aan de schandpaal genageld te krijgen.

Daarbij komt dat steeds meer software die besluitvorming ondersteunt, is gebaseerd op neurale netwerken. Dit soort zelflerende programmatuur is geneigd menselijke onhebbelijkheden over te nemen, blijkt uit wetenschappelijke studies. Het aardigste voorbeeld is de kletsrobot die Microsoft enkele jaren geleden los liet op Twitter en die binnen een etmaal nazipropaganda begon te verkondigen.

Hoe dit soort netwerken leren, is weliswaar bekend, maar we weten niet wat er 'van binnen' gebeurt, dus hoe kunstmatige intelligentie precies tot zijn afwegingen komt. De broncode kan hierdoor niet of nauwelijks worden bestudeerd. Er kan slechts proefondervindelijk worden vastgesteld of de beslissingen een beetje koosjer zijn.

Dat New York niettemin greep probeert te krijgen op zijn elektrische ambtenarenapparaat, is lovenswaardig en belangrijk. Alleen zullen betere methoden ontwikkeld moeten worden om efficiënt te achterhalen hoe ambtelijke software tot zijn beslissingen komt. Misschien kan Silicon Valley, dat zich laat voorstaan op zijn technologisch optimisme, hier alsnog een rol in spelen. Ook als er nu eens geen gouden bergen gloren.

Meer over