Opinie: We moeten ons ook wapenen tegen ‘warlords’ die met nullen en enen vechten

‘Warlords’ of ‘krijgsheren’ zijn militaire en politieke leiders die in afwezigheid van een sterke centrale regering over een beperkt gebied de exclusieve macht hebben. Waartoe dat kan leiden, zien we bijvoorbeeld in Somalië en Congo, waar in sommige gebieden een rechtsstaat momenteel ver te zoeken is.

Maar niet alleen te land roeren krijgsheren zich. Ook in onze digitale gemeenschappen zijn ze actief: gehuld in een onzichtbaar algoritmisch uniform lappen ze mensenrechten aan hun laars. Hoogste tijd ons daar beter tegen te wapenen.

Vorig jaar spanden chauffeurs een rechtszaak aan tegen hun ontslag door Uber; deze ‘krijgsheer’ onderwerpt zijn chauffeurs aan een tucht van algoritmen. Beslissingen over ontslag, loonkorting en de verdeling van ritten worden genomen op basis van data, zonder rekening te houden met persoonlijke omstandigheden en zonder dat medewerkers er inzage in hebben. De rechtbank stelde de aanklagers gedeeltelijk in het gelijk en droeg het bedrijf op transparanter te zijn over de opgeslagen data. Over het ontslag op basis van data werd echter geen uitspraak gedaan.

Biometrische gegevens

Ondertussen zinspeelt Uber op nieuwe strategieën om medewerkers nog beter te laten marcheren. Afgelopen jaar werd een reeks Uber-octrooien toegekend gericht op algoritmische scorings- en risicovoorspellingssystemen. Het ligt in de lijn der verwachting dat het bedrijf op korte termijn zijn medewerkers een risicoprofiel toekent op basis van rijgedrag, biometrische gegevens en metadata van de telefoon.

Zo’n risicoprofiel lijkt een logisch antwoord om de vele zorgen rondom de veiligheid van Uber-vervoer te pareren, maar indien verkeerd gebruikt, is het een boobytrap met onvoorziene gevolgen. Hoe voorkomen we dat chauffeurs een score krijgen op basis van geloofsovertuigingen, seksuele voorkeur of geslacht? Of gewoon op hun rijstijl die vanuit het perspectief van het algoritme lijkt op die van een brokkenmaker, ook al is dat niet zo?

Er schuilen hier grote risico’s voor de privacy en rechten van werknemers. ‘Dit is een bedrijf dat op grote schaal experimenteert en weinig respect heeft getoond voor de privacy van gegevens’, aldus Daniel Kahn Gillmor, expert van de Amerikaanse burgerrechtenbeweging ACLU in het magazine The ­Intercept.

Vakbondsrisico

Medewerkers zouden tegen deze algoritmische drills in opstand moeten komen, schetsen diverse privacy-experts in het artikel van The Intercept. Maar zo’n opstand hebben de warlords allang voorzien. Het Amerikaanse concern Whole Foods – onderdeel van Amazon – kende recentelijk met inzet van algoritmen aan 510 vestigingen een vakbondsrisico-score toe.

Op basis van criteria zoals de loyaliteit van werknemers, het personeelsverloop en etnische diversiteit kan zo feilloos worden bepaald welke ketens het risico lopen van een personeelsopstand, zodat deze tijdig in de kiem kan worden gesmoord.

Als we de vergelijking van de krijgsheren doortrekken: uiteindelijk is het een sterke centrale staat geweest die de burger beschermde tegen hun ongebreidelde macht, door er paal en perk aan te stellen. Als we erkennen dat profilering met behulp van data en algoritmen tot net zoveel uitoefening van macht kan leiden als het fysieke geweld van de krijgsheren, zouden we het mandaat daarover dan ook niet een publieke zaak moeten maken? Het is dringend nodig dat we het mandaat op profilering door algoritmen goed regelen.

Algoritme als werkgever

Daarbij hebben wij als burgers een belangrijke rol. In de tijd van de krijgsheren hebben burgers stap voor stap hun stads- en burgerrechten veroverd. Dat heeft uiteindelijke geleid tot de staatsvormen die we nu hebben. Die strijd is nu ook gaande in de digitale samenleving. Een goed voorbeeld is een overwinning van de medewerkers van Deliveroo begin dit jaar: de rechter stelde vast dat een algoritme zich kan gedragen als een werkgever en dat er zodoende sprake moet zijn van een arbeidsovereenkomst tussen bezorger en bedrijf, in plaats van een zzp-constructie.

Er is dus behoefte aan een digitaal sociaal contract, waarbij je ook kunt opkomen voor bescherming van je digitale identiteit, je autonomie mag eisen over digitale keuzen en je zelfbeschikking hebt over je digitale middelen. Want laten we eerlijk zijn, de warlords hebben een veel te grote politieke invloed: het feit dat Facebook door een kleine verandering in zijn algoritmen begin dit jaar eigenhandig een wetswijziging in de Australische mediawet afdwong, spreekt boekdelen.

We moeten, kortom, bouwen aan een ferme beschermingslinie tegen warlords. Ook wanneer ze geen geweer in de hand hebben, maar nullen en enen.

Daniëlle Arets is lector Journalistiek en verantwoorde innovatie, Mark de Graaf is lector Interaction Design, Gerard Schouten is lector AI & Big Data, Bart Wernaart is lector Moral ­Design Strategy aan Fontys Hogescholen.