Robots ons kunnen onze oorlogsvoering juist humaner maken

Robots die zich tegen de mens keren, robots die de wereld overnemen, het zijn scenario's waarover al decennia sciencefictionfilms worden gemaakt. In essentie verschillen blockbusters als Terminator en The Matrix weinig van het verhaal van de Golem die al in de vroege Talmoed opduikt. Rode draad is dat de mens wordt verslagen door iets dat hij zelf heeft gecreëerd, en dat geen last geeft van een geweten. De angst daarvoor is dus al heel oud.

De afgelopen weken kon je bijna gaan denken dat dit schrikbeeld werkelijkheid was geworden. Want precies dit soort Terminator-achtige scenario's werden in de media geschetst in artikelen over de toekomst van oorlogsvoering. Aanleiding: een open brief van meer dan honderd robotica-experts aan de Verenigde Naties. In die brief waarschuwen wetenschappers en ceo's van bedrijven in kunstmatige intelligentie voor autonome wapensystemen. 'Dodelijke autonome wapens dreigen een derde revolutie te worden in oorlogvoering,' schrijven ze. 'Dit kunnen nietsontziende wapens zijn, wapens die despoten en terroristen gebruiken tegen onschuldige bevolkingsgroepen, wapens die gehackt worden zodat ze zich op onwenselijke manieren gaan gedragen.'

De open brief heeft vrijwel in elke krant gestaan en is steeds uitgelegd als een noodkreet tegen zogenoemde killer robots. Tesla-baas en medeondertekenaar Elon Musk gooide deze week nog wat olie op het vuur door op Twitter te waarschuwen dat artificiële intelligentie zal leiden tot een Derde Wereldoorlog.

Er woedt al langer discussie over de risico's van automatisering in defensieorganisaties, en die beperkt zich niet tot het gevaar van hacken. Een deels geautomatiseerd leger zou volgens sommigen tot kille, onmenselijke beslissingen leiden. Het voorbeeld bij uitstek dat hierbij keer op keer van stal wordt gehaald, is de Reaper, een drone die door de Verenigde Staten in uiteenlopende gebieden wordt ingezet. In de beeldvorming over de Reaper is de piloot van het vliegtuig de menselijke maat compleet uit het oog verloren, omdat hij het bestuurt vanuit een container, ver weg van het slagveld. Hij tuurt naar een monitor en drukt op een knop met alle gevolgen van dien, behalve voor hemzelf. Als zijn vrouw bij het avondeten vraagt: 'Hoe was het op het werk vandaag schat?', dan zegt hij: 'saai' en aait zijn kinderen nog een keer over de bol. Zijn werk is een computerspel geworden, vrij van morele dilemma's.

Ik heb de laatste jaren veel films gemaakt over nieuwe technologieën voor Defensie, onder andere voor onderzoeks- en adviesbureau TNO. En ik merk dat er een wijde kloof gaapt tussen het beeld dat deze nieuwe wapens oproepen en de complexe praktijk, waarin dingen goed en fout gaan. Een kritische discussie over autonome wapens is dan ook van levensbelang. Maar dan moeten feiten wel van fabels worden gescheiden.

Neem de angstaanjagende Reaper. Dat is géén autonoom wapen. Een Reaper is erop gebouwd om langdurig te hangen boven een gebied, bijvoorbeeld een dorp. Met behulp van sensoren registreert het wie er allemaal in dat dorp komen, en welk verkeer er doorheen rijdt. Het vliegtuig hangt daar om vijanden te traceren en eventueel uit te schakelen. Maar wat de Reaper ook registreert, het zijn altijd mensen die naar die beelden kijken en ze interpreteren. Het zijn vervolgens ook mensen die de beslissing nemen om bijvoorbeeld tot bombarderen over te gaan. Dan gaat het dus niet over één piloot. Want naast hem zit de zogeheten 'sensor operator', die de sensoren bestuurt en kan inzoomen en uitzoomen. Hij functioneert als beeldanalist, en het is zijn taak te bepalen of de persoon op zijn scherm een riek vasthoudt of een kalasjnikov.

Ten onrechte wordt de Reaper vaak met emotionele afstandelijkheid en afstomping geassocieerd. Omdat de drone zo lang boven een dorp kan vliegen, kunnen de bemanningsleden in de container nauwgezet volgen wanneer bijvoorbeeld de school in het dorp uitgaat, en zien hoe ouders hun kinderen ophalen. Die bemanningsleden gaan 's avonds na hun dienst gewoon weer naar huis, terug naar hun eigen leven, dat vaak niet zoveel verschilt van wat ze die dag op hun schermen hebben gezien. Juist daardoor is van afstomping geen sprake. Integendeel, uit diverse Amerikaanse onderzoeken blijkt dat veel drone-bestuurders kampen met posttraumatische stress. Zo stelt onderzoeker Jean Lin Otto: 'Bemanningen van drones kijken vaak dagen naar hetzelfde gebied en zijn getuige van het bloedbad. Piloten van bemande vliegtuigen doen dat niet. Zij vliegen na het gooien van een bom zo snel mogelijk weg.'

Een belangrijk aspect van onbemande systemen is dat meerdere mensen kunnen meekijken en meedenken. Dat kunnen juristen zijn die de juridische consequenties van een militaire beslissing kunnen afwegen, maar ook kenners van een bepaalde cultuur, die onbekende gebruiken kunnen duiden. Resultaat: beter getoetste en dus nauwkeuriger besluiten.

Duidelijk is dat mens en machine uitstekend kunnen samenwerken. En het zou enorme militaire voordelen opleveren als we slimmer gebruik leren maken van de enorme hoeveelheden data die onbemande systemen kunnen opslaan. De camera van de Reaper bijvoorbeeld kan in een stad ter grootte van Den Haag alle auto's waarnemen. Omdat geen mens in staat is al die auto's op een beeldscherm te volgen, wordt er nu onderzoek gedaan naar algoritmes die dat wel kunnen. In de toekomst zouden we de computer dan een opdracht kunnen geven als: geef mij een melding als je een auto met een noodvaart op het Binnenhof ziet afgaan. Het systeem analyseert dan zelf de gegevens (snelheid, locatie, richting), trekt daaruit een conclusie, en pling! Een analist kan vervolgens beoordelen wat er aan de hand is: komt de koning onverwachts op bezoek of is dit een terrorist?

Dit soort algoritmes worden nu al ingezet om militairen te helpen beslissingen te nemen. Maar wat nu als je ernstig bedreigd wordt en geen tijd hebt om alles en iedereen te raadplegen? Dan zou je een systeem willen dat zelf redeneert en razendsnel tot het juiste besluit overgaat.

De Goalkeeper is een voorbeeld van zo'n systeem. Dat is een automatische mitrailleur die wordt gebruikt op marineschepen en die zelf reageert op basis van vooraf bedachte regels: er komt iets met hoge snelheid deze kant op, het is van metaal, het is nu heel dichtbij, ik schiet. Maar zelfs voor de Goalkeeper geldt: de keuze om te schieten blijft bij de mens. Want het zijn mensen die de regels invoeren waarlangs dit systeem redeneert.

Een consequentie van de keuze voor autonome systemen is dat mensen van tevoren moeten bedenken hoe een wapen zich dient te gedragen.

De discussie begint met de vraag: wat is een autonoom wapen? Zelfs daarover is nog niet iedereen het eens. In elk geval kunnen we zeggen dat een wapen autonoom te noemen is als het in een situatie terechtkomt die we niet van te voren hebben bedacht en het systeem een keuze moet maken. Je kunt het vergelijken met een zelfrijdende auto die een fietser tegen komt die door rood rijdt en moet afwegen: rijd ik door en verwond ik de fietser, of rijd ik tegen een boom en verwond ik de inzittenden?

Bij een autonoom wapen spelen kwesties als: in welke situatie moet het ingrijpen, en op welke manier? Hoeveel is een mensenleven waard? De vragen die nu bij de VN op tafel liggen, hebben dan ook een sterk ethisch karakter.

Daarover moeten we het met z'n allen eens worden, want Defensie is een uitvoerende organisatie, die alleen doet waartoe het door de politiek wordt opgedragen. Zoals de opstellers van de brandbrief over killer robots terecht betogen, moeten we de totstandkoming van de regels voor autonome wapens niet alleen overlaten aan robotbouwers.

Ook andere netelige punten verdienen onze aandacht. Hoe voorkomen we dat deze wapens in verkeerde handen vallen of worden gehackt? En als we zelflerende wapens willen, nog weer een stap verder in het automatiseringsproces, van wie moeten ze dan leren? In elk geval niet van strijdende groepen als IS. Over dit soort vraagstukken zouden politici, burgers, ngo's en journalisten zich veel meer moeten buigen.

Als het ons lukt daarover een intelligente discussie te voeren, zonder fabels en horrorverhalen, kunnen autonome en onbemande systemen ons helpen te bereiken wat we met z'n allen zo graag willen: minder oorlogsslachtoffers. Door vroegtijdig dreiging te herkennen. Door scherper onderscheid te maken tussen verschillende groepen, maar ook te analyseren op gedrag, niet op uiterlijk om zo burgers beter te kunnen beschermen. Door wapens zo precies mogelijk in te zetten met zo min mogelijk collateral damage.

Op dit moment zijn er helaas nog genoeg voorbeelden van oorlogssituaties waarin niet of nauwelijks van zulke systemen gebruik wordt gemaakt. Kijk naar Syrië, waarin hele steden in de as worden gelegd om de laatste IS-strijders weg te krijgen.

De bekende Chinese wijsgeer Sun Tzu schreef 400 jaar voor Christus al in zijn Kunst van het oorlogvoeren, een boek dat menig generaal op zijn nachtkastje heeft liggen: 'Zoals water zijn stroom varieert in overeenstemming met de glooiing van het land, zo varieert een leger zijn methode om de overwinning te behalen in overeenstemming met de vijand.'

We hebben nu een kans om democratisch te bepalen wat onze toekomstige manier van oorlogvoeren gaat worden. Die moeten we niet laten voorbijgaan door ons te verliezen in sciencefiction-scenario's. Als het gaat om het sparen van levens, kunnen we alle hulp gebruiken. Ook die van robots.