Tech Slim vervoer

Zo wordt de zelfrijdende auto steeds minder bijziend

Voetganger niet gezien, obstakel gemist: het zal nog wel even duren voordat zelfrijdende auto’s echt veilig zijn in het verkeer. Door data van allerlei sensors te combineren, leren de voertuigen snel bij.

De autonome auto Beeld Bart Mijnster en Raymond van der Meij

Ze ogen als een stippenschilderij van Damien Hirst: de kleurige rondjes die schijnbaar achteloos op het witte scherm worden geprojecteerd. Maar het toverachtige beeld is allesbehalve kunst, ze tonen de wereld zoals de radar van een robotauto die ziet.

Een zinnig mens kan er niks mee, maar de zelflerende systemen van Timo Winterling zien een busje, een truck met oplegger, lantaarnpalen, wandelaars, fietsers. Als Winterling, radarspecialist bij het onderdeel autonoom rijden van Bosch, even later ter vergelijking een foto laat zien die op hetzelfde moment met een gewone camera is gemaakt, ziet de menselijke toeschouwer het plotseling ook.

De radar ziet zelfs méér dan de camera, want op de foto is de truck grotendeels verscholen achter een busje. Dat de vrachtwagen wordt gespot, komt doordat de radar laag bij de voorbumper is gemonteerd en computeralgoritmen de reflecties van de onderzijde van de truck herkennen, zegt Winterling.

Een wandelaar van een fietser onderscheiden

Welkom in de wondere wereld van machine learning, computers die zichzelf leren de wereld om zich heen te begrijpen. Dit gebeurt door zelflerende algoritmen te voeden met eindeloze reeksen data en ze vervolgens te vertellen wat ze zien. Train de computer lang genoeg en hij kan uiteindelijk een koe van een hond onderscheiden. Of, in het geval van zelfrijdende auto’s, een wandelaar van een fietser.

Waarom zou je hiervoor een radar gebruiken, zoals de onderzoekers doen van het gloednieuwe testcentrum in het Zuid-Duitse Immendingen, waar Bosch en Daimler samenwerken aan robotauto’s. Een gewone camera kan objecten veel beter onderscheiden, dus waarom een radar gebruiken? De onderzoekers moeten wel. Want de volledig zelfrijdende auto heeft een probleem: als een van de sensors uitvalt, is hij direct bijziend en kan niet verder rijden. Zeker omdat er in de toekomst geen stuur meer in de auto zit en de menselijke bestuurder dus niet langer als back-up kan dienen. De computers moeten het straks zelf afkunnen, ook als de auto bijvoorbeeld een mistflard inrijdt en de camera het zicht verliest. 

Het was daarom een welkome ontdekking dat de boordradar ook objecten kan herkennen – een taak waarvoor hij niet ontworpen is.

Zo ziet de radar van een autonoom rijdende auto de wereld: gekleurde stippen. Beeld Timo Winterling, Bosch/Daimler

Soms is het bijna onnavolgbaar hoe een radar objecten herkent, zegt Winterlings collega Jakob Lombacher van Daimler, het moederbedrijf van Mercedes-Benz: ‘Een wandelende voetganger wordt herkend doordat zijn torso een andere snelheid heeft dan zijn benen.’ De radar ziet dat verschil in snelheid tussen benen en romp onmiddellijk, en deze unieke kenmerken helpen het systeem de juiste classificatie te maken en zelfs te bepalen welke richting de voetganger op loopt – belangrijk om te bepalen of auto en mens mogelijk op ramkoers liggen.

Sensorfusie

Er is nog een voordeel: door data van sensors samen te voegen, ontstaat een beeld van de wereld dat betrouwbaarder is dan wat elke afzonderlijke sensor kan schetsen. Dit samenvoegen van allerlei gegevenstypen heet sensorfusie en wordt gezien als een belangrijke technologie voor de zelfrijdende auto.

Sensorfusie is een onderdeel waaraan ook Dariu Gavrila werkt, hoogleraar Intelligent Vehicles aan de TU Delft. Gavrila, die in het verleden bij Daimler onderzoek deed naar algoritmen voor voetgangerherkenning, geeft sinds vorig jaar leiding aan een nieuwe onderzoeksgroep, waar nu twintig onderzoekers werken.

‘Een autonoom rijdende auto heeft doorgaans drie typen sensors’, zegt hij. ‘Een laserscanner of lidar, camera’s en gewone radars.’ Dit drietal vormt de zintuigen van de auto. Elke sensor heeft zijn eigen sterkte en zwakte. Zo kan de radar nauwkeurig afstanden en snelheden meten en kan hij ’s nachts en door de mist kijken, maar hij is minder goed in het onderscheiden van hoogten, simpelweg omdat hij in een plat horizontaal vlak ‘kijkt’. De lidar op het dak maakt juist een 3D-beeld van de hele omgeving, maar ziet minder details dan de stereocamera’s achter de voorruit. Om een auto goed zicht te geven, moeten ze daarom alle drie worden gebruikt, waarbij de sterkte van elke sensor optimaal wordt ingezet. 

Realtimebeeldherkenning

Het samenvoegen van alle informatie kent veel uitdagingen. Neem de enorme berg data die sensors produceren; tientallen megabytes per seconde. Die gegevens moeten realtime worden verwerkt en geanalyseerd, wat veel computerkracht vergt. 

Dit blijkt als Gavrila de open kofferbak van de Toyota Prius laat zien die zijn vakgroep gebruikt als testwagen voor autonoom rijden. De ruimte zit tjokvol computerapparatuur.

Nu is de ‘autonome’ Prius van de TU Delft nog handbediend, maar alle sensors zitten er al in, inclusief het snelcirkelende lidartorentje op het dak. De computers in de kofferbak analyseren de binnenkomende beelden alsof er autonoom wordt gereden, maar de besturing tijdens het ritje rond de Delftse campus is nu nog in handen van de hoogleraar. Tijdens het rijden toont een monitor wat de computer ‘ziet’ en welke overige weggebruikers hij herkent.

Wandelaars, fietsers en auto’s worden omlijst met een gekleurd vierkant ten teken dat de software ze heeft gezien. Dit soort realtimebeeldherkenning is dankzij machine learning de afgelopen tien jaar exponentieel verbeterd, zegt de Delftse hoogleraar. Inmiddels kunnen algoritmen ook vaststellen in welke richting iemand loopt, en helpen onder meer lichaamshouding en kijkrichting vast te stellen wat hun intenties zijn – een van de belangrijkste onderzoeksdoelen van Gavrila’s vakgroep en noodzakelijk voor een soepele integratie van de zelfrijdende auto in het normale stadsverkeer.

Een seconde tijdwinst

De modernste systemen herkennen op basis van dit soort cues een seconde eerder of een auto dreigt te botsen met een voetganger. Een ogenschijnlijk geringe tijdwinst, maar bij hogere snelheden betekent dit al snel het verschil tussen doorrijden, het gas loslaten en uitwijken, een noodstop of erger.

Er zijn twee manieren waarop data uit verschillende sensors samengevoegd kunnen worden, schetst Gavrila even later in zijn kantoor. Bij de eerste worden alle data van de sensors samengevoegd en moet machine learning betekenis geven aan de binaire oersoep – dit wordt ‘vroege’ sensorfusie genoemd. Bij de tweede optie worden de data van elke sensor apart verwerkt en geclassificeerd (sensor 1: ik zie een voetganger, sensor 2: ik zie een fietser, sensor 3: ik zie een voetganger) en pas dan wordt de informatie samengevoegd, bijvoorbeeld door een meerderheidsbesluit: voetganger. Dit is ‘late’ sensorfusie.

Het voordeel van vroege sensorfusie is dat machine learning meer informatie uit de verschillende sensordata kan halen; er wordt niks weggegooid en dat kan een voordeel zijn ten opzichte van late sensorfusie, waarbij elke sensor immers uit zijn eigen beperkte waarneming conclusies moet trekken. Aan de andere kant is de hoeveelheid te analyseren data bij vroege fusie veel groter, waardoor files dreigen te ontstaan – niet op de weg, maar in de computers in de kofferbak. Daardoor wordt in de praktijk voor late sensorfusie gekozen. ‘We zijn er nog niet uit welke van deze scholen wint’, zegt Gavrila. ‘Misschien komt er wel een hybride vorm.’

Tussenstapjes

Nadat de overige verkeersdeelnemers zijn gedetecteerd en geclassificeerd, proberen andere algoritmen te achterhalen wat de intenties zijn (‘de voetganger dreigt de straat over te steken’), waarna met behulp van kansberekening wordt vastgesteld hoe groot de kans is op bijvoorbeeld een botsing. Na deze stap krijgt de auto instructies te sturen, te remmen, het gas los te laten. Dit gebeurt meerdere keren per seconde. ‘Bij deze stapsgewijze aanpak hoeven uiteindelijk veel minder data te worden verwerkt’, zegt Gavrila. Dankzij de tussenstapjes is het makkelijker de wereld te beschrijven. Ook zijn beslissingen van de auto achteraf beter door de mens te verklaren. We kunnen bij late sensorfusie dus beter zien waarom iets misgaat.

Bij vroege sensorfusie kijk je feitelijk alleen naar de uitkomst van alle data, aldus Gavrila. Op basis daarvan wordt bepaald of de auto moet remmen, sturen of gas geven. Vroege sensorfusie is een zwarte doos, zegt de hoogleraar. ‘Je weet niet wat er precies in het systeem gebeurt en hoe het tot zijn beslissingen komt. Om zo’n systeem zinvolle acties te leren, heb je veel meer trainingsdata nodig.’

Bij het testcentrum in het Duitse Immendingen maken de onderzoekers gebruik van deze vroege sensorfusie. Hun algoritmen kunnen inmiddels realtime personen detecteren, blijkt tijdens een ritje door het dorp. De computers in de Mercedes E-klasse herkennen mensen in de gekste posities, of ze nu gehurkt langs de kant van de weg zitten of voorovergebogen in een kofferbak staan te graaien.

Nog geen gemeengoed

Dat de zelfrijdende auto bij wijze van spreken gereedstaat om de hoek, zoals sommige autofabrikanten suggereren, is niet waar, zeggen de ingenieurs van Bosch en Daimler. Hoewel Waymo (onderdeel van Google) al in diverse staten experimenteert met zelfstandig rijdende auto’s en begin december onder een nieuwe naam zijn eerste betaalde taxidienst begint, zal het nog wel even duren voor de robotauto gemeengoed is. In Amerikaanse zuidwestelijke steden met hun mooie weer, rechte straten en nauwelijks fietsers, heeft die het relatief gemakkelijk. ‘Zelfrijdende auto’s zullen inderdaad eerst aan de westkust verschijnen’, zegt Stefan Gehrig van Daimler, gespecialiseerd in beeldherkenning. In het oosten van de VS, waar de steden ‘Europeser’ zijn en het weer minder goed is dan in Californië en Nevada, zal het langer duren, stelt hij.

Nog langer gaat het duren voordat de zelfrijdende auto door Delft rijdt, zegt Gavrila. Hij toont een video, gemaakt vanuit zijn Prius, waaruit blijkt hoe lastig het zelfs voor een menselijke bestuurder is in te schatten wat de krioelende auto’s, wandelaars en fietsers van plan zijn. Er zullen nog best wat jaren overheen gaan voordat robottaxi’s net zo goed rijden als taxi’s met een mens achter het stuur, denkt de hoogleraar. ‘Dat gebeurt niet voor 2030.’ 

Hopelijk is er tegen die tijd ook een algoritme dat een praatje over het weer maakt.

Zelfrijdende auto’s, waarom?

Zelfrijdende auto’s worden gezien als een mogelijkheid om het aantal verkeersdoden en -gewonden terug te dringen. Een zelfrijdende auto is immers altijd alert, nooit dronken, valt niet in slaap, ruziet niet met kinderen op de achterbank. Hij kan bovendien trucs die een mens niet kan, zoals door de mist kijken en zelfstandig een parkeerplaats met laadpaal opzoeken. Doordat zelfrijdende auto’s buiten de stad kunnen parkeren, komt in de binnensteden veel ruimte vrij voor andere zaken, is de hoop. Of dat werkelijk gebeurt, is overigens de vraag. Zeker is dat diverse grote auto- en techconcerns al aan het experimenteren zijn met robottaxi’s. Nog niet in Europa, maar voorlopig alleen aan de Amerikaanse westkust en in China.

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@volkskrant.nl.