Is er nu een computer geslaagd voor de legendarische Turing Test?

Een computerprogramma dat luistert naar de naam Eugene Goostman is er dit weekend volgens wetenschappers in geslaagd de legendarische Turing Test te doorstaan. Een computer slaagt voor die test als degene die er mee communiceert niet kan zeggen of het een mens of een computer is die terugpraat.

Op deze foto is een conversatie te zien van een van de testers en Eugene Goostman. Beeld afp
Op deze foto is een conversatie te zien van een van de testers en Eugene Goostman.Beeld afp

De organisatoren van een evenement aan de Universiteit van Reading claimen dat Eugene Goostman als eerste computer ter wereld de test doorstond. De Turing Test, genoemd naar de Britse wiskundige Alan Turing, geldt als de heilige graal in de ontwikkeling van kunstmatige intelligentie. Juist omdat taal iets is wat bijzonder moeilijk aan een machine te leren is. De computer moet daarbij genoeg weten en kunnen improviseren om hem op een mens te doen lijken.

De test is gebaseerd op het legendarische vraag-en-antwoord-spel Can Machines Think, dat Turing in 1950 opstelde als meesterproef voor een computer. Hij voorspelde dat een computer rond de eeuwwisseling in staat zou moeten zijn de proef te doorstaan. In Reading werd zijn tekst dit weekend omgezet in de volgende regel: als een computer meer dan 30 procent van de tijd wordt gehouden voor een mens tijdens chatgesprekken van vijf minuten, slaagt de machine. Vijf zogenoemde chatbots, zeg maar computerchatters, deden mee aan het experiment. De Nederlandse wetenschapsjournalist Bennie Mols was een van de testers. 'Je zit vijf minuten lang simultaan te chatten in twee verschillende gesprekken, een met een computer en een met een mens. Daarna moet je zeggen welke van de twee menselijk was en welke niet. Je tekst op dat moment teruglezen kon trouwens niet.'

Jongen van 13 uit Oekraïne
Het lukte Eugene Goostman om dertig testers 33 procent van de tijd te doen geloven dat hij een mens was en geen kunstmatige jongen van 13 uit Oekraïne, ontworpen door softwareontwikkelaars uit Rusland en Oekraïne. Wat hij wel was. Goostman werd gemaakt door Vladimir Veselov, van geboorte Rus maar woonachtig in de Verenigde Staten, en Eugene Demsjenko, van geboorte Oekraïener maar woonachtig in Rusland. Ze ontwierpen hun programma als 13-jarige jongen omdat een jongen van die leeftijd veel weet en moet weten, maar ook weer niet alles en dus niet op elke vraag antwoord kan geven.

Dat is een van de bezwaren die Mols, ook auteur van het boek Turings Tango, heeft tegen de stelling dat de Turing Test met succes is doorstaan. 'Het is in feite een trucje van de programmeurs om meer kans te hebben voor de test te slagen. Sommige vragen stel je niet aan een 13-jarige jongen, of het nu in het echte leven is of niet, omdat je weet dat hij het antwoord niet weet. Het probleem met dit soort wedstrijden is dat programmeurs vaker dat soort trucjes verzinnen.'

De Russische wetenschapper Vladimir Veselov. Beeld afp
De Russische wetenschapper Vladimir Veselov.Beeld afp

Niet voor het eerst
Het is niet voor het eerst dat wetenschappers claimen dat een computer slaagt voor de Turing Test. De gesprekken van Goostman en zijn testers zijn nog niet vrijgegeven. Dat zal mogelijk later gebeuren in een wetenschappelijke publicatie over het experiment.

Op de claims die door de organisatoren in Reading werden gemaakt lijkt op voorhand wel wat af te dingen. Zo zou Turing zelf nooit hebben gesteld dat een computer mensen 30 procent van de tijd voor de gek zou moeten kunnen houden in gesprekken van 5 minuten als criterium voor de test. De Britse hoogleraar cognitieve robotica Murray Shanahan wijst er verder op dat het geen supercomputer is die slaagde voor de test, zoals Turing stelde, maar een chatbot - een programma dat een gesprek nabootst. Het is de vraag of dat geldt als kunstmatige intelligentie, en ook of Eugene de eerste chatbot is die de test succesvol maakt. En wat zegt een goede nabootsing van een 13-jarige jongen in een chatgesprek over kunstmatige intelligentie?

Volgens Bennie Mols moeten we de test op zichzelf dan ook niet al te serieus nemen. Het is, zegt hij, spielerei, omdat het de test ontbreekt aan heel duidelijke spelregels. 'Turing zelf was daar tijdens zijn leven ook erg vaag over.' Daarbij is het de vraag in hoeverre hier sprake is van een lerende computer zoals Turing die voor ogen had. Chatbots grasduinen in registers van enorme hoeveelheden eerder gevoerde gesprekken, zodat ze kunnen voorspellen wat het antwoord gaat worden op een vraag. Ze leren maar een heel klein beetje extra van het gesprek dat je met ze voert.'

Test voor machines
Wat hebben we dan aan het experiment? Mols: 'Aan de ene kant zijn er mensen die vinden dat de grens van 30 procent van de tijd mensen om de tuin leiden te laag is, aan de andere kant de mensen die er op wijzen dat de mens de eerste is een test waarvoor de computer slaagt te relativeren. De vraag is of je een computer wel een test moet laten maken, zeker zo'n alles-of-niets-test. Intelligentie is juist een continue concept, niet iets statisch.'

Nutteloos is de test in Reading ook weer niet, vindt Mols. Het laat volgens hem zien hoe klein het onderscheid tussen een elektronisch communicerende mens en computer aan het worden is. Met alle gevolgen voor eventuele oplichting via internet van dien.

Een echte mijlpaal werd volgens Mols behaald door Watson, de 'supercomputer' van IBM. Die bleek zo goed in staat in spreektaal gestelde vragen te interpreteren dat hij in 2011 de quiz Jeopardy! won van de twee grootste spelers uit de geschiedenis van het spel. 'Watson wordt as we speak omgebouwd tot een medisch expert. Hij gaat dokters straks helpen betere beslissingen te nemen, door bijvoorbeeld de juiste kwaal bij symptomen te zoeken. Dat is toch iets anders dan een computer een 13-jarige jongen laten imiteren.'

Detail van de zogenoemde Enigma-machine, tijdens de Tweede Wereldoorlog door de Duitsers gebruikt om gecodeerde berichten te verzenden. Turing hielp methodes te ontwikkelen om de berichten te decoderen. Beeld epa
Detail van de zogenoemde Enigma-machine, tijdens de Tweede Wereldoorlog door de Duitsers gebruikt om gecodeerde berichten te verzenden. Turing hielp methodes te ontwikkelen om de berichten te decoderen.Beeld epa

Het evenement in Reading werd georganiseerd vanwege de 60ste sterfdag van Turing. Turing werkte tijdens de Tweede Wereldoorlog voor de Britse geheime dienst als codeerexpert, en zou daarna als wiskundige en theoreticus tot een van de voorvaderen van de informatica uitgroeien. Aan het einde van zijn leven werd hij gearresteerd vanwege homoseksuele handelingen en veroordeeld tot chemische castratie. Turing stierf in 1954. Toenmalig premier Gordon Brown bood namens de Britse regering in 2009 excuses aan voor die veroordeling. In december vorig jaar liet Koningin Elizabeth zijn veroordeling schrappen.

Mols, die de organisatie prijst dat er ook kritische testers werden uitgenodigd, denkt overigens zeker te weten dat hij alle vijf de deelnemende chatbots kon herkennen, al zijn de gesprekken nog niet vrijgegeven. 'Maar als je weet wat je moet vragen, prik je er doorgaans vrij snel doorheen.'

Alan Turing ten tijde van zijn verkiezing als lid van de Britse Royal Society. Beeld -
Alan Turing ten tijde van zijn verkiezing als lid van de Britse Royal Society.Beeld -
Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden