Analyse Computers

Computer wint op inhoud in debat met mens, maar de boodschap moet wel beter worden verpakt

Ruim twintig jaar geleden versloeg IBM’s Deep Blue ’s werelds beste schaker Garry Kasparov. Inmiddels richt de computergigant zijn pijlen op een veel complexer vraagstuk: debatteren. In een volgepakte zaal in San Francisco met journalisten, analisten én IBM-medewerkers vond deze week de eerste openbare strijd plaats tussen mens en machine. 

Topdebater Dan Zafrir bereidt zich voor op zijn strijd met Project Debater, de zwarte kast naast hem. Foto AP

Het was het voorlopige slotstuk van het jarenlange onderzoek dat IBM doet naar kunstmatige intelligentie en de beheersing van taal: Project Debater. De uitdaging is groot; anders dan bij schaak – of zelfs het veel complexere Aziatische bordspel go – is er geen limiet aan het aantal mogelijke ‘zetten’. De machine moet in staat zijn om adequaat te reageren op zijn opponent en de juiste stellingen naar voren te brengen om zijn stellingen te onderbouwen.

In San Francisco nam de kunstmatige intelligentie van IBM het op tegen twee topdebaters. Een van de stellingen: ‘We moeten ruimtevaart subsidiëren.’ Telkens mocht zowel de machine als de mens een vier minuten durend openingspleidooi houden gevolgd door een even lang weerwoord en een kort slotpleidooi. Met de stelling van het debat als input scande Debater miljarden zinnen waarmee hij vooraf was gevoed om een samenhangende en overtuigende positie in te nemen. Daarna begon de grote uitdaging: de machine – een manshoge zwarte doos met blauwe lampjes die een mond moeten voorstellen - luisterde naar de toespraak van zijn tegenstander en moest dan tegenargumenten formuleren.

Een duidelijke winnaar was er niet. Op inhoud deed Debater het volgens het publiek beter dan zijn menselijke opponenten. Een deel van de aanwezigen liet zich door de machine zodanig overtuigen dat het van mening veranderde. 

In het verpakken van de boodschap schoot Debater nog ernstig tekort. De machine hield zijn betoog met een nogal vlakke, vrouwelijke stem. De woorden, soms met de nodige herhalingen, werden daarbij niet ondersteund door bijvoorbeeld handgebaren. 

Gescript

Toch is Sander Wubben (universitair hoofddocent Natural Language Processing aan de Universiteit van Tilburg) onder de indruk van de prestatie. ‘Maar’, waarschuwt Wubben, ‘dit is een demo, dus we weten niet in hoeverre dit gescript is. Ze geven niet echt de technische details van het systeem, maar alleen de onderzoeken die over een aantal sub-problemen gaan, zoals het omzetten van tekst naar spraak. Hoe je van die veel eenvoudiger op te lossen sub-problemen tot een machine komt die iets zeer complex als debatteren doet, zien we niet.’

Wubben vergelijkt het met de demonstratie die Google onlangs gaf waarbij een computer zelfstandig een afspraak met een echte kapper maakte. Dat gesprek was zo natuurgetrouw dat het niet meer van een mens is te onderscheiden. ‘Zeer indrukwekkend, maar wel zorgvuldig vooraf uitgeschreven zodat het in een specifieke situatie goed werkt. We weten niet wat er gebeurt als de kapper een totaal onverwachte vraag stelt.’

Voor IBM smaakt het ondertussen naar meer. Al geeft IBM’s onderzoeksdirecteur Arvind Krishna in een blog toe dat Debater nog verre van perfect is: ‘In een debat moet de machine leren te navigeren in onze rommelige ongestructureerde wereld. Niet door voorgedefinieerde regels te volgen, zoals in een bordspel. Daarom maakt Debater soms nog fouten, net als mensen.’ Krishna ziet Debater in de nabije toekomst overal een rol vervullen als de ideale gesprekspartner of klankbord waar complexe beslissingen moeten worden genomen. Voor juristen bijvoorbeeld, of bij financiële kwesties. 

Reactie Lars Duursma, voormalig wereldkampioen debatteren en directeur van Debatrix

‘Dit is razendknap. Ik wist niet dat ze al zo ver waren. Maar als je het goed analyseert, zie je ook tekortkomingen. Zo is de machine vooral goed in korte weerleggingen, om zijn tegenstander in één zin onderuit te halen. Bij de langere argumentaties vind ik Debater minder indrukwekkend. Ik hoor dan veel staccato zinnen achter elkaar met veel willekeurige voorbeelden. Dat de kroonprins van Abu Dhabi ook voor ruimtevaart is? So what, denk ik dan. Als debater moet je je verdiepen in je doelgroep en dat gebeurt hier duidelijk niet. Verder mis ik het persoonlijke element. De computer weet me niet te raken omdat hij niet verder komt dan wat flauwe grapjes met de bekende zelfspot: ik ben maar een computer. Tot slot: het écht briljante betoog wijkt af van het gangbare. Dat maakt van een 8 een 10. Debater blijft keurig binnen de lijntjes en komt dus nog niet verder dan een 8. Ik durf het wel aan om de strijd aan te gaan.’

Reactie Roderik van Grieken, directeur van het Nederlands Debat Instituut

‘Ik ben hier diep van onder de indruk. Dat een machine zo goed kan argumenteren, verrast me echt. Hij heeft niet alleen alle relevante feiten paraat, maar gebruikt ook alle retorische middelen. Een goede opbouw van het betoog, metaforen, goede voorbeelden, herhalingen: ik zie het allemaal voorbijkomen. Ook luistert Debater goed naar de opponent en vat zijn woorden samen. De machine argumenteert kortom heel menselijk. Ik zie geen verschil. De presentatie is natuurlijk beroerd, maar in een ideale wereld zou een debat er eigenlijk zo uit moeten zien: zonder verpakking die ons afleidt.’

Meer over