De zoektocht naar de peiling die er nooit naast zit

Woensdag weten we of de opiniepeilers ernaast zaten. Kiezers vragen op welke partij ze gaan stemmen: is dat niet ouderwets? Peilers experimenteren al met nieuwe technieken.

De Stemming van Eenvandaag.

De PVV wint de Tweede Kamerverkiezingen, de VVD wordt tweede op grote afstand. Op basis van de peilingen lijkt het onwaarschijnlijk dat dit nieuws woensdag de avondjournaals zal beheersen. De laatste weken geven de peilingen namelijk hetzelfde beeld: VVD en PVV verwikkeld in een nek-aan-nekrace.

Maar wat als die peilingen er nou helemaal naast zitten? Meestal zien de Nederlandse peilers de grote trends aardig aankomen, maar bijvoorbeeld bij de Tweede Kamerverkiezingen van 2010 werd de PVV 6 tot 7 zetels te laag ingeschat.

Nieuwe tijden, nieuwe wapens

Recenter trokken in Groot-Brittannië de opiniepeilers bleek weg bij het zien van de verkiezingsuitslag. Vrijwel allemaal zagen ze een nek-aan-nekrace tussen Labour en de conservatieven. Maar de conservatieven van David Cameron wonnen overduidelijk, met een comfortabele marge van 7 procent. Het argument 'veel mensen kozen pas op het laatste moment' kon die ruime marge niet verklaren, bleek achteraf bij een onderzoek van de British Polling Council. De opiniepeilers hadden de wensen van het volk gewoon niet goed gemeten.

Peilers wereldwijd worstelen met vergelijkbare problemen. Zo zijn steeds minder mensen bereid hun vragenlijsten te beantwoorden. Vooral sommige groepen, zoals laagopgeleiden en mensen met een migratie-achtergrond, worden slecht bereikt. Opiniepeilers proberen daarvoor te corrigeren door ondervertegenwoordigde groepen zwaarder te laten meetellen, maar wellicht vraagt de moderne tijd wel om nieuwe wapens om beter greep te krijgen op wat het volk echt vindt en denkt.

Hadden we de steun voor Cameron op een andere manier beter kunnen aanvoelen? Die vraag tolde na de verkiezingsuitslag lang na in het hoofd van Alexander Wheatley. De Britse research innovator bij het onderzoeksbureau Lightspeed besloot te graven in zijn meetgegevens.

Onderbuikgevoelens

Bij de traditionele manier van peilen vullen deelnemers aan een online-onderzoek simpelweg in óf ze denken te gaan stemmen, en zo ja, op welke partij en of ze ook nog andere partijen overwegen.

Maar Lightspeed stelde in de aanloop naar de Britse verkiezingen nog een heel ander type vraag. Panelleden kregen foto's te zien van een van de twee voornaamste kandidaten: David Cameron of Ed Miliband. Vervolgens zagen de deelnemers woorden als 'betrokken', 'onbetrouwbaar' en 'intelligent'. Vraag: geef zo snel mogelijk aan of u die typering wel of niet van toepassing vindt op de getoonde kandidaat.

Het computersysteem registreerde niet alleen de keuze, maar óók de reactietijden. Het idee: hoe sneller iemand zijn keuze maakt, hoe zekerder diegene is van zijn keuze.

Deze manier van bevragen, de impliciete-associatietest, wordt door onderzoekers wel vaker gebruikt om onderbuikgevoelens van mensen te achterhalen die zich slecht laten peilen via formele vragenlijsten. Voor welke kandidaat hebben mensen écht de warmste gevoelens, ongeacht wat ze graag tegen de buren vertellen of prijsgeven op een ingevulde vragenlijst?

Duidelijk, vriendelijk, eerlijk, intelligent, betrokken. Op al die positieve karaktereigenschappen bleek Cameron beduidend hoger te scoren dan zijn concurrent. Wheatley: 'We willen natuurlijk weten wat het volk diep in zijn hart vindt. Misschien dat zo'n impliciete-associatietest daarbij een waardevolle aanvulling kan zijn op ons arsenaal aan traditionele vragen.'

Ook bij Trump en Clinton stelde Lightspeed - dat werkzaam is in diverse landen - een ietwat ongebruikelijke vraag. Beide presidentskandidaten kampten de laatste weken voor de verkiezingen met een schandaal. Van Trump was een video opgedoken waarin hij zegt dat je als ster alles kunt doen met vrouwen wat je maar wilt, zelfs ze in het kruis grijpen. (''Grab 'em by the pussy' kan eind maken aan Witte Huis-droom Trump', schreef de NOS.) Niet veel later kondigde de FBI aan een onderzoek naar Clinton te heropenen, omdat ze als minister van Buitenlandse Zaken werkgerelateerde e-mails verstuurde vanaf haar slecht beveiligde privéserver.

Lightspeed vroeg de panelleden: in hoeverre neemt u de kandidaat het schandaal kwalijk? Vanzelfsprekend vonden Trump-aanhangers de e-mails van Clinton véél erger dan de seksistische opmerking van hun eigen kandidaat. 83 procent van de Trump-fans oordeelde zelfs dat 'alleen Clinton iets onvergeeflijks had gedaan'. Maar bij de Clinton-aanhangers zien de taartdiagrammen er anders uit. Daar vond slechts 57 procent dat alleen Trump iets onvergeeflijks had gedaan.

Correctiefactoren

Wheatley: 'Beide kandidaten waren niet bijster populair. Misschien moet je in zo'n scenario dan ook een ander type vraag stellen dan 'wie is je favoriet?'; eerder een vraag die inhaakt op het gevoel 'wie is het minst slecht?'.'

Peter Lugtig, universitair hoofddocent aan de Universiteit Utrecht en gespecialiseerd in vragenlijstenonderzoek, juicht het toe dat onderzoeksbureaus nieuwe methoden uitproberen om het sentiment van het volk beter te peilen. Toch waarschuwt hij voor al te veel enthousiasme. 'De cruciale vraag is: werkt de methode altijd en kun je uitleggen waarom hij werkt?'

Als opiniepeilers een steekproef nemen, passen ze allerlei correctiefactoren toe. Bevat de steekproef maar 40 procent vrouwen? Dan moet de stem van de vrouwen uit het panel zwaarder worden meegenomen, omdat we wéten dat vrouwen doorgaans anders stemmen dan mannen. Andere bekende factoren waarvoor opiniepeilers corrigeren: opleidingsniveau, leeftijd, woonplaats en de partijkeuze bij de vorige verkiezingen.

Van deze sociaal-demografische factoren is bekend dat ze verkiezing na verkiezing een rol spelen. Maar van zo'n impliciete-associatietest moet dat nog maar blijken, zegt Lugtig. 'Hij werkte misschien in 2015 bij Cameron versus Miliband, maar werkt-ie ook nu bij Kees van der Staaij versus Sybrand Buma? Misschien maak je hier de vertekening juist wel groter als je deze test zou laten meewegen in de resultaten van een peiling.'

Wie mag de eer opstrijken?

Vrij snel na de bekendmaking van de verkiezingsuitslag begint altijd het spelletje 'welke peiler zat er het dichtst bij?'. Meestal is het verschil tussen de slotpeiling van de diverse onderzoeksbureaus en de uitslag een stuk of twintig zetels. Peilers wijzen er dan terecht op dat een slotpeiling slechts een momentopname is, en veel mensen pas laat kiezen. In Nederland kunnen peilers bij forse afwijkingen met nog meer argumenten komen waarom ze het electoraat toch goed aanvoelden. ('Onze slotpeiling wees al wel de juiste grootste partij aan.' 'Onze slotpeiling gaf al duidelijk zicht op wie de koplopers zouden worden, en wie de middenmotors.')

Opiniepeilers in bijvoorbeeld Groot-Brittannië of de Verenigde Staten hebben die luxe niet. Daar geldt: the winner takes it all. Peter Kanne, opiniepeiler van I&O Research: 'In een land als Amerika kunnen opiniepeilers er in de beeldvorming nooit een beetje naast zitten. Je wijst óf correct de winnaar aan, of je hebt het hélemaal fout gedaan.'

Ook Jelke Bethlehem, emeritus hoogleraar surveyonderzoek, heeft zijn bedenkingen bij de nieuwe peilmethoden. 'Als je die impliciete-associatietest op de Nederlandse situatie loslaat, moeten deelnemers natuurlijk kiezen uit heel veel kandidaten. Slaat na verloop van tijd dan niet de onverschilligheid toe, resulterend in minder nauwkeurige antwoorden?'

Bovendien zou de techniek wel eens in de weg kunnen zitten, aldus Bethlehem. 'Zijn de reactietijden op mobieltjes, tablets en desktops wel goed vergelijkbaar?'

Radicaal ander idee: misschien moet je mensen wel helemaal niks meer vragen. In 2012 liet taaltechnoloog Eric Sanders van de Radboud Universiteit de computer turven hoe vaak op Twitter namen van partijen werden genoemd in de laatste tien dagen voor de Tweede Kamerverkiezingen. Tot zijn verrassing leverde dat al een aardige voorspelling op van de zetelverdeling. Waar traditionele polls er zo'n 12 procent naast zaten, was dat bij zijn Twitteranalyse 24 procent. Op stemming2017.nl gebruikt hij nu dezelfde taalanalyse om de uitslag van komende woensdag te voorspellen.

Nieuwkomers

Sanders onderzoekt of zijn voorspelling accurater wordt door correctiefactoren toe te passen. Op Twitter zitten relatief weinig vrouwen en ouderen. Een vrouw van boven de 60 die twittert over 50Plus mag dus misschien wel wat zwaarder worden meegewogen dan een man van 30 die iets schrijft over een politieke partij.

Toen Sanders net begon, dacht hij weleens: de traditionele opiniepeilers kunnen binnenkort inpakken. Nu is hij daar genuanceerder over, onder meer omdat de correcties vooralsnog de voorspelling niet veel beter lijken te maken. 'Die laatste stap, om echt beter te voorspellen dan de traditionele vragenlijststudies, is een stuk moeilijker dan ik dacht. Dit soort technieken zullen eerder aanvullend gaan werken. Zo hebben traditionele onderzoeksbureaus vaak moeite om de opmars van nieuwe partijen goed in te schatten, terwijl die op Twitter best vaak genoemd worden. Misschien dat daar wel de echte kracht zit van deze methode: het op waarde schatten van nieuwkomers in het politieke landschap.'

Peilingen uitvoeren op basis van hoe vaak een naam opduikt op internet? Emeritus hoogleraar surveyonderzoek Bethlehem waarschuwt: 'In de Verenigde Staten wilden websites na de presidentsdebatten peilen wie het 't beste had gedaan, Clinton of Trump. Maar die websites werden door de aanhang van zowel Clinton als Trump bestookt met software die automatisch klikte op de eigen kandidaat. Dat is een van de vele risico's van peilingen via internet: meet je wat het echte volk wil, of meet je wie de beste robot heeft gebouwd?'

Lees ook

Kiezer leunt zwaar op peilingen, maar hoe betrouwbaar zijn die nog?
Een kwart van de kiezers stemt strategisch en leunt daarbij zwaar op de peilingen. Maar aan die peilingen willen steeds minder mensen meedoen - en wie dat wel wil, is vaak hoogopgeleid en blank. Wat doet dat met de betrouwbaarheid van het opinieonderzoek? (+)

Wat we werkelijk leren van de peilingen
Even kijken wie het hoogst staat in de peilingen valt nog niet mee, ondervond RTL de afgelopen weken. Maar wat voor voorspelling geven die peilingen dan wél? Een verkenning aan de hand van vijf tarotkaarten. (+)

Verkiezingsblog - Asscher probeert het dan maar in advertentie over de inhoud te hebben
De campagne is in volle gang: op 15 maart kiest Nederland een nieuwe Tweede Kamer en politici doen er alles aan om in de gunst van de kiezer te komen. Volg alle nieuwtjes, relletjes en ontwikkelingen gedurende de hele dag in dit verkiezingsblog. En elke ochtend beginnen we met een handig overzicht.

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden