Kiezer leunt zwaar op peilingen, maar hoe betrouwbaar zijn die nog?

Een kwart van de kiezers stemt strategisch en leunt daarbij zwaar op de peilingen. Maar aan die peilingen willen steeds minder mensen meedoen - en wie dat wel wil, is vaak hoogopgeleid en blank. Wat doet dat met de betrouwbaarheid van het opinieonderzoek?

Enquêteurs van het NIPO in 1998. Beeld Hollandse Hoogte

Ze willen alles van hem weten. Naar welke tv-zenders hij kijkt, welke supermarkten hij bezoekt, of hij recentelijk nog gordijnen heeft gekocht en op welke partij hij zou stemmen als vandaag de Tweede Kamerverkiezingen zouden zijn. Menno Siljee, strategisch directeur van de directie van de Hogeschool Rotterdam, is deelnemer aan twee opiniepanels. Die van GfK en Kantar TNS. Regelmatig vallen er linkjes naar vragenlijsten in zijn inbox. Die vult de 49-jarige Siljee dan in, tussen werk en gezin door. Kost hem maximaal een uur per week. Een paar maanden vragenlijsten invullen levert hem een cadeaubon op van een tientje. Geeft hij aan zijn zoon.

Grote gevolgen

Maar voor het geld doet hij het niet. Siljee volgt het nieuws, is maatschappelijk betrokken, geeft graag zijn mening. Hij weet dat zijn stem maar een fractie van de percentages in de grafieken bepaalt, maar toch, als Siljee aanvinkt dat hij nu zwevende kiezer is, terwijl hij járenlang PvdA stemde, en nog meer panelleden doen dat, dan kan dat grote gevolgen hebben. Peilingen bepalen mede welke lijsttrekkers worden uitgenodigd voor interviews en debatten, en welke lijsttrekkers continu moeten uitleggen waarom ze er zo slecht voor staan in de peilingen. Mogelijk ontstaat daarbij een self-fulfilling prophecy: door partijen aan te wijzen als koplopers kunnen kiezers die extra aantrekkelijk gaan vinden.

Kiezers zijn sinds het einde van de verzuiling steeds minder honkvast geworden. 75 procent van de kiezers zweeft volgens Peter Kanne van I&O Research en een kwart van het electoraat stemt strategisch, bijvoorbeeld om de kans op bepaalde coalities groter te maken. Met name die strategische kiezers leunen zwaar op de peilingen. En dus is het belangrijk dat die de stemvoorkeur juist weergeven. Maar doen ze dat wel?

Non-respons

De Volkskrant sprak met onderzoekers van vijf grote opiniepeilers: I&O Research, Ipsos, Kantar Public, Peil.nl en EenVandaag De Stemming/GfK. Vrijwel alle bureaus geven aan dat het steeds meer moeite kost om mensen te vinden die deelnemen aan enquêtes. Tot halverwege de jaren negentig wierven onderzoeksbureaus deelnemers vooral door willekeurig telefoonnummers te bellen. Maar in het tijdperk van de mobiele telefoon werkt die strategie slechter. Mensen gebruiken de vaste lijn minder of nemen de mobiele telefoon niet op als ze een onbekend nummer zien. Ruim 8 miljoen nummers staan inmiddels geregistreerd in het het bel-me-nietregister. Een centrale database met alle e-mailadressen van Nederland bestaat niet. En al zou die wel bestaan, dan stuiteren veel enquêteverzoeken op spamfilters of desinteresse van de ontvanger.

Onbereikbaar, geen zin, geen tijd, je zoekt het maar uit met je vragenlijst. Het percentage mensen dat niet deelneemt aan enquêtes noemen statistici de 'non-respons'. Het is een cruciaal percentage voor peilingen: hoe hoger de non-respons, hoe zwakker de methodologische fundering, zeker wanneer de mensen die niet reageren verschillen van de mensen die wel meedoen met het onderzoek.

Dalende trend

Nieuw onderzoek van Annemieke Luiten van het Centraal Bureau voor de Statistiek demonstreert het probleem van de moderne onderzoeker die iets van het volk wil weten. Van 22 landen analyseerde ze de non-respons door de jaren heen van enquêtes die overheidsinstanties hielden onder de bevolking. Deed in 1980 nog gemiddeld ruim 90 procent van de benaderde huishoudens mee aan de enquête, nu is dat 70 procent. Nederland zit op 60 procent - met daarbij de kanttekening dat deelname hier vrijwillig is, terwijl in andere landen deelname soms verplicht is. Luiten: 'Internationaal gezien is de dalende trend duidelijk en die gaat onverminderd door. En dit zijn alleen nog maar de cijfers van de nationale statistiekbureaus, waar de bereidwilligheid om mee te doen nog relatief hoog is. Commerciële bureaus lijden er nog veel meer onder.'

De grote onderzoeksbureaus leunen daarom zwaar op de mensen die nog wél bereid zijn vragenlijsten in te vullen. Vele tienduizenden Nederlanders nog, maar onder hen wel opvallend veel mensen zoals panellid Siljee uit het begin van dit artikel: hoogopgeleid, blank, politiek geïnteresseerd. Andere groepen zijn schaarser in de panels: jongeren, laagopgeleiden, politiek ongeïnteresseerden, mensen met een migratie-achtergrond.

Grenzen

Nu kunnen peilers daarvoor corrigeren - bijvoorbeeld door de stem van Nederlanders met niet-westerse wortels zwaarder mee te wegen - maar daar zitten grenzen aan, zegt emeritus hoogleraar surveyonderzoek Jelke Betlehem. 'Een Turkse Nederlander die wel deelneemt aan je panel, hoeft natuurlijk helemaal niet representatief te zijn voor de rest van de Turkse Nederlanders. Door een beperkt aantal panelleden uit een bepaalde groep enorm zwaar mee te tellen, krijg je misschien zelfs wel een totaal verkeerd beeld van wat er echt leeft onder die groep.'

Het 'vangen' van de migrantenkiezer: Peter Kanne (I&O Research) noemt het dé grote uitdaging voor de onderzoeksbureaus. Medewerkers van zijn bureau gingen de grote steden in om specifiek die doelgroep te werven voor hun panel. 'We vonden er zo'n tweehonderd bereid om eenmalig wat vragen te beantwoorden. Maar deelnemen aan het panel: nee.'

Dat ervoer ook het team van Gijs Rademaker (Eén Vandaag De Stemming, GfK). De enquêteurs werkten samen met belangenorganisaties voor moslims, plaatsten oproepen in bladen die deze doelgroep veel leest en organiseerden zelfs samen met Maroc.nl een ramadan-sms-dienst die aangeeft hoe laat de zon op en onder gaat. Rademaker: 'Niets hielp om deze doelgroep blijvend te werven voor ons panel. Typische redenen die ze daarvoor opgaven: geen interesse in het politieke debat, weerstand tegen Nederlandse media, past niet in de cultuur om overal maar je mening op te geven.'

Grote trends

Ondertussen is daar wel Denk van lijsttrekker Tunahan Kuzu. Op hoeveel zetels moet je die nieuwe partij dan in hemelsnaam inschatten? Daarvoor zijn de 12 duizend panelleden die meedoen aan De Stemming van EenVandaag veel te wit. De peilers probeerden dit op te lossen door handmatig Nederlanders met een migratie-achtergrond toe te voegen aan het 100 duizend zielen tellende panel van GfK, net zolang tot er in de steekproef van De Stemming zo'n 12 procent van niet-westerse afkomst is. Daarbij óók nog rekening houdend met de diversiteit binnen die groep: 19 procent met Marokkaanse wortels, 20 procent met Turkse wortels, 17 procent met Surinaamse wortels, enzovoorts.

Uitkomst van deze statistische list? Eén zetel voor Denk bij De Stemming. Al kan het ook een zeteltje meer of minder zijn, volgens de andere onderzoeksbureaus. Ook bij de andere partijen schommelen de zetels altijd wel wat tussen de peilers. Kan ook niet anders, in een politiek landschap met 28 partijen vol zwevende kiezers en strategische kiezers, waarvan steeds meer mensen weigeren aan enquêtes mee te doen.

Hoe goed de peilers ondanks die statistische slangenkuil het werkelijke sentiment van de kiezer weten te vangen? Simpel, denkt menigeen, leg gewoon de zetels van de slotpeiling naast de verkiezingsuitslag en je weet wie het beste peilt. Het is een redenering waarbij peilers collectief met de ogen beginnen te rollen. Marianne Bank (Ipsos/Politieke Barometer): 'Ik zit al dertig jaar in het vak en al dertig jaar moet ik uitleggen dat wij niet op aarde zijn om de verkiezingsuitslag tot op de laatste zetel te voorspellen. De grote trends, die proberen we in kaart te brengen. Welke partijen liggen er goed voor? Hoeveel mensen twijfelen nog? Tussen welke partijen twijfelen die mensen?'

Arbitrair

Het is ook zeer arbitrair om op basis van slotpeilingen te bepalen hoe goed een peilbureau het doet. Want wat is erger: bij drie partijen één zetel ernaast, of bij één partij drie zetels ernaast? De grootste partij verkeerd voorspellen of de steun voor een paar middenmotors onderschatten? De meeste peilbureaus houden hun slotpeiling bovendien een dag voor de verkiezingen. In het etmaal dat daarop volgt, kan nog veel gebeuren. 12 procent beslist op de laatste dag, onderzocht Ipsos bij de laatste verkiezingen.

Bij de vorige landelijke verkiezing bedroeg het verschil tussen de slotpeiling en de werkelijke uitslag bij de peilbureaus tussen de 18 en 24 zetels. Alle peilbureaus zagen een nek-aan-nekrace tussen de VVD en de PvdA; het werd 41 versus 38 zetels. Alle peilbureaus zagen dat de middenmoot zou bestaan uit PVV, CDA, D66 en SP. Kwam ook uit, al werd de SP wel zo'n vijf zetels kleiner dan verwacht. Volgens Peter Kanne van I&O Research kwam dat doordat de slotpeiling juist uitpakte als een 'self denying prophecy', een zichzelf ontkennende voorspelling. Linkse strategische stemmers zagen de laatste peilingen en stapten over van de SP naar de PvdA in de hoop een linkse partij de grootste te maken. Peilingen, nieuwsconsumenten die reageren op peilingen, en de peiling is alweer achterhaald.

Zouden de peilingen beter kunnen als er nóg meer werk wordt gemaakt van het bereiken van mensen die nu niet willen meedoen aan enquêtes? Het CBS wist de respons sinds 2002 met 10 procent te verhogen. Volgens Luiten een belangrijke stap om de kwaliteit van de studies nog beter te maken. Het CBS slaagde hier onder meer in door interviewers die voorheen freelancer waren in vaste dienst te nemen. Luiten: 'Zo groeide de betrokkenheid van de interviewers bij het onderzoek. Minimaal zes keer langsgaan bij een huis, waarvan twee keer 's avonds: dat vergt doorzettingsvermogen. Maar zelfs dan zijn er nog veel die niet mee willen doen. Je kunt mensen wel proberen te overtuigen met argumenten als 'het is voor beleidsmakers belangrijk om te weten wat er speelt onder de gehele bevolking'. Maar dan krijg je toch regelmatig terug: 'Oké, maar wat heb ík
eraan om mee te doen?'


Korte geschiedenis van (politieke) peilingen

1824 - Straw poll

The Harrisburg Pennsylvanian publiceert een van de eerste politieke peilingen. Medewerkers van de krant vragen inwoners van de staat Delaware naar hun favoriete presidentskandidaat. Bij deze zogeheten 'straw poll' kijkt de krant niet of de ondervraagde groep wel representatief is voor alle kiezers.

1935 - Representatief

Statisticus George Gallup begint met representatieve steekproeven. In de rubriek America Speaks lezen krantenkopers hoe 'het volk' denkt over vragen als 'Is het onfatsoenlijk voor mannen om topless te zonnen?'. (Ja, oordeelt een op de drie Amerikanen eind jaren veertig.)

Presidentskandidaat Alf London in 1935. Beeld Getty

1936 - Roosevelt

Het tijdschrift Readers Digest voorspelt dat Alf Landon de nieuwe Amerikaanse president wordt, op basis van niet-representatief onderzoek onder miljoenen kiezers. Gallup verwacht dat Franklin D. Roosevelt president wordt, op basis van een veel kleinere quota-steekproef, waarbij quota zijn bepaald op vooraf bepaalde eigenschappen, zoals aantallen mannen en vrouwen. Gallup krijgt gelijk.

George Gallup (rechts) in 1941. Beeld AP

1945 - Nipo begint

Het Nederlands Instituut voor de Publieke Opinie en marktonderzoek (NIPO) wordt opgericht. Enquêteurs gaan huis aan huis om vragen te stellen over hun koopgedrag. De politieke voorkeur is bijvangst. Nog steeds verdienen de meeste peilbureaus weinig met de politieke peilingen. Ze doen het vooral voor de naamsbekendheid en om te toetsen hoe de peiling zich verhoudt met de echte verkiezing.

1948 -Dewey vs Truman

'Dewey verslaat Truman' kopt de Chicago Daily Tribune op basis van een slotpeiling van Gallup. Maar Gallup zit ernaast: Truman wint. De foto waarop Truman de foute voorpagina omhoog houdt, gaat de wereld over. Gallup schakelt over op aselecte steekproeven. Bij deze gouden standaard van de statistiek bepaalt het toeval wie wordt benaderd om mee te doen aan een enquête.

Winnaar Harry Truman met de foute voorpagina.

Jaren negentig - online en mobiel

Opmars van het internet, en later de mobiele telefoon. Peilers hebben steeds meer moeite panelleden te vinden door willekeurig telefoonnummers te bellen. Mensen gebruiken de vaste lijn minder, of staan in het bel-me-nietregister. Peilingen gaan vaker via internet en worden daardoor goedkoper. Ook internetpanels waarvoor men zichzelf kan aanmelden doen hun intrede.

Enquêteurs van het NIPO in 1998. Beeld Hollandse Hoogte

2010 - 24 PVV-zetels

De PVV haalt 24 zetels in de verkiezingen, terwijl opiniepeilers de partij in de slotpeiling nog op ongeveer 18 zetels inschatten.

Geert WIlders in 2010: niet 18, maar 24 zetels. Beeld Arie Kievit

2015 - Cameron verrast

De British Polling Council publiceert een groot onderzoek, nadat peilbureaus bij de verkiezing van David Cameron collectief de steun voor de Conservatieven hadden onderschat. Geen enkel bureau gaf Camerons partij een voorsprong van meer dan 1 procent. Cameron won met een verschil van 7 procent. Hoofdoorzaak volgens het onderzoek: te weinig conservatieve stemmers in de panels.

David Cameron met zijn vrouw Samantha, 2015. Beeld EPA

2016 - Toch trump

Donald Trump wint de Amerikaanse verkiezingen. Verreweg de meeste peilbureaus gaven juist Hillary Clinton de meeste kans op het presidentschap. Clinton won weliswaar landelijk de meeste stemmen. Maar doordat de Verenigde Staten werken met kiesdistricten kwam toch Trump als winnaar uit de bus.

Een verslagen Hillary Clinton, 2016. Beeld AFP
Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@volkskrant.nl.