Wat we werkelijk leren van de peilingen

Vijf mythen over peilingen tegen het licht gehouden

Even kijken wie het hoogst staat in de peilingen valt nog niet mee, ondervond RTL de afgelopen weken. Maar wat voor voorspelling geven die peilingen dan wél? Een verkenning aan de hand van vijf tarotkaarten.

De peiler: voor de één een duivel, voor de ander een godsgeschenk. Beeld Thinkstock

1. Het rad van fortuin

'Je kunt aan zo'n peiling zien wie er bovenaan staan'

Het leek zo simpel. We kijken gewoon naar de peilingen en nodigen de vier hoogst genoteerden uit voor het belangrijke 'premiersdebat' op 26 februari. Dachten ze bij RTL.

'Aanvankelijk vroegen ze me: kun je bij gelijke stand meerdere cijfers achter de komma geven?', vertelt de Leidse politicoloog Tom Louwerse, geestelijk vader van de Peilingwijzer die zes andere peilingen combineert. Alsof zo'n peiling een fotofinish is die je dan maar in honderdste seconden meet, als het in tienden niet lukt. 'Ik heb ze toen uitgelegd dat die foutmarges erbij horen', zegt Louwerse. 'Op basis van een peiling kun je soms niet zeggen welke partij groter is.'

Onzekerheid, lastig is dat altijd. De VVD kan 23 zetels halen maar misschien ook 27, de PVV staat op 27 maar ook op 31. Vaag, vaag, vaag. Maar wel reëel: van een dobbelsteen met een marge tussen 1 en 6 kun je ook niet zeggen dat je er alleen maar 3 mee gooit. 'Ik snap best dat onzekerheidsmarges voor veel mensen overkomen als technisch gezeur', zegt Boukje Cuelenaere van het instituut voor dataverzameling en -onderzoek Centerdata in Tilburg. 'Maar het is nu eenmaal de werkelijkheid.'

De marges ontstaan doordat peilingen tot stand komen door een steekproef van de bevolking te vragen naar het stemgedrag. En hoe groot of representatief zo'n steekproef ook is, 'het is nooit honderd procent zeker dat elke groep mensen precies hetzelfde antwoordt', zegt Cuelenaere. 'Strikt genomen is de onzekerheidsmarge de bandbreedte waarbinnen de uitkomsten van je peiling zouden liggen als je een andere groep zou vragen.' Die marge berekent de peiler met de rekenregels van de statiek: bij een steekproef van de gebruikelijke enkele duizenden burgers, doorgaans zo'n 3 of 4 zetels meer of minder.

RTL ging inmiddels zuchtend om: mochten er straks partijen in elkaars 'onzekerheidsmarges' zitten, dan nodigt RTL gewoon wat meer lijsttrekkers uit. Waarop PVV en VVD weer dreigen de boel te boycotten, kwaad omdat het niet netjes is om de spelregels tijdens het spel te veranderen.

Terwijl de oplossing makkelijk is, vindt Louwerse: kijk bij gelijkspel wie nú de meeste Kamerzetels heeft. Dat was zoals RTL vier jaar geleden selecteerde. Met als gevolg dat ook Diederik Samson mocht meedoen en een comeback kon maken.

Lees ook

RTL houdt vast aan mogelijke uitbreiding 'premiersdebat'
Iedereen wil aanschuiven bij het 'premiersdebat' van RTL, maar niet iedereen wordt uitgenodigd.

2. Dwaas

'De peilingen zitten er tegenwoordig altijd naast'

Natuurlijk had Groot-Brittannië in de EU moeten blijven en Trump de verkiezingen moeten verliezen: de peilingen zeiden het toch? Maar in deze tijd waarin kiezers steeds grilliger worden, heeft de peiler het nakijken.

Dat is althans het beeld - maar het is niet helemaal waar. Neem Trump: volgens een vooraanstaande, samengestelde peiling had hij 30 procent kans. 'Dat is niet niks hè?', zegt Tom Louwerse van de Peilingwijzer. 'Bovendien speelde het Amerikaanse kiessysteem op. In de publieksstem eindigde Clinton op plus 2 procent.'

De Brexit dan? 'Veel mensen zien dat als een peilingdebacle, maar voor mij is het meer een debacle van de herinnering', vindt Louwerse. 'Volgens de peilingen was het: too close to call, niet te zeggen. En vervolgens zegt iedereen: de peilingen zaten ernaast. Dat duidt misschien eerder op wensdenken: we kunnen maar niet geloven dat men heeft gekozen voor de Brexit.'

In diverse landen zijn er intussen experimenten gaande om via allerlei verfijnde statistische correcties de steekproeven waarop de peilingen zijn gebaseerd een nog betere afspiegeling te maken van de samenleving. In theorie moet het zo mogelijk zijn om peilingen tot rond de 90 procent nauwkeurig te krijgen, blijkt vandaag uit een Amerikaanse analyse in vakblad Science. 'Onze resultaten laten zien dat peilingen een robuuste voorspeller zijn van de verkiezingsuitslagen', aldus de auteurs na bestudering van ruim vijfhonderd verkiezingen in 86 landen.

En dan doen de Nederlandse peilingen het zelfs nog relatief goed, constateert onder anderen politicoloog Tom van der Meer (UvA). 'De peilingen zitten er doorgaans zo'n 14 of 16 zetels naast. En dat is al heel lang min of meer constant.' Vergeet bovendien niet hoeveel zetels wél correct worden gepeild, vindt Louwerse: doorgaans al tegen de 90 procent. 'Als je kijkt naar de recente geschiedenis, zijn peilingen nooit spot-on', zegt Louwerse. 'Maar enorme missers hebben ze ook weer niet begaan.'

De Dwaas.

3. Kluizenaar

'Peilbureaus zien hele groepen over het hoofd'

De nachtmerrie van iedere peiler: komt er opeens een horde kiezers aanrennen die je niet zag aankomen. De boze witte mannen, ongeruste ouderen, migranten, noem maar op. Dan sta je daar, met je peiling. Peil-bureaus laten in hun steekproef daarom verschillende subgroepen zwaarder of lichter meewegen: er zitten nogal weinig ouderen in mijn steekproef, dus tel ik hun stemmen dubbel. Zo corrigeert men voor zaken als inkomen, leeftijd en sekse. Maar álle afwijkingen zo rechttrekken, zit er helaas niet in, constateert Louwerse. 'Er zijn zoveel variabelen die het stemgedrag beïnvloeden, dat je kunt corrigeren tot je een ons weegt.'

Voor zijn Peilingwijzer maakt Louwerse een soort beste schatting van zes andere peilingen: Peil.nl van Maurice de Hond, De Stemming van EenVandaag, de Politieke Barometer van Ipsos, de peilingen van Kantar Public en I&O Research en sinds deze week, het LISS-panel uit Tilburg. Dat is meer dan een gemiddelde nemen, benadrukt Louwerse. Zo probeert hij met vernuftige statistische trucs kleine afwijkingen van de afzonderlijke peilbureaus recht te trekken.

Een soort rots in de branding dus, die Peilingwijzer. Behalve dan dat de rots er in 2012 bij zijn slotpeiling nog steeds achttien zetels naast zat - net zoveel als Ipsos en Maurice de Hond. Dat zal te maken hebben met het simpele feit dat het niet goed zat met de grondstof, de afzonderlijke peilingen, zegt Louwerse. 'De Peilingwijzer is geen magisch instrument dat opeens zegt: wacht eens, alle peilingen zitten te laag. De aanname is dat de peilingen gemiddeld genomen goed zitten.'

In Tilburg experimenteert Boukje Cuelenaere van Centerdata met het LISS-panel, met als belangrijkste verschil dat Centerdata zijn 3.500 deelnemers extra zorgvuldig heeft geselecteerd. Zo moet het panel ook de mening van minder politiek geïnteresseerde burgers vangen. Die krijgen niet de vraag wat men zou gaan stemmen als er vandaag verkiezingen zouden zijn. In plaats daarvan vraagt men de panelleden honderd punten te verdelen over álle partijen: hoeveel procent kans dat u op deze partij zou stemmen? Zo hoopt Tilburg ook greep te krijgen op de enorme wolk zwevende kiezers. Zo'n 70 procent van het electoraat twijfelt nog tussen twee of meer partijen, inventariseerde I&O Research vorige week, en bij de verkiezingen van 2012 besliste 15 procent zelfs pas in het stemhokje.

In de eerste peilingen die Centerdata vorige week publiceerde, levert de nieuwe methode opvallende verschillen op: een ongeveer 8 zetels kleinere PVV dan bij de andere peilbureaus en een aanzienlijk grotere D66, PvdA en SP. 'Blijkbaar hebben kiezers die linkse partijen toch wel in hun achterhoofd', zegt Coulenaere. 'Maar wat het precies waard is, moeten we afwachten.'

'We weten in algemene zin: hoe meer moeite je doet een goed panel samen te stellen, des te beter je peilingen', zegt Louwerse. 'Maar zoiets kost geld. En ik denk niet dat we moeten verwachten dat de uitkomsten opeens dramatisch anders zullen zijn.'

Lees ook

Peilers falen omdat ze horen tot establishment
WEIRD-onderzoekers missen de opvattingen van mensen die anti-establishment zijn.

4. De Magiër

'Peilingen beïnvloeden de verkiezingsuitslag'

In 2010 belandde Job Cohen in de verliezersrol nadat de peilingen hadden uitgewezen dat zijn PvdA de VVD onmogelijk nog zou kunnen inlopen. 'Dat zegt u nu wel. U zegt het zelfs lachend. Maar u moet nog heel veel zetels inlopen', wreef Matthijs van Nieuwkerk de zichtbaar ongemakkelijke PvdA-leider live op televisie in.

Totdat bleek dat de peilingen de VVD hadden overschat: het verschil was minder dan 1 procent. 'Als kiezers dat hadden geweten, is het aannemelijk dat velen strategisch hadden gestemd', noteerde politicoloog Tom van der Meer achteraf. 'De uitslag had er wezenlijk anders uitgezien.'

De peilingen zetten de toon van het debat, daarover zijn alle experts het eens. PVV op winst, PvdA op verlies; het bepaalt welke lijsttrekker wordt uitgenodigd, wie wordt bejubeld en wie de kop van Jut is. En ja, dat kan de uitslag sturen, doordat kiezers afgaand op de peilingen strategisch gaan stemmen, of door het 'bandwagon-effect', de menselijke aandrang om zich liever bij het winnende kamp te willen scharen.

Dat zoiets niet denkbeeldig is, bleek toen Van der Meer en zijn collega's Armèn Akhverdian en Loes Aaldering 23 duizend leden van het EenVandaag-panel een echte peiling voorlegden. De helft van het panel kreeg er een duidende zin bij: 'Het meest opvallend is de ontwikkeling van de PvdA. Twee maanden geleden stond de partij nog op 14 zetels in de peilingen, vandaag zouden dat er 20 zijn.'

Het gevolg? In de peiling die volgde koos 15,2 procent van de panelleden die alleen de peiling hadden gezien PvdA. Van de panelleden die de peiling én de duiding hadden gekregen, koos 17,1 procent PvdA. Omgerekend een verschil tot wel 3 zetels winst - destijds toch het verschil tussen een VVD- of een PvdA-premier.

5. Gematigdheid

'Je kunt de peilingen maar beter negeren'

De strategie die onder meer NOS, Trouw, NRC en ook de Volkskrant hebben omarmd: voortaan gaan we terughoudender om met de peilingen, bombarderen we niet meer elk verspringend zeteltje tot nieuws en halen we de virtuele zetels er alleen nog bij als er belangrijke trendverschuivingen zijn in het politieke humeur. In sommige landen, zoals Griekenland, Spanje en Italië, zijn peilingen in de dagen voor de verkiezingen zelfs helemaal verbannen. Dat storende cijfervergif, dat kiezers het hoofd op hol kan brengen.

Waar het steeds misgaat, vindt Van der Meer, is niet zozeer bij de peilingen zelf, maar bij het ongeduld van de buitenwereld. 'Je raakt al snel verzand in het jargon van de paardenrace. De VVD een zeteltje erbij, de PVV een zeteltje eraf. Dat zit diep in het systeem ingebakken', vindt hij.

Zeker in het huidige politieke landschap is dat lastig. 'Vroeger lagen de partijen vaak zo ver uit elkaar dat een zeteltje meer of minder er niet zo toe deed', zegt Cuelenaere. 'Maar vandaag de dag is men meer naar elkaar toe gekropen. Daardoor zijn ook de onzekerheidsmarges veel relevanter.' Je hebt een kopgroep (PVV en VVD), een middengroep (CDA, D66, GroenLinks, PvdA, SP) en een achterhoede aangevoerd door 50Plus - maar daarbinnen loopt alles zo'n beetje naadloos in elkaar over.

Toch is dat geen reden om maar helemaal afscheid te nemen van de peilingen, vinden de experts. Want vergeet even het puntencircus: 'Peilingen zijn wel degelijk zeer goed in het laten zien van trends en het aan het licht brengen van grote verschillen', schetst Van der Meer.

Geniet, maar peil met mate, dus eigenlijk. En besef dat een peiling altijd wat vaag is. Van der Meer gebruikt graag de vergelijking met een metaaldetector: 'Die zegt je ongeveer waar de schat zit. Maar nooit precies. En als je een dag later weer op zoek gaat, kun je uitkomen op een iets andere plek. Maar dat wil natuurlijk niet zeggen dat de schat is verschoven.'

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@volkskrant.nl.