AnalysePeilingen

Via peilingen laten leraren, aannemers en andere beroepsgroepen van zich horen. Hoe stevig zijn die cijfers?

Leraren, verpleegkundigen, aannemers: via enquêtes van beroepsverenigingen vernemen we voortdurend hoe zij de coronacrisis beleven. Op die peilingen is nogal wat aan te merken, waarschuwen experts. 

Beeld Thomas Nondh Jansen

‘60 procent!’ Presentator Tijs van den Brink kan de cijfers ‘bijna niet geloven’, zegt hij in de talkshow Op1. Het gespreksonderwerp: de enquêteresultaten over agressie tegen zorgpersoneel, die beroepsorganisatie NU’91 eerder die dag uitbracht. 60 procent wordt uitgescholden terwijl ze hun werk doen,  een kwart van de verpleegkundigen zegt zelfs te zijn bespuugd of geslagen. Het wordt erger, merken ze, nu de coronacrisis lang aanhoudt. De verontwaardiging bereikt ook de politiek: SGP-Kamerlid Kees van der Staaij haalt dezelfde cijfers aan in de Tweede Kamer.

Het is niet de enige mediagenieke peiling de afgelopen tijd. In het begin van de coronacrisis, tijdens de tweede lockdownweek in maart, haalt branchevereniging Bouwend Nederland onder meer NPO Radio 1 met een enquête waaruit blijkt dat hoge percentages ondernemers in de bouwsector dreigen stil te vallen. Tijdens het voorjaar en de zomer laten leraren, verpleegkundigen en artsen meermaals van zich horen via peilingen van beroepsverenigingen.

De vraag is daarom: hoe stevig zijn de cijfers uit zulke enquêtes? Belangrijk, want het is wel duidelijk dat  enquêteresultaten vaak ongehinderd hun weg vinden naar het journaal, de krant, het internet en uiteindelijk de politiek. ‘We zien dat politici in Kamervragen meer dan vroeger verwijzen naar media-optredens van belangengroepen’, zegt hoogleraar politieke communicatie Claes de Vreese van de Universiteit van Amsterdam (UvA). Was dat in 1997 nog 6 procent, in 2009 bleek dat meer dan verdubbeld tot 17 procent, aldus een UvA-onderzoek.

Vertekening

Om te zien of zulke mediagenieke peilingen een realistisch beeld schetsen van hoe onder meer leerkrachten en verpleegkundigen de coronacrisis beleven, vragen we drie peilingexperts van verschillende universiteiten om er een aantal tegen het licht te houden. Op voorhand waarschuwen ze: een enquête kan op ontiegelijk veel manieren vertekend zijn.

Een van de meest voorkomende problemen ontstaat als de enquête vooral mensen trekt die zich geroepen voelen om iets te melden, zegt Jelke Bethlehem, hoogleraar peilingmethodologie aan de Universiteit Leiden. Dat trekt de resultaten scheef: de enquête bevat dan meer antwoorden van – bijvoorbeeld – ontevreden werknemers. Zelfselectie heet dat. Een enquête die hiervoor niet waakt, levert geen waarheidsgetrouw beeld op, zegt Bethlehem.

Gelukkig valt goed na te gaan of een peiling zich indekt tegen dit soort vertekeningen. Maar bij de eerste paar enquêtes die de experts daarop nalopen, ontbreekt elk spoor van hóé deze in elkaar is gezet. ‘Hier mag je je best boos om maken’, zegt Bethlehem: zo kan een belangenvereniging cijfers presenteren zonder deze grondig te onderbouwen.

Paradox

Neem de zorgpersoneelsenquête die het tv-programma Op1 haalde over agressie op het werk, van beroepsvereniging NU’91. De website vermeldt allerlei zorgwekkende percentages in een persbericht, maar een onderzoeksrapport ontbreekt. Op onze herhaaldelijke verzoeken er een toe te sturen, blijft het stil.

Zo blijft onduidelijk wie er op de peiling afkwam, en of bijvoorbeeld de vragen neutraal genoeg geformuleerd waren. Uit een negatieve vragenlijst zal eerder een negatief beeld rollen. 

Bijvoorbeeld: een vraag als ‘ervaart u weleens agressie’ met alleen de antwoordmogelijkheden ‘ja’ en ‘nee’ zal hogere bevestigingspercentages opleveren dan de vraag ‘hoe gaan ziekenhuisbezoekers met u om?’ met daarbij een neutraal antwoordvakje. Zorgpersoneel zal heus met agressie te maken krijgen, maar de omvang van het probleem is misschien kleiner dan de peiling doet lijken – en zonder eerdere metingen is al helemaal niet na te gaan of agressie in de zorg tijdens de coronacrisis is toegenomen.

Ook recente coronacrisispeilingen van vakbond CNV (over agressie op het werk) en de Algemene Vereniging Schoolleiders (over ventilatie op scholen en personeelstekort) vermelden nergens hoe ze precies aan hun antwoorden zijn gekomen. Ondanks herhaaldelijke verzoeken ontvingen we geen verdere informatie over de precieze enquête-opzet.

Andere organisaties komen wel over de brug met extra informatie over hun enquêteaanpak. Dat leidt tot ‘een rare paradox’, zegt statistiekhoogleraar Casper Albers van de Rijksuniversiteit Groningen, die eveneens meekeek naar de kwaliteit ervan. 

‘De betere peilingen zullen transparant zijn en hun methodologie willen delen. Op elke aanpak is wel iets aan te merken, dus kritiek komt er dan toch. Maar de écht slechte peilingen delen geen informatie en ontlopen dus kritiek.’

Vangnet

Maar goed: op naar de peilingen waarvan we wél het binnenwerk te zien krijgen. Dat zijn onder meer recente enquêtes van de Algemene Onderwijsbond (AOb), Bouwend Nederland, Verpleegkundigen & Verzorgenden Nederland (V&VN), De Jonge Dokter en seniorenorganisatie KBO-PCOB. Die zijn behoorlijk transparant, wilden al onze vragen beantwoorden en geven daarmee een inkijkje in hoe belangengroepen enquêtes afnemen.

Er valt dan meteen iets op. In hun jacht op antwoorden gooien sommige organisaties hun vangnet zo breed mogelijk uit. Meestal onder de eigen leden, maar ze zetten ook links op sociale media en vragen iedereen om de vragenlijst naar bekenden door te sturen. Dat klinkt logisch – zo veel mogelijk mensen werven – maar het omgekeerde is waar, zeggen de peilingmethodologen. 

Dat zit zo: bij een ideale peiling heeft iedereen evenveel kans om mee te doen. Zodra je op verschillende manieren mensen aantrekt, zijn de kansen niet meer gelijk: voor hetzelfde geld heb je vooral de mening te pakken van uitgesproken mensen die graag op Twitter en Facebook zitten. Dat geldt ook voor peilingen die met een onlinepanel werken, waarvan er ook enkele bij zaten.

Daar komt in veel gevallen een ander probleem bovenop: in vrijwel alle enquêtes vulde minder dan de helft van de gevraagde personen die in. Omdat bij geen enkele peiling voldoende is nagegaan of deze minderheid enigszins representatief is voor de rest van de leden, terwijl daar wel wetenschappelijke trucs voor bestaan, is volgens de peilingmethodologen ook geen enkel resultaat nog representatief. 

Hoe dan ook gaan de resultaten volgens de methodologen niet op voor mensen buiten de vereniging met hetzelfde beroep. Met andere woorden: de cijfers die de belangengroepen presenteren zijn nauwelijks representatief, maar zeggen al helemaal weinig over hoeveel van alle leerkrachten of ic-verpleegkundigen in Nederland écht bezorgd zijn.

In een reactie stellen de belangenverenigingen dat hun peiling helemaal niet wetenschappelijk is bedoeld. ‘Bij elk standpunt dat we innemen, stellen we ons de vraag: wat denkt de achterban?’, zegt Jacek Magala, woordvoerder bij V&VN. De peiling is dan ook vooral dáárvoor bedoeld, zegt hij.

Handtekeningenactie

Die eerlijkheid kan peilingonderzoeker Peter Lugtig van de Universiteit Utrecht wel waarderen – ook hij controleerde enkele peilingen voor deze krant. ‘Maar ik vind het ook jammer dat zoveel van die onderzoeken het nieuws halen. Het leidt tot een enorme bak met data en getallen die elke dag over de krantenlezer en journaalkijker worden uitgestort, waar verder moeilijk wijs uit te worden is.’

Maar het nieuws halen, dat wil elke belangengroep, zegt Sjoerd Stolwijk, die aan de Universiteit van Amsterdam op de invloed van peilingen promoveerde. ‘Daar zijn peilingen goed voor. Dat weet de achterban vaak ook wel. Als je bijvoorbeeld lid bent van Bouwend Nederland en je moet een vraag beantwoorden of je verwacht dat de coronacrisis je geld gaat kosten, dan zeg je natuurlijk dat het geld gaat kosten. Eigenlijk zijn dit geen peilingen, maar handtekeningenacties.’

Richard Massar, woordvoerder bij Bouwend Nederland, kan zich niet in die kritiek en karakterisering vinden. Hij stelt dat de vereniging de leden wil bedienen met ‘feitelijke en gevalideerde informatie’. Wel omschrijft hij de enquêtes als lobbymiddel. ‘Stel, onze voorzitter Maxime Verhagen gaat volgende week donderdag bij Rutte langs. Dan trekken we de peilstok bij onze achterban en neemt hij de resultaten mee in het gesprek.’

Peilingen zijn vooral problematisch wanneer zulke mogelijke belangen of vertekeningen moeilijk zichtbaar zijn, vindt hoogleraar politieke communicatie Claes de Vreese. ‘Eigenlijk zou bij elk persbericht van zo’n belangengroep moeten staan: hier is onze verantwoording, dit geldt alleen voor onze achterban. En het zou ook helpen als journalisten dit soort getallen niet te snel overnemen.’

Woordvoerder Jacek Magala van beroepsvereniging V&VN zegt dat er vroeger meestal zo’n verantwoording bij hun persberichten stond. ‘Maar daar vroeg nooit iemand naar. Toen zijn we er maar mee gestopt.’

Herken zelf slechte peilingen

Achterhaal hoe de antwoorden zijn verzameld

Om in te schatten of een peiling vertekeningen bevat, moet er meer te vinden zijn dan alleen een lijst met resultaten. De kwaliteit van een enquête staat of valt met hóé de antwoorden zijn verzameld. Daar moet dus een onderzoeksrapport van te vinden zijn. Is dat er niet, dan zijn de resultaten niet zomaar te vertrouwen, zeker niet als de opdrachtgever belangen heeft bij mogelijke uitkomsten. Een goed rapport bevat in elk geval de vragenlijst en gedetailleerde informatie over wie er mee hebben gedaan aan de enquête.

Zie wie de peiling heeft ingevuld

Belangrijk is dat duidelijk blijkt over wíé de enquête gaat. Zijn dat bijvoorbeeld ‘alle leerkrachten’, dan zijn de resultaten zinvoller dan enkel de ‘leden van onze vereniging’. En dan: hoe konden mensen meedoen? Een goede peiling trekt een willekeurige steekproef uit de beoogde groep mensen: het toeval bepaalt wie wel of niet een uitnodiging ontvangt.

Je zult altijd mensen hebben die desondanks toch de enquête niet invullen. Hoeveel dat er zijn, moet in het rapport staan. Om een beeld te krijgen, net als de verschillende kenmerken van wie hem wél heeft ingevuld. Denk maar aan politieke peilingen: voor de kiezers van alle partijen moet het percentage ingevulde enquêtes telkens gelijk zijn, anders is de uitkomst scheef. In de praktijk is dat lastig, omdat peilingonderzoekers meestal niet weten op welke partijen non-respondenten stemmen. Toch kunnen ze onder de respondenten kijken naar kenmerken die samenhangen met stemgedrag, zoals opleidingsniveau en leeftijd. Goede peilingen laten deze responsverschillen zien en corrigeren daarvoor door de resultaten te ‘wegen’.

Check de vragen zelf

Een vragenlijst kan ook leiden tot vertekening in de resultaten. Bijvoorbeeld wanneer die vragen sturend zijn: als ze alleen maar problemen ter sprake brengen, zullen mensen die problemen vaker bevestigen, zeker als een antwoordvakje met ‘weet niet’ ontbreekt.

Wat is de kans op opname of overlijden? Hoe raken we besmet? En wat zijn de gevolgen voor zwangere vrouwen? Dit is wat we na driekwart jaar corona over het virus weten.

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden