Hoe komen ze aan die cijfers? Econometrist Sanne Blauw zoekt het uit

Stel u loopt een kroeg binnen en op de deur hangt een bord met de tekst ‘Dit is het beste café van Nederland’. Hecht u daar dan veel waarde aan?

Nu het volgende scenario. Zelfde kroeg, maar deze keer met een bord ‘Dit café is met een 9,5 als beste verkozen in het Groot Nederlands Caféonderzoek’. Maakt het bord nu meer indruk? Bij de meeste bezoekers wel, vreest Sanne Blauw, want mensen hebben de neiging om veel status te hechten aan onderzoeken en cijfers. ‘Getallen hebben iets absoluuts, zo is het en niet anders’, zegt Blauw op een terras vlak bij de redactie van De Correspondent waar ze werkt als correspondent Ontcijferen. ‘Terwijl ook bij zo’n caféonderzoek direct kritische vragen op zijn plaats zijn. Wie heeft dat onderzoek uitgevoerd? Hoe zijn de cijfers verzameld? Hoe zijn ze gepresenteerd?’

30 oktober publiceert de 32-jarige Het bestverkochte boek ooit (met deze titel). Daarin wil ze cijfers op hun plek zetten. ‘Niet op een voetstuk, niet bij het vuilnis. Maar waar ze horen: naast de woorden.’

Actueel voorbeeld? Blauw, gepromoveerd econometrist, weet er wel een. Dit weekend gaat de wintertijd in, terwijl volgens een onderzoek van de Europese Unie 84 procent van de Europeanen wil stoppen met het gedraai aan de klok.

‘84 procent! Dat klinkt als een ruime meerderheid, totdat je naar die onderzoeksopzet kijkt. Mensen konden gewoon reageren op een website, dus misschien zijn dat alleen figuren die zich ergerden aan het klokgedraai, terwijl de meerderheid die niks van zich liet horen de huidige situatie juist wel prima vindt. Bovendien zijn bepaalde landen, zoals Duitsland, zwaar oververtegenwoordigd in de peiling.’

Wanneer begon je kritische houding ten aanzien van onderzoeken en getallen?

‘Bij een van mijn eigen onderzoeken als econometrist. In Bolivia onderzocht ik in 2012 de relatie tussen geluk en inkomensverdeling. Met een stapel vragenlijsten benaderde ik boeren, marktkoopvrouwen, families, enzovoorts. Ik vond de respondenten met een methode die snowball sampling heet. Na mijn interviews vroeg ik dan: ‘Kun je me nog meer mensen aanraden die mee kunnen doen aan mijn onderzoek’? Bijzonder dubieus, besefte ik later, want zo krijg je natuurlijk geen representatieve afspiegeling van de samenleving. Verder stuitte ik erop dat sommige geënquêteerden de vragenlijsten niet goed snapten. En toch moest dat alles uitmonden in een harde conclusie over de relatie tussen inkomen en geluk. Terwijl ik daar rondliep, dacht ik steeds vaker: als ik dit onderzoek nét een beetje anders zou opzetten, komen er vast totaal andere resultaten uit...’

Zijn onderzoeksresultaten dan ‘ook maar een mening’?

‘Nee, zover wil ik absoluut niet gaan. Met wetenschappelijk onderzoek dat zwaar leunt op cijfers is het wel degelijk mogelijk om belangrijke ontdekkingen te doen die anders nooit mogelijk waren geweest. Neem Florence Nightingale (1820-1910), de beroemde Britse oorlogszuster en tevens een pionier op het gebied van medische statistiek. Met taartdiagrammen maakte ze inzichtelijk waaraan Britse soldaten stierven. Bizar veel gingen er niet dood aan kogels, maar aan te vermijden wondinfecties en besmettelijke ziektes. Dat kwam onder meer door de slechte hygiënische toestand in militaire ziekenhuizen.

‘Nightingale maakte het probleem invoelbaar voor beleidsmakers met tabellen en diagrammen, en met rake vergelijkingen als ‘dit is net zo erg als elk jaar 1.100 soldaten mee te nemen naar de vlakte van Salisbury en ze daar dood te schieten’. Dat maakte indruk en ze kreeg het voor elkaar om de omstandigheden in die ziekenhuizen enorm te verbeteren. En zo zijn er natuurlijk nog veel meer mooie voorbeelden. Neem klimaatopwarming: onderzoek na onderzoek na onderzoek toont aan dat onze broeikasgassen het klimaat ingrijpend veranderen. Dat kun je echt niet opzij schuiven met ‘is ook maar een mening’.’

Zijn we de strijd tegen dubieuze onderzoeken en cijfers aan het winnen?

‘Aan de ene kant wel: er verschijnen veel goede factcheckrubrieken die mensen laten zien wat de sterke en zwakke punten van onderzoeksresultaten zijn. Een politicus kan niet ongestraft zomaar wat roepen – nog voor het einde van het verkiezingsdebat ben je al gefactcheckt. Maar aan de andere kant zijn er zorgelijke ontwikkelingen. Populaire politici als Trump die leugen op leugen stapelen, en totaal maling hebben aan hoe het echt zit.

‘En daarnaast is er de opmars van algoritmen die steeds meer ingrijpen in ons dagelijks leven. Denk aan bedrijven die algoritmen gebruiken om te bepalen wie ze uitnodigen voor een sollicitatiegesprek, wie je wel of geen lening geeft. De politie die algoritmen inzet om te bepalen wie ze wel en niet aanhouden om preventief te fouilleren. Wetenschappelijke studies kun je zelf bekijken en zien waar de aannames of beperkingen zitten. Maar zo’n algoritme dat keurt of je kredietwaardig bent, daarvan houden de makers de code geheim omdat het concurrentiegevoelige informatie zou zijn. Idem voor of al die algoritmes van grote techbedrijven als Google en Facebook. Wie controleert zulke bedrijven en hun rekenregels?’

Is verzet mogelijk tegen de macht van algoritmen van grote bedrijven?

‘Het is moeilijk, maar er zijn mooie voorbeelden van hoe het kan. Denk aan De Bijenkorf, waarbij medewerkers na een aankoop aan klanten moesten vragen hen een persoonlijke beoordeling te geven. Dat leidde tot bizarre toestanden, zoals medewerkers die al hun familieleden optrommelden om maar een goede beoordeling te krijgen. Na verzet van de vakbond en media-aandacht veranderde De Bijenkorf het systeem. Klanten kunnen nog steeds hun mening geven, maar medewerkers hoeven niet langer meer om persoonlijke feedback te vragen.

‘Nog een mooi voorbeeld: in Duitsland weigerde een grote kredietbeoordelaar bekend te maken hoe hij uitrekent of iemand kredietwaardig is. Twee organisaties, de Open Knowledge Foundation en AlgorithmWatch, riepen vervolgens Duitsers op om hun persoonlijk kredietrapport op te vragen en dat door te sturen. Meer dan 25.000 mensen deden dat, waardoor onderzoekers nu kunnen proberen het algoritme van de kredietbeoordelaar zelf na te bouwen en zo eventuele dubieuze rekenregels bloot te leggen. Prachtig, zelf de macht terugpakken en met eigen ogen kritisch naar de cijfers kijken.’