Column

Boodschap is belangrijker dan waarheid

Minstens drie keer per week gaan in mijn hoofd de alarmbellen af. Ik zit achter een van de (serieuze) kranten, lees hierin een stukje over de conclusies van onderzoek, en dan klinkt het: TRINGGG. De alarmbel laat weten dat het vermoeden bestaat dat hier apenkool, lariekoek of onzin wordt verkocht. Na controle - door het aangehaalde onderzoek even te scannen - blijkt helaas vaak dat de alarmbellen terecht zijn afgegaan.

Winkelend publiek in de Rotterdamse Koopgoot Beeld anp
Winkelend publiek in de Rotterdamse KoopgootBeeld anp

Zit er een patroon in? En is er iets tegen te doen?

Ja, er zit een patroon in onderzoek met een luchtje. Uiteraard worden door onderzoekers domweg oprechte vergissingen gemaakt - onderzoekers zijn net mensen. En de vraag of een conclusie gerechtvaardigd is, is óók afhankelijk van de gehanteerde (wetenschappelijke) standaarden. Maar het patroon is dit: uitkomsten van onderzoek die overeenstemmen met de belangen van de afzender en/of opdrachtgever vertonen vaak de sporen van toeredeneren naar conclusies. De vraag was dan niet: hoe zit het? Maar: welke boodschap willen wij graag overbrengen?

Twee ongelijksoortige voorbeelden ter illustratie.

Gisteren meldden NRC, FD en de Volkskrant dat er een kaalslag dreigt in de detailhandel. 'Dat concludeert', schrijft de Volkskrant, 'onderzoeksbureau McKinsey in een donderdag verschenen rapport opgesteld in opdracht van Detailhandel Nederland.' Tot wel 130 duizend banen in de retail zouden op het spel staan. Dit is inderdaad de eerste mededeling van de onderzoekers in hun 'management summary'.

Klopt het ook? Ik zou het niet weten. Want de onderbouwing van deze getallen is boterzacht en oncontroleerbaar. Waar de getallen over werkgelegenheid genoemd worden (op pagina 34) staan als bronnen: 'McKinsey Global Institute', 'expert judgement' en 'een aantal veronderstellingen'. En wat de onderzoekers er daar wel bijschrijven (maar in de management summary niet) is: 'Dat de getallen daarom alleen een indicatie geven.' Ze hebben wat zitten friemelen op de achterkant van een bierviltje. Blijkbaar wilde Detailhandel Nederland een 'signaal afgeven' en dat is prima gelukt.

Een tweede voorbeeld is van een andere orde. Alcoholconsumptie kost de samenleving miljarden. Deze boodschap, uitgezonden door het Rijksinstituut voor Volksgezondheid en Milieuhygiëne (RIVM), haalde vorige maand alle media prominent. Dit is een geval van een andere orde omdat we hier te maken hebben met wetenschappelijk onderzoek gefinancierd door ZonMw, uitgevoerd door een consortium van partijen (naast mensen van het RIVM werkten onderzoekers mee van het Trimbos Instituut, Ecorys en Maastricht University), en uitgevoerd met een expliciet gehanteerde wetenschappelijke methodologie, namelijk de maatschappelijke kosten-batenanalyse, gebaseerd op de welvaartseconomie. Kortom: het serieuzere werk.

Drie economen van de Erasmus Universiteit, echter, keken er eens naar en zagen dat het niet klopte. Ze schrijven er deze week over in economenvakblad ESB. De gehanteerde methodologie is niet correct uitgevoerd, betogen ze (naar mijn idee terecht). Zouden de onderzoekers dat wel hebben gedaan, dan was de uitkomst radicaal anders. 'De onderzoekers zouden hun werk beter kunnen overdoen', concluderen de drie (terecht).

Nu komt het. Want hoe reageren de onderzoekers? Als zoekers naar de waarheid? Of als brengers van de boodschap dat alcohol slecht is voor het volk? Dat laatste vrees ik. Hun reactie (ook in ESB van deze week) sluit af met de hilarische zin: het niet-rationele en verslavende karakter van alcoholconsumptie maakt dat voorzichtigheid geboden is bij het toepassen van welvaartseconomische principes.' Eh, hun MKBA, waar ze net 150 pagina's over hebben volgeschreven, is gebouwd op welvaartseconomie. Pas de methode correct toe, of verwerp haar, zou ik denken. Blijkbaar geldt ook hier: de boodschap is belangrijker dan de waarheid. Wat is hiertegen te doen? In twee woorden: kritisch denken.

Frank Kalshoven is directeur van De Argumentenfabriek. Reageren? frank@argumentenfabriek.nl

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden