Column De wetenschapper

Schrikbarend nieuws over crystal meth en horrorhaaien, maar de cijfers vertellen een ander verhaal

Je hebt een vraag, je vraagt een onderzoeksbureau het te bestuderen, en je hebt een antwoord. Idealiter gaat het zo, maar in de praktijk worden er vaak methodologische stappen gezet die, eufemistisch gezegd, niet bevorderlijk zijn voor de juistheid van het antwoord. Het interessante is dat het geen vergaande statistische of wiskundige kennis vereist om dergelijke fouten te herkennen, maar dat ze toch veelvuldig voorkomen.

Neem bij voorbeeld het nieuws van afgelopen week over drugsgebruik: het gebruik van de Breaking Bad-drug crystal meth is verdubbeld in Amsterdam. Drugs zijn slecht voor je, en meth is ook nog eens een extra slechte drug, dus dat is geen goed nieuws. Dit onderzoek is uitgevoerd door monsters van rioolwater te nemen en met moderne chemische technieken te onderzoeken hoeveel drugssporen daarin zitten. Dat klinkt allemaal knap en ingewikkeld – en dat is het ongetwijfeld ook.

Er zitten echter wel wat methodologische haken en ogen aan dit onderzoek. De conclusie dat het methgebruik in de hoofdstad schikbarend is toegenomen, is op basis van het onderzoek eigenlijk niet te stellen.

Ten eerste, de onderzoekers kijken niet alleen naar het drugsgebruik in de hoofdstad, maar ook naar Utrecht en Eindhoven. Niet alleen crystal meth wordt bestudeerd, maar ook cocaïne, MDMA en amfetaminen. In totaal zijn er dus 3×4=12 combinaties vergeleken. Als je twaalf vergelijkingen maakt, is het natuurlijk minder opvallend als er eentje uitspringt dan wanneer je vanaf het begin naar die ene vergelijking kijkt.

Een fundamenteler probleem is dat men in elke stad maar één week lang het rioolwater is bestudeerd. Gedurende die week heeft men veel monsters genomen en zo een enorme bak aan chemische data verkregen. ‘Veel data, dus nauwkeurige resultaten’, klinkt logisch. Je zou dus denken dat men hier nauwkeurig iets over het drugsgebruik in 2018 kan zeggen. Maar het meeste recreatieve drugsgebruik vindt in het weekend plaats, dus er is vooral op twee uitgaansavonden gemeten en ‘n=2' klinkt een stuk bescheidener dan ‘veel data’. Als op een van die twee avonden toevallig, zeg, een dance-evenement was, heb je zo een uitschieter te pakken. Dat is natuurlijk geen bewijs voor een systematische trend van 2017 naar 2018.

Het derde probleem is dat de groei in relatieve termen wordt uitgedrukt in de nieuwsberichten: het Amsterdamse drugsgebruik is verdubbeld. In absolute aantallen, blijkt het verbruik echter vrij laag te zijn. In de meeste grote Europese steden ligt het (flink) hoger, met name in Oost-Europa. Het beeld vertekent door kleine aantallen relatief weer te geven. Een bekend ander voorbeeld hiervan is dat het aantal aanvallen door haaien in 30 jaar tijd meer dan verviervoudigd is. Dat klinkt eng en was de aanleiding voor krantenkoppen over ‘horrorhaaien’. Maar als je naar de cijfers zelf kijkt, valt het opeens mee: de kans door een haai te worden aangevallen is nog steeds kleiner dan 1 op 500 miljoen.

Informatie rond een verdubbeling van bijvoorbeeld drugsgebruik is zinloos als je niet weet welk getal wordt verdubbeld. Twee keer nul is nul.

Casper Albers is hoogleraar statistiek aan de Rijksuniversiteit Groningen.

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2019 DPG Media B.V. - alle rechten voorbehouden