De power van onderzoek

Bewering: 'Neurowetenschap, dus nieuws'

Neurowetenschap is een 'hot' onderzoeksgebied - zowel voor wetenschappers als voor journalisten. 'Overproductie van interleukine-6 verhoogt kans op alzheimer.' 'Migrainelijders hebben lange variant van het dopaminereceptorgen.' 'Prematuren vaker linkshandig' en 'Volwassenen met adhd mogelijk gebaat bij antidepressiva.' De kranten staan er vol mee, maar hoeveel waarde moeten wij hechten aan al die neurowetenschappelijke nieuwtjes?


Weinig, is het advies van een groep Britse en Amerikaanse onderzoekers vorige maand in, nota bene, Nature Reviews Neuroscience. De onderzoekers, onder aanvoering van Marcus Munafò, winden er geen doekjes om: 'Wij tonen aan dat het gemiddelde statistisch vermogen van studies in de neurowetenschap zeer laag is' - het statistisch vermogen zegt iets over de kans dat een onderzoek een werkelijk bestaand effect (of verschil, of wat dan ook) boven water krijgt. Wetenschappers spreken van power: een power van 80 procent betekent dat we acht van de tien keer het bestaande effect zullen vinden; twee keer komt de proef toevallig zo uit dat we het effect missen. Bijvoorbeeld: om met een power van 80 procent aan te tonen dat mannen gemiddeld langer zijn dan vrouwen - een groot, duidelijk effect - zijn zes mannen en zes vrouwen nodig. Twee op de tien keer zullen de mannen en vrouwen in de steekproef toch geen duidelijk verschil vertonen. Hoe kleiner het effect, des te groter de steekproef moet zijn: om 80 procent kans te hebben aan te tonen dat vrouwen meer schoenen hebben, zijn 16 mannen en 16 vrouwen nodig; om zo aan te tonen dat mannen zwaarder zijn, moeten we 47 mannen en 47 vrouwen vergelijken.


Het probleem van de neurowetenschap, zeggen Munafò en consorten, is dat ze op zoek zijn naar subtiele effecten maar daar evident te kleine steekproeven voor nemen. En ze kunnen het uiteraard niet laten ook andere wetenschapsgebieden - MRI-studies, experimenten met muizen en mensen - in hun beschouwing te betrekken.


De onderzoekers bedachten een mooie manier om te laten zien hoe 'underpowered' de meeste studies in de neurowetenschappen zijn. Naarmate meer onderzoek naar een verschijnsel wordt gedaan, komt langzamerhand het 'ware' effect er wel uit rollen - als er eindelijk een keer een echt grote studie wordt gedaan, of als iemand alle kleine studies bij elkaar optelt en analyseert. Terugkijkend kun je dan zien of de eerste studies groot genoeg waren om dit vastgestelde effect ooit te vinden. Dat blijkt dus maar zelden het geval te zijn, zegt Munafò. 'Onze resultaten wijzen erop dat de statistische power van studies in de neurowetenschappen waarschijnlijk niet veel hoger is dan 8 tot 31 procent.' En dat is vermoedelijk nog een overschatting.


'Het betekent,' vervolgt hij, 'dat de kans dat een significant resultaat op een echt effect berust, klein is.' Met name kleine studies met grote, opzienbarende effecten - pasmunt van de wetenschapspagina's - moeten met wantrouwen worden bekeken. Van de tien zullen er negen onzin wezen.


Het betekent ook dat er veel tijd, geld, moeite, proefdieren en proefpersonen worden verspild in al die te kleine studies. De onderzoekers geven het voorbeeld van ratjes die moeten leren door een doolhof te zwemmen. Leren vrouwtjes dat sneller dan mannetjes? Om dat aan te tonen, beperken onderzoekers zich veelal tot niet veel meer dan twintig ratten, maar om het bestaande effect met een power van 80 procent aan te tonen, zouden er in feite 134 nodig zijn geweest. Als twintig ratjes voldoende waren geweest, zou het verschil zo evident zijn dat het iedereen allang was opgevallen - en al die ratten dus evenmin hadden hoeven te zwemmen voor hun leven. 'De ethische implicaties zijn duidelijk,' aldus de onderzoekers.


Zij bepleiten, onder veel meer, een veel nauwkeuriger schatting van de nodige proefdieren en proefpersonen vooraf. Dat zijn er meestal beduidend meer dan onderzoekers zouden wensen, want grote experimenten zijn moeilijker gefinancierd te krijgen dan kleine.


Het streven naar snel leuke, nieuwe en onverwachte resultaten - van onderzoekers, geldschieters en tijdschriften - verspilt niet alleen de tijd van krantenlezers, het kost levens.


Oordeel: Onzin (negen van de tien keer)

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden