Meta-meta

BEWERING: 1 OP ELKE 6 ARTIKELEN IS ONDER DE MAAT
OORDEEL: KLOPT, EN DAT IS VOLKOMEN NORMAAL

Mensen vragen ons wel eens: deugt er dan helemaal niets van het wetenschappelijk onderzoek? Kunnen eenvoudige burgers zich nu nooit meer veilig laven aan wetenschappelijke bronnen? Of, als ze beter hebben opgelet: hoeveel procent van het onderzoek deugt er niet?


Het gemakkelijke antwoord op die vraag is natuurlijk: 16 procent. We mogen aannemen dat kwaliteit door talloze kleine factoren wordt beïnvloed, wat in de statistiek betekent dat kwaliteit normaal verdeeld is - net als bijvoorbeeld lichaamslengte en intelligentiequotiënt. Nederlandse jongemannen zijn gemiddeld 1,83 meter lang, met een 'standaardafwijking' van 7 centimeter. Dankzij de normale verdeling van lengte weten we dan dat de bulk van de jongens, 68 procent om precies te zijn, 7 centimeter aan weerszijden van het gemiddelde zit, dus tussen de 1,76 en 1,90 meter is. Dat zijn 'normale' jongens. Van de overige 32 procent is de helft, 16 procent, aan de korte kant en 16 procent aan de lange kant.


Zo is het ook met de kwaliteit van wetenschappelijke artikelen. De bulk, 68 procent, is van gemiddeld niveau, 16 procent is niet zo best en 16 procent is bovengemiddeld goed. Dus 1 op elke 6 artikelen in een wetenschappelijk tijdschrift is onder de maat, is het simpele antwoord.


Maar dankzij wetenschappelijk onderzoek valt er misschien meer te zeggen over de kwaliteit van wetenschappelijk onderzoek - in ieder geval van medisch onderzoek. Daarvoor wenden wij ons tot de evidence-based medicine, in het bijzonder tot de erfenis van de Schotse arts Archie Cochrane. In een invloedrijk boek uit 1972 wees hij erop dat de geneeskunde veel te weinig gebruik maakte van wetenschappelijke kennis, in het bijzonder van de randomized controlled trials- dat zijn zorgvuldig opgezette experimenten waarbij, kortweg, de ene helft van de proefpersonen de te onderzoeken behandeling krijgt, de andere helft een placebo (of de op dat moment beste behandeling). Hij pleitte voor het opzetten van een databank van dergelijke trials en, sterker nog, voor het regelmatig bijeenvegen van trials in grotere 'reviews'. Beter bewijsmateriaal dan zo'n 'meta-analyse' is bijna niet te bedenken.


In 1993 werd de Cochrane Collaboration opgezet, een groep onderzoekers - inmiddels zijn het er zo'n 30 duizend over de hele wereld - die zich met Cochrane Reviews bezighouden: kritische, systematische overzichten van trials op een bepaald terrein.


Tegenwoordig verschijnen er tientallen Cochrane Reviews per maand, en hiervan kunnen wij goed gebruikmaken om te kijken wat de kwaliteit van medisch-wetenschappelijk onderzoek eigenlijk is. Al die Cochrane Reviews moeten namelijk ook een uitspraak doen over de kwaliteit van de bekeken randomized controlled trials. Was de trial goed opgezet, wist echt niemand wie medicijn en wie placebo kreeg, zijn de uitvallers goed bijgehouden, is er niet selectief gerapporteerd, dat soort dingen. Van de reviewers wordt verwacht dat ze in ieder geval op de zes belangrijkste onzuiverheden scoren, met redenen omkleed uiteraard, en die samenvatten in een soort tabel: + is voldoende, ? is niet vast te stellen, en - is onvoldoende. Een heel goed onderzoek scoort zes plussen, een heel slecht onderzoek zes minnen. Mede op grond van dit oordeel bepaalt de reviewer of de totale last van het bewijs uiteindelijk voor of tegen de medische ingreep pleit.


Maar als we nu eens een min of meer willekeurige greep doen uit alle Cochrane Reviews, en de kwaliteitsbeoordelingen van al die reviews tezamen nemen? Dan hebben we een soort 'meta-review' of desnoods een 'meta-meta-analyse', en kunnen we iets zeggen over de gemiddelde kwaliteit van de randomized controlled trial- van het hoogst aangeschreven medische bewijsmateriaal.


Zo togen wij deze maand naar de website van de Cochrane Library, naar de pagina met de recentste reviews, en haalden daarvan alle rapporten op. Of het een representatieve steekproef is weten we niet, maar willekeurig was het wel. Het leverde een stapel van 29 meta-analyses op. In elk rapport werd gezocht naar de genoemde tabel met onzuiverheden. Met behulp van een spreadsheet gingen we optellen, middelen en de standaardafwijking bepalen, om een uitspraak te kunnen doen over de kwaliteit van wetenschappelijk onderzoek.


Volgende week het resultaat.


Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2019 DPG Media B.V. - alle rechten voorbehouden