Wat hebben we geleerd? Les 2

De wetenschap is niet onfeilbaar

Beeld Hilde Harshagen

Fraude, scoringsdra­ng, opschepperij: niets menselijks bleek wetenschappers vreemd in de jaren tien. Heeft de strijd tegen broddelwetenschap al iets opgeleverd?

De bliksem sloeg in op 7 september 2011, om 15 uur 38 in de middag precies. Bekendmaking van de Universiteit van Tilburg: het college van bestuur heeft een van zijn hoogleraren met onmiddellijke ingang op non-actief gesteld, wegens het verzinnen van onderzoeksgegevens.

De naam van die hoogleraar: Diederik Stapel, cognitief psycholoog, decaan, superster in zijn vak. En, naar we nu weten, een fantast die jarenlang aan zeker twee universiteiten de cijfers uit zijn duim zoog bij minstens 58 publicaties.

Na de blikseminslag moest de rollende donder nog komen. Die arriveerde in de maanden en jaren daarna, en weerklonk tot ver in het buitenland. Want hoe is het mogelijk dat iemand zoals Stapel jarenlang zijn gang kon gaan, en er in plaats van argwaan juist lof en aanzien mee oogstte? Ook onderzoeken waarbij Stapel níét had gefraudeerd, bleken ernstig te rammelen. ‘Zo doet iedereen dat hier’, kreeg de commissie die de zaak onderzocht dan tot haar afgrijzen te horen. Wat voor gedrocht had de marktwerking, met zijn nadruk op mooie doorbraken en scorelijstjes, hier eigenlijk gebaard?

In de verte rommelde het al jaren. De meeste gepubliceerde onderzoeksuitkomsten kloppen niet, was in 2005 al de schokkende constatering van de Grieks-Amerikaanse epidemioloog John Ioannidis. Als veel wetenschappers ergens naar op zoek gaan, is er immers altijd wel iemand die toevallig raak schiet.

Bovendien bleek de wetenschap – lang niet alleen de psychologie – zich vol te spuiten met methodologische doping. Kleine effectjes werden uitvergroot tot klinkende ontdekkingen, cijfers net zo lang statistisch uitgewrongen tot ze significante effecten prijsgaven, en als dat dan nog niets opleverde, gooide men het onderzoek gewoon weg: dan maar geen publicatie. De wetenschap moet resultaat opleveren, nietwaar?

Wat hebben we geleerd? 16 wetenschappelijke lessen uit het afgelopen decennium

Het klimaat begint voelbaar te veranderen en insecten leggen massaal het loodje. Traditiegetrouw zetten we aan het eind van elk jaar de opmerkelijkste lessen op een rij – deze keer blikken we meteen maar terug op het hele decennium. Er is ook vrolijker nieuws: de duurzame revolutie komt op gang, traumatherapie werkt echt en we gaan niet meer dood aan ziekten die tien jaar geleden nog fataal waren. Bekijk hier de zestien lessen.

Zwaar weer voor de wetenschap. In 2009 toonden twee onderzoekers aan dat je uitstekend significante effecten kunt aantonen op kleurige hersenscans – zelfs als je als proefpersoon een dode vis in de hersenscanner legt. En in 2011 bewezen drie Amerikaanse psychologen dat proefpersonen letterlijk jonger kunnen worden door te luisteren naar ‘When I’m 64’ van de Beatles. De drie hadden zich keurig aan de regels gehouden: ze hadden slechts wat trucjes ingezet die in het onderzoek zijn toegestaan.

Broddelwetenschap, slodderwetenschap, ‘questionable research practices’: het spook kreeg vele namen. ‘We zijn een sociale diersoort’, zegt Lex Bouter, die in de crisisjaren hoogleraar methodologie en integriteit werd aan de VU Amsterdam. ‘Als iedereen in je omgeving een bepaald bochtje afsnijdt, ga je het zelf ook doen.’

Er zat dus maar één ding op: de wetenschap opnieuw opbouwen. Met gedragscodes, en met openheid en transparantie als toverwoorden, zo oordeelde de ene commissie na de andere. Soms verwees men naar de natuurkunde, het klinische geneesmiddelenonderzoek of de klimaatwetenschap. Takken van wetenschap, waar men vooraf een strak protocol opstelt en het werk verdeelt over grote, internationale consortia, om te voorkomen dat enkelingen het onderzoek naar hun hand zetten. Wetenschap moest gedegen groepswerk worden, in plaats van een tak van sport waar iedereen maar wat soleert.

Maar om de wetenschap te vernieuwen, moeten de oude structuren verdwijnen. En dat doet pijn. In Rotterdam bleek psycholoog Dirk Smeesters de grenzen van het toelaatbare wel erg ruim te hebben opgerekt, in Amsterdam kwam aan het licht dat antropoloog Mart Bax veel van zijn veldwerk (en zijn publicaties) uit de duim had gezogen. En bij herhaling van honderd psychologische experimenten, bleek liefst tweederde bij nader inzien veel minder spectaculaire uitkomsten op te leveren.

Of neem de honger naar publiciteit. Toen de Volkskrant vorig jaar uitzocht wat voor onderzoek er schuilgaat achter een steekproef van negentien persberichten van Nederlandse academische ziekenhuizen, bleken er liefst vijftien gebaseerd op ronduit rammelend onderzoek. De wetenschap blijkt vaak nog een doorbraakjesfabriek: onderzoek af, persbericht eruit, klaar.

‘Ik ga niet zeggen dat alles tegenwoordig in orde is’, zegt Bouter. ‘Toch is er wel degelijk veel veranderd. Tien jaar geleden waren questionable research practices een beetje een pijnlijk onderwerp. Vaak kreeg ik te horen: bij ons is alles in orde, en bovendien moet je dit onderwerp niet zo aan de grote klok hangen, dat is nestbevuiling. Tegenwoordig hoor ik dat niet meer. Het besef is er nu. We hebben een gedetailleerde gedragscode die serieus wordt genomen, en er zijn allerlei initiatieven om het beter te doen.’

Zo hebben onderzoeksfinanciers NWO en ZonMW geld beschikbaar voor de bestudering van ‘verantwoorde onderzoekspraktijken’ en voor het herhalen (repliceren) van eerdere onderzoeken. Achter de schermen studeert men intussen op andere manieren om wetenschappers te beoordelen, in plaats van op hun publicaties alleen.

Ook zijn er experimenten met ‘preregistratie’, waarbij wetenschappers hun onderzoeksplan vooraf in detail vastleggen op internet. Zo kunnen anderen achteraf nagaan wat er eigenlijk van is terechtgekomen. Dat helpt: volgens een recente analyse zijn de uitkomsten van vooraf geregistreerd onderzoek in 70 procent van de gevallen negatief (‘we vonden geen bewijs voor onze hypothese’), terwijl dat bij niet vooraf geregistreerd onderzoek minder dan 10 procent is. Een teken aan de wand.

De schokkende bevinding van John Ioannidis dat het meeste onderzoek niet klopt, geldt waarschijnlijk nog steeds. ‘Maar we boeken vooruitgang’, zegt Bouter. ‘Universiteiten bestaan al zo’n duizend jaar. Dus dan is tien jaar best kort.’

Onze mooiste verhalen over onderzoeksfraude

Hoe Diederik Stapel tegen de lamp liep

Een reconstructie van achter de schermen: in gesprek met de drie promovendi die Stapel ontmaskerden.

Hoe onderzoeksmanipulatie werkt

In de praktijk is datamassage aan de orde van de dag. Ook eerlijkheid is in de wetenschap nu eenmaal een relatief begrip.

Waarom (bijna) alles wat u weet, niet klopt

Als wetenschappers echt zo slim zijn, hoe kan het dan dat wat ze ontdekken achteraf vaak niet blijkt te kloppen? Op bezoek bij John Ioannidis, de man die het antwoord - en de oplossing - denkt te weten.

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden