Merendeel psychologische studies lijkt gebaseerd op drijfzand

Het meeste gepubliceerde psychologische onderzoek lijkt gebaseerd op drijfzand. Zo'n 60 tot 65 procent van de studies levert wezenlijk andere uitkomsten op, als de experimenten waarop ze zijn gebaseerd worden herhaald met andere proefpersonen. Toch reageert de psychologische wereld apetrots: kijk onze wetenschapstak eens schoon schip maken.

Beeld anp

De afgelopen vier jaar was een internationaal conglomeraat van 270 psychologen - onder wie 45 Nederlanders - in de weer met het nauwgezet herhalen van honderd onderzoeken die in het jaar 2008 verschenen in drie vooraanstaande psychologische vakbladen. Vandaag verschijnen de uitkomsten in het blad Science: slechts van 39 procent van de oorspronkelijke studies werden de belangrijkste resultaten met succes gereproduceerd. Bij 83 procent bleken de cijfers bij herhaling minder sterk; en gemeten effecten bleken in de herhaling gemiddeld nog maar half zo groot.

Als een onderzoek niet met succes kan worden herhaald, betekent dat veelal dat het oorspronkelijke resultaat een toevalstreffer was. Of dat de onderzoekers vooringenomen waren of fouten hebben gemaakt. Fraude is ook een mogelijkheid, maar daarvan is in de onderzochte studies niets gebleken.

Mooier dan de werkelijkheid

Initiatiefnemer en psychologiehoogleraar Brian Nosek denkt wel te snappen waarom er zoveel uitkomsten niet herhaalbaar zijn. 'Nieuwe, positieve en mooie resultaten hebben meer kans om door de selectie en in de vakbladen te komen', vertelt hij telefonisch vanuit Virginia. 'Daardoor kan het gebeuren dat negatieve resultaten juist worden weggelaten. De gepubliceerde vakliteratuur kan zo mooier worden dan de werkelijkheid.'

De psychologische studies in kwestie gaan over wetenschappelijke detailzaken in de sociale en de cognitieve psychologie: therapieën of diepe inzichten staan niet op het spel. Niettemin spreekt Stanford-methodoloog John Ioannidis, niet betrokken bij het replicatieproject, van een zwarte dag. 'Het aantal mislukte replicaties is erg hoog, wat hoger nog dan de 55 procent die ik zelf eens heb ingeschat. En dan is dit nog een steekproef van wat je kunt omschrijven als de beste studies, uit de beste vakbladen. Dat doet vermoeden dat van de hele psychologische literatuur misschien wel 80 procent of meer niet klopt.'

Trots

De psychologen zelf zien de positieve kant. 'De psychologie is de eerste discipline die op deze manier wordt getest', aldus voorzitter Alan Kraut van de Amerikaanse psychologenvereniging APS. 'Ik ben trots dat we onze verantwoordelijkheid nemen.' Uit eerdere, enigszins vergelijkbare replicatiestudies bleek dat ook veel andere disciplines te maken hebben met het probleem.

Onderzoek herhalen om te controleren of het wel klopt, geldt als de gouden standaard van de wetenschap. Het gebeurt alleen te weinig, omdat 'replicatie' geldt als saai en ondankbaar werk. Bovendien kan ook replicatie vertekende resultaten opleveren, als alleen gelukte replicaties worden gepubliceerd. Juist daarom is het herhaalproject van de psychologen - systematisch een hele reeks studies overdoen - 'enorm belangrijk', benadrukt Ioannidis. 'Hopelijk zal het soortgelijke grootschalige replicatiestudies in andere taken van wetenschap aanmoedigen.'

Stapel-incident

Extra urgentie kreeg de zaak door de megafraude van hoogleraar sociale psychologie Diederik Stapel. Veelzeggend is dat aan de Universiteit van Tilburg, destijds ground zero van de fraude, liefst 12 psychologen meededen aan het overdoen van de studies. 'Het is zeker zo dat het Stapel-incident de interesse in reproduceerbaarheid heeft vergroot', zegt Nosek. 'Maar ons idealisme om het vakgebied validiteit, betrouwbaarheid en geloofwaardigheid te geven staat bovenaan.'

In Leiden is hoogleraar Bernhard Hommel van een van de 'slachtoffers': zijn experiment dat zou aantonen dat tweetalige mensen zich beter kunnen concentreren, leverde in de herhaling niets meer op. 'Toch lijkt het me niet waarschijnlijk dat er helemaal niks is. Als je iets soms wel en soms niet vindt, kan dat er ook op duiden dat er variabelen in het spel zijn die we nog niet begrijpen.' Ook Hommel is positief: 'Dit is wat de wetenschap aanwakkert. Zo heb je weer voortgang.'

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@volkskrant.nl.