ANALYSE
Hoe kunnen psychologen het toch zo verkeerd doen?
De schok is groot nu in de psychologie de meeste onderzoeksresultaten bij herhaling geen stand blijken te houden. En de psychologen zijn niet de enigen. Hoe kan dit? En wat is de oplossing?
Het spook heeft vele namen: 'bureaulade-effect', 'afname-effect', 'publicatiebias'. Denken wetenschappers eindelijk iets te hebben ontdekt, blijkt het na een tijdje helemaal niet te bestaan. Rode wijn is bij nader inzien toch niet goed voor de gezondheid, mild depressieve mensen hebben toch geen baat bij antidepressiva, en de effecten van antioxidanten zijn minder groot dan onderzoek aanvankelijk uitwees. Ach, de publicatiebias, verzuchten wetenschappers op zo'n moment.
Dat zit zo. Wetenschappers werken liever experimenten met een mooi resultaat uit, dan proeven die niets opleveren (die verdwijnen in de bureaulade, vandaar de naam). Ook vakbladen publiceren liever opvallende resultaten dan studies die iets níét aantonen. Er is geen kwade opzet en er zijn geen schuldigen: in de wetenschap waait de wind nu eenmaal richting 'gelukt' onderzoek en klinkende resultaten. Onopvallende of negatieve uitkomsten blijven zo onder belicht.
Daarbij komt dat zelfs de beste onderzoeker wel eens door toeval iets ontdekt. Onderzoek hanteert vaak de spelregel dat iets waar is, als de kans op toeval kleiner is dan één op twintig. De keerzijde is dat experimenten dus één op de twintig keer een op het oog klinkend resultaat opleveren, terwijl er gewoon sprake is van toeval.
De optelsom van die twee toevalstreffers komen voor en mooie resultaten worden voorgetrokken geeft problemen. Sterker, het lijkt erop dat van al het gepubliceerde onderzoek het meeste 'fout' is, betoogde de Grieks-Amerikaanse epidemioloog John Ioannidis al tien jaar geleden.
Waarvan akte. Vorig jaar kwam aan het licht dat in de sociale wetenschappen 65procent van de studies met een negatieve uitkomst niet eens wordt opgeschreven, en dat van de 'niets aan de hand'-studies er maar een op de vijf in druk verschijnt. Bij geneesmiddelenonderzoek in het lab levert slechts 11 tot 25procent van de experimenten repliceerbare uitkomsten op.
En van de neuropsychologie, het proefdieronderzoek en voedingsepidemiologie het genre 'een handvol noten per dag verlengt het leven' nemen steeds meer experts aan dat het overgrote deel van de publicaties niet te vertrouwen is.
Oplossing
De oplossing is simpel, zegt onder meer de Tilburgse methodoloog Marcel van Assen. 'Neem grotere steekproeven, zorg dat de uitkomsten van alle uitgevoerde studies ook echt worden gerapporteerd en zorg voor een systeem van registratie vooraf, waarbij je voordat je gegevens gaat verzamelen al netjes vastlegt wat je precies gaat doen.' Zo houd je ook zicht op de studies die géén 'gewenste' uitkomsten opleveren en verklein je de kans op toevalstreffers.
Inmiddels begint het tij iets te keren. Bij diverse afdelingen en sommige vakverenigingen is het vooraf aanmelden van studies verplicht. Het openbaar maken van alle onderzoeksgegevens ook van minder spectaculaire experimenten is al bijna gewoon. Net als andere maatregelen: onderzoek doen in grote, internationale groepen en een onderzoek eerst zelf repliceren voordat je het opschrijft, bijvoorbeeld.
De replicatiestudie van de psychologen een steekproef van honderd studies opnieuw doen is een volgende stap. In de VS is men al bezig met replicatieproject nummer twee: honderd experimenten uit het kankeronderzoek herhalen.
Toch is daarmee de kous niet af, denken de meeste experts. Al helemaal niet in een politiek-economisch klimaat waar de wetenschap steeds meer wordt gerund als bedrijf: concurreer met elkaar, publiceer veel, haal klinkende resultaten.
'Het probleem', zegt Van Assen, 'is dat het voor individuele onderzoekers nog steeds loont als ze onderzoek doen met kleine steekproeven en zonder preregistratie.'
Het mag dan stapje voor stapje steeds beter gaan; het zal nog lang duren voordat de wetenschap de gemakkelijke weg naar succes helemaal verruilt voor de koninklijke weg.
Psychologisch onderzoek uit het verleden: wel of niet gerepliceerd?
Schone handen, lossere moraal (Niet bevestigd)
De Britse psychologe Simone Schnall ontdekte (onder meer) dat mensen die hun handen hebben gewassen met water en zeep minder moeite hebben met onethische praktijken. 'Schone' proefpersonen hielden er een duidelijk lossere moraal op na, vond Schnall in het lab. In het herhaal-onderzoek (met vier keer zoveel proefpersonen) werd dit effect niet gevonden.
Smoesjes remmen prestaties (Wel bevestigd)
'Als ik beter had geleerd, had ik een hoger cijfer gehaald.' Wie zich bedient van dit type uitvlucht, waarbij men zich een soort ideale wereld inbeeldt waarin je beter leert, scoort iets slechter op een wiskundetest dan mensen die dat niet doen. Een ideale wereld voor de geest halen, remt kennelijk de motivatie. Ontdekt in 2008, nu bevestigd.
Woord 'kip' komt trager (Wel bevestigd)
Het verwerken van een woord als 'kip' gaat iets langzamer dan een woord als 'hyena', bleek uit Amerikaanse experimenten. Dat ondersteunt de hypothese dat het aantal zogenoemde semantische buren uitmaakt: andere woorden die ook naar iets kip-achtigs verwijzen, zoals haan, hen, eend of kalkoen. Hoe meer betekenisburen, des te langzamer het 'voor je zien' gaat, blijkt ook bij herhaling.
Keuzestress bepaalt beweging (Wel bevestigd)
Bij keuzestress wordt onze hand letterlijk naar het alternatief toe getrokken, bleek uit een experiment waarbij studenten met de muis op een vlak links of rechts moesten klikken. Hoe duidelijker de keuze ('is de lucht soms groen?'), des te verder weg men op het knopje klikte; bij moeilijkere beslissingen klikte men iets meer in het midden. Gerepliceerd.
Tweetalig: betere concentratie (Niet bevestigd)
Tweetalige personen zouden afleidende zaken beter kunnen buitensluiten: ze zijn immers gewend een tweede taal buiten hun mentale deur te houden. In een Leids experiment lijken tweetaligen hun aandacht inderdaad moeilijker te kunnen verleggen. Lijken, want in een Britse herhaalstudie werd het effect niet meer gevonden.
Eisprong doet vreemdgaan (Niet bevestigd)
Vrouwen met een partner voelen zich rond de eisprong meer aangetrokken tot vrijgezelle dan tot gebonden mannen, stelden Italiaanse onderzoekers vast. Onbewust zouden ze in hun vruchtbare periode op zoek gaan naar goede genen. Nu de vinding bij replicatie geen stand houdt, klagen de Italianen: misschien komt dat door culturele verschillen tussen Italië en de VS.
