AnalysePsychologiestudies

Leken wantrouwen psychologiestudies met ‘sexy’ uitkomsten. En met reden, zo blijkt

Leken blijken behoorlijk goed te kunnen voorspellen of een bevinding uit de sociale psychologie stand houdt als de studie wordt herhaald. Daar kan het vak zijn voordeel mee doen, zegt de onderzoeker.

null Beeld Getty / Studio V
Beeld Getty / Studio V

Eerst een kleine test van uw boerenverstand. In 2007 vonden onderzoekers dat het oplossen van moeilijke logicaproblemen beter gaat als de opdrachten worden afgedrukt in een moeilijk leesbaar lettertype. Want een rottig, klein lettertje zou de analytische geest scherpen. Zegt uw boerenverstand dat een herhaling van dit onderzoek dezelfde uitkomst geeft? Of juist niet?

Sociaal-psycholoog Suzanne Hoogeveen (Universiteit van Amsterdam) vroeg het vorig jaar aan 257 leken: mensen zonder academische graad in het vakgebied. Vrijwel unaniem zeiden ze dat een herhaling van deze studie niet hetzelfde effect zou laten zien. En dat klopte als een bus. De studie over het aanscherpen van de analytische geest werd niet met succes herhaald.

Leken kunnen behoorlijk goed voorspellen of een herhaalstudie in de sociale psychologie tot dezelfde uitkomst zal leiden als de oorspronkelijke studie. Dat zegt Hoogeveen op basis van haar onderzoek, waarbij ze 27 studies van naam en faam voorlegde aan 257 leken. Als die (vrijwel) unaniem zeggen dat de herhaling zal mislukken, mislukt die ook. En omgekeerd: als ze (vrijwel) unaniem voorspellen dat die herhaling slaagt, dan slaagt die ook.

Replicatiecrisis

Het onderzoek van Hoogeveen komt voort uit de replicatiecrisis in de sociale psychologie: herhaalonderzoek in dit vakgebied leidt in pakweg de helft van de gevallen niet tot dezelfde uitkomsten. En dat knaagt aan het imago van de sociale psychologie. Hoogeveen: ‘In het wetenschappelijk debat hierover ligt de nadruk op technische problemen, zoals te kleine onderzoeksgroepen, het achteraf interpreteren van data en statistische onvolkomenheden. Het gaat vrijwel nooit over de inhoud: terwijl de inhoud van de resultaten zelf ook vaak veel scepsis oproept. Er zijn de afgelopen decennia veel studies gepubliceerd met onverwachte, extreme en sexy uitkomsten, die voor het grote publiek ongeloofwaardig waren. En juist die studies houden tijdens een replicatie geen stand. En omgekeerd: als leken van een onderzoeksuitkomst denken: ja dûh, dat is toch logisch!, dan repliceerde het wel. Kortom: we hebben het boerenverstand te veel genegeerd.’

Als voorbeeld noemt Hoogeveen een beroemde studie met het beeld De denker van Rodin. Het kijken naar het beeld van deze denkende man zou het rationele denken activeren en mensen minder religieus stemmen dan wanneer ze naar een beeld van een discuswerper keken. ‘Onze leken vonden dit vrijwel unaniem een zeer onwaarschijnlijke uitkomst. En de herhaalstudie, waarvan ze niet wisten dat die al was gedaan, mislukte inderdaad. Achteraf hebben de onderzoekers zelf ook toegegeven dat deze studie een beetje ‘silly’ was.’

Op individueel niveau voorspelden leken niet zo heel veel boven kansniveau correct of herhaalonderzoek zou slagen (59 procent.) Met wat extra informatie over de sterkte van het bewijs stegen de juiste voorspellingen naar 67 procent. Gewapend met die informatie is de voorspelkracht van leken vergelijkbaar met die van experts die toegang hadden tot alle details van de studies. Maar het opvallendste was dat een vrijwel unaniem oordeel van de leken altijd juist was, op een keer na. En unaniem waren ze best vaak: bij liefst 14 van de 27 studies die werden voorgelegd.

null Beeld Getty / Studio V
Beeld Getty / Studio V

Rode vlag

‘De boodschap is natuurlijk niet dat we geen onderzoek meer moeten doen en het allemaal aan mensen op straat moeten vragen’, benadrukt Hoogeveen, ‘want achteraf is het makkelijk roepen als iets niet repliceert: ja, dat wisten we toch al. Maar we kunnen het lekenoordeel misschien gebruiken als een soort rode vlag: als je een hypothese wil testen die mensen uiterst onwaarschijnlijk vinden, moet je dus juist zorgen dat je meer dan genoeg en robuust bewijs verzamelt om die scepsis weg te nemen.’

Het lekenoordeel zou ook gebruikt kunnen worden bij het selecteren van studies die voor herhaling in aanmerking komen. ‘Het boerenverstand is dan een soort hulpmiddel om te kijken welke uitkomsten waarschijnlijk wel en welke niet herhaald zullen worden.’ Overigens betekent een mislukte replicatie niet automatisch dat de oorspronkelijke studie niet klopt of zelfs frauduleus is. Het kan zijn dat de omstandigheden tijdens de herhaalstudie net iets anders waren. Of dat de oorspronkelijke uitkomst een toevalstreffer was.

Hoogeveen hoopt dat haar studie bijdraagt aan een nieuwe cultuur in de sociale wetenschappen. ‘Nu hebben studies met sexy en verrassende uitkomsten meer kans om gepubliceerd te worden in gezaghebbende tijdschriften. En wetenschappers die niet gepubliceerd worden, maken geen carrière.’

null Beeld Getty / Studio V
Beeld Getty / Studio V

Voorbeelden van door leken beoordeelde studies

Gneezy (en anderen) 2014

Mensen zijn meer geneigd te doneren aan goede doelen als hun gift voor 100 procent aan het goede doel besteed wordt en niet deels aan administratieve kosten.

Houdt deze uitkomst staande in herhaalonderzoek? Ja, zeiden de leken unaniem. En inderdaad: deze studie werd herhaald met dezelfde uitkomsten.

Aviezer (en anderen) 2012

Aan de lichaamshouding (zonder het gezicht) van een atleet kun je zien of hij/zij net een punt heeft gescoord of verloren in een competitie. Zal herhaalonderzoek dezelfde uitkomst laten zien? Ja, zeiden de leken unaniem. En ze hadden gelijk.

Zhong (en anderen) 2006

Mensen hebben meer behoefte aan zeep en andere reinigingsmiddelen na het lezen van een onethisch verhaal dan wanneer ze een ethisch verhaal hebben gelezen. Zou dit effect in herhaalonderzoek zich opnieuw voordoen? De meeste leken dachten van niet. Ze hadden gelijk.

Hauer (en anderen) 2014

Als je collectief beslist hoeveel grondstoffen bewaard moeten worden voor toekomstige generaties, dan blijft er meer over voor de toekomst dan wanneer iedereen voor zichzelf mag beslissen wat hij/zij nu gaat gebruiken en wat hij/zij reserveert voor de aardbewoners van de toekomst. De leken denken unaniem dat dit effect herhaald zal worden. En terecht.

Zaval (en anderen) 2014

Als mensen teksten te lezen krijgen waarin veel woorden staan die te maken hebben met hoge temperaturen, groeit hun bezorgdheid over de klimaatverandering. De leken waren verdeeld maar dachten als groep dat dit effect niet zou repliceren. Dat deed het wel.

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden