Herhaalstudies zijn hip, maar wat leren we ervan? Dit onderzoek naar pupillen biedt inzicht

De ene na de andere beroemde studie blijkt een andere uitkomst te krijgen als het experiment wordt herhaald. Om te leren wat zo’n herhaalstudie zegt, deden Delftse onderzoekers er ook een: verraden pupillen iemands emoties?

In een verduisterde onderzoeksruimte aan de TU Delft tuurt een proefpersoon in een soort ingewikkelde houten kijkdoos. Haar kin heeft ze op aanwijzing van de onderzoeksassistenten gepositioneerd in een steun, waardoor haar hoofd niet verschuift. In de box bevinden zich een lampje en spiegeltjes, die de onderzoekers de mogelijkheid geven om via een gat aan de zijkant van de box de ogen van de deelnemer op film vast te leggen, terwijl die kijkt naar foto’s op het scherm aan het uiteinde van de box.

De onderzoekers, van de afdelingen BioMechanical Engineering en Cognitive Robotics, zijn geïnteresseerd in een specifiek deel van haar ogen: de pupil. Die zou, als hun hypothese klopt, namelijk verwijden wanneer de proefpersoon naar iets kijkt wat ze leuk of interessant vindt. Vindt ze het plaatje niet interessant, dan verwijdt de pupil naar verwachting niet, wekt de afbeelding een negatieve reactie zoals afschuw op, dan zou de pupil weleens kunnen samentrekken.

Intrigerend onderzoek, dat het vast in de populaire pers ook goed gaat doen. Het kunnen aflezen van iemands emotionele staat, door iemand bij wijze van spreken diep in de ogen te kijken spreekt immers tot de verbeelding. Het gekke is alleen: deze studie is al gepubliceerd. Reeds in 1960 verscheen het resultaat in het vooraanstaande blad Science. De auteurs van de studie, de psychologen Eckhard Hess en James Polt van de Universiteit van Chicago, gelden als de grondleggers van het vakgebied dat zich bezighoudt met het meten van pupilreacties op emotionele prikkels. Hess en Polts artikel is meer dan zevenhonderd keer door collega’s aangehaald en elk jaar komen daar nog citaties bij. Die citaties zijn in de wetenschappelijke wereld een van de graadmeters dat je onderzoek ertoe doet, dat het uitstijgt boven de rest.

Alleen, de Delftse onderzoekers onder leiding van biomechanicus Joost de Winter vertrouwen het niet helemaal. Met name Hess liep nogal hard van stapel op basis van de resultaten uit deze en andere pupilmeetstudies. Zo zou hij jaren later onthullen dat hij zijn methode gebruikte voor onderzoek voor een reclamebureau dat wilde weten of consumenten verpakkingen en commercials van onder meer Coca-Cola aantrekkelijk vonden. Hij had er dus belang bij zijn resultaten niet te veel te nuanceren.

Ook op de onderzoeksopzet zelf was het nodige aan te merken: meestal gebruikte Hess in zijn studies maar een handjevol deelnemers, hij deed amper aan statistische rechtvaardiging en hij deed weinig moeite om vooringenomenheid te voorkomen. ‘De publicaties van Hess waren vermakelijk en spraakmakend, maar op detailniveau schieten ze ernstig tekort’, zegt Bob Snowden, een hoogleraar psychologie aan Cardiff University in het Verenigd Koninkrijk die de pupilgrootte bestudeert bij psychopaten. ‘Het was erg anekdotisch.’

Herhaalstudies

Checken, dubbelchecken, dat is het enige wat er in dit soort situaties op zit. En zo zijn er wereldwijd duizenden proefpersonen die meedoen in zogeheten ‘herhaalstudies’. Regelmatig leveren die opvallende krantenkoppen op, zoals ‘Empathischer door lezen van fictie blijkt fictie’ en ‘Psychologische studies vallen door de mand’.

Beroemde studieresultaten die geen stand hielden waren onder meer dat wilskracht werkt als een soort spier die uitgeput kan raken en dat we door een stoere houding aan te nemen ons testosteron kunnen verhogen en daarmee onze prestaties verbeteren.

Herhaalonderzoeken werden ooit bestempeld als het saaiste van het saaiste – waarom zou je andermans werk willen herhalen? – maar zijn nu zowaar hip en happening. De geloofwaardigheid van de wetenschap staat namelijk op het spel en de bezem moet door de wetenschappelijke literatuur om de rotte appels eruit te kunnen halen. Daarbij gaat het niet alleen om psychologie, maar ook om medicijnonderzoek, economie en biologie.

Het project van De Winter, dat hij uitvoert met biomechanisch ingenieur Dimitra Dodou, is mogelijk gemaakt door de eerste subsidie ter wereld uitsluitend bedoeld voor herhaalstudies, oftewel replicaties, die in 2017 beschikbaar gesteld werd door de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). Wat ze hopen te beantwoorden is niet alleen de vraag of het onderzoek van Hess en Polt klopte, maar ook een cruciale vraag daarbij: wat kunnen we van zo’n herhaalstudie nu wel en niet leren? ‘We willen reconstrueren wat er is gebeurd en een nieuwe norm stellen voor dit soort onderzoek’, zegt De Winter.

In de klassieke studie legden Hess en Polt de ogen van vrijwilligers vast op 16 millimeter film, terwijl die keken naar de foto van een baby, een moeder met een kind, een naakte man, een naakte vrouw en een landschap. Keken de vrouwelijke deelnemers naar een babyfoto, moeder met baby, of naar een naakte man, dan verwijdden hun pupillen zo’n 20 procent, schreven de onderzoekers. De pupillen van de mannelijke vrijwilligers reageerden het meest op het vrouwelijk naakt. De landschapsfoto had geen effect op de mannen en zorgde er zelfs voor dat de pupillen van de vrouwen licht samentrokken. De conclusie van de onderzoekers: wanneer we naar iets kijken dat we interessant vinden, verwijden onze pupillen zich.

Drie soorten herhaalstudies

Grofweg zijn er drie soorten herhaalstudies, die elk voordelen en beperkingen hebben. Eén benadering is om alleen de analyse opnieuw uit te voeren, gebruikmakend van de originele gegevens. Een tweede benadering, bekend als ‘directe replicatie’, is om het hele experiment zo getrouw mogelijk opnieuw uit te voeren, gebaseerd op de beschrijving van de originele methoden. Maar als er twijfels zijn over de opzet van de originele studie, is een directe replicatie niet erg zinvol. Experts pleiten in dat geval voor een derde benadering: het bedenken van een nieuwe, verbeterde opzet en kijken of die hetzelfde resultaat oplevert.

De Nederlandse onderzoekers pakken het rigoureus aan en combineren alle drie de typen. Ze bezochten het Cummings Center for the History of Psychology aan de Universiteit van Akron in Ohio, waar zich een heus Hess-archief bevindt. Daar verzamelden ze zo veel mogelijk van de originele gegevens door handgeschreven notities en tabellen in 48 kartonnen dozen te analyseren. Ze maakten ook kopieën van de originele foto’s en dia’s die Hess en Polt hadden gebruikt. Ze bestelden op eBay zelfs exact hetzelfde model van de projector die Hess en Polt in hun oorspronkelijke experiment gebruikten. Bovendien herhaalden De Winter en zijn collega’s ook het experiment met behulp van moderne computerschermen en eye-trackers, om te controleren waar de deelnemers op focusten en om de pupilrespons op een hogere frequentie en nauwkeurigheid te meten.

Methodologische valkuilen

Het Nederlandse team constateerde verschillende tekortkomingen. Zo bleek alleen al de lichtintensiteit tijdens het wisselen van de plaatjes een sterke invloed te hebben op de verwijding van de pupil. Ook opvallend: wanneer een nieuw beeld wordt getoond, vernauwt de pupil zich, mogelijk als een beschermende reflex, en pas daarna begint deze langzaam te verwijden. Het zijn dit soort methodologische valkuilen die de oorspronkelijke resultaten van Hess doen wankelen. ‘Hij had nooit zulke eenvoudige, klip-en-klare conclusies kunnen trekken zonder met al die verstorende factoren rekening te houden’, zegt De Winter.

Het is verleidelijk om een mislukte replicatie te zien als een ontkrachting van de oorspronkelijke bevinding. Maar die interpretatie is te simplistisch. Er zijn verschillende redenen waarom een herhaalde studie een ander resultaat zou kunnen opleveren: de herhaalonderzoekers misten mogelijk cruciale informatie die nodig was om het experiment goed uit te voeren; mogelijk maakten ze zelf fouten; de onderzoekspopulatie kan anders zijn geweest; of de omstandigheden rond de studie zijn mogelijk veranderd. Het tegendeel is ook waar: een bevestigde bevinding is niet noodzakelijk waar, omdat beide teams mogelijk dezelfde technische of conceptuele fouten hebben gemaakt.

Al deze nuances maken het lastig om de resultaten van herhaalstudies te interpreteren. Desondanks worden ze in de populaire media vaak geportretteerd als wetenschappelijke lakmoesproeven, als vonnissen niet alleen over het waarheidsgehalte van de oorspronkelijke studie, maar vaak ook over de integriteit van de oorspronkelijke onderzoekers.

’Waar ik me zorgen over maak, is dat in veel gevallen op een zeer naïeve en ronduit onjuiste manier over herhaalbaarheid wordt gesproken’, zegt Sabina Leonelli, hoogleraar filosofie en geschiedenis van de wetenschap aan de Universiteit van Exeter in het Verenigd Koninkrijk. Onlangs beargumenteerde ze in Research in the History of Economic Thought and Methodology dat we anders moeten gaan kijken naar de herhaalbaarheid van onderzoek als kwaliteitscriterium. ‘In veel gevallen moet het doel niet zijn om exact dezelfde uitkomst te krijgen. Het is juist interessant om verschillende resultaten te krijgen en die vervolgens te onderzoeken.’

Het Delftse project is nog niet afgerond, maar tot nu toe wijzen de metingen erop dat het oogpupillen-effect voor het aflezen van iemands interesse een stuk kleiner is dan Hess concludeerde. ‘We hebben het over een paar procent, niet 20. Hess leek van alles te doen om de resultaten er indrukwekkender uit te laten zien’, zegt De Winter. Hij rapporteerde bijvoorbeeld verandering in het totale pupiloppervlak in plaats van de diameter, wat de resultaten net wat mooier doet afsteken. En terwijl Hess dacht dat negatieve prikkels zoals ergernis of afgrijzen leidden tot een pupilvernauwing, vindt het team van De Winter die relatie niet: ‘Er lijken geen emoties te zijn die tot vernauwing leiden.’

Cowboys wel/niet de ruimte geven

Doet dit de erfenis van Eckhard Hess teniet? Volgens Bob Snowden, de psycholoog die pupilverwijding bij psychopaten bestudeert, zijn pioniers zoals Hess juist van cruciaal belang voor de wetenschap – zelfs als ze het mis hebben. ‘In het huidige tijdperk van strikte protocollen zouden we ‘cowboys’ zoals Hess ruimte moeten geven om nieuwe ontdekkingen te doen’, zegt hij. Andere onderzoeksgroepen zouden daarna de tijd kunnen nemen om die bevindingen onder strenge voorwaarden te herhalen.

Niet iedereen deelt die mening. ‘Er is geen enkel goed excuus voor slordige wetenschap’, zegt Eric-Jan Wagenmakers, wiskundig psycholoog aan de Universiteit van Amsterdam. ‘Wilde ideeën moeten net zo grondig worden uitgevoerd als saaie ideeën, dus die cowboys hebben strikte collega’s nodig om mee samen te werken of andere teams moeten proberen hun bevindingen meteen te repliceren.’

Er zijn meer dan vijftig jaar verstreken sinds het originele experiment van Hess. Je vraagt je af wat het nut is van het repliceren van zo’n oude bevinding, wanneer het veld allang mijlen verder is? Dat nut is er wel degelijk, vindt Daniël Lakens, psycholoog en methodoloog aan de Technische Universiteit Eindhoven en mede-initiator van het NWO-replicatiefonds. We moeten de resultaten niet alleen controleren om te zien of ze nog overeind blijven, maar om te onderzoeken of we nog steeds begrijpen wat de oorspronkelijke auteurs hebben gedaan, zegt hij. ‘Nadat een studie voor de vijfhonderdste keer is aangehaald, controleer je de resultaten, na de duizendste keer nog eens. Kritisch blijven tegenover de bevindingen die we het meest aanhalen lijkt me helemaal niet zo’n slecht idee.’