Onderzoek experimenteel economen niet altijd solide

Na de psychologen hebben nu ook de experimenteel economen een probleem: uit een nieuwe studie in Science blijkt dat ruwweg eenderde van hun gepubliceerde onderzoeksresultaten niet klopt als het onderzoek wordt overgedaan. Uitkomsten die wel kloppen, blijken bij herhaling gewoonlijk ook flink minder hard dan in het origineel.

Beeld Pixabay/PDPics

In de experimentele economie wordt het risico- en keuzegedrag van proefpersonen in spelsituaties bestudeerd, wat de menselijke component in het economisch verkeer moet ophelderen. Het vak leunt aan tegen de experimentele psychologie. Het is het tweede vak waarbij uit een grote replicatiestudie blijkt dat lang niet alles wat is gepubliceerd in de tijdschriften houdbaar is. Vorig jaar viel veel experimentele psychologie bij herhaling door de mand.

De laatste jaren ontstond discussie over de neiging van veel wetenschappelijke bladen vooral studies te publiceren die een bepaalde theorie of hypothese bevestigen en over hun afkeer van herhalingsstudies. Ook zouden erg veel gepubliceerde resulaten statistisch maar kantje boord significant zijn, en gemakkelijk gewoon toeval.

De analyse in Science is gemaakt door een internationaal consortium van tien onderzoeksgroepen die achttien studies herhaalden die eerder in twee serieuze economische tijdschriften waren verschenen: de American Economic Review en het Quarterly of Economics. Slechts elf van de studies die werden overgedaan gaven eenzelfde conclusie, en dan nog was het effect daar gemiddeld maar tweederde van wat de eerste studie vond. Van de rest bleven de conclusies bij herhaling niet overeind.

Meevallen

Het slechtst scoorde een studie naar de waardering van fysieke cadeaus en van geld uit 2014, waarvan de conclusie onhoudbaar blijkt dat geld belangrijker is dan een mooi presentje. Ook een studie naar financiële risico's die mensen nemen om niet als laatste in een competitie te eindigen, werd onderuitgehaald.

Hoogleraar publieke economie aan de Universiteit Maastricht Arno Riedl, die zelf veel speltheoretische experimenten met proefpersonen doet, vindt de uitkomsten van de herhalingsstudies eerlijk gezegd meevallen. 'De conclusie is dat we het beter doen dan de psychologie, dat is geruststellend. En beter kan altijd, maar dat vergt bijvoorbeeld meer proefpersonen en dus meer budget.'

De Amsterdamse hoogleraar experimentele economie Arthur Schram, die aan de UvA een testlab runt, zegt dat repliceerbaarheid van dat type onderzoek nu eenmaal niet honderd procent is. 'Daarvoor zijn statistische en inhoudelijke redenen. Bovendien is de herhaling ook een experiment met zijn eigen spreiding en variatie.'

Publicatie-bias

Vorig jaar deed een consortium van psychologen van onder meer de universiteit van Tilburg een replicatieproject voor 99 vaak spraakmakende onderzoeken in dat vakgebied. Daarvan bleek ongeveer de helft onvoldoende te reproduceren, minder nog dan nu onder economen. Die uitkomst, zegt de bij die studie betrokken Tilburgse statisticus Marcel van Assen, is goeddeels te verklaren door de publicatie-bias bij de tijdschriften, met hun voorkeur voor stellige uitkomsten.

Van Assen ziet sterke parallellen in de nieuwe economiestudie in Science. 'De uitkomst is voor de economen iets minder hard, maar de lessen zijn vergelijkbaar. Studies met weinig proefpersonen zijn zwakker. Studies die maar nét significant zijn ook. Dat zijn dingen die wat mij betreft ook bij reviewers van tijdschriften alarmbellen moeten laten afgaan.' In de Science-studie naar economische publicaties blijkt dat dat werkt: geïnterviewde experts pikten de zwakke studies er vooraf al gemakkelijk uit.

Verbetering: In een eerdere versie van dit artikel stond dat Arthur Schram hoogleraar experimentele psychologie was. Ook zijn de citaten van Arno Riedl en Arthur Schram gecorrigeerd.

Driemaal mis

Resultaat: Ruilen is minder effectief dan betalen. Studie van John Duffy en Daniela Puzzello in The American Economic Review, juni 2011.
Bij herhaling: effect niet reproduceerbaar, aantal proefpersonen veel te klein.

Resultaat: Ongelukkige mensen vinden geld belangrijker. Studie van John Ifcher en Homa Zhargamee in The American Economic Review, december 2011.
Bij herhaling: effect niet reproduceerbaar, maat voor geluksbeleving onduidelijk.

Resultaat: Arme mensen zijn het meest tegen een hoger minimumloon. Studie van Ilyana Kuziemko et.al in The Quarterly Journal of Economics, november 2013.
Bij herhaling: niet reproduceerbaar, effect statistisch te dicht bij toeval.

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2019 DPG Media B.V. - alle rechten voorbehouden