Worden sociale wetenschappen geterroriseerd door jonge onderzoekers?

Oorlog onder psychologen

Heibel in de sociale wetenschappen: gevestigde geleerden zouden worden 'geterroriseerd' door jonge onderzoekers op zoek naar fouten in hun werk. Smerig spel, of een hoognodige schoonmaakbeurt?

Omstreden experiment door de Duitse psycholoog Fritz Strack: een tussen de tanden geklemd potlood zou het gevoel van vrolijkheid vergroten. Foto Marcel Wogram

'Ongefilterde achterklap', 'pesterijen', 'methodologisch terrorisme': het zijn woorden die je niet elke dag tegenkomt in het keurige vakblad APS Observer van psychologengenootschap Association for Psychological Science. Maar de eminente psychologiehoogleraar Susan Fiske, zelf oud-voorzitter van de APS, maakt deze maand graag een uitzondering.

Tot hier en niet verder, betoogt ze in een nog niet in druk verschenen column die nu al gretig wordt gedeeld op internet. Want academisch debat en geleerde kritiek op elkaars werk mogen dan de bouwstenen zijn waarop de wetenschap leunt, in de psychologie - en haar vak, de sociale psychologie, in het bijzonder - loopt het de spuigaten uit.

'De nieuwe media (blogs, Twitter, Facebook) moedigen onbeheerde, ongefilterde vuilbekkerij aan. In de extreemste voorbeelden vallen online-burgerwachten personen, hun onderzoeksprogramma's en carrières aan', aldus Fiske, zonder namen of voorbeelden te noemen.

Fiskes tirade komt niet uit het niets. De laatste jaren is het voort-durend hommeles in haar vak. Oude experimenten leveren bij replicatie in tweederde tot driekwart van de gevallen andere resultaten op. Dat een potlood tussen de tanden klemmen het gevoel van vrolijkheid vergroot; dat denken aan oude mensen de pas vertraagt; dat je minder wilskracht overhoudt voor het oplossen van een puzzel als je eerst een lekker koekje hebt weerstaan - één voor één gingen ze in rook op.

En alsof het niet genoeg is, is er een nieuwe generatie onderzoekers opgestaan die blogt en facebookt dat het een aard heeft. En dat allemaal zonder peerreview, de spelregel dat onderzoek niet naar buiten mag zonder goedkeuringsstempel van een panel van geleerde collega's, aldus Fiske. 'Deze verniel-critici negeren de ethische gedragsregels en ontduiken elke beoordeling door vakgenoten', foetert de professor, die de jonge garde onder meer het 'verwoesten van levens' aanwrijft.

Foto Marcel Wogram

Een pinnige brief in een vakblad. Wellicht was het daarbij gebleven, ware het niet dat de invloedrijke bloggende hoogleraar statistiek en politicologie Andrew Gelman reageerde, onder de vileine titel 'Wat er is veranderd, is dat er een nieuwe wind waait'. In een opgestoken middelvinger van 5.170 woorden lang wrijft Gelman de psychologe aan een 'dood paradigma' aan te hangen, van statistisch rammelende onderzoekjes en theorieën die zo slap staan afgesteld dat je er álles wel mee kunt verklaren. Borreltafelwetenschap dus eigenlijk. 'En nu hebben we de keizer-heeft-geen-kleren-fase bereikt', aldus Gelman. 'We beseffen allemaal dat slecht werk eerder regel is dan uitzondering. Wat Fiske moet doen, is haar verlies nemen, toegeven dat zij en haar collega's veel vergissingen hebben gemaakt, en doorgaan.'

Dat is wel een erg hard oordeel, vinden de meeste psychologen aan wie je het vraagt. Menselijk gedrag is nu eenmaal geen natuurwet dat je op commando kunt opwekken. 'Neem replicaties', zegt hoogleraar sociale psychologie Tony Manstead van de Universiteit van Cardiff desgevraagd. 'Het is heel, héél moeilijk om een experiment precies te herhalen, zeker als er jaren zijn verstreken. Het gaat hier vaak om zeer subtiele effecten.'

Toch is dat nog geen reden om de psychologie maar te bestempelen tot een methodologische vrijplaats, zo ziet iedereen ook wel in. Zeker de sociale psychologie heeft wat dat betreft geen goede naam. 'De grote theorieën zijn er gaandeweg verdwenen. En om eerlijk te zijn heeft men zich lang beholpen met ad-hoc-theorieën', zegt de Leidse hoogleraar psychologie Bernhard Hommel. 'Je doet een waarneming, en dat is dan het fenomeen.'

Bovendien zijn het de psychologen zelf die zo nodig experimenten willen doen, stelt wetenschapssocioloog Ruud Abma van de Universiteit Utrecht. 'Dan moet je ook niet raar opkijken als methodologen en statistici zich ermee gaan bemoeien', zegt hij. 'Jonkies en mensen van buiten worden in dit veld al snel gezien als praatjesmakers', stelt de Rotterdamse hoogleraar cognitieve psychologie Rolf Zwaan. 'Vooral sommige oudere sociaal psychologen voelen zich doelwit. En eerlijk gezegd snap ik dat wel.'

Nog eens extra op scherp gezet worden de tegenstellingen door de generatiekloof, met enerzijds de oude garde die gewend is aan zorgvuldig geformuleerde epistels in een vakblad, en anderzijds de o nline-generatie die volop experimenteert met blogs, gratis tijdschriften en peerreview achteraf. 'Op internet kunnen mensen de dingen best onaardig brengen', ziet promovenda methodologie Michèle Nuijten van de Universiteit van Tilburg ook wel in. 'Maar het voordeel is dat de verbeteringen in de wetenschap er veel sneller gaan. En je hoeft niet per se hoogleraar te zijn om een bijdrage te kunnen leveren.'

Foto Marcel Wogram

Intussen begint de ruzie ook steeds meer door te klinken in andere sociale wetenschappen, blijkt onder meer uit de honderden reacties van economen, politicologen en sociologen onderaan Gelmans weblog. Want hele theorieën bouwen op basis van een handvol vragen uit een enquête of wat losse grafiekjes in Excel - bezondigen niet veel meer wetenschappers zich daaraan?

'Feit is', schrijft de Britse neuro-wetenschapper Chris Chambers in een reactie op Fiske, 'dat we midden in een machtsstrijd zitten. Niet tussen Fiskes 'verniel-critici' en hun slachtoffers, maar tussen de hervormers die wanhopig proberen de wetenschap te verbeteren en een groepje traditionalisten dat nu en dan vanaf hun troon omlaag kijkt en wat obstakels op je weg leggen.'

Marcel van Assen, hoogleraar sociologie in Utrecht en methodoloog in Tilburg, vindt het sop de kool niet waard. Al die heisa, zegt hij. 'Iedereen is gebaat bij artikelen waar geen fouten in staan. Ik kan me niet voorstellen dat iemand tegen goede wetenschap is.'

Foto Marcel Wogram

Hij wijst erop dat er sinds vorig jaar een online-meldpunt bestaat voor onderzoekers die zich persoonlijk belaagd of geterroriseerd voelen. 'En weet je hoeveel klagers zich tot dusver hebben gemeld?', zegt hij. 'Nou: wel nul.'


De jonge onderzoekers: Michèle Nuijten

Er bestaat dus een robot die gepubliceerde onderzoeken doorleest, de boel controleert op statistische fouten, en u daarna een mailtje stuurt: uw onderzoek bevat onregelmatigheden. Met dank aan de Tilburgse promovendi Michèle Nuijten en Chris Hartgerink.

Mevrouw Nuijten, wat heeft u nou toch losgelaten op de wereld?

'Op zichzelf doet ons programma Statcheck niets. Je kunt het downloaden om je onderzoek te controleren. Wat er is gebeurd, is dat mijn collega Chris ruim 50 duizend eerder gepubliceerde psychologische onderzoeken door het programma heeft gehaald, om te zien of dat kon. Vervolgens werd een rapportje met de resultaten geautomatiseerd op internet gezet. Sommige onderzoekers schrokken daarvan: lieve help, wat is dit, een soort virus of zo?'

Foto Marcel Wogram

Wat doet Statcheck precies?

'Het programma is ooit in Amsterdam ontstaan, deels voor de lol, en deels om het doornemen van meerdere artikelen gemakkelijker te maken. In de psychologie worden onderzoeksuitkomsten volgens vaste spelregels weergegeven, met drie getallen, de 'test-statistic', de vrijheidsgraden en de p-waarde. Als je twee van die getallen kent, kun je het derde uitrekenen. Dat maakt het gemakkelijk om een artikel geautomatiseerd te scannen, op zoek naar die getallen, en te controleren of ze met elkaar in overeenstemming zijn.'

En zijn ze dat?

'In ongeveer de helft van de artikelen vindt de software foutjes. Meestal volstrekt onschuldige slordigheidjes, zoals verkeerde afrondingen in de derde decimaal.

'Maar in één op de acht artikelen vinden we een inconsistent resultaat, waardoor de conclusie iets kan veranderen. Vaak lijkt het dan te gaan om verkeerd afgeronde p-waarden, het getal dat aangeeft wat de toevalskans is van een bevinding.'

Wat wil dat zeggen?

'Hoe lager de p-waarde, des te kleiner de kans dat de uitkomst van het onderzoek op toeval berust. En vreemd is dat we meer afrondingsfouten naar beneden dan omhoog vinden.'

Foto Marcel Wogram

Een afronding in het voordeel van de onderzoeker, dus eigenlijk. Verdacht.

'Ook dit kunnen volmaakt onschuldige vergissingen zijn. Misschien rekenen onderzoekers p-waarden die al significant zijn, gewoon wel minder vaak na. Waarom zou je, als het in de lijn van je verwachting is? Maar het kan er ook op duiden dat mensen vals spelen en nu en dan p-waardes expres naar beneden afronden om een significant resultaat te krijgen. Toen men eens tweeduizend psychologen vroeg of ze ooit smokkelden, gaf 22 procent toe weleens een p-waarde naar beneden af te ronden om een significant resultaat te krijgen.'

Susan Fiske noemt uw softwarerobot als teken van de persoonlijke afrekencultuur die in de sociale wetenschappen zou heersen. Snapt u dat?

'Eerlijk gezegd niet. Statcheck is gewoon een soort spellingschecker. Een hulpprogramma dat aangeeft: let op, misschien is hier iets niet in de haak. Wat kan er nou tegen zijn op een hulpmiddeltje dat de wetenschap vooruit helpt? Afgezien daarvan: als er iets níét op de man speelt, is het wel een geautomatiseerde robot.'


De oude garde: Fritz Strack

De Duitse psycholoog Fritz Strack voerde in 1988 een beroemd experiment uit: wie het gezicht in een glimlach dwingt met een potlood tussen de tanden, beoordeelt daarna cartoons als grappiger. Totdat het experiment, onder Nederlandse leiding, werd herhaald door zeventien laboratoria uit negen landen. Wég effect. Maar Strack is niet overtuigd.

U deelde de column van Fiske op Facebook en schreef erbij dat u haar term 'methodologisch terrorisme' 'geen slechte metafoor' vond. Voelt u zich geterroriseerd?

'Niet door de replicatie. Maar op Facebook werd ik het doelwit van regelrechte smaad. Ik heb een advocaat in de arm genomen om te voorkomen dat ik word geterroriseerd.'

Foto Marcel Wogram

Zeventien labs herhaalden uw experiment, en geen één vond een effect. Hoe reageerde u?

'Ik was natuurlijk verrast. En dacht: wat kan er zijn gebeurd? Wat waren de omstandigheden in het oude experiment en wat in het nieuwe dat de uitkomsten zo anders zijn?'

U had uw experiment nota bene zelf voorgedragen voor replicatie. Waarom?

'Er was een debat gaande over priming-studies (waarbij men mensen door beïnvloeding tot ander gedrag probeert te krijgen, red.) en of die wel klopten. Toen heb ik in een chat geopperd: waarom gebruiken jullie ons werk met het potlood niet? Wij hebben het experiment twee keer gedaan, een keer in Mannheim en een keer in de VS, en na ons hebben tal van anderen de procedure ook gebruikt, bij allerlei andere experimenten. Dus ik dacht: waarom niet?'

Was uw resultaat niet gewoon een toevalstreffer?

'Als wetenschapper geloof ik dat gedrag ergens door wordt veroorzaakt. Natúúrlijk is er een oorzaak. En wij moeten daar de vinger op leggen. Misschien komt het doordat ze in de replicatie een camera gebruikten en wij niet. Tal van studies laten zien dat mensen die geobserveerd worden minder waarschijnlijk hun gevoelens laten zien.'

Foto Marcel Wogram

Of misschien heeft u in úw experiment onbedoeld iets gedaan dat de deelnemers beïnvloedde.

'Natuurlijk. Maar vervolgens moet je zulke verstoorders identificeren. Zo schrijdt de wetenschap voort. Niet door te zeggen: het is toeval, ruis.'

Is het potloodexperiment wat u betreft nu van tafel, ja of nee?

'Ik weet het niet. Het is nu net of ze me een soort vonnis overhandigen: hiermee moet je het maar doen. Maar zo werkt wetenschap niet. Wetenschap werkt bij gratie van het debat. Wij vonden dit, zij vinden dat, en laten we nu proberen om het te begrijpen. Zodat we een meer gedifferentieerd begrip krijgen van het fenomeen.'

Het zou toch ook gewoon kunnen dat de theorie niet klopt?

'Het replicatieteam geeft zelf aan dat dit niet de hele gezichtsfeedback-theorie ontkracht. Er zijn talloze andere publicaties die het ondersteunen. Dat kun je toch niet negeren?'

U klinkt boos.

'Nee, nee! Ik ben niet boos!'

Hoe zou u uw gemoedstoestand dan wel beschrijven?

'Ik ben... geactiveerd! Gestimuleerd! Aangewakkerd!'

Spijt dat u het had voorgedragen?

'Nee, nou ja, misschien een beetje. Ik wil het niet wegpraten, ik wil het gewoon begrijpen. Een volmaakt intellectuele oefening. Waarom wij het wél zagen, en het niet gebeurde bij de replicaties. Nu weet ik eerlijk gezegd niet zo goed wat we hiervan hebben geleerd.'

Meer over