Studenten (in dit geval aan de Erasmus Universiteit)
Studenten (in dit geval aan de Erasmus Universiteit) © ANP

'Grove onzorgvuldigheden' in deel psychologische studies

Gevolgen voor uitkomst in 1 op 8 papers

De helft van de psychologische studies in wetenschappelijke bladen bevat één of meer statistische fouten. Meestal gaat het om slordigheden, zoals tikfouten en onjuiste afrondingen. In één op de acht papers is sprake van grove onzorgvuldigheden in het cijferwerk met gevolgen voor de gerapporteerde statistische uitkomsten.

Dit blijkt onderzoek van de Tilburgse methodologe Michèle Nuijten die een steekproef trok van 30 duizend artikelen. Ze noemt haar bevindingen 'heftig'. De grove fouten pasten vaker wel dan niet in het straatje van de onderzoekers.

Voor deze studie ontwikkelde Nuijten, samen met Sacha Epskamp van de Universiteit van Amsterdam, een instrument dat statistische onvolkomenheden in studies opspoort, statcheck. Dat werkt ongeveer zoals de spellingschecker die op spelfouten controleert. Handmatig is het lastig 30 duizend studies na te pluizen. Statcheck controleert het statistische deel waaruit moet blijken of de gevonden effecten in een experiment wel of geen toevalstreffer zijn. In papers die claimden dat het gevonden effect geen toeval was, zaten vaker ernstige fouten dan in studies die niet boven de toevalligheidsgrens uitkwamen.

De Tilburgse psycholoog Jelte Wicherts deed in 2011 soortgelijke heranalyses en kwam tot dezelfde bevindingen. Het aantal kleine onvolkomenheden is constant in de periode 1985-2013 die Nuijten onderzocht. Het aantal ernstige statistische misslagen daalde licht. Er is dus geen bewijs dat psychologen het steeds minder nauw nemen in de omgang met onderzoeksdata, zoals vaak wordt beweerd. In een geruchtmakende enquête onder tweeduizend psychologen gaven twee op de tien onderzoekers toe dat ze weleens data hadden weggelaten of bijgesteld. Nuijten vond geen verschillen tussen de sociale, klinische en experimentele psychologie.

Er zijn onderzoekers die hun resultaten aanpassen aan hun conclusies in plaats van andersom

Daniël Lakens, statisticus TU Eindhoven

Statchek staat online en is voor iedereen te gebruiken. Nuijten hoopt dat het op termijn een normale zaak wordt om studies even 'door statcheck te halen'. In hoeverre de wetenschappelijke literatuur wordt vervuild door dit soort misslagen is onduidelijk.

Statisticus Daniël Lakens van de Technische Universiteit Eindhoven analyseerde op zijn beurt de studie van Nuijten en steunt de conclusies. 'Het gaat vooral om kleine foutjes. Maar er zijn ook onderzoekers die hun resultaten aanpassen aan hun conclusies in plaats van andersom. Beschamend.'