'Ik kwam dit toevallig tegen'

Uri Simonsohn van de Wharton universiteit in Pennsylvania ontdekte dat de Rotterdamse hoogleraar Dirk Smeesters sjoemelde met zijn onderzoeksgegevens.

Met zijn jeugdige uiterlijk, viltdroge humor en geslepen intelligentie doet hij eerder denken aan een softwareontwikkelaar dan aan een 'fraudejager' of 'datadetective'. Uri Simonsohn, universitair hoofddocent psychologie, ontwikkelt methoden om verdachte wetenschap te ontmaskeren.


Hoe kwam u de zaak van Dirk Smeesters op het spoor? Werd u getipt?

'Het was toeval. Iemand stuurde me een artikel van hem met vergaande voorspellingen erin en dat maakte me benieuwd. Ik kende hem of zijn werk niet. En ik was ook zeker niet op zoek naar valse data.'


Maar u was wel net een nieuwe statistische techniek aan het ontwikkelen om verdachte onderzoekscijfers op te sporen. U kunt nog niet op de details ingaan omdat uw techniek nog in een vakblad moet verschijnen, maar wat is het principe?

'Stel je voor dat ik een dobbelsteen heb. Ik doe en worp: vijf. Ik doe het weer en: weer vijf. Enzovoorts, tot ik 49 keer vijf heb gegooid. Op een gegeven moment stel je vast dat de dobbelsteen verzwaard is. Iets soortgelijks is er aan de hand in dit soort artikelen. In één studie stond bijvoorbeeld dat proefpersonen een algemene kennistest deden met 20 vragen. Zes groepen van maar 14 mensen deden allemaal die test. In de eerste groep was de gemiddelde score 9. In de tweede: 9. In de derde, goed geraden, 9. In alle zes groepen was het 9. Dat is extreem onwaarschijnlijk, maar hetzelfde gebeurde in een andere set van zes groepen. En in een andere paper. En in nog een, en nog een.'


En toen u doorhad dat het niet in de haak was wat hier gebeurde?

'Toen heb ik de auteurs benaderd en aangeboden om de zaak telefonisch te bespreken, met hun co-auteurs gepraat, met vrienden van de co-auteurs enzovoorts. Tegen de tijd dat ik de zaak aankaartte bij de universiteiten, was men al een onderzoek gestart. En dat was zes maanden geleden.'


Bent u niet bang dat dit soort statistische technieken een heksenjacht op gang brengen?

'Alle gereedschappen kunnen verkeerd worden gebruikt, maar dat betekent nog niet dat we geen nieuwe gereedschappen meer moeten maken. Ik vermoed dat ik, als ik echt zou willen, iemand zou kunnen doden met een kerstkaart.


'Het belangrijke punt is dat een heksenjacht verschrikkelijk is, maar als getuige van een misdaad aan de kant blijven staan is dat ook. Ik ben hier niet paper na paper naar op zoek gegaan, ik kwam dit toevallig tegen. En daarna ben ik op zoek gegaan naar andere papers van dezelfde auteurs, die hetzelfde patroon vertoonden. Toen ben ik een andere analyse gaan uitvoeren, en nog een. In feite paste ik het basisprincipe van herhaling toe dat zo fundamenteel is in goede wetenschap.'


Is het verzinnen van data door onderzoekers wel statistisch aan te tonen?

'Er bestaat niet zoiets als definitief bewijs. We sturen mensen naar de gevangenis, doden vijanden op het slagveld, en erger nog, laten studenten zakken voor hun psychologietentamen, allemaal zonder zeker te weten of dat wel terecht is. Klinkt verschrikkelijk. Maar wat is het alternatief?


'We moeten de kans op fouten zo klein mogelijk maken, oneindig klein, en we moeten ons aan regels houden, zodat normale mensen die niets verkeerd hebben gedaan hun onschuld zonder reputatieschade kunnen bewijzen. Ik kan niets bedenken dat ik had kunnen doen om de kans op fouten kleiner te maken dan ik heb gedaan.'


In Nederland is uw vak, de sociale psychologie, inmiddels behoorlijk beschadigd: eerst Diederik Stapel, nu weer Dirk Smeesters.

'Ik geloof niet dat ik het daarmee eens ben. Er zijn geweldige sociaal-psychologen in Nederland. Ik heb het afgelopen jaar weer geweldig goed onderzoek gelezen uit Nederland. Stapel was gewoon een rotte appel. Dit zijn individuele misdaden, de overgrote meerderheid van de onderzoekers is oprecht en walgt hiervan.


'Plus dat dit probleem niet specifiek is voor de psychologie. Ik volg de blog RetractionWatch (een weblog dat bijhoudt welke onderzoeksartikelen ongeldig zijn verklaard, red.). De onderwerpen daar: borstkanker, neurowetenschap, endoscopie, anesthesiologie, parkinson, ontwikkelingsgeneeskunde. En dat was allemaal de afgelopen week! Het punt is dat de krant het maar zelden heeft over endoscopie of anesthesiologie, maar wel voortdurend over psychologie, omdat het zo interessant is. Dus hoort het grote publiek van die paar zaken uit de psychologie. Ik weet dat we veel maken van twee onderzoekers in hetzelfde land binnen een jaar. Maar we overschatten de betekenis van toeval.'


In een gesprek met Nature zei u dat wetenschap in het algemeen te weinig beveiligd is tegen fraude.

'De wetenschap heeft geen enkele bescherming. De vakbladen hebben geen slot op de deur. In het wetenschappelijke proces zit eigenlijk niets dat speciaal is ontworpen om mogelijke fraudeurs te vangen of zelfs eerlijk gemaakte fouten buiten de deur te houden. In dat opzicht is de journalistiek beter beschermd. Als je naar de radio gaat en je zegt: ik heb dit en dat gezien, moet je bewijs tonen. Maar als je naar een vakblad gaat en je zegt: mijn experiment heeft dit en dat opgeleverd, hoef je geen bewijs te tonen. Het enige wat je hoeft te zeggen is: en het gemiddelde was 5,5. We kunnen natuurlijk niet achter iedere laboratoriumdeur gaan staan, maar we kunnen wel om de data vragen, de ruwe cijfers. Want dat is uiteindelijk wat ze rapporteren.'


Is dat genoeg, denkt u? Je kunt toch niet uitsluiten dat iemand ook die ruwe data verzint?

'Dat is zo. Maar ruwe data verzinnen is ontzettend moeilijk. Je moet dan twee dingen begrijpen. Je moet goed weten hoe wat je bestudeert zich in het echt gedraagt. Stel, je bestudeert hoeveel mensen voor een bepaald object betalen. Je moet dan weten hoe mensen gewoonlijk op zo'n vraag antwoorden. En antwoorden vertonen allerlei trends en tendensen als mensen zo'n vraag beantwoorden. Het tweede wat je moet weten is hoe de statistiek van steekproefgroottes zich gedraagt. Hoe een kleine en een grote steekproef zich zal gedragen. Neem geslacht: stel dat vrouwen altijd meer betalen. Als je data zulke patronen niet vertonen, wekt dat argwaan. Ruwe data zijn zeer moeilijk te verzinnen. Een of twee keer lukt het misschien, maar jaren achter elkaar, dat is zo goed als onmogelijk.'


Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2019 DPG Media B.V. - alle rechten voorbehouden