Hoe gaan we het beste om met de onmiskenbare feilbaarheid van wetenschappers?

Onderzoekers moeten beter beseffen dat ze soms fouten maken en vooroordelen hebben, vindt de Tilburgse promovenda Coosje Veldkamp. Collega's en ook software kunnen helpen.

Hoogleraren van Tilburg University tijdens de opening van het academisch jaar in september. Foto Raymond Rutting

Eerlijk gezegd was ze wel een beetje verbaasd, zegt de Tilburgse promovenda Coosje Veldkamp. Ze testte de afgelopen jaren het beeld dat wetenschappers van de gemiddelde wetenschapper hebben en verwachtte dat juist zij wel weten dat wetenschappers niet per definitie rationeler, opener, intelligenter, eerlijker en coöperatiever zijn dan anderen.

'Maar uit ons onderzoek blijkt dat wetenschappers zelfs sterker dat droombeeld hebben dan buitenstaanders.' Verbazingwekkend, want uit eerder onderzoek bleek dat bijna driekwart van de wetenschappers vindt dat collega's er twijfelachtige praktijken op nahouden.

Komende woensdag promoveert psycholoog Veldkamp aan de Tilburg University op een onderzoek hoe we het beste kunnen omgaan met de onmiskenbare feilbaarheid van wetenschappers. 'Dat zij zich beter inschatten dan leden van andere sociale groepen is overigens een bekend verschijnsel in de psychologie: in-group bias heet zoiets. Dat is heel menselijk. Ook bakkers vinden zichzelf vermoedelijk altijd net wat betere mensen.'

Met name de sociale psychologie heeft het de laatste jaren zwaar te verduren gehad als het om geloofwaardigheid gaat. Veel onderzoek bleek slecht reproduceerbaar, er waren grote affaires met verzonnen data en gerommel met statistiek. De psychologie werkt er hard aan, zegt Veldkamp, die inmiddels bij de Vrije Universiteit werkt. 'Maar er kan pas wat verbeteren als het besef er is dat het echt beter moet.'

Veldkamp: 'Tot nog toe is er veel aandacht geweest voor het falende systeem, voor de publicatiedruk, voor bladen die alleen letten op statistische significantie. Naar mijn idee wordt een beetje vergeten dat wetenschappers mensen zijn, met vooroordelen, de wens om bevestigd te worden in verwachtingen, die fouten maken en die moeilijk onderkennen. Het systeem maakt dat misschien allemaal erger. Maar daar begint het, bij de menselijke feilbaarheid.'

Eerder onderzoek heeft laten zien dat meer dan tien procent van alle artikelen in de psychologie fouten in de statistiek maken. Zijn dat de menselijke fouten waar u het over hebt?

'Het gaat soms om rekenfouten, soms om typefouten, soms om afrondingsfouten. Wanneer fouten in het voordeel van de onderzoeker zijn, kan dat ook komen omdat een verkeerd resultaat dat een verwachting bevestigt, waarschijnlijk minder snel opvalt dat een fout die de verwachting niet bevestigt. En daar zit die menselijke bias dan in. Dat noemen we de confirmation bias.'

U deed onderzoek naar samenwerking bij statistische analyses in wetenschappelijke artikelen en concludeert dat die heel vaak door maar één auteur zijn gedaan. U adviseert meekijken.

'Zoals je niet in een vliegtuig stapt als er geen co-piloot is die de piloot in de gaten houdt, zo wil je ook dat er iemand meekijkt met een statistische analyse. Worden de juiste instrumenten gebruikt? De juiste keuzes gemaakt? In feite moet je dat vooraf al bespreken en ook vastleggen. Zulke pre-registratie begint te komen. Overigens blijkt het heel lastig aan te tonen dat in studies met meer auteurs van de analyse minder fouten zitten. Het effect is niet zo heel sterk.'

Niettemin lijkt het verstandig als wetenschappers elkaars werk bekijken voor ze samen publiceren. Gebeurt dat dan zo weinig?

'Ik denk dat er een taboe onder wetenschappers bestaat op discussies over je statistische methodes. Vragen daarover kunnen worden opgevat als gebrek aan zelfvertrouwen en deskundigenheid. Of als kritiek. Je zegt toch minder graag tegen je promotor dat je twijfelt aan zijn aanpak.'

Is dat de reden dat u voorstander bent van software die statistische analyses kan controleren?

'Er is veel veranderd. Toen we aan dit onderwerp begonnen, moest je het echt hebben van collega's die je analyses nog eens overdeden. Inmiddels zijn er pakketten als Statcheck en R Markdown die de statistische passages controleren of zelf de juiste cijfers kunnen invullen. Een beetje zoals je in Word een spellingchecker hebt, die de grootste blunders markeren.'

U klinkt eigenlijk best opgetogen voor iemand die laat zien hoe feilbaar wetenschappers zijn.

'Ik denk dat we beter uit de crisis zullen komen. Van een zorgenkind is de psychologie een voortrekker aan het worden, waar openheid en controleerbaarheid de norm zijn. Ik zie de belangstelling van andere vakken, van economie tot kankerbiologie groeien. Heel hoopgevend.'

Coosje Veldkamp. Foto KUB