Op zoek naar het gewicht van Diederik Stapel

Een zware slag voor de sociale psychologie, zo was het unanieme oordeel na de fraude van Diederik Stapel. Hoe bepaal je de wetenschappelijke schade? Op zoek naar het soortelijk gewicht van een onderzoeker.

Het is een paar weken nadat duidelijk werd dat hoogleraar sociale psychologie Diederik Stapel op grote schaal onderzoeksfraude heeft gepleegd, en ik staar naar het getal 1. Langdurig, want ik kan het moeilijk geloven. Maar getallen liegen niet. Zelfs niet als dat getal 1 is.


De 1 staat op een ingewikkeld ogende website die alleen via universiteiten toegankelijk is: de wetenschappelijke publicatiedatabase Web of Knowledge. Ik heb er een onderzoek opgezocht dat Stapel begin dit jaar publiceerde in het topblad Science. Een studie, waarin Stapel samen met zijn collega Siegwart Lindenberg vaststelt dat rommelige omgevingen bij mensen discriminatie opwekt. Daarover is nu veel te doen. De cijfers waarop het is gebaseerd, blijken vervalst.


Belangrijk onderzoek? Ik zit met die 1 die in Web of Knowledge bij de studie staat. Dat getal staat voor het aantal malen dat andere wetenschappers naar de publicatie hebben verwezen. Het is het afgelopen halfjaar nog maar één keer gebeurd dat een onderzoeker op het idee kwam om naar Stapels krantenkop-halende, geruchtmakende onderzoek te verwijzen. Dat was, om precies te zijn, een zekere Idit Shalev, die de Science-publicatie terloops noemt in een technisch artikel over onderzoeksmethoden.


Goed, de studie van Stapel is nog erg vers, maar ter vergelijking: in diezelfde Science stond ook een Brits onderzoek naar 'ribozymen', en dat is al elf keer aangehaald. Zelfs het artikel van Idit Shalev is al vaker door anderen geciteerd dan de paper van Stapel.


Citeren en geciteerd worden, in de wetenschap is het de belangrijkste munteenheid. Wie veel wordt geciteerd, maakt naam, valt op, draagt bij aan de wetenschap. En omgekeerd. Op Web of Knowledge kom ik een Nederlandse sociaal-psycholoog tegen die - ik zal, uit clementie, geen naam noemen - weliswaar vijf onderzoeksartikelen schreef, maar nog nul keer is geciteerd. Een wereld van droefenis, die daaruit spreekt.


Grote jongens

Hoe zit dat met Stapel? Ik zoek de citatiescores op van alle universitaire stafleden sociale psychologie in Nederland die ik kan vinden. Het zijn er zo'n dertig. Stapel is, met 115 artikelen in Web of Knowledge, een van de meest publicerende.


Maar het wetenschappelijk gewicht van die studies, als je dat zo mag noemen, is 14,58. Gemiddeld worden Stapels onderzoeken 14,58 keer geciteerd. Vergelijk dat eens met de grote jongens uit het vak: Ap Dijksterhuis (gemiddeld 40,8 citaties per gepubliceerd artikel), Paul van Lange (29,8), Ad van Knippenberg (33,6). Bij de voorbereiding van dit artikel laat een in citatiescores ingewijde onderzoeker vallen dat het de wetenschappelijke score van de Tilburgse psychologie wellicht zelfs iets opkrikt, als je de citatiewaarde van Stapel wegdenkt.


Stapels gemiddelde wordt opgetrokken door uitschieters. Zijn meest geciteerde vakartikel (156 keer naar verwezen) blijkt een artikel van zijn collega's Dijksterhuis en Tom Postmes, waaraan Stapel als promovendus meewerkte. Van Stapels 25 meest geciteerde artikelen dateren er slechts 2 van de laatste vijf jaar.


In Leiden bij het 'Centre for Science and Technology Studies' (CWTS) doet Thed van Leeuwen onderzoek naar 'bibliometrie', zeg maar het wegen van geleerde publicaties. Geen werk voor amateurs, waarschuwt Van Leeuwen. 'Als een bestuurder van een universiteit gaat knutselen achter zijn computer, kunnen daar de grootste ongelukken van komen.'


Van Leeuwen somt op wat er zoal kan misgaan. Niet alle publicaties staan in Web of Knowledge; en bij het opvragen ervan ontstaan er al snel dubbelingen. 'Het belangrijkste is', zegt Van Leeuwen, 'dat de publicatiegewoonte per vakgebied sterk kan verschillen.' Zo schrijven alfa's vooral boeken, maar die komen in Web of Knowledge niet voor.


Daarom hanteert het CWTS een uitgekiend systeem van filters, wegingsfactoren en technieken om de berg ruwe citatiecijfers enigszins te temmen. 'Het bepalen van de zwaarte van een geleerde zal altijd door vakgenoten moeten gebeuren', zegt Van Leeuwen.


Zulke beoordelingen door vakgenoten bestaan ook - 'visitaties', heten die - en in 2006 werd de groep waarin Stapel werkte voor het laatst beoordeeld. Tilburg kreeg prachtige rapportcijfers: een 'zeer goede' productie en kwaliteit, en een 'excellente' relevantie, beschikte de commissie die de beoordeling uitvoerde. Maar het lastige is: over individuele wetenschappers spreekt zo'n commissie zich doorgaans niet uit.


Maatschappelijke impact

Citaties zijn één ding, er is ook nog zoiets als de 'maatschappelijke impact' van wetenschap. 'Die mag je niet vergeten', zegt hoogleraar organisatiewetenschap Peter van den Besselaar van de VU in Amsterdam. 'Zeker niet nu de samenleving eist dat de wetenschap zich maatschappelijk nuttig maakt.'


Van den Besselaar is betrokken bij het project 'Evaluating Research in Context' (ERiC), een initiatief van de HBO-raad, de wetenschapsakademie KNAW, onderzoeksfinancier NWO en de universiteitenvereniging VSNU. 'We proberen methodes te ontwikkelen om die maatschappelijke kant van de productie te beoordelen', zegt Van den Besselaar.


Lastig. Voor de een is het maatschappelijk waardevol om apparaten uit te vinden, voor de ander misschien om op te treden als overheidsadviseur, terwijl de volgende zijn wetenschap maatschappelijk relevant maakt door veel op tv te komen.


De wegingen volgens het ERiC-systeem komen dan ook in de vorm van geschreven rapporten, zonder rapportcijfers. 'Je kunt er geen getal aan hangen. En dat moet ook niet', vindt Van den Besselaar. 'Je zou dan een ongezonde fixatie krijgen op afzonderlijke groepen en personen die je eigenlijk niet met elkaar kunt vergelijken. Het zou dan toch een beetje voetbal worden: wie wint de Champions League?'


Eigenwijs besluit ik toch een poging te wagen, al is het maar om een indruk te krijgen van het maatschappelijke wetenschapsgewicht van Stapel. In het archief van kranten en publieksbladen LexisNexis kijk ik hoe vaak zwaargewichten als Diederik Stapel, Roos Vonk, Bram Buunk, Ad Vingerhoets en Paul van Lange de afgelopen vijf jaar de media haalden.


Ook in dat lijstje staat Stapel onderaan. Vér achter Roos Vonk (467 keer de media, waarvan 10 keer met een eigen geschreven essay), Ad Vingerhoets (206 keer de media) en Ap Dijksterhuis (86 keer). Stapel heeft in die vijf jaar 'slechts' 54 keer de bladen en kranten gehaald.


Maar alweer is het slechts een indicatie. Zo is niet uit te sluiten dat er bij de treffers zaken zitten als aankondigingen van lezingen en tv-programma's. Een blik in de omroeparchieven zou een ander beeld geven: zo was Stapel panellid bij een tv-programma over psychologie.


Van den Besselaar had me nog zo gewaarschuwd. 'Je kunt onderzoekers niet goed de maat nemen zonder de context te kennen.'


Nog één ding staat me te doen: een bezoek aan kast 23a van mijn plaatselijke universitaire bibliotheek. Die staat vol hand- en leerboeken in de sociale psychologie. Als je het wetenschappelijk gewicht van een geleerde ergens kan wegen, moet het hier zijn. Want de handboeken halen, geldt in de wetenschap als een van de grootste bekroningen. Je wordt dan opgenomen in het weefsel van de wetenschap, onderdeel van de fundamenten van het vakgebied.


Hoeveel tekstboeken moeten er eigenlijk worden herschreven nu Stapels onderzoek bunk is?


Dat valt gelukkig mee, zo bemerk ik, bladerend door de registers van de boeken uit kast 23a. Van Lange, Van der Pligt, Dijksterhuis, Doosje, Semil: dát zijn de sociaal-psychologen die je daar tegenkomt. In de recente overzichtswerken komt de naam Stapel slechts heel af en toe voor. Stapel lijkt een smet die je nog kunt wegpoetsen, zoals de oude Egyptenaren soms de naam van een in ongenade gevallen farao wegbeitelden.


Halo-effect

Wat blijft is een algemene indruk. Van een onderzoeker die ongetwijfeld behept is met uitstekende communicatieve vaardigheden en het prima deed als onderzoeker, maar die ook weer niet tot de top behoorde waartoe iedereen hem nu rekent.


Het is nota bene de sociale psychologie die hiervoor een woord heeft: het 'halo-effect', de neiging van mensen om eigenschappen uit te smeren. Als Diederik Stapel veel publiceerde, op tv was en groots fraudeerde, zal alles aan de man wel groot zijn. Ook zijn wetenschappelijk gewicht.


Zo ligt het niet. Tenminste, nóg niet. 'Mijn indruk is dat zijn artikelen steeds interessanter werden voor een breder publiek', zegt Paul van Lange, behalve hoogleraar vicepresident van de internationale Society of Experimental Social Psychology. 'In het vakgebied was hij intussen alom bekend als uitstekend onderzoeker. En de kans was groot dat vooral zijn recentere werk zeer invloedrijk zou worden.'


Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2019 de Persgroep Nederland B.V. - alle rechten voorbehouden