Medici worstelen met een golf nepstudies. Deze gynaecoloog kwam verdachte onderzoeken uit Egypte op het spoor

Duizenden wetenschappelijke publicaties in de geneeskunde zijn mogelijk frauduleus. Dat kan leiden tot verkeerde adviezen over behandelingen. Hoe ontstaat die fraude en wat is ertegen te doen?

Hij ontdekte het per toeval, vertelt Ben Willem Mol, hoogleraar gynaecologie aan Monash University (Australië). Als redacteur van een medisch vaktijdschrift had hij een ingezonden wetenschappelijk onderzoeksartikel afgewezen omdat bepaalde getallen er verdacht uitzagen. Zo hadden binnen slechts een paar maanden tijd honderden patiënten met vruchtbaarheidsproblemen meegedaan aan de studie. ‘Als arts en onderzoeker weet ik dat dat praktisch helemaal niet mogelijk is’, zegt hij via Zoom. Een paar maanden later zag hij dezelfde studie in een ander vakblad staan. ‘Maar alle cijfers waarop ik commentaar had, bleken opeens aangepast.’

Toen Mol samen met collega’s 35 studies onder de loep nam van een opvallend productieve onderzoeksgroep uit Egypte, bleken er minstens 26 grote problemen te bevatten. Zo kwamen dezelfde tabellen in meerdere publicaties terug, maar dan steeds een tikje gewijzigd. Soms waren zelfs kanswaarden boven de 100 procent gerapporteerd – statistisch onmogelijk. Dat duidt allemaal op serieuze integriteitsproblemen, schrijven ze in een verslag in het European Journal of Obstetrics & Gynaecology and Reproductive Biology. Meerdere van de onderzochte publicaties zijn daarna teruggetrokken, of hebben een waarschuwingslabel gekregen.

‘Zombie trials’

Het is het topje van de ijsberg. In alle hoeken en gaten van de medische wetenschap duiken de laatste jaren studies op die discutabel of ronduit verzonnen zijn. ‘Zombie trials’, noemt de Britse anesthesioloog John Carlisle deze laatste groep. Opvallend veel van deze studies komen uit landen als Egypte, Iran en publicatiewereldkampioen China. Onlangs analyseerde Carlisle ruim vijfhonderd wetenschappelijke studieresultaten die ter publicatie werden aangeboden bij het tijdschrift Anaesthesia. Een op de zeven bleek foute gegevens te bevatten. Soms waren grafieken brutaalweg geknipt en geplakt vanuit andere publicaties. In andere manuscripten stonden datatabellen vol herhalingen. In 153 studies waarvan Carlisle toegang had tot de brondata, was het foutpercentage zelfs 44 procent. Extrapoleer je dit naar de gehele geneeskunde, dan kom je al snel uit op tienduizenden verdachte publicaties.

En dat is een groot probleem, zeker omdat het in alle voornoemde gevallen gaat om zogeheten randomized controlled trials. Deze rct’s vormen de belangrijkste basis voor medische behandelrichtlijnen, vanwege hun grote statistische zeggingskracht. In een gerandomiseerde trial worden patiënten ingedeeld in twee zo vergelijkbaar mogelijke groepen vóórdat ze een behandeling krijgen. De ene groep krijgt bijvoorbeeld medicijn A, de andere medicijn B (of een placebo). Zie je vervolgens verschillen in behandeleffecten, dan kun je betrouwbaar stellen dat het door de medicijnen komt.

In het verleden leidden nep-rct’s al tot verkeerde behandeladviezen, zoals in de cardiologie. Jarenlang was het gebruikelijk om patiënten bètablokkers te geven bij operaties, omdat deze hartinfarcten zouden voorkomen. Dat had de Rotterdamse cardioloog Don Poldermans, die de richtlijn mee opstelde, in meerdere studies laten zien. Later bleek Poldermans’ werk onbetrouwbaar. De hoogleraar had de data van 169 patiënten verzonnen, concludeerde een onderzoekscommissie in 2012, en kreeg ontslag. In 2014 werd de behandelrichtlijn aangepast.

De verdachte vruchtbaarheidsstudies uit Egypte die Mol en zijn collega’s ontdekten hebben gelukkig nog niet geleid tot foutieve medische adviezen, zegt Madelon van Wely, die medeauteur was van de publicatie die de problemen aan het licht bracht. Van Wely is klinisch epidemioloog aan het AMC Amsterdam en gespecialiseerd in overzichtsanalyses. ‘Wel lijken behandeleffecten onderschat.’

Dat speelt bijvoorbeeld bij de behandeling van vrouwen met eisprongproblemen (PCOS). Meerdere teruggetrokken publicaties, die meegenomen waren in belangrijke overzichtsanalyses, suggereerden dat het medicijn letrozol niet tot meer zwangerschappen en geboortes leidt dan wanneer clomid wordt gegeven. Andere lieten juist wel een gunstig effect zien. Inmiddels is letrozol de voorkeursbehandeling bij PCOS.

Egyptische arts

Een naam die veelvuldig terugkeert in de gynaecologische probleemstudies is die van de Egyptische arts Ahmed Badawy. Ten minste vijf van zijn publicaties zijn de afgelopen twee jaar teruggetrokken, waarvan drie uit zijn proefschrift uit 2009. Deze dissertatie schreef hij opvallend genoeg aan de Universiteit Utrecht, als zogeheten buitenpromovendus. Dat is een onderzoeker die elders in dienst is, in dit geval de Mansoura Universiteit in Egypte. Moet zijn doctorstitel niet ingetrokken worden? Datafabricatie is een duidelijke schending van de Nederlandse wetenschappelijke integriteitscode. ‘Wetenschappelijke fraude is een ernstig delict, zeker als het richtlijnen kan beïnvloeden’, zegt de Groningse hoogleraar voortplantingsgeneeskunde Annemieke Hoek desgevraagd.

Voor de Britse fraudedetective Nick Brown is het zo klaar als een klontje: ‘De Universiteit Utrecht moet de doctorstitel van Badawy zo snel mogelijk schrappen’. Brown is een in Groningen gepromoveerde psycholoog die meerdere wetenschappelijke fraudegevallen aan het licht bracht, onder meer van de Amerikaanse voedingshoogleraar, bestsellerauteur en tv-beroemdheid Brian Wansink, in 2017. Op verzoek van de Volkskrant bekijkt hij het proefschrift van Badawy. In bijna elk hoofdstuk klopt de statistiek in de resultatentabellen van geen kanten, rekent Brown voor. Veel cijfers passen onmogelijk bij elkaar, zoals betrouwbaarheidsintervallen, t-statistieken en p-waardes. ‘Ik snap niet hoe dit door de peer review heeft kunnen komen bij de tijdschriften en de proefschriftcommissie.’

Integriteitscommissie

De Commissie Wetenschappelijke Integriteit van de Universiteit Utrecht bekijkt Badawy’s proefschrift, laat een woordvoerder weten. ‘De kwestie is bekend en wordt onderzocht.’ Hoogleraar Nick Macklon (Universiteit van Southampton), Badawy’s promotor in 2009, laat via e-mail weten dat hij Utrecht op de hoogte stelde van de problemen nadat Mol en collega’s de fouten hadden ontdekt. Dat hij ze zelf destijds niet heeft gezien, is niet vreemd, schrijft hij. ‘De proefschrifthoofdstukken waren allemaal ook al beoordeeld en gepubliceerd door vooraanstaande wetenschappelijke tijdschriften.’ Wanneer de Utrechtse integriteitscommissie precies uitspraak doet, kan de woordvoerder niet zeggen. ‘Over lopende onderzoeken kunnen wij geen nadere uitspraken doen. Maar in algemene zin moet er natuurlijk altijd voldoende ruimte zijn voor bijvoorbeeld wederhoor.’

Badawy reageert niet op meerdere interviewverzoeken, zijn universiteit in Egypte geeft alleen een schriftelijke reactie. ‘Mansoura University hecht veel belang aan goed gedrag en nauwgezet onderzoek doen’, laat directeur Ashraf Bakr weten. Ahmed Badawy zou door de universitaire tuchtrechtbank onderzocht worden, maar dat proces ‘kan maanden duren’, aldus Bakr. Gynaecoloog Mol kreeg in 2020 al precies dezelfde reactie, vertelt hij.

Dat zelfcorrectie maar moeizaam gaat in de wetenschap speelt niet alleen bij dit proefschrift. Mol: ‘Van de vierhonderd waarschijnlijk gefabriceerde publicaties waar ik zicht op heb, zijn er de laatste twee jaar na veel touwtrekken met tijdschriften en uitgevers twintig teruggetrokken.’ Naar de andere wordt nog altijd verwezen, zegt hij, bijvoorbeeld in overzichtsstudies naar de behandeling van hoge bloeddruk tijdens zwangerschap.

Fraudejagen is een ondankbaar klusje, schampert de hoogleraar vanuit Melbourne. ‘Voor tijdschriftuitgevers is het slechte reclame en ook onderzoekers kijken liever de andere kant op. Omdat ze zelf misschien ook niet helemaal zuiver op de graat zijn, maar ook omdat je nek uitsteken een hoop potentiële schade oplevert.’ Dat merkt hij zelf ook. Na zijn kritiek op de studies uit Egypte werd hij van verschillende kanten beschuldigd van racisme. ‘Dat is natuurlijk niet leuk, zeker niet als verder niemand zich publiekelijk daartegen uitspreekt.’

Terugtrekken

Artikelen terugtrekken na publicatie is makkelijker gezegd dan gedaan, werpt de Utrechtse hoogleraar Bart Fauser tegen, die hoofdredacteur is van het vakblad Reproductive Biomedicine Online. Dat tijdschrift publiceerde meerdere van de verdachte Egyptische probleemstudies. Ondanks de statistische problemen zijn de meeste nog zonder kanttekening te lezen. ‘Het gaat veelal om datatabellen die in meerdere publicaties voorkomen’, zegt hij aan de telefoon. ‘Toon dan maar eens aan welk manuscript het origineel bevat en welke de kopie. Welke studie moet je dan terugtrekken? Daar zijn geen richtlijnen voor.’ Bovendien moeten auteurs de kans krijgen om weerwoord te bieden of data en documenten te delen. Daar gaan al snel maanden overheen.

Hoe ontstaat toch al die fraude? En waarom komen er zoveel problematische studies uit landen als Egypte, Iran en China? Een belangrijke oorzaak is dat van onderzoekers in niet-westerse landen onrealistisch veel wordt verwacht, zegt Willem Halffman, wetenschapssocioloog aan de Radboud Universiteit. ‘Zij staan extreem onder druk om in vooraanstaande tijdschriften te publiceren, zonder dat ze tijd hebben voor onderzoek.’ Dat leidt tot een zwarte handel waarbij bedrijfjes op bestelling publicaties schrijven, zogeheten paper mills. ‘Vanuit ons perspectief is dat fraude, maar daar is het een vorm van carrièrelogica. In landen met een totalitair regime is sjoemelen een soort overlevingsstrategie.’

De golf aan nepstudies betekent overigens niet dat de wetenschap niet meer te vertrouwen is, benadrukken de experts. ‘Maar we kunnen er in ieder geval niet van uitgaan dat alles wat gepubliceerd is ook klopt’, zegt epidemioloog Van Wely. ‘Dat problemen boven komen drijven maakt ons alerter. Daardoor weten ook richtlijncommissies beter waar ze op moeten letten als ze een artikel beoordelen. Is de studie geregistreerd? Doen meerdere centra mee, is er een kwaliteitscontrole? Dat hoort de standaard te zijn.’

Er zijn zeker nog wegen om uit dit moeras te komen, benadrukken bijna alle deskundigen. Het begint ermee dat meer wetenschappers hun onderzoek moeten vooraanmelden, zegt Van Wely, op bijvoorbeeld clinicaltrials.gov of trialregister.nl. Daar staan nu al honderdduizenden studies geregistreerd. Ook groeit de trend om meetgegevens na afloop van een studie in een open databank te zetten, al dan niet vrijwillig. ‘Veel tijdschriften vinden een verplichting nog te vroeg. Maar natuurlijk kan dat, het is gewoon een kwestie van geld. Uitgevers maken genoeg winst.’

Statistische expertise

Daarnaast zou het goed zijn als er vaker methodologen meekijken bij het beoordelen van ingezonden publicaties, vult Hoek aan. ‘Als arts heb je vaak de statistische expertise niet om wetenschapsfraude te herkennen, je kijkt vooral met een medische blik naar een manuscript.’ Bovendien, zegt Mol, werkt het beoordelingssysteem vaak nog te veel op basis van vertrouwen. ‘De vraag ‘zijn de gegevens wel echt?’ wordt door niemand gesteld.’

Ten slotte is het nodig dat er met een stofkam door al gepubliceerde studies gegaan wordt. Bij overzichtsstudies binnen de gynaecologie is daar net een begin mee gemaakt, zegt Van Wely. ‘We analyseren voortaan eerst de studies van hoge kwaliteit.’ Dat leidde afgelopen april al tot de conclusie dat progesteron mogelijk niet zoveel beschermt tegen herhaalde miskramen als artsen dachten. Van Wely: ‘Mogelijk komen we de komende tijd tot meer nieuwe inzichten.’

Halffman daarentegen is sceptisch. ‘Het is een illusie dat we alleen nog de ‘echte’ wetenschappelijke feiten overhouden. Bovendien is het dweilen met de kraan open. Zolang wetenschappers worden beoordeeld op het aantal onderzoeksartikelen dat ze publiceren, blijf je dit soort fraude houden.’ Hij ziet meer heil in een andere manier van erkennen en waarderen van onderzoekers, op basis van de kwaliteit van hun werk. Die trend is sterk gaande in Europa. En zelfs in China lijkt de overheid te beseffen dat er iets moet gebeuren, zegt hij. ‘China wil als volwaardige wereldmacht worden gezien, een goede wetenschappelijke reputatie hoort daarbij.’

Gynaecoloog Mol, ten slotte, vindt dat medisch wetenschappers wereldwijd dezelfde strenge regels en controles opgelegd moeten krijgen als in het Westen. ‘Nu is het alsof alle landen mee doen aan de Tour de France, maar alleen Europa en de VS na elke etappe naar de dopingcontrole hoeven.’