Is het kankeronderzoek wel betrouwbaar?

Twijfel: studies laten zich slecht herhalen

Is het kankeronderzoek wel betrouwbaar? Daarover is twijfel ontstaan, nu blijkt dat sommige studies zich slecht laten herhalen.

Beeld Van Santen & Bolleurs

Hoe komt het toch dat zo weinig doorbraken in het kankeronderzoek uiteindelijk leiden tot nieuwe of betere therapieën voor patiënten? Reageren de tumoren zo anders in mensen dan in de cellen, proefdieren of weefsels waarin ze als eerste werden onderzocht? Of concluderen onderzoekers misschien te snel dat iets veelbelovend is, om een mooie publicatie te kunnen scoren en het middel zo snel mogelijk naar de patiënt te kunnen brengen, terwijl de werking berust op methodologisch drijfzand?

Die vragen zijn extra urgent geworden, nu onderzoekers onlangs de eerste resultaten publiceerden van een groot internationaal project naar de reproduceerbaarheid van kankerstudies. In totaal worden 29 belangrijke experimenten herhaald die verschenen in toonaangevende wetenschappelijke tijdschriften als Science, Nature en Cell in de periode 2010-2012. Vorige maand verschenen de eerste herhaalstudies in eLife: van de vijf bevindingen wisten de onderzoekers er twee grotendeels te reproduceren, bij twee gooiden technische problemen roet in het eten en bij één studie kwamen ze tot een ander resultaat dan het origineel.

Het reproduceerbaarheidproject is geïnspireerd op een verontrustend bericht dat in 2012 verscheen in Nature. Onderzoekers van het farmaceutische bedrijf Amgen meldden dat hun pogingen om 53 belangrijke bevindingen uit het vakgebied te herhalen in slechts zes gevallen waren geslaagd. Welke studies het waren, onthulden ze niet. Het nieuws trok de aandacht van psycholoog Brian Nosek, oprichter van het Center for Open Science en initiator van een project om honderd gezaghebbende psychologische publicaties te gaan reproduceren. Kort daarna was het Reproducibility Project: Cancer Biology geboren.

Het principe achter het project is eenvoudig, legt Tim Errington van het Center for Open Science uit. 'Het is zoals wanneer iemand een geweldige chocoladecake heeft gebakken, en iemand anders wil diezelfde cake bakken. Hij vraagt daarvoor aan de cakebakker wat hij allemaal nodig heeft. Het recept, de ingrediënten, de materialen. Honderd procent gelijk wordt die cake nooit, maar weet hij vrijwel eenzelfde cake te bakken dan is dat een goed teken. Komt er iets anders uit, dan zijn er verschillende conclusies mogelijk: hij heeft iets verkeerd gedaan, de eerste bakker heeft niet goed genoeg uitgelegd wat hij heeft gedaan of, en dat is het meest interessant, de eerste bakker heeft minder goed begrepen hoe hij tot die cake kwam dan hij dacht.'

Nederland voorop

Als eerste landelijke onderzoeksfinancier heeft de Nederlandse Organisatie voor Wetenschappelijk Onderzoek in 2016 geld specifiek beschikbaar gesteld voor replicatie- en reproductiestudies. Het gaat om 3 miljoen euro, voor het herhalen van studies met een grote impact op de wetenschap. Op basis van dit pilotproject hoopt NWO op termijn replicatieonderzoek een vast onderdeel te gaan maken van de onderzoeksprogramma's.

Tumorgroei

Op deze manier slaagden de door het Center for Open Science ingeschakelde onderzoeksteams er grotendeels in twee studies te reproduceren: een analyse van genetische informatie om te voorspellen of een tumor te behandelen is met medicijnen voor andere ziekten en een experiment waarin een eiwit werd geblokkeerd dat kankerstimulerende genen activeerde.

Twee andere experimenten, het blokkeren van de interactie tussen twee eiwitten om tumorgroei te remmen en de identificatie van een gen dat vaak is gemuteerd in snel delende huidtumoren, stuitten op technische problemen. In het eerste geval verdwenen de tumoren in verschillende muizen spontaan, in het tweede groeiden de tumoren zonder de mutatie al zo snel dat een versnelling ervan niet kon worden waargenomen. De eerder aangetoonde versterkende werking van een specifiek aminozuurmolecuul op kankermedicijnen wisten ze niet te reproduceren.

In een nieuwsartikel in Nature suggereert de hoofdonderzoeker van deze studie, Erkki Ruoslahti van het Sanford Burnham Prebys Medical Discovery Institute in het Californische La Jolla, dat het replicatieteam fouten heeft gemaakt. Zijn resultaten zouden al door minstens tien andere groepen zijn herhaald en zijn eigen groep heeft sindsdien voortgebouwd op de ontdekking.

Maar onderzoeker Irawati Kandela van Northwestern University, die deel uitmaakte van het team, legt uit dat ze er alles aan gedaan hebben om de oorspronkelijke studie zo dicht mogelijk te benaderen. 'We namen contact op met de auteurs, vroegen hun om materialen en legden hun onze protocollen voor. Die protocollen werden bovendien via eLife gepeerreviewd.' Kandela benadrukt het belang van het zeer nauwkeurig bijhouden wat onderzoekers doen en transparantie van hun data en methoden. 'De normen daarvoor zijn aan de universiteiten veel te laag.'

Toch is ook hoogleraar René Bernards van het Antoni van Leeuwenhoekziekenhuis kritisch op het project. 'Het probleem van dit soort projecten is dat het gaat bijdragen aan trumpiaanse toestanden waarbij wordt gezegd dat wetenschap ook maar een mening is', zegt hij. 'En als er door toedoen van de reproduceerders geen herhaling van de bevinding mogelijk is, dan kan dat de originele auteurs behoorlijke reputatieschade opleveren. Je kunt dus zeggen dat het een mooi initiatief is, maar alleen als het perfect is uitgevoerd.'

Rouwverwerking

Psycholoog Brian Nosek herkent de reacties uit het psychologieproject, waarvan de resultaten in 2015 verschenen. 'De respons vertoont veel gelijkenissen met de fasen van rouwverwerking: eerst is er ontkenning, dan woede, dan volgt depressie en dan pas aanvaarding. De kankeronderzoekers zitten duidelijk nog in de ontkenningsfase.'

Nosek en Errington benadrukken dat op basis van deze vijf studies nog geen conclusies over het hele vakgebied kunnen worden getrokken, en bovendien dat een mislukte reproductiepoging niet meteen betekent dat de oorspronkelijke bevinding nep is. Wat als er inderdaad veel publicaties onreproduceerbaar blijken? 'Dan zijn er twee uiterste verklaringen: de literatuur is gewoon waar en de reproduceerders hebben lopen klooien, of het is gewoon allemaal onbetrouwbaar, omdat het vakgebied is verziekt door perverse prikkels, zoals het feit dat de belangrijkste tijdschriften vooral opzienbarende bevindingen publiceren en met die publicaties weer nieuw onderzoeksgeld kan worden binnengesleept. In allebei zit waarschijnlijk een kern van waarheid, maar de meeste gevallen bevinden zich waarschijnlijk in het gebied ertussenin', zegt Nosek.

'Ik word er een beetje triest van dat het gaat over 'reputaties die op het spel staan'', zegt Kees Punt, hoogleraar medische oncologie in het AMC in Amsterdam. 'Want het draait ook om patiënten die je belast en mogelijk onnodig behandelt met allerlei bijwerkingen.' Het is volgens Punt nog steeds glashelder dat kankeronderzoekers slecht in staat zijn op grond van labmodellen te voorspellen of middelen gaan werken in de mens, en dat de resultaten meestal het best zijn wanneer er in een vroeg stadium ook een mechanisme wordt ontrafeld achter de werking van een middel.

Bernards erkent dat die mechanismen achter nieuwe therapieën inderdaad lang niet altijd bekend zijn. 'Er is ontegenzeggelijk een drang om te publiceren, en wetenschappers willen nog weleens hun beste en niet het meest representatieve experiment presenteren. Als in een publicatie staat 'this is representative of five experiments' dan weet je dat het vaak de mooiste van de vijf is.'

Desondanks gelooft Bernards in het zelfreinigende vermogen van de wetenschap. 'Op bevindingen die solide blijken, wordt voortgebouwd.' Oorspronkelijk werd een studie van Bernards uit 2012 geselecteerd voor het project, die suggereerde dat twee geneesmiddelen samen werkten die elk apart geen effect hadden, maar deze werd met twintig andere studies in 2014 geschrapt wegens tekort aan budget. Het verbaast Bernards niet dat zijn studie is komen te vervallen. 'Met die ontdekking zijn we al in fase drie van het patiëntenonderzoek, dus had het weinig nut om nog naar de eerste bevinding te gaan kijken.'

Negatief versus positief

Als het aan Bernards ligt komen er wel meer mogelijkheden om vooral mislukte pogingen om andermans resultaten te herhalen te publiceren. 'Die wil nu geen enkel belanghebbend tijdschrift hebben, omdat ze liever nieuwe bevindingen brengen.'

Daar is longarts Jeroen Hiltermann van het UMCG het niet helemaal mee eens. 'Het ligt eraan hoe je de negatieve bevinding presenteert. Wanneer je een plausibele verklaring geeft waarom jij niet hebt gevonden wat je verwachtte, kun je het vaak nog best goed wegzetten.' Zelf publiceerde hij recentelijk nog een studie waarin hij aantoonde dat een extra ondersteunende verpleegkundige vrijwel geen meerwaarde had voor longkankerpatiënten, omdat de patiënttevredenheid zonder die ondersteuning al erg hoog was. 'Eigenlijk is een negatieve bevinding interessanter dan een positieve, omdat je dan aan het denken wordt gezet.'

Uiteindelijk draait het om efficiëntie, benadrukken Errington en Nosek. Kankeronderzoek werkt cumulatief, waarbij de investeringen steeds groter worden. Als een fenomeen in een vroeg stadium niet goed genoeg bestudeerd is, kan er in een later stadium veel geld en tijd verloren gaan. 'De drang om nieuwe middelen zo snel mogelijk naar de patiënt te brengen is begrijpelijk, maar laten we ook goed beslagen ten ijs komen, om te voorkomen dat je voor niets hele studies met mensen opzet', zegt Punt. 'Een labexperiment extra doen is een stuk goedkoper dan een studie met tweeduizend patiënten.'

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@volkskrant.nl.