3 demonen van de wetenschap

Of het nu gaat om falende medicijnen of frauderende hoogleraren, steeds weer heeft de wetenschap het aan de stok met drie demonen. Die achtervolgen de wetenschap nu al ruim een eeuw. Een nieuwe generatie idealistische onderzoekers denkt de uitweg te weten.

1 het replicatieprobleem
Het lijkt zo simpel. Je toetst een hypothese, anderen controleren je onderzoek, en zo bouwen we gestaag aan het huis der kennis. Zo schetste Karl Popper tachtig jaar geleden al de contouren van de moderne wetenschapsbeoefening.

Jammer dat Popper over het hoofd zag wie dat huis der kennis bewoont: een trotse, ijdele, rechtoplopende aap die zichzelf heel wat vindt, vasthoudt aan oude ideeën, uit is op geld en macht en om zes uur naar huis moet voor het eten. Wetenschappers zijn net mensen, en mensen zijn niet de meest betrouwbare figuren als het gaat om het vergaren van kennis.

Neem de eerste demoon van de wetenschap, het replicatieprobleem. Eigenlijk is het de bedoeling dat wetenschappers elkaars experimenten herhalen, om na te gaan of het allemaal wel klopt. Maar in de praktijk doen ze dat zelden. In de meeste wetenschappen wordt minder dan de helft van de experimenten door anderen herhaald, in de psychologie is dat zelfs maar één op honderd, zo bleek uit een vorige maand gepubliceerde internationale studie. Dat is funest. Niet-herhaalde wetenschap is net een sprookje, maar dan erger, schreef psycholoog Eric-Jan Wagenmakers onlangs in een vakblad: van het sprookje wéét je tenminste dat het nep is.

Maar ga zo'n monster eens te lijf. Wetenschappers hebben uitstekende redenen om bestaand onderzoek niet over te doen. Ze krijgen het niet gepubliceerd (zo'n herhaling is toch een beetje alsof je de krant van vorig jaar leest), ze willen het niet (want het levert niks op), en dus doen ze het niet. Verspilde tijd.

Onder anderen de Eindhovense psycholoog Daniel Lakens denkt er wat op te weten. Hij doet mee aan het open science framework, een idealistisch initiatief van een internationale groep onderzoekers, dat momenteel bezig is zoveel mogelijk studies die in 2008 in drie vooraanstaand tijdschriften verschenen opnieuw te doen. Zomaar. Omdat het zo hoort.

Aantrekkelijk maken
Een ander idee is om de 'replicatie', zoals herhalingsonderzoek in jargon heet, aantrekkelijk te maken door er iets tegenover te stellen. Zoals deze: knoop de replicaties digitaal vast aan het origineel. Als het originele onderzoek wordt geciteerd, wordt de replicatie automatisch mee geciteerd. Dat levert degene die de herhaling deed 'citatiepunten' op, de valuta van de wetenschap.

Of: laat studenten het werk opknappen. Studenten moeten toch oefenen en wat is er nu leuker dan een beroemd experiment opnieuw doen? Weer een ander voorstel dat rondzingt, is de replicatie een vaste plek te geven in de vaktijdschriften. Zo bereidt het vakblad Social Psychology een nummer voor dat geheel is gewijd aan herhaalonderzoek en denkt het blad Psychological Science erover om een rubriek te starten: de replicatiehoek.

2 De verificatiekramp
Het begon allemaal met een bovennatuurlijk verschijnsel.

In het vooraanstaande vakblad Journal of Personality and Social Psychology toonde hoogleraar Daryl Bem twee jaar geleden aan dat mensen in de toekomst kunnen kijken. Het onderzoek was onberispelijk. Ruim duizend proefpersonen had Bem onderworpen aan een reeks bekende psychologische tests - alleen had hij die achterstevoren uitgevoerd. Dus reageerden de proefpersonen op stimulansen al vóórdat ze daaraan waren blootgesteld, herinnerden ze zich woorden die ze nog niet hadden gezien en wisten ze het vooraf als ze een erotische foto te zien kregen. Ze waren, kortom, helderziend.

Terwijl anderen de experimenten van Bem herhaalden - en niets van Bems 'voorkennis' terugzagen - krabden veel psychologen zich op het achterhoofd. Wat zegt het eigenlijk over je methodes als je er zelfs paranormale verschijnselen mee kunt bewijzen? Joe Simmons, Leif Nelson en Uri Simonsohn, drie jonge psychologen, namen de proef op de som. Ze gingen het lab in en bewezen dat mensen die naar When I'm 64 van de Beatles luisteren jonger worden. Letterlijk: hun leeftijd was na het experiment lager dan de leeftijd van een controlegroep. Onderzocht en bewezen verklaard, helemaal volgens de regelen der kunst.

Of nou ja, helemaal. De drie hadden een pact gesloten met de tweede demoon, misschien wel de meest vuige van allemaal. 'Verificatiebias', heet deze formidabele naarling die van appelen peren maakt en je knollen voor citroenen verkoopt. Ook Diederik Stapel mocht graag bij deze demoon op de thee komen. Net als trouwens veel onderzoekers uit tal van andere wetenschapstakken.

Pimp je onderzoek, dat is waar het allemaal om draait. Levert je experiment niet op wat je had gehoopt? Doe het gewoon nog eens, en nog eens, en meldt het pas als het lukt. Geven de ingevulde vragenlijsten geen eenduidig antwoord? Misschien helpt het als je een aantal proefpersonen weglaat. Achteraf is daarvoor altijd wel een reden te verzinnen: te oud, te jong, zat niet op te letten, deed al eerder mee.

Bij de verificatieneiging gaan wetenschappers grasduinen in hun data, op zoek naar bevestiging van hun ideeën, en zetten ze de schuifjes van de statistiek zó dat er een prachtig resultaat uit rolt. In de wetenschap is het allemaal geoorloofd. Of nou ja, een soort van.

Het zou al schelen als iedereen in elk geval eerlijk opschreef wat hij precies heeft gedaan, maar dat is nou net de pest. De vakbladen hebben daarvoor geen plek. Het moet kort en krachtig.

Sterker nog, de meeste vakbladen willen mooie, verrassende resultaten: geen oeverloze verhalen, a.u.b. Deze 'publicatiebias' is het kleine broertje van de verificatiebias en verergert de scheefgroei nog meer. En o ja, zet u boven uw artikel ook even een samenvatting? Alleen al in de medische wereld schildert 40 procent van die 'abstracts' het onderzoek te rooskleurig af, bleek in september uit een analyse. Zo wordt stukje bij beetje recht wat toch echt krom is.

Niet meer sleutelen
In onder meer Amsterdam hebben ze wel een idee hoe je de demoon met de valse grijns te lijf kunt gaan. Simpel eigenlijk, schrijven vijf psychologen onder leiding van Wagenmakers deze maand in Perspectives on Psychological Science: gewoon niet meer sleutelen achteraf. Medici moeten nu doorgaans al vooraf vastleggen wát je precies wilt onderzoeken en hóé je dat wilt doen, voordat er ook maar één meting is gedaan. Pure noodzaak, want in de geneeskunde gaat het doorgaans om patiënten of proefdieren, en de ethische commissie moet dan weten wat er gaat gebeuren.

Een idee van de Britse psycholoog Chris Chambers gaat nog een stap verder. Een wetenschapper dient dan eerst alleen een onderzoeksvoorstel in bij een vakblad: een gedetailleerde opzet van het onderzoek, en de analysemethode. Het tijdschrift geeft dan aan of het de studie wil publiceren - en zegt het blad 'ja', dan is dat bindend, ongeacht wat er uit het onderzoek komt. Daarna pas gaat de wetenschapper zijn data verzamelen en analyseren.

Het lastige is dat een vakblad niet snel 'blind' zal tekenen voor een onderzoek, al kan een voordeel zijn dat het blad een betere reputatie krijgt. En er zijn al wat experimenten in die richting. Zo werkt het open science framework (dat van de replicaties) al met een 'inschrijving op onderzoeksopzet', en is het in Nijmegen bij sociale psychologie tegenwoordig verplicht om onderzoeksideeën in vakgroepsbesprekingen met collega's in detail door te nemen voordat de data worden verzameld.

Anderen mikken op sociale controle en op onderwijs. Zo heeft onder meer de Universiteit van Amsterdam na de zaak-Stapel plechtig gezworen nóóit meer een onderzoeker in zijn uppie te laten werken, en duiken links en rechts de eerste cursussen 'hoe houd ik het netjes?' al op.

3 De dataduivel
De ruwe onderzoekscijfers? Oei, dat kon wel eens een probleem zijn. De hoogleraar had ze thuis op zijn pc, maar de harde schijf was gecrasht. Hij was er nog mee naar zijn zwager gegaan, maar die was er niet in geslaagd de pc te repareren. De potloodaantekeningen dan maar? Nooit meer gezien, sinds die interne verhuizing op de universiteit. Dat was wat de commissie-Wetenschappelijke integriteit van de Erasmus Universiteit Rotterdam eerder dit jaar te horen kreeg, toen ze de van fraude verdachte psycholoog Dirk Smeesters vroegen om zijn data.

De ruwe cijfers van je onderzoek bewaren, hoe moeilijk kan dat nu helemaal zijn? Het is handig: zo kunnen anderen nog eens terugzoeken wat er ook alweer was gevonden, de analyse overdoen of, mooier nog, de dataset laten groeien door er nieuwe cijfers aan toe te voegen. In de natuurwetenschap, de klimaatwetenschap en de genetica is het al volstrekt normaal om grote hoeveelheden meetgegevens van satellieten of deeltjesversnellers op internet onder te brengen en te delen, meestal onder regie van professionele datamanagers. Maar in die vakken moet men ook wel. De wetenschappers die ermee moeten werken, zitten verspreid over de aardbol.

In andere takken van de wetenschap ligt het wat lastiger. Data opslaan, wat een hoop gedoe. Die data zijn toch zeker van mij? Trouwens, wie snapt mijn manier van ordenen? En wat krijg ik ervoor terug? Straks gaat de concurrent ermee scoren. Of vindt iemand er foutjes in: dan sta ik voor aap.

Toch zijn ook hier volop creatieve plannen. Zo zijn er de psychologen die binnenkort, op initiatief van onder meer de Tilburgse methodoloog Jelte Wicherts, gaan experimenteren met een heus Journal of Open Psychology Data, een online vakblad voor ruw cijfermateriaal. Steeds meer vakgroepen gaan er intussen toe over om de cijfers toch maar op een centrale computer te saven. En wie geld voor onderzoek aanvraagt bij financier NWO, moet aangeven waar hij de gevonden gegevens denkt op te slaan.

Bij onder meer het centrale opslagpunt Data Archiving and Networked Services (DANS) in Den Haag denkt men alweer verder. Ideaal zou het zijn als onderzoekers ook op de een of andere manier worden beloond voor het afstaan van hun noeste cijferwerk. Zo hanteert DANS een soort klanttevredenheidssysteem: wie van een cijferberg gebruikmaakt, mag daarna een beoordeling geven. Zo wordt het toch een beetje een wedstrijd: wie heeft de beste databank?

Een pluim op je cv
Een stap verder is de wetenschapper die zijn cijfers netjes archiveert belonen met, daar zijn ze weer, citaties. Als iemand van je met pijn en moeite opgespaarde waarnemingen gebruikmaakt, mag daar best tegenover staan dat je wordt genoemd als co-auteur. Of moet je een ander soort pluim op je cv krijgen.

De dataduivel is daarmee nog niet verslagen. Vooral commerciële partijen, zoals farmaceutische bedrijven en uitgevers van vaktijdschriften, zitten er helemaal niet op te wachten om datgene waarmee ze geld verdienen zomaar weg te geven. Maar er zijn ook tekenen dat de weigeraars, na een paar zweepslagen, best mee willen. Zo gaf de Britse medicijnenmaker GlaxoSmithKline onlangs als eerste farmaceut een deel van zijn onderzoekscijfers vrij (na betaling van een schikking van 3 miljard dollar) en staan Nederlandse archeologiebedrijven netjes hun gegevens af aan het landelijke e-depot EDNA (nadat de Rijksdienst voor het Cultureel Erfgoed eens naar ze had gegromd).

De tijden veranderen, demonen. Wen er maar aan.

Maarten Keulemans is chef wetenschap bij de Volkskrant.

Dit artikel kwam tot stand op basis van gesprekken met Peter Doorn (DANS), Daniël Lakens (TU Eindhoven), Pim Levelt (commissie-Levelt), Uri Simonsohn (Wharton University), Eric-Jan Wagenmakers (UvA), Daniël Wigboldus (Radboud Universiteit Nijmegen) en Tilburgse onderzoekers. De drie kernproblemen zijn een bevinding van de commissie-Levelt.

Laat uw wetenschappelijk onderzoek volgen door de Volkskrant
Een experiment in 'slow science', ons lijkt het wel wat. Bent u wetenschapper (uw vakgebied maakt niet uit), gaat u een studie doen en bent u geïnteresseerd? Stuur dan een korte pitch naar warewetenschap@volkskrant.nl. We maken een selectie, leggen uw plannen en analysemethode vooraf in detail vast, en beloven een artikel in de krant - ongeacht de uitkomst van uw onderzoek.