Valkuilen in het brein

Tegenwoordig kan de wetenschap heel gemakkelijk in de hersenen kijken. Te gemakkelijk, misschien. Is wat je op een hersenscan te zien krijgt, werkelijk wat er is?

Een pompoen, een diepvrieskip en een dode zalm. Het zijn niet de meest voor de hand liggende dingen om in een hersenscanner te schuiven, maar de Amerikaanse psycholoog Craig Bennett deed het. Groeiende twijfel over zijn vakgebied was wat hem dreef.


Bij de pompoen en de kip gebeurde er niet zoveel, maar die vis, die bevestigde al zijn angsten.


Bennett onderwierp de dode zalm aan een experiment dat als twee druppels water leek op dat van veel van zijn collega's.


Liggend in de scanner kreeg de vis een reeks foto's te zien van mensen in sociale situaties. De onderzoekers vroegen de vis zich in te leven in de geportretteerden: voelden ze zich onderdeel van de groep of juist buitengesloten?


Wat bleek na flink wat scannen en analyses? Op de monitor van Bennett verscheen het grijze brein van de zalm met daarin een paar felgekleurde rode vlekken. Die vlekken, dat was volgens de software een teken van hersenactiviteit. Oftewel: de morsdode hersenen van de zalm leken te reageren op de foto's.


De studie leverde Bennett en zijn collega's in 2012 een IgNobel op. Deze alternatieve Nobelprijs is in het leven geroepen voor onderzoeken die eerst op de lachspieren werken, en daarna aanzetten tot nadenken.


'Ik gebruik deze studie graag bij presentaties aan studenten', zegt Rainer Goebel, wetenschappelijk directeur van het onderzoekscentrum Brains Unlimited van de Universiteit Maastricht. 'Die dode zalm toont perfect aan hoe je jezelf voor de gek kunt houden met neuro-imagingonderzoek. Als je een studie niet netjes uitvoert, of niet goed snapt waar je nu eigenlijk mee bezig bent, is elke conclusie mogelijk.'


Een misser à la dode zalm zal een professionele onderzoeker niet snel maken. Bennett corrigeerde bij zijn statistische analyse bewust slecht voor achtergrondruis. Maar de laatste jaren blijkt dat de interpretatie van hersenscans wel degelijk een glibberig gebeuren kan zijn.


Statistici die de literatuur kritisch onder de loep nemen, komen regelmatig tot ontluisterende conclusies. Volgens statistisch zwaargewicht John Ioannidis, hoogleraar aan Stanford School of Medicine, trekken neurowetenschappers doorgaans veel te zware conclusies op basis van zwakke verbanden die ook nog eens zijn gevonden bij kleine groepen proefpersonen.


En Ionnadis is niet de enige die aan de bel trekt. Zo verscheen in Nature Reviews een studie van de University of Bristol over de statistische betrouwbaarheid van onderzoeken naar relaties tussen de anatomie van het brein en geestelijke aandoeningen als autisme en depressie.


Uitkomst: 92 procent van die studies was onbetrouwbaar. 92 procent! Hoogste tijd om de valkuilen van hersenonderzoek in kaart te brengen, plus strategieën om die valkuilen te ontwijken.


Valkuil 1: op de verkeerde knop drukken

Sarah Durston, hoogleraar ontwikkelingsstoornissen van de hersenen bij het UMC Utrecht Hersencentrum, zag ooit bij een proefpersoon hersenactiviteit waarbij ze bijna van haar stoel viel. Dit was niet eerder vertoond, vonden ook haar collega's. Hier lag namelijk iemand in de scanner die prima kon zien, maar géén hersenactiviteit vertoonde in de visuele cortex. Minstens zo bijzonder: hij kon op een knop drukken terwijl er geen activiteit was in de delen van de hersenen die normaal fanatiek vonken bij de minste beweging.


Als deze meetgegevens op een hoop waren gegooid met de rest van de proefpersonen, hadden de onderzoekers vast nieuwe, spectaculaire verbanden gevonden. Maar gelukkig vertrouwde Durston haar eigen data niet.


'Het duurde dagen voordat we snapten wat er aan de hand was', zegt Durston. 'Iemand had per ongeluk een knop ingedrukt waardoor de hersenen niet van linksboven naar rechtsonder werden gescand, maar van rechtsboven naar linksonder. Alle meetgegevens kwamen zo achterstevoren in het systeem.'


Even kijken of iemands visuele cortex wel vonkt als hij licht ziet vormt onderdeel van wat Durston een sanity-check noemt. 'Zonder zo'n reeks controletesten bestaat er een groot risico dat je ontdekking in werkelijkheid een meetfout is. Sinds die achterstevoren ingescande meetgegevens tonen we nu in het lab ook het brein van de proefpersoon op de monitor. Op zo'n plaatje zie je sneller of de scanner wel in de juiste richting scant dan in een berg met data.'


Valkuil 2: te veel vragen van een oude scanner

Toen de Italiaanse sterrenkundige Galilei Galileo vierhonderd jaar geleden naar de planeet Saturnus keek, zag hij geen ringen, maar twee oren. Dat valt de Italiaanse sterrenkundige niet kwalijk te nemen: zijn telescoop was nog te primitief voor een kloppende waarneming. Het moderne onderzoek met hersenscanners kampt met een vergelijkbaar probleem. Wetenschappers vragen het maximale van hun apparatuur, wat er zomaar toe kan leiden dat bevindingen niet standhouden wanneer ze herhaald worden met krachtiger hersenscanners.


Het Maastrichtse onderzoeksinstituut Brains Unlimited heeft fMRI-scanners met een kracht van 3 tot 9,4 tesla. De eerste vat de hersenactiviteit van 100 duizend zenuwcellen samen in één pixel. Die van 9,4 tesla - waarvan er slechts vier op de wereld zijn - is een stuk krachtiger: 10 duizend zenuwcellen per pixel.


Met de sterkste scanner hopen Maastrichtse onderzoekers nu onder meer inzicht te krijgen in hoe gezichtsherkenning werkt. Vonken de hersenen van proefpersonen beduidend anders bij het zien van persoon A dan bij het zien van persoon B? 'Typisch een vraag op de grens van wat we kunnen met zelfs de modernste scanner', zegt Rainer Goebel van Brains Unlimited. 'En dus zal er altijd een mate van onzekerheid kleven aan de resultaten, en dat is ook niet erg. Een onderzoek mag best als conclusie hebben: misschien zit het wel zo, om dan later te controleren hoe sterk de aanwijzingen echt zijn.'


Valkuil 3: de data dubbel dippen

In de Amerikaanse comedyserie Seinfeld dipt een van de hoofdpersonen op een feestje een chipje in de dipsaus. Vervolgens doopt hij het restant van dat chipje nóg een keer in de dipsaus. Een andere feestganger reageert gepikeerd: 'Did you just double dip?! That's like putting your whole mouth in the dip.'


Ook onder hersenonderzoekers is douple dipping inmiddels een bekende term voor onfris gedrag. Alleen betekent het in dit geval dat de onderzoeker eerst het hele brein globaal scant op bijzonderheden, om vervolgens op diezelfde dataset in te zoomen of zijn eerste bevindingen kloppen. Daarmee controleer je jezelf dus niet, maar pas je een soort cirkelredenering toe, waarbij je eerste bevinding altijd blijkt te kloppen.


Zelfs de toptijdschriften maalden hier lange tijd niet om, blijkt uit een studie van de Britse hersenonderzoeker Nikolaus Kriegeskorte. Van alle in 2008 gepubliceerde fMRI-studies in bladen als Nature en Science ontdekte hij bij 42 procent minstens één geval van dubbel dippen.


De oplossing is simpel: als hersengebied X opvallend knettert bij een eerste proef, controleer dit dan met de gegevens van een tweede, afzonderlijke meting. 'Steeds meer onderzoekers werken nu zo', zegt Sarah Durston van UMC Utrecht Hersencentrum. 'Maar ik ken ook een onderzoeksgroep die hun hele analysemethode nog steeds baseert op wat ik dubbel dippen zou noemen.'


Valkuil 4: negatieve resultaten in een la stoppen

Stel: er bestaan vijf publicaties met als conclusie: hersengebied X speelt een belangrijke rol bij slapeloosheid. En stel: er zijn nul publicaties die het tegendeel beweren. Dan zal hersengebied X wel echt cruciaal zijn bij slapeloosheid, toch?


Niet per se. Want studies die géén relatie vinden, halen doorgaans de wetenschappelijke tijdschriften niet. Redacties van die bladen beschouwen zo'n conclusie - geen verband - namelijk als oninteressant.


Om die reden klinkt de roep om herhaalonderzoek steeds luider. Onderzoekers zouden elkaars experimenten over moeten doen om te controleren hoe stevig de conclusies in de wetenschappelijke literatuur zijn.


Adhd-onderzoeker Sarah Durston ziet al een cultuurverandering op dit front. 'Niet alleen herhaling door anderen, maar ook herhaling van je eigen onderzoek wordt steeds gebruikelijker. Laatst sprak ik een collega die onderzoek doet naar rattenhersenen. Het wetenschappelijk tijdschrift Neuron wilde zijn studie pas publiceren als hij de proef eerst nogmaals deed met nieuwe ratten om aan te tonen dat het resultaat standhoudt.'


Valkuil 5: door honderd brillen turen

Balen: jarenlang onderzoek gedaan naar de relaties tussen autisme en het emotiecentrum van de hersenen, blijkt de statistische analyse aan te wijzen dat er helemaal geen verband is. Maar wacht: de software heeft een menu met nog véél meer statistische brillen om naar de meetgegevens te turen. En warempel, er zit er altijd wel een bril bij die de grillige wolk aan data omtovert tot een reeks prachtige lijnen.


In Frontiers in Neuroscience berekende de Amerikaanse psycholoog Joshua Carp dat er bijna 7.000 verschillende rekenmethoden zijn om gegevens van fMRI-experimenten mee te interpreteren. Ook concludeert hij dat er onder hersenonderzoekers totaal geen consensus is over welke methode het geschiktst is voor een bepaald type experiment.


Problematisch, want de ene methode is gevoeliger voor valse positieven (je ziet iets wat in werkelijkheid niet bestaat), terwijl de andere methode gevoeliger is voor valse negatieven (je mist iets wat er in werkelijkheid wel is).


Toch is dit volgens Rainer Goebel van onderzoeksinstituut Brains Unlimited geen reden om massaal het aantal statistische methoden te beperken. 'Leg liever vooraf vast welke methoden je gaat toepassen, sta daarna stil bij de eventuele verschillen in uitkomst en maak je ruwe data toegankelijk voor andere onderzoekers, zodat zij er op hun eigen manier naar kunnen kijken. Zo ontstaat er een eerlijke, transparante discussie en krijgen we vanzelf beter zicht op wat er nu werkelijkheid speelt in het meest complexe orgaan op aarde.'


GRIJZE MASSA

Het gewicht van het brein:


Goudvis: 0,1 gram


Orang-oetan: 0,4 kilo


Mens: 1,4 kilo


Dolfijn: 1,5 kilo


Olifant: 4,8 kilo


Bron: University of Washington

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@volkskrant.nl.