Veldwerk met valkuilen

Alleen in het veld, in een vreemd land: gedegen verslag doen van onderzoek valt dan niet altijd mee. Hoeveel argwaan is genoeg?

Het was letterlijk een schok van herkenning, toen Ton Robben, hoogleraar antropologie aan de Universiteit Utrecht, een proefschrift las over de dwaze moeders in Argentinië, die al sinds de jaren zeventig protesteren om aandacht te krijgen voor hun kinderen die verdwenen tijdens het regime-Videla. Het proefschrift verhaalde over een moeder wier zoon vermist was. Zij leed eronder dat ze daardoor geen kleinkinderen had. Toen hij de bladzijde omsloeg, zag hij haar foto. Robben blijkt de vrouw persoonlijk te kennen. Hij weet dat haar zoon niet vermist is, maar opgegraven uit een massagraf. Ook weet hij dat ze twee zoons had, van wie er een inmiddels kleinkinderen heeft.

Volgens Robben was er geen opzet in het spel, hij begrijpt hoe de fout kon ontstaan. 'De promovenda beschreef een gevoelig onderwerp, waarbij ook nog sprake was van een taalbarrière.' Het was een kleine vergissing in een proefschrift dat verder gedegen was, zegt de hoogleraar. In zijn beoordelingsrapport schrijft hij dat de Australische onderzoekster mag promoveren, op voorwaarde dat ze de fouten corrigeert. Het voorbeeld toont hoe belangrijk het is dat wetenschappelijk onderzoek wordt beoordeeld door collega's die vergelijkbaar veldwerk hebben gedaan, zegt Robben. 'Als onderzoeker mis je altijd wel iets, in de wetenschap heb je nooit honderd procent garantie.'

Veldonderzoekers doen onderzoek vaak alleen, ver weg, in een ander taalgebied. Ze proberen andere culturen in kaart te brengen door zich in die cultuur te mengen. Dat is precies wat het moeilijk maakt; daar sta je, in het veld; je doet je waarnemingen en schrijft ze op. Hoe voorkom je dat je de mist in gaat en verkeerde conclusies trekt? 'Het draait in het veldwerk om triangulatie', zegt Gerben Moerman, socioloog en methodoloog aan de Universiteit van Amsterdam. Triangulatie betekent dat je verschillende soorten bewijs aandraagt voor het onderbouwen van een hypothese. Net als in de journalistiek geldt: één bron is geen bron, zegt Moerman. Je moet als onderzoeker proberen minstens een tweede bron te vinden die je stelling onderbouwt. Lukt dat niet, dan moet je kijken of je de gevonden informatie op een andere manier kunt verifiëren.

Moerman geeft als voorbeeld een onderzoek dat hij deed onder de moslimbevolking op Sri Lanka. 'De mensen die ik er sprak, zeiden allemaal dat ze vijf keer per dag naar de moskee gingen.' Om te zien of dat zo was, postte hij bij de moskee. Zijn proefpersonen bleken in werkelijkheid veel minder vaak te gaan. Door op meer manieren te kijken, kwam de onderzoeker meer te weten.

Vervolgens moet je beargumenteren welke informatie je gebruikt. In dit geval: wat de respondenten zeggen, of wat ze doen. De stappen naar je conclusie moet je expliciet maken, zegt Moerman. En je moet die conclusies niet voor jezelf houden, maar er met vakgenoten over discussiëren. 'Triangulatie van onderzoekers.'

Daarmee ben je er nog niet, aldus Moerman. Er zijn ook nog theorieën die naast elkaar gelegd kunnen worden. Dus moet je ook triangulatie van theorie toepassen. Een goede onderzoeker toetst zijn interpretaties aan meerdere theorieën, vindt Moerman. Als je dat allemaal hebt gedaan, moet je een audit trail achterlaten: welke keuze maak je als onderzoeker en wat is daarin jouw rol?

Op deze gebieden is er in de zaak-Bax vermoedelijk het nodige misgegaan. Wetenschapsjournalist Frank van Kolfschooten toonde aan dat het veldwerk van emeritus hoogleraar antropologie Mart Bax niet deugde. Vorige week bleek uit onderzoek van de Volkskrant bovendien dat eenderde van Bax' publicaties verzonnen zijn en dat historische feiten, mensen en plaatsen die hij beschreef in Bosnië niet bestaan. 'Dat zou in mijn vakgebied hetzelfde zijn als jarenlang veldwerk doen op een plek waar helemaal geen dieren leven', zegt Liesbeth Sterck, gedragsbioloog aan de Universiteit van Utrecht. Sterck verrichtte veel veldwerk in de jaren tachtig en negentig. 'Toen waren er nog nauwelijks protocollen, je ging er gewoon van uit dat mensen eerlijk zijn.'

Misschien werd daar wel iets te veel van uitgegaan, zegt Sterck. Volgens haar kan het geen kwaad om wetenschappers te wijzen op wetenschappelijke integriteit. 'Ethiek vormt een soort intern controlemechanisme.' Robben wijst ook op het belang van vertrouwen. Hij vergelijkt het met de integriteit van journalisten. 'Als je die niet vertrouwt als professionals, kun je je krantenabonnement wel opzeggen.'

De affaire-Bax lijkt te wijzen op het gemak waarmee veldonderzoek gemanipuleerd kan worden. Maar volgens hoogleraar Robben is het juist lastiger geworden onderzoek te manipuleren. Een belangrijke reden daarvoor is dat informatie veel toegankelijker is geworden door digitalisering. Daarnaast is de wereld bijna volledig in kaart gebracht. De onontdekte wilde stam in Afrika bestaat niet meer. 'Accumulatie van al die kennis maakt het moeilijk om dingen te verzinnen. Als je dat wel goed kunt, kun je beter bestsellers gaan schrijven.'

De wetenschapper die de werkelijkheid toch te veel naar zijn hand zet en ontmaskerd wordt, kan zijn reputatie gedag zeggen. 'Doordat antropologen hun eigen gegevens verzamelen, zijn ze helemaal zelf verantwoordelijk.' Volgens de hoogleraar helpt dit misstanden voorkomen. 'Je kunt niet naar iemand anders wijzen als er iets niet klopt.' Wie knoeit, besmet alleen zichzelf, aldus Robben.

Een voorbeeld van fraude is de zaak-Diederik Stapel. In 2011 werd ontdekt dat de Tilburgse sociaalpsycholoog op grote schaal fraudeerde met onderzoeksgegevens. Emeritus hoogleraar Pim Levelt was voorzitter van de commissie die de zaak onderzocht. Levelt zegt geen specialist in veldwerk te zijn; wel kan hij aangeven hoe de kans op fraude zo klein mogelijk gemaakt kan worden. Ten eerste: zorg dat je als onderzoeker je primaire gegevens direct opslaat in een gesloten archief. Dan kunnen gegevens achteraf niet meer veranderd worden, zegt Levelt. Verder is een belangrijke rol weggelegd voor begeleidingscommissies van promovendi. 'Als de promotor niet bekend is met de plaats van onderzoek, en dat gebeurt geregeld, moet minstens één van de andere commissieleden wel ter plaatse bekend zijn.' Daarmee wordt de betrouwbaarheid van promotieonderzoeken gewaarborgd.

Levelt noemt het opmerkelijk dat de tijdschriften waarin Bax publiceerde nooit argwaan hebben gekregen. 'Het zou een goede zaak zijn als reviewers (beoordelaars, red.) van tijdschriften in principe toegang kunnen krijgen tot de primaire data; dat is bij andere wetenschappelijke disciplines heel gewoon.' Dat Bax zich beriep op de vertrouwelijkheid van zijn bronnen is niet altijd een geldig argument. 'Je kunt persoonsgegevens eenvoudig beschermen voordat je je data vrijgeeft.' Bijvoorbeeld door namen te verwijderen of te veranderen voordat de stukken het archief in gaan. Ook collega-experts moeten toegang kunnen krijgen tot bandopnamen en geschreven verslagen.

Voor reviewwerk is het van essentieel belang dat hypothesen die er 'heel erg interessant' uitzien argwaan wekken, zegt Levelt. Een reviewer moet zich in zo'n geval expliciet afvragen: zou een alternatieve hypothese ook een goede verklaring kunnen geven? Met die vraag in het achterhoofd moet je naar de data kijken. 'Dat is bij Bax onvoldoende gebeurd, blijkbaar.'

Is veldwerkfraude met deze maatregelen te voorkomen? Nee, zegt socioloog Moerman, 'valsheid in geschrifte gebeurt in elke tak van wetenschap. Zelfs bij wetenschappers die in grote teams werken in laboratoria.'

INTERVIEW PETER HOLLANDER VAN DE VU OVER DE ZAAK-BAX: 'DE COMMISSIE IS BEZIG'

De Volkskrant meldde vorige week dat de VU geen haast maakt met het onderzoek naar de van fraude verdachte antropoloog Mart Bax. Volgens ombudsman wetenschappelijke integriteit van de VU Peter Hollander is de commissie wel degelijk begonnen, alleen kan hij niet precies zeggen wanneer.

Wat vindt u van de recente onthullingen?

'De bevindingen in dit artikel zijn gedeeltelijk in lijn met wat er in het boek staat van de heer Van Kolfschooten (Ontspoorde wetenschap, waarin de mogelijke fraude voor het eerst aan het licht kwam, red.). Nieuw is dat de publicatielijst van de heer Bax wellicht niet klopt. Dat gaan we dus ook onderzoeken.'

Er is inmiddels dus een onderzoekscommissie gevormd?

'Op donderdag 25 oktober verscheen het boek. De maandag daarop ben ik begonnen met het samenstellen van de commissie, althans met het nadenken over wie daar in moet. De bewering in de krant dat er niets is gebeurd, klopt dus niet.'

Wanneer is de commissie dan begonnen?

'Dat hangt ervan af wat je beginnen noemt. De commissieleden wilden eerst allerlei vragen beantwoord zien. Ik kan dus niet 1-2-3 zeggen wanneer ze begonnen zijn.'

Is het vorige week, een maand geleden, een half jaar?

'Ze zijn een maand of twee aan de slag.'

Vorige week schreef u in een e-mail dat het nog niet duidelijk is of zij definitief zullen instemmen.

'De commissie was al begonnen met vergaderen, maar had de opdracht nog niet formeel geaccepteerd. De commissieleden wilden van het college van bestuur weten of dit akkoord is met hun aanpak, voor ze officieel van start gingen.'

En dat is inmiddels gebeurd?

'Ja.'

Wanneer?

'Dat weet ik niet precies.'

Wie zitten er in de commissie?

'Ik doe geen mededelingen over wie er in de commissie zitten, omdat ik van hen geen toestemming heb gevraagd of gekregen dat te melden. Het zijn twee antropologen en een historicus. Twee van de drie komen van buiten de VU.'

Wat gaat de commissie precies onderzoeken?

'Daar doe ik geen uitspraken over.'

Heeft u Bax gesproken naar aanleiding van de publicatie?

'Ik heb hem niet gesproken. Dat wil niet zeggen dat er geen contact is. Nee, ik wil niet ingaan op de aard van dat contact.'

Wanneer komt de commissie met conclusies?

'Ik heb geen idee. En als ik dat al had, staat dat sinds zaterdag weer op losse schroeven.'

Nadat de malversaties van hoogleraar Diederik Stapel bekend werden, nam de universiteit van Tilburg meteen maatregelen. De wijze waarop oogstte internationaal lof. Waarom geeft u geen openheid?

'De maatregelen van de universiteit van Tilburg bestonden eruit dat Stapel op non-actief is gesteld. Dat kon met de heer Bax niet omdat die met emiraat is. De commissie is bezig met haar onderzoek en we moeten wachten tot ze gereed is.'

We zullen dus nog even moeten wachten?

'Laat dat even maar weg.'

VALSE ONTDEKKINGEN

Shinichi Fujimura was een Japanse amateur-archeoloog die in de jaren tachtig 50 duizend jaar oud gereedschap had gevonden. De vondst maakte hem beroemd en hij mocht op steeds meer plaatsen graven. Overal vond hij wel iets. Toen hij in 2000 een vondst van 520 duizend jaar oud aankondigde, ging het mis. De Japanse krant Mainichi Shimbun publiceerde foto's waarop te zien was dat Fujimura het gevonden object zelf begroef. In een interview gaf hij de fraude toe. Bijna al zijn ontdekkingen bleken door hemzelf begraven te zijn. In Nederland gebeurde in de jaren zeventig iets soortgelijks; toen deed amateurarcheoloog Tjerk Vermaning veel nepontdekkingen in Drenthe.

Marc Hauser was een gedragsbioloog aan Harvard University. Hij deed veel onderzoek naar het gedrag van Tamarinde-aapjes. In een van zijn onderzoeken beschreef hij apengedrag zo, dat het overeenkwam met zijn ideeën. Ook vervalste hij in een ander onderzoek een grafiek. Toen dit aan het licht kwam, waren gedragsbiologen verontwaardigd. 'Zelfs als het maar één fout was geweest, is dat compleet onacceptabel', zei Gerry Altmann, redacteur van het tijdschrift waarin Hauser een van zijn misstappen zette. Harvard vond het genoeg om hem uit zijn ambt te zetten.

Vier studenten die het vak antropologie volgden aan de Universiteit Utrecht, verzonnen Jehovagetuigen. Voor een onderzoek zouden ze zeven interviews met Jehova's hebben gehouden, maar een professor met goede banden met de religieuze groep ontdekte dat maar één van de interviews had plaatsgevonden. Toch hadden de studenten een paper ingeleverd met nepinterviews. Toen de fraude aan het licht kwam, zakten ze alle vier voor het vak, maar ze zijn niet geschorst. 'Straffen is belangrijk, maar we willen ze vooral iets leren', verklaarde een van de docenten.

Margaret Mead leefde als jonge vrouw in de jaren twintig een half jaar op het eiland Samoa. Ze schreef hier een boek over dat een klassieker werd: Coming of Age in Samoa. In dit boek beschrijft ze hoe de Somoanen in een seksueel vrije samenleving in vrede leven. Er zijn geen verkrachtingen en over seks voor het huwelijk werd niet moeilijk gedaan. Derek Freeman stelde in 1984 dat haar boek op leugens was gebaseerd; de Samoanen waren juist puriteins. Het is nog steeds niet duidelijk of Mead fout zat of dat de Samoaanse cultuur in zestig jaar tijd sterk is veranderd. Onlangs werden vraagtekens gezet bij Freemans onderzoek.

Manuel Elizalde, een minister van de Filipijnen, ontdekte in 1971 de Tasaday-stam. Deze mensen leefden en spraken als oermensen en leken totaal afgesloten van de wereld om hen heen. De ontdekking werd groot nieuws en haalde de voorpagina van de National Geographic. Toen antropologen de echtheid van de stam in twijfel trokken, sloot de Filipijnse president het gebied voor alle buitenstaanders. Na het vertrek van de president ontdekten antropologen dat de Tasadays in het dagelijks leven spijkerbroeken droegen en een gewoon lokaal dialect spraken. De oermens-act was verzonnen door Elizalde.

WAT IS DE KWESTIE-BAX?

Politiek antropoloog Mart Bax, inmiddels met pensioen, bouwde in zijn 35-jarige carrière aan de Vrije Universiteit Amsterdam een uitgebreid oeuvre op over plaatselijke conflicten in onder meer Bosnië. Maar veel van de voorvallen en situaties die hij beschrijft, lijken nooit bestaan te hebben, wijst journalistiek onderzoek uit. Ook bronnen waaraan hij refereert, zijn onvindbaar. Vorige week onthulde de Volkskrant dat eenderde van de artikelen die Bax in zijn publicatielijst vermeldt, in werkelijkheid niet bestaat; conferenties waar hij geweest zou zijn, zeggen hem nooit te hebben ontvangen. De VU zegt nooit iets van misstanden te hebben gemerkt, maar een onderzoek te doen.

undefined

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden