Toptijdschrift drijft op oude koek

HET wetenschapsbedrijf kan niet zonder communicatie. Wie zijn baan in dit bedrijf wil behouden, zal zijn vakgenoten met enige regelmaat kond moeten doen van zijn of haar bevindingen door middel van een publicatie in een vaktijdschrift....

GERBRAND FEENSTRA

Maar de ene publicatie is de andere niet. Want het ene vaktijdschrift geniet een veel groter aanzien dan het andere. Een aanzien dat vaak wordt uitgedrukt in een cijfer dat het 'soortelijk gewicht' van het blad aangeeft.

Deze zogenoemde impactfactor van een tijdschrift wordt berekend uit het aandeel artikelen uit het blad dat over een periode van twee jaar in andere wetenschappelijke artikelen wordt aangehaald. Hoe vaker een blad elders wordt geciteerd, des te groter de impactfactor. En hoe groter de impactfactor van een tijdschrift, is de stilzwijgende aanname, des te beter de kwaliteit van het werk dat erin wordt gepubliceerd.

Maar is die impliciete veronderstelling wel juist? In ieder geval niet in het vakgebied van de psychologie, constateren de methodologen Johan Hoogstraten en Jeroen van Wijck van de faculteit Psychologie van de Universiteit van Amsterdam in het decembernummer (1998) van het Nederlands Tijdschrift voor de Psychologie.

Het afgelopen jaar namen ze de proef op de som door 28 collega's zes wetenschappelijke artikelen die recent in een vakblad waren gepubliceerd, opnieuw te laten beoordelen. Hoogstraten en Van Wijck kozen de zes artikelen uit drie sociaal-psychologische vaktijdschriften, met de impactfactoren 0,628, 1,490 en 2,758.

Elk tijdschrift leverde twee artikelen, die door Van Wijck en Hoogstraten werden ontdaan van alle kenmerken waaruit zou kunnen worden opgemaakt in welk tijdschrift ze eerder hadden gestaan.

Hun 28 collega's vroegen ze de geanonimiseerde artikelen te beoordelen op (de kwaliteit van) de inleiding, het methodologische deel, de vermelde resultaten van het onderzoek, de discussie-sectie van het artikel en op aspecten als originaliteit van het onderzoek en de schrijfstijl. Daarnaast werd een algemeen oordeel over het artikel gevraagd (variërend van 'uitstekend' tot 'slecht') en moesten de beoordelaars aangeven of ze het artikel geschikt vonden voor publicatie in een vaktijdschrift, of het gereviseerd moest worden of dat het definitief in de prullenmand kon verdwijnen.

Het resultaat van deze exercitie is opmerkelijk: Hoogstraten en Van Wijck vonden alleen op de onderdelen 'methoden' en 'resultaten' een duidelijk verband met de vermeende kwaliteit van het tijdschrift. Maar op bijvoorbeeld het onderdeel 'inleiding' was juist sprake van het omgekeerde: het blad met de grootste reputatie kwam er op dit punt het slechtst af. En bij het onderdeel 'discussie' gold dat hoe hoger de impactfactor was, des te lager de kwaliteit van de discussie. Bij het algemene eindoordeel was er hoegenaamd geen verband met de kwaliteit van het tijdschrift.

De Amsterdamse methodologen concluderen dan ook dat de stelling dat een hoge impactfactor van een tijdschrift een hoge kwaliteit van het gebodene impliceert, in zijn algemeenheid geen stand houdt. In methodologentaal: 'De constructvaliditeit van de impactfactor als operationalisatie van kwaliteit van onderzoek' staat niet onomstotelijk vast.

De peetvader van de Nederlandse citatie-analyse, de Leidse hoogleraar dr. A. van Raan, geeft in een commentaar in het Nederlands Tijdschrift voor de Psychologie Hoogstraten en Van Wijck grotendeels gelijk. Het komt volgens Van Raan doordat impactfactoren gebaseerd zijn op korte 'tijdsvensters' (twee jaar), ze sterk beïnvloed worden door overzichtsartikelen ('niet-origineel werk') die vaak worden aangehaald of gebaseerd zijn op maar een klein aantal veel geciteerde 'topartikelen' en aldus geen garantie bieden voor de kwaliteit van álle artikelen die een tijdschrift publiceert.

Gerbrand Feenstra

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2022 DPG Media B.V. - alle rechten voorbehouden