Meten van onderzoeksprestaties kan heel goed en biedt reflectie
'Niet meten, maar praten', stelde Abram de Swaan in zake de prestaties van universitaire onderzoekers. Het een sluit het ander niet uit, beweert Ton Dietz....
Abram de Swaan sloot de serie 'Crisis in wetenschapsland?' af met eenmooi geschreven verhaal (het Betoog, 20 augustus). Hij acht al dat gemeetvan wetenschappelijke kwaliteit bij de alfa- en gammawetenschappen nietbruikbaar. Het zou vervangen moeten worden door 'beoordeling doordeliberatie onder vakgenoten'.
Het is een betoog waarin weinig praktische handvatten worden geboden hoedat dan moet. Het is een houding die gevoed is door het jarenlang vakkundigomzeilen van een academisch-bureaucratische werkelijkheid, waarbijbeoordelaars steeds meer willen weten wat er nu aan 'kwaliteit' wordtgeleverd door wetenschappers en die dat dan graag willen becijferen.
Een fundamenteel afwijzen van kwantificering van onderzoeksprestaties,zoals De Swaan lijkt te betogen, gaat mijns insziens ten koste van depositie van de mens- en cultuurwetenschappen.
Het heeft in de Amsterdam School for Social Research, de onderzoekschoolASSR, waaraan De Swaan is verbonden, geleid tot een jarenlange patstellingop dit terrein. Terwijl er bij Ceres - een landelijke gammaonderzoekschoolop het terrein van 'resource studies for development' - al enkele jarensuccesvol wordt geëxperimenteerd met een vorm van 'wijze kwantificeringvan onderzoeksprestaties', toegesneden op het onderzoeksveld en door middelvan 'deliberatie' voortdurend aangevuld en gecorrigeerd .
De Swaan lijkt dit geheel te negeren, terwijl dit meetstelsel tegemoetkomt aan veel van de terechte kanttekeningen die hij maakt bij eendreigende 'onwijze' manier van oordeelsvorming.
Allereerst: wat wordt nu eigenlijk 'meegeteld' bij de vaststelling vanwetenschappelijke prestaties? De oordeelsvorming daarover dient vertrouwdte worden door de groep wetenschappers van wie de prestaties worden gemetenen de resultaten van die 'certificering' dienen openbaar te zijn. Kortom,het dient inderdaad gebaseerd te zijn op 'beoordeling door deliberatieonder vakgenoten'.
Belangrijk is het vaststellen van minimumnormen, zowel voor het totaalaan activiteiten en prestaties die voortkomen uit onderzoekswerk, als voorwat als minimum moet worden gezien van 'wetenschappelijke kwaliteit'. Inieder geval voor de gamma- en alfawetenschappen dient het meetstelsel eenals eerlijk ervaren 'mix' te bieden van publicaties. De genormeerdeonderzoeksprestaties moeten afgezet worden tegen de onderzoekstijd diedaarvoor ter beschikking is gesteld en er moet natuurlijk niet alleen naareen enkel jaar gekeken worden, maar bijvoorbeeld naar de prestaties overvijf jaar.
Het meetstelsel dient een nadere differentiatie te bieden binnen decategorie 'gerefereerde tijdschriften en boeken', waaruit het verschil in'status' blijkt van die tijdschriften en (wetenschappelijke) uitgevers,maar daarbij moet niet alleen gevaren worden op het kompas van demonopolist op dit terrein, het Amerikaanse ISI.
Bij Ceres is daar een goed gebalanceerd systeem voor ontwikkeld en eris samenwerking met de European Association for Development Institutes, eenbundeling van relevante zusterinstituten. Het zou goed zijn wanneer inEuropa een alternatief voor de ISI-methode zou worden ontwikkeld en wanneerdaarbij ook naar de boekuitgevers wordt gekeken.
De systematiek die op deze manier bij Ceres tot stand is gekomen,voldoet goed en heeft al een aantal keren geleid tot belangrijke correctiesbij beeldvormingen van onderzoeksbeoordelaars. Maar het belangrijksteresultaat van deze reflectie op onderzoeksprestaties is dat individueleonderzoekers (waarvoor elk jaar prestatieprofielen worden gemaakt door deonderzoekschool) veel bewuster omgaan met de terechte vragen overeffectiviteit en relevantie van hun onderzoeksinspanningen.
Dat daarbij ook uitwassen voorkomen van rat races en recycling moet demens- en cultuurwetenschappers er niet van weerhouden op een wijze manierte 'meten' en te laten zien wat ze nu eigenlijk met al die onderzoekurendoen. De oordeelvorming over de inhoudelijke inzichten en 'ontdekkingen'die dat onderzoek oplevert, is een zaak van peer reviews en vanwetenschappelijke en maatschappelijke geschiedschrijving. En dat staat bolvan de 'deliberatie'.
