Rekenmodel is altijd beter dan een kristallen bol

Rekenmodellen zijn een onontbeerlijk hulpmiddel bij besluitvormingsprocessen, maar toetsing en standaardisering is nodig. Volgens Han van Dobben, Jana Verboom en Wieger Wamelink moet die les worden getrokken uit de kritiek op het RIVM....

HET doen van (milieu)voorspellingen aan de hand van modellen is in opspraak geraakt, en daarmee het op die voorspellingen gebaseerde beleid. In verschillende media is een bom gelegd onder de huidige modellen, vooral wat betreft de onderbouwing en de betrouwbaarheid. Sommige politici lijken die bom graag tot ontploffing te willen brengen. Als onderzoekers en mede-ontwikkelaars van modellen die ook door het RIVM worden gebruikt, vragen wij ons af of dat wel terecht is. Want als modelonderzoek besmet is, hoe moet het dan?

Waarom maken wij gebruik van modellen? Vroeger werd de wetenschapper vaak verbeeld als een Prikkebeen met vlindernet en blocnote, of als een verstrooide professor achter de boeken. Als de politiek of het beleid een concrete vraag stelde, dan luidde het antwoord: 'Dat weet ik niet, daarvoor moet ik eerst tien jaar onderzoek doen. Kom dan nog maar eens terug.' Dat kan niet meer.

Het onderzoek behoort zo snel mogelijk in te spelen op beleidsvragen, en zo betrouwbaar mogelijke antwoorden te geven. Dat gebeurt vaak aan de hand van modellen, waarin alle op dit moment aanwezige kennis is geïntegreerd en op heldere, reproduceerbare wijze toepasbaar wordt gemaakt.

Het verleden is deels bekend, het heden kan gemeten worden. Maar regeren is ook vooruitzien en modellen zijn bij uitstek het instrument om te voorspellen. Zij kunnen op basis van het verleden en het heden onderbouwd een uitspraak doen over de gevolgen van nu te nemen maatregelen. Een voorbeeld. Er wordt besloten tot inkrimping van de varkensstapel. Minder varkens leveren minder mest, minder ammoniak in de lucht, minder zure neerslag op de bossen. Een model is niets anders dan een in rekenregels gevatte beschrijving van zo'n oorzaak-gevolg keten.

Waar zijn de modellen op gebaseerd? In principe kunnen modellen worden gebouwd op drie bronnen: 1. Procesbeschrijvingen: zoals in het genoemde voorbeeld. 2. Gegevens: nu of in het verleden gemeten en de verbanden daartussen. 3. Expertkennis: het gaat hier om niet gemeten gegevens die nodig zijn om het model te kunnen laten draaien.

Een ideaal model is gebaseerd op de eerste twee punten. Dit vergt echter veel metingen en dus veel geld. Extra veel geld omdat meten nu eenmaal veel duurder is dan rekenen. En dat geld is er niet voldoende, dus zit er in een model ook expertkennis en vooral deze kennis dient te worden getoetst.

Er komen nu twee knelpunten naar voren: is de hoeveelheid meetgegevens voldoende om een betrouwbaar model te maken, en hoe ga je dat testen? Wij durven de stelling aan dat er nergens zo veel aan het milieu wordt gemeten als in Nederland. Dat klinkt mooi, maar je kunt je afvragen of dat voldoende is. Veel modellen hebben als basis inderdaad meetgegevens, zij zorgen voor een degelijk fundament. Ieder model heeft ook specifieke gegevens nodig die (nog) niet gemeten zijn. Er moet dan dus in het veld gemeten worden. Vaak ontbreekt voor zulke specifieke metingen het geld. En dat draagt bij aan de onzekerheid van de modeluitkomsten.

Zeer belangrijk is het testen van de modellen. Voorspellingen voor 2020 zijn voorlopig niet te controleren. Wat wel kan is met behulp van het model 'voorspellen' van de huidige toestand en dit testen aan de huidige gemeten waarden. Dit geeft in elk geval de zekerheid dat er geen grove fouten in de structuur van het model zitten. Deze methode wordt op dit ogenblik zowel op het RIVM als bij zijn toeleveranciers zoals de Dienst Landbouwkundig Onderzoek (DLO) algemeen gebruikt.

De tweede methode is: bepaal de onzekerheid in de invoergegevens van het model en ga na hoe deze onzekerheid in elke stap doorwerkt. Deze laatste methode is echter zeer arbeidsintensief (dus duur) en wordt daarom nog te weinig gebruikt. Toepassing van deze testen levert inzicht in de betrouwbaarheid, maar ook de mogelijkheid om het model te verbeteren. Er moet worden gezocht naar een balans tussen het geld dat je beschikbaar wilt stellen en de mate van betrouwbaarheid die je nastreeft. Dit is een afweging die wetenschappers en politici moeten maken.

Modellen zijn vaak ook belangrijk in vergelijkende zin, waarbij niet wordt gekeken naar de absolute waarde van het resultaat, maar naar de trends en verschillen tussen beleidsscenario's. Zelfs als de betrouwbaarheid van uitkomsten te wensen overlaat, kan het verschil tussen scenario's wel betrouwbaar zijn (het verschil is betrouwbaarder dan de waarden afzonderlijk).

Wij pleiten er voor om tot meer standaardisatie te komen. Dit betreft dan kwaliteitsbewaking van binnen- en van buitenaf. In DLO is het initiatief genomen om een lijst met kwaliteitseisen te formuleren waaraan een model moet voldoen. Het krijgt dan een certificaat mee, zodat een gebruiker weet waaraan het voldoet.

Bij externe controle valt te denken aan een wetenschappelijke toetsing door onafhankelijke collega instellingen, bijvoorbeeld in de vorm van een visitatie zoals bij universiteiten thans gebruikelijk is. Verder pleiten wij ervoor dat elk model gepubliceerd wordt in een wetenschappelijk tijdschrift. Van de kritiek die dat meestal oplevert, wordt het model alleen maar beter. Publicatieplicht voorkomt ook een wildgroei aan modellen die even snel worden gemaakt om aan een bepaalde vraag te voldoen. Dat gebeurt nu misschien te vaak.

Wij beweren niet dat modellen altijd betrouwbaar of altijd onbetrouwbaar zijn, maar we kunnen er niet omheen. Modellen zijn een noodzakelijk hulpmiddel bij besluitvormingsprocessen. Vaak is er geen alternatief om de mogelijke uitkomsten van beleidsvoornemens te testen. Het is de verantwoordelijkheid van de onderzoekers om aan te geven hoe de uitkomsten moeten worden geïnterpreteerd.

Het uitsluitend afgaan op politieke of persoonlijke meningen van experts is hetzelfde als het raadplegen van een kristallen bol. Modellen zijn, gegeven het feit dat we niet in de toekomst kunnen kijken, een goed alternatief - beter hebben we niet.

Wieger Wamelink, Han van Dobben en Jana Verboom zijn verbonden aan het Instituut voor Bos- en Natuuronderzoek (IBN-DLO).

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden