Oeps, leerlingen dubbel geteld

Hoe komen ontdekkingen tot stand? In Ware Wetenschap kijkt de Volkskrant een jaar lang mee in de praktijk van 12 onderzoeksteams. Vandaag: Verkeerde informatie van het Cito.

Wetenschap is toch voornamelijk ook doorzetten. Een boei raakt zoekt, je proefpersoon wordt ziek of, in het geval van promovendus onderwijskunde Ferry Haan, de door het Cito geleverde onderzoeksgegevens zijn verkeerd versleuteld, waardoor je conclusies niets meer waard zijn.

Vlak voor de zomer stonden Haan en zijn collega Diana Hidalgo op het punt een significant effect te vinden. Hun analyse van de nieuwe lesprogramma's op de middelbare school zou een verschil tussen jongens en meisjes kunnen aantonen.

Ze hádden inderdaad ontdekt dat meisjes meer baat hebben bij nieuwe, contextgerichte lesmethoden dan de jongens. Maar bij toeval ontdekten ze ook dat hun gegevens niet klopten. Bij het Cito had iemand per ongeluk twee keer achter elkaar de gegevens versleuteld. Toen ze de gegevens van de Dienst Uitvoering Onderwijs (DUO) probeerden te koppelen, zagen de onderzoekers dat er een paar leerlingen op twee scholen tegelijk zaten.

Door die vergissing moest alles opnieuw. 'Dat is vrij zuur. Een menselijke fout waar niemand iets aan kan doen, maar we zijn wel een paar maanden werk kwijt', zegt Haan. 'Dat moet opnieuw en is niet bijster motiverend.'

Veel problematischer is de onzekerheid. Het verschil dat de onderzoekers meenden te hebben gevonden in het effect van het nieuwe onderwijs op jongens en meisjes, was goed nieuws. Het constateren van een effect is nu eenmaal veel publicatiewaardiger dan de ontdekking dat er géén verschil tussen de geslachten is. Of ze dat effect weer kunnen vaststellen, nu met de correct versleutelde gegevens, weten ze niet.

Het vergaren van data in onderwijsonderzoek is vaak al lastig genoeg. Een deel van de gegevens is in handen van DUO. Privacywetgeving vereist dat er voorzichtig met die informatie wordt omgesprongen. Soms maakt dat het contact tussen onderzoekers en DUO moeizaam. 'Bij DUO is er maar een klein team dat die gegevens beheert. Als een onderzoeker een probleem heeft met de beheerders, loopt diens onderzoek soms maanden uit. Gek eigenlijk, dat een klik met een persoon de snelheid van een onderzoek kan bepalen', aldus Haan.

Veel irritatie kan echter worden voorkomen, door meteen de juiste data op te vragen. Vaak weet een onderzoeker echter niet meteen welke gegevens hij nodig heeft. Maar hoe meer data een onderzoeker opvraagt, hoe meer irritatie dit bij de onderbezette DUO-afdeling opwekt. 'Het is altijd een afweging tussen veel vragen stellen, of met algemenere informatie werken en irritatie bij DUO voorkomen.'

Heeft Haan, vlak voordat alle statistische analyses (weer) zijn gedaan, al een vermoeden van de uitkomst? Bij de meeste onderwijsvernieuwingen van de afgelopen jaren blijken meisjes meer profijt te hebben. Hoe dat komt? Haan grinnikt: 'GTA V is net uitgekomen. Daar besteden veel jongens hun aandacht liever aan. Meisjes pikken dingen eerder op, zijn geïnteresseerder in schoolzaken én kunnen meer met context. Logisch dat ze meer profiteren.'

www.volkskrant.nl/warewetenschap

undefined

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2021 DPG Media B.V. - alle rechten voorbehouden