Data inkloppen: saai maar cruciaal

Vandaag in Ware Wetenschap: Daniel Janssen test de betrouwbaarheid van ingevulde vragenlijsten.

Voorbeeld van een terugtrekkingsactie voor mineraalwater.Beeld de Volkskrant

'Vraag elf: vier, vier, twee, vier, drie. Vraag twaalf: twee, twee, drie, vier, drie.' Zo gaat het door, in het kantoor van de Utrechtse communicatiewetenschapper Daniel Janssen. Hij zit samen met zijn student-assistent aan een bureau. De een leest getallen voor, de ander typt ze in de computer. Een activiteit die bekend staat als 'data inkloppen'.

In 3,5 uur werken ze zich door honderd vragenlijsten. Niet de meest verheffende bezigheid in het bestaan van een wetenschapper, maar wél een die cruciaal is voor de betrouwbaarheid van het onderzoek. 'Onze Tilburgse vriend', zegt Janssen, verwijzend naar de frauderende hoogleraar Diederik Stapel, 'werkte in zijn eentje. Hier controleren we elkaar.'

De afgelopen weken zagen proefpersonen een fictieve advertentie waarin een fabrikant zijn product terugroept. Soms maakt de fabrikant excuses in de tekst, soms niet. Na het lezen van de advertentie vulden de proefpersonen een vragenlijst in. Janssen wil zo achterhalen of het aanbieden van excuses de boosheid van consumenten tempert.

Schrijftechniek checken
Janssen heeft de vragenlijsten zelf niet uitgedeeld, dat werk besteedde hij uit aan zijn student-assistent. Om te controleren of zijn assistenten of studenten de lijsten niet stiekem zelf hebben ingevuld, kijkt hij altijd even naar de gebruikte schrijftechnieken. 'Zelfs bij multiplechoiceantwoorden zie je verschillen tussen mensen. De een arceert het rondje, de ander zet een kruisje, enzovoorts.'

Hij controleert ook de betrouwbaarheid van de proefpersonen zelf. In de vragenlijsten stopte Janssen verschillende formuleringen van dezelfde vraag. Vindt u het bedrijf geloofwaardig? Vindt u het bedrijf deskundig? Vindt u het bedrijf betrouwbaar? Als een proefpersoon klakkeloos wat kruisjes zet, is de kans groot dat hij tegenstrijdige antwoorden geeft.

Vallen te veel proefpersonen door de mand, dan geeft Janssens statistische software dit aan. Verschijnt er op zijn scherm een Cronbachs alphawaarde van kleiner dan 0,61? Dan is de betrouwbaarheidsanalyse zo slecht uitgevallen dat er vragen moeten worden geschrapt.

Geloofwaardig óf aantrekkelijk
Nog zo'n statistische check: de factoranalyse. Uit eerder onderzoek blijkt dat het imago van een bedrijf is opgebouwd uit twee elementen: geloofwaardigheid en aantrekkelijkheid. Als Janssens proefpersonen óók aanvoelen dat dat twee verschillende dingen zijn, zullen ze regelmatig aankruisen dat een bedrijf wel geloofwaardig is, maar toch niet echt aantrekkelijk, of juist andersom. Uit een factoranalyse blijkt of dit ook echt gebeurt. Zo niet, dan is het maar de vraag of je wel meet wat je denkt dat je meet.

Janssen: 'Voor een fraudeur is het dus eigenlijk razend moeilijk om zomaar wat data in te kloppen. Bij dit soort statistische controles zie je namelijk al snel of de gegevens verdacht zijn. Al moet iemand natuurlijk wel de moeite nemen om die controles uit te voeren...'

Volgende week: Marslawine's in Utrecht

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright @volkskrant.nl.
© 2020 DPG Media B.V. - alle rechten voorbehouden