Leven bewoners van Vogelaarwijken gezonder?

Berichten verspreiden zich vaak razendsnel, of ze nu kloppen of niet. Wij proberen de zin van de onzin te scheiden. Deze week bespreken we de zaak waarmee deze rubriek een jaar geleden begon.

Toenmalig minister voor Wonen, Wijken en Integratie Ella Vogelaar (r) op werkbezoek in de Vogelaarwijk Doornakkers in Eindhoven. (2008) Beeld Marcel van den Bergh / de Volkskrant

Hee, de Vogelaarwijken: weet u nog?

Als manna uit de hemel dwarrelde in de jaren 2008-2012 het geld neer op veertig zogeheten 'krachtwijken'. Honderden miljoenen euro's trok men uit om de achterstandswijken op te knappen. Dat was althans de bedoeling: na vier jaar werd het programma van minister Ella Vogelaar alweer stilgelegd.

Terwijl het toch aardig hielp. Dat meldde althans dagblad Trouw, twee jaar geleden alweer. Onderzoek van het AMC, het RIVM en de Universiteit Maastricht had uitgewezen dat mensen in de Vogelaarwijken 'gezonder' waren gaan leven.

Dat werd de ground zero van onze factcheckrubriek Klopt Dit Wel?, want al snel werd duidelijk dat er op die bewering van alles valt af te dingen. De directe aanleiding om de rubriek te beginnen.

Nu we in Sir Edmund terugblikken op één jaar Klopt Dit Wel?, is het de hoogste tijd om de zaak waarmee het allemaal begon alsnog te bespreken. Heeft het 'krachtwijkenbeleid' de bewoners echt gezonder gemaakt?

Goed, wat werd er ook alweer beweerd?

Dat het geld heeft geholpen. Volgens Trouw: 'Mensen in zogenoemde Vogelaarwijken zijn gezonder dan bewoners van andere achterstandsbuurten. Ze roken minder, doen in hun vrije tijd meer aan beweging en voelen zich ook beter'.

'Een gemiste kans', noemt de onderzoeksleider, hoogleraar sociale geneeskunde Karien Stronks (AMC) in de krant daarom het voortijdige einde van de wijkaanpak. 'Er is wel gezegd dat de miljoenen van de wijkaanpak weggegooid geld zijn. Maar uit ons onderzoek blijkt dat we veel meer hadden kunnen bereiken.'

Tegen nieuwssite Sociale Vraagstukken drukte Stronks zich in soortgelijke woorden uit. 'We hadden niet verwacht dat de wijkaanpak in een korte periode van vijf jaar al winst voor de gezondheid zou opleveren', zei ze. 'We zien een betere ervaren gezondheid, een toegenomen mentale gezondheid en dat mensen meer bewegen door te wandelen.'

Dat is ook de strekking van het eerder uitgebrachte persbericht van het AMC. 'Achterstandswijken gezonder door krachtwijkenbeleid', valt daar te lezen. Het bericht in Trouw werd door tal van media overgenomen en politiek opgemerkt.

De Vogelaarwijk Doornakkers in Eindhoven. (2008) Beeld Marcel van den Bergh / de Volkskrant

Maar daarmee is dus iets mis?

Het is op zijn best kort door de bocht, en in het ergste geval 'volkomen nonsens', zoals de door de Volkskrant geraadpleegde wiskundige en factchecker Pepijn van Erp vindt. 'Mijn interpretatie zou minder sterk zijn dan die van de auteurs', zegt een ander, surveymethodoloog Peter Lugtig van de Universiteit Utrecht, na bestudering van de kernbevinding dat men in de Vogelaarwijken meer is gaan wandelen. 'Er gebeurt eigenlijk niks door de tijd. Die conclusie trek ik ook op basis van de statistische analyses.'

Voor het onderzoek gingen Stronks en haar collega's aan de slag met een kleine 50 duizend ingevulde enquêteformulieren uit een langlopende, degelijke studie van de leefomstandigheden van het CBS, tussen 2004 tot 2011. Daarbij zaten ook ruim 1500 vragenlijsten uit de Vogelaarwijken. Een ideale test dus, zegt Stronks desgevraagd. 'We zagen de krachtwijken als een soort natuurlijk experiment: wat gebeurt er met de gezondheid als de omgeving verandert?'

De enquêtes werden op verschillende manieren in groepen verdeeld, en ook de Vogelaarwijken werden uitgesplitst, in intensief en minder intensief behandelde wijken. Zo ontstonden tientallen mogelijke verbanden, waarmee de onderzoekers aan de slag gingen. 'De auteurs doen veel testen, en dus mag je inderdaad verwachten dat sommige significant zijn', zegt Lugtig. 'Zelfs als er in het echt geen enkel effect is.'

'Dit suggereert dat er lukraak naar verbanden is gezocht, terwijl het onderzoek uitging van vooraf opgestelde hypothesen', verweert Stronks zich. Maar controleerbaar is dat niet: de hypotheses zijn niet vooraf zwart op wit vastgelegd.

Toenmalig minister voor Wonen, Wijken en Integratie Ella Vogelaar (l) op werkbezoek in de Vogelaarwijk Doornakkers in Eindhoven. (2008) Beeld Marcel van den Bergh / de Volkskrant

En daar was bewering één: in de Vogelaarwijken 'roken ze minder' (Trouw).

In het eigen persbericht van het AMC staat het preciezer: 'De stijging van het aantal rokers verliep er langzamer.'

In de Vogelaarwijken ging men namelijk niet minder, maar juist méér roken, blijkt uit de achterliggende cijfers. Het was immers economische crisis, dan grijpen mensen sneller naar hun sigaret. De trend was echter niet significant en het roken week ook niet af van andere wijken.

Wat dieper in de statistieken stuitte Stronks echter op een statistisch significant effect, al moet je hem wel drie keer lezen: in de minst intensief 'behandelde' Vogelaarwijken steeg het aantal rokers scherper dan in wijken waar de meeste maatregelen waren genomen. Een aanwijzing dat de maatregelen helpen, volgens Stronks. In Trouw: 'Als mensen zich prettig voelen, gaan ze daardoor minder vaak roken'.

Wat de onderzoekers er echter niet bij zeggen, is dat er nóg een plek is waar het aantal rokers langzamer toenam: namelijk, achterstandswijken waar géén maatregelen werden genomen. Anders gezegd: de qua roken 'gezondste' wijken waren de intensief behandelde Vogelaarwijken - én achterstandswijken waar niets veranderde.

'Waarom zouden er zulke effecten zijn? Gaan mensen echt minder roken als hun wijk wordt opgeknapt?', vraagt Lugtig zich intussen af. 'Dat lijkt me een heel rare causale redenatie, zelfs als die via vermindering van stress verloopt. En ook hier zijn de effecten heel klein, en kun je tal van redenen bedenken die niet met de Vogelaarwijkaanpak te maken hebben.'

De Vogelaarwijk Doornakkers in Eindhoven. (2008) Beeld Marcel van den Bergh / de Volkskrant

Enfin, ze zijn in de Vogelaarwijken wel 'meer gaan bewegen' (Trouw).

Zoals Stronks het zelf in haar persbericht liet noteren: 'het krachtwijkenbeleid heeft een positief effect heeft gehad op de gezondheidsgerelateerde leefstijl'.

'We zagen dat in deze wijken de fysieke activiteit toeneemt: ze wandelen meer in hun vrije tijd', zegt Stronks, die in de krant de formulering 'ze bewegen meer' gedoogde.

Maar behalve wandelen onderzocht het team nog twee indicatoren: fietsen en sporten. Dat bleken de bewoners van de Vogelaarwijken eerder wat mínder te zijn gaan doen - een bevinding die de onderzoekers in zowel het persbericht als de krant niet noemen.

'Ik vind het erg vervelend dat de indruk is ontstaan dat ik resultaten die niet op een positief effect wezen heb willen verzwijgen. Dat is absoluut niet het geval', verklaart Stronks achteraf. Ze voegt toe dat in het persbericht 'nadrukkelijk staat dat voor vele andere indicatoren geen positieve trends werden gevonden.' Maar met die nadruk valt het bij nadere inspectie toch wat tegen. Haar nuancering staat in de een na laatste zin van het persbericht, en in de media maakte ze hem niet.

Ook op het 'ze gingen meer wandelen', kroonjuweel van haar bevindingen, valt intussen van alles af te dingen. Zo is het vreemd dat de uitbraak van wandellust ook plaatsvond in Vogelaarwijken waar maar weinig maatregelen waren genomen, en wordt de 'toename' bijna geheel verklaard door maar één uitschieter, in 2010.

Dat lijkt op toeval, vindt Lugtig. 'Ik neig ernaar te zeggen dat er hoogstwaarschijnlijk geen enkel effect is. De auteurs geven geen enkele theoretische onderbouwing waarom er wel een effect voor wandelen zou zijn, maar niet voor de andere sporten. Ik denk dan meteen: komt het dan misschien niet omdat een paar jaar lang de hele wijk overhoop wordt gehaald? Of dat de bushalte tijdelijk is opgeheven?'

'Dat Stronks zo'n surrogaat-uitkomst als wandelen vertaalt naar gezondheidswinst is natuurlijk ook al vreemd', stelt Van Erp. 'Zelfs al zijn de Vogelaartjes significant meer gaan lopen in hun vrije tijd, wie zegt dat dat niet vooral richting snackbar was?'

Zelf ziet Stronks dat anders. Het wandelen nam immers toe over álle Vogelaarwijken, verweert ze zich, en dat pleit tegen toeval. Dat alleen het wandelen toeneemt - en niet het sporten en fietsen - 'illustreert de noodzaak om een onderscheid te maken tussen verschillende soorten fysieke activiteit', schrijft ze in haar vakartikel.

'Ze schrijven dus eigenlijk: je moet wel goed inzoomen op subanalyses, anders vind je sowieso niets', zegt Van Erp.

De Vogelaarwijk Doornakkers in Eindhoven. (2008) Beeld Marcel van den Bergh / de Volkskrant

Nou ja, in elk geval 'nam het aantal psychische problemen af'. Toch?

Wederom: niet zonder meer.

In de Vogelaarwijken vonden de wetenschappers namelijk géén toe- of afname van het aantal door de bewoners zelf gerapporteerde psychische klachten, blijkt uit hun deelonderzoek. Pas toen de onderzoekers de cijfers in stukjes hakten, kwam er iets aan het licht: vrouwen en bewoners van de intensiefst behandelde Vogelaarwijken meldden na 2008 iets minder geestesklachten.

Alleen: de verbeteringen zijn haast geen van alle statistisch significant en verschillen niet significant van andere achterstandswijken. Toch liet Stronks in haar persbericht noteren: 'Het aantal psychische problemen nam af' en zelfs het onjuiste 'in krachtwijken steeg het percentage inwoners met een goede geestelijke gezondheid van 73 naar 79 procent' (dat was alleen het geval in de intensief behandelde wijken).

Moet je een niet significant effect bij een subgroep wel zo nadrukkelijk als feit verkondigen? Stronks vindt van wel: 'De zeer waarschijnlijke verklaring is dat we te weinig power hebben (een te klein aantal onderzochte mensen, red.) Met meer power wordt het wel significant.' Ze wijst erop dat het in haar vakgebied 'inmiddels gemeengoed' is om 'statistische significantie als een, maar niet als enige factor mee te nemen in ons oordeel en interpretatie'.

Een andere mogelijkheid is er natuurlijk ook: dat er sprake is van een toevallig piekje, dat bij grotere aantallen weer verdwijnt.

De Vogelaarwijk Doornakkers in Eindhoven. (2008) Beeld Marcel van den Bergh / de Volkskrant

Dus?

Stronks' beweringen in de media zijn niet eens per se onjuist - ze zijn vooral overtrokken. Op basis van precies dezelfde cijfers had de conclusie kunnen luiden dat men in de Vogelaarwijken meer is gaan roken, te weinig beweegt en zich nog altijd even belabberd voelt als altijd.

In haar wetenschappelijke artikelen benadrukt Stronks keer op keer dat haar onderzoek slechts 'een voorzichtige aanwijzing' geeft. 'We vonden geen consistent bewijs voor positieve veranderingen in gezondheid of gezondheidsgedrag', schrijft ze bijvoorbeeld in Nederlands Tijdschrift voor Geneeskunde. Een groter contrast met haar media-uitlatingen - 'We hadden niet verwacht dat de wijkaanpak in vijf jaar al gezondheidswinst zou opleveren' - is nauwelijks denkbaar.

'Ons bewijs was gemengd', blikt Stronks terug. 'De vraag is dan welk risico groter is: op fout-positieve bevindingen (een gevonden effect bestaat niet echt) of op fout-negatieve bevindingen (de effecten zijn er, maar we hebben ze niet kunnen aantonen). Wij oordeelden dat de kans op fout-negatieve bevindingen groter was, en dat wij daarom het accent niet op de negatieve mochten leggen.'

De Vogelaarwijk Doornakkers in Eindhoven. (2008) Beeld Marcel van den Bergh / de Volkskrant

'Eigenlijk zeggen ze daarmee dat de steekproeven te klein zijn om echt verbanden te vinden', commentarieert Lugtig. 'Waarmee we terug zijn bij wat volgens mij het centrale punt is: over het algemeen zie je weinig verandering in de data, en de veranderingen die er zijn vormen geen logisch patroon en kunnen heel goed toeval zijn, of ruis.'

'Elk meetpunt wordt bepaald door minder dan 100 personen', vindt ook Van Erp. 'En daar dan trendlijntjes in tekenen? Volgens mij heeft dat weinig zin. Als ik naar hun grafieken kijk, zie ik niets bijzonders.'

In een uitvoerig gesprek met de Volkskrant legt Stronks, bijgestaan door haar coauteur Anton Kunst, niet minder dan zes keer de schuld bij de pers, die haar stevige uitspraken verkeerd zou hebben geciteerd.

'Die uitspraken in Trouw, daarvan heb ik gezegd: dit gaat te ver. Dit heb ik niet zo gezegd en dit bedoel ik niet zo. Toen heb ik een aantal suggesties gedaan, maar die werden vervolgens niet allemaal overgenomen.' En: 'Ze roken minder: zo heb ik het niet gezegd. Ik heb uiteindelijk ook een alternatief voorgesteld, maar dat is niet overgenomen.'

Uit het oorspronkelijke document met verbeteringen, beschikbaar gesteld door de betreffende redacteur, blijkt echter iets heel anders. Tien tekstwijzigingen, stelde Stronks voor, stuk voor stuk details zoals namen en jaartallen. Bij de cruciale overdrijvingen - ze roken minder, bewegen meer, voelen zich beter, gemiste kans - maakte Stronks geen enkele kanttekening. Trouw nam haast alle wijzigingen die ze wel voorstelde over.

Toenmalig minister voor Wonen, Wijken en Integratie Ella Vogelaar (l) op werkbezoek in de Vogelaarwijk Doornakkers in Eindhoven. (2008) Beeld Marcel van den Bergh / de Volkskrant

Conclusies na één jaar klopt dit wel?

De meeste hapklare weetjes uit het genre 'lichtwetenschappelijk nieuws' kloppen niet, blijkt uit één jaar systematisch factchecken. Maar waar komen de feitoïden eigenlijk vandaan?

Meer over

Wilt u belangrijke informatie delen met de Volkskrant?

Tip hier onze journalisten


Op alle verhalen van de Volkskrant rust uiteraard copyright. Linken kan altijd, eventueel met de intro van het stuk erboven.
Wil je tekst overnemen of een video(fragment), foto of illustratie gebruiken, mail dan naar copyright@volkskrant.nl.