Opinie
Voor patiënten is de AD ziekenhuis-lijst (vrijwel) zinloos
Als u een ziekenhuis moet kiezen voor een door het AD onderzochte behandeling, zou u dan een ziekenhuis kiezen dat toevallig een keer in de top 10 staat, of voor een ziekenhuis dat al jaren bovenin prijkt?
De Volkskrant berichtte over de AD Top 100 van Nederlandse ziekenhuizen, met het Albert Schweitzer ziekenhuis in Dordrecht als 'beste ziekenhuis van Nederland'. Is het dat? Hoe goed is het onderzoek?
Meet het onderzoek wat het zegt te meten? Is het onderzoek valide? De AD ziekenhuis Top 100 zegt te meten welk ziekenhuis het beste ziekenhuis van Nederland is. Doet het dat? Het AD-onderzoek gebruikt 37 indicatoren. Ziekenhuizen gebruiken zelf (soms) meer dan 1300 indicatoren. Als het AD-onderzoek er 3 procent van neemt, kun je dan op basis daarvan het beste ziekenhuis van Nederland kiezen?
Natuurlijk niet. Dat is alsof je het beste Chinese restaurant van Nederland kiest nadat je overal alleen maar een halve loempia geproefd hebt. Het is alsof je alleen op basis van het hoogspringen de beste tienkamper kiest. Op basis van het AD-onderzoek mag je heus wat zeggen over de verschillen in kwaliteit voor wat betreft de onderzochte indicatoren (de interne validiteit). Maar als je op basis van 37 (vrij willekeurig gekozen) indicatoren pretendeert het beste ziekenhuis van Nederland te kunnen kiezen, dan ga je te ver. Veel te ver. Dan pretendeer je dat die 37 indicatoren representatief zijn voor pakweg 1300 indicatoren (is externe validiteit). En dat is onzin.
Vergelijkbare resultaten?
Leveren herhaalde metingen vergelijkbare resultaten op? Is het onderzoek betrouwbaar? Als u elk jaar het IQ van uw kind laat testen en er komt elk jaar de score 130 uit, dan trekt u terecht de conclusie dat uw kind slim is. Als de scores van opeenvolgende jaren in willekeurige volgorde variëren tussen de 80 en 130, dan trekt u (terecht) de conclusie dat u geen idee heeft hoe slim uw kind is (en dat de metingen onbetrouwbaar zijn). Hoe zit dat met de ziekenhuizen in de AD Top 100? Gemiddeld (over zes jaar) verschuift elk ziekenhuis in de top 100 elk jaar 25 plaatsen (naar boven of naar beneden).
Sommige ziekenhuizen verschuiven veel meer, bijvoorbeeld van plaats 2 in 2010 naar plaats 91 in 2011. Van de ziekenhuizen die in een willekeurig jaar in de top 10 staan, staan er het jaar erop nog maar 2 a 3 in de top 10. De correlatie tussen de ranglijst van een bepaald jaar en de ranglijst van het jaar erop is 0,26 (zwak). Anders gezegd: de score van een ziekenhuis in een bepaald jaar zegt vrijwel niets over de score in het daarop volgende jaar. De betrouwbaarheid is laag. Erg laag. Te laag. De scores lijken meer door toeval tot stand te komen. Op basis van de score van een enkel jaar kun je vrijwel niets met zekerheid zeggen over de kwaliteit van een ziekenhuis het jaar erop.
Je zou veel beter kunnen kijken naar de best scorende ziekenhuizen over een periode van bijvoorbeeld zes jaar. Want die leveren betrouwbare kwaliteit. Welke zijn dat? Meander Medisch Centrum, Amersfoort (Baarn, Soest); Sint Franciscus Gasthuis, Rotterdam; Ziekenhuis Rijnstate (Alysis), Arnhem (Velp); Ikazia, Rotterdam; ZorgSaam Ziekenhuis, Terneuzen (Oostbrug, Hulst); Orbis Medisch Centrum, Sittard; St. Antonius Ziekenhuis, Nieuwegein/ Utrecht; Maasstad Ziekenhuis, Rotterdam; Elkerliek Ziekenhuis, Helmond (Deurne); St. Anna Ziekenhuis, Geldrop.
Van deze top 10 over zes jaar, staan er maar 2 in de top 10 van 2014. Het 'beste ziekenhuis van 2014', het Albert Schweitzer ziekenhuis in Dordrecht, staat er niet in. Als u een ziekenhuis moet kiezen voor een door het AD onderzochte behandeling (!), zou u dan een ziekenhuis kiezen dat toevallig een keer in de top 10 staat, of voor een ziekenhuis dat al jaren bovenin prijkt? Als u wilt beleggen in aandelen, kiest u dan voor aandelen die (toevallig?) dit jaar een hoog rendement opleveren, of voor aandelen die al jarenlang een hoog rendement leveren?
Potsierlijk en hovaardig
Hebben ziekenhuizen en patiënten en het AD er iets aan? Is het onderzoek bruikbaar? Ziekenhuizen kunnen zien hoe goed ze scoren ten opzichte van andere ziekenhuizen voor wat betreft de onderzochte indicatoren. Niet meer en niet minder. Slecht scorende ziekenhuizen kunnen hun praktijk verbeteren. Dat is nuttig. Ziekenhuizen zouden zich niet moeten laten tooien en fêteren met het predicaat 'beste ziekenhuis van Nederland'. Dat is potsierlijk en hovaardig. Ze kunnen beter melden dat ze - net als andere ziekenhuizen - hun stinkende best doen en dat dat -voor wat betreft de onderzochte indicatoren- succesvol is geweest. Te veel hoogmoed komt hier zeker voor de val, want (nogmaals): het jaar erop staat elk ziekenhuis gemiddeld 25 plaatsen hoger of lager, en hoe leg je dat laatste dan uit?
Voor patiënten is de lijst (vrijwel) zinloos. Het AD bekijkt slechts enkele indicatoren, die wel of niet van belang kunnen zijn voor een individuele patiënt. Bovendien is de lijst (zeer) onbetrouwbaar, dus het ziekenhuis dat in 2014 goed scoorde, doet dat (waarschijnlijk) in 2015 niet meer. Je zou even goed een (slechter) scorend ziekenhuis kunnen kiezen, want dat is wellicht zeer gemotiveerd om het beter te doen (en stijgt het jaar erop 25 plaatsen), terwijl het goed scorende ziekenhuis op de lauweren rust (en daalt). Het AD scoort qua publiciteit met de top 100, en dat mag. Maar op dit moment scoort de ziekenhuis top 100 qua validiteit, betrouwbaarheid en bruikbaarheid nog onder de oliebollen top 100, en dat is schandelijk voor een aangelegenheid die vele malen belangrijker is.
Advies aan AD: gebruik meer indicatoren, gebruik dezelfde indicatoren en maak een lijst met ziekenhuizen die consequent (over meerdere jaren) boven of onder het gemiddelde scoren (zonder rangorde). Vermijd het predicaat 'beste ziekenhuis van Nederland'; dat kan het onderzoek niet waarmaken (en het ziekenhuis ook niet).
Dr. Herm Joosten (wel doctor, geen dokter, en op geen enkele wijze verbonden met welk ziekenhuis dan ook)
