Statistische Verfahren
Im QSR-Verfahren werden als Maß für die Ausprägung eines Qualitätsindikators SMR-Werte (standardisiertes Mortalitäts- bzw. Morbiditätsratio) als Verhältnis von beobachteten zu erwarteten Ereignissen berechnet. Alle SMR-Werte werden mit 95 %-Konfidenzintervallen ausgewiesen.
Die erwarteten SMR-Werte werden mit Hilfe logistischer Regressionsmodelle berechnet. Um die Behandlungsqualität der Kliniken vergleichen zu können, wird eine Risikoadjustierung nach Patientenmerkmalen durchgeführt. Um die Verlässlichkeit der Ergebnisse zu erhöhen, werden seltene Ereignisse in den statistischen Berechnungen ebenfalls speziell berücksichtigt.
Der SMR-Wert (standardisiertes Mortalitäts- bzw. Morbiditätsratio) für eine Klinik ist das Verhältnis von beobachteten Ereignissen zu erwarteten Ereignissen.
SMR = beobachtete Ereignisse/erwartete Ereignisse
Ereignisse sind z. B. nach einer Operation eingetretene Komplikationen bzw. unerwünschte Folgeereignisse oder das Versterben eines Patienten oder einer Patientin. SMR-Werte werden im QSR-Verfahren als leistungsbereichsspezifische Indikatoren verwendet.
Der Referenzwert eines SMR liegt bei 1. Werte zwischen 0 und 1 zeigen an, dass in einer Klinik weniger Ereignisse als erwartet auftraten, Werte über 1 zeigen an, dass es mehr beobachtete Ereignisse als erwartet gegeben hat. Der Referenzwert ergibt sich als das durchschnittliche Ergebnis aller Kliniken bei der Behandlung von AOK-Versicherten.
Für den Vergleich der Kliniken werden die erwarteten Ereignisse mittels logistischer Regression berechnet und risikoadjustierte SMRs bestimmt.
Das Konfidenzintervall beschreibt die Präzision der Lageschätzung eines Parameters (z. B. eines SMR-Wertes). Ein 95 %-Konfidenzintervall schließt den Bereich um den geschätzten Wert des Parameters ein, der mit 95 %-iger Wahrscheinlichkeit die tatsächliche Lage des Parameters trifft. Ein breites Konfidenzintervall (KI) weist auf einen geringen Stichprobenumfang oder auf eine große Streuung des Parameters hin. Im QSR-Verfahren werden alle SMR-Werte sowie andere statistische Kennzahlen mit 95 %-Konfidenzintervallen ausgewiesen. Bei der vergleichenden Qualitätsbewertung von Kliniken wird die Problematik kleiner Fallzahlen und seltener Ereignisse berücksichtigt, indem die Bewertung für die öffentliche Berichterstattung im AOK-Krankenhausnavigator anhand des 95 %-KI der SMR-Werte und nicht allein anhand des SMR-Wertes erfolgt. Einzelheiten dazu finden Sie im Bereich Bewertungssystem.
Beispiel zum Konfidenzintervall
Zwei Kliniken führen Herzoperationen in jeweils 96 % aller Fälle erfolgreich durch. Im Unterschied zu Klinik A, die bereits 500 Herzoperationen durchgeführt hat, wurden in Klinik B dagegen nur 50 Personen am Herzen operiert.
Statistisch betrachtet ist das Eintreten der Erfolgsrate von 96 % in Klinik A wahrscheinlicher als in Klinik B, da sie bereits deutlich mehr Herzoperationen durchgeführt hat. Dies zeigt sich bei den berechneten Konfidenzintervallen:
Für Klinik A liegt das 95 %-Konfidenzintervall zwischen 94 % und 98 %. Das bedeutet, dass mit
95 %-iger Wahrscheinlichkeit die Rate erfolgreicher Herzoperation zwischen 94 % und 98 % liegt.
Für Klinik B beträgt das Konfidenzintervall 84 % bis 100 %.
Da die Patientenstruktur in den Kliniken unterschiedlich sein kann, werden im QSR-Verfahren für die Qualitätsmessung risikoadjustierte SMR-Werte berechnet.
Dazu wurden für die verwendeten Indikatoren Risikoadjustierungsverfahren entwickelt. Die entwickelten risikoadjustierten Modelle basieren auf logistischen Regressionen unter Verwendung von Sandwich-Varianzschätzern nach Huber und White. Diese Modelle werden eingesetzt, um erwartete Ereignisse zu berechnen. Risikoadjustierte SMR-Werte werden dann als Verhältnis von beobachteten Ereignissen zu erwarteten Ereignissen bestimmt. Im QSR-Verfahren wird die Risikoadjustierung der einzelnen Indikatoren für jeden Auswertungszeitraum überprüft und gegebenenfalls angepasst.
Die Risikoadjustierung erfolgt nach Geschlecht, Alter und relevanten Begleiterkrankungen der behandelten Fälle sowie leistungsbereichsabhängig nach weiteren Faktoren, wie z. B. verwendeten Prozeduren. Dabei werden nur solche Begleiterkrankungen zur Risikoadjustierung verwendet, bei denen davon ausgegangen werden kann, dass sie bereits zum Zeitpunkt der Aufnahme bestanden.
Eine detaillierte Beschreibung der verwendeten Adjustierungsvariablen für alle Indikatoren und eine Darstellung der Regressionsgewichte für das aktuelle Verfahrensjahr 2023 ist dem Dokument "Regressionsgewichte" zu entnehmen.
Eine grundsätzliche Problematik bei der Beurteilung der Ergebnisqualität von Kliniken ist, dass die Ereignisse einiger Indikatoren selten auftreten. So beträgt z. B. die 90-Tage-Sterblichkeit nach Implantation einer Hüftgelenks-Endoprothese bei Coxarthrose lediglich 0,45 %. Kombiniert mit geringen Behandlungsfallzahlen führt dies dazu, dass es in diesen Fällen nur sehr eingeschränkt möglich ist, verlässliche Aussagen zur Qualitätsbewertung zu treffen. Um mit dieser Prävalenz-Fallzahl-Problematik in der öffentlichen Berichterstattung umzugehen, wurden im QSR-Verfahren folgende Festlegungen getroffen bzw. Strategien entwickelt:
- Es werden nur Ergebnisse ausgewiesen, wenn im Auswertungszeitraum mindestens 30 AOK-Versicherte in der entsprechenden Klinik und in dem relevanten Leistungsbereich behandelt wurden.
- Die Vergabe der Bewertungssymbole im AOK-Krankenhausnavigator erfolgt anhand des
95 %-KI der SMR-Werte. - Kliniken mit weniger als fünf Ereignissen pro Indikator, die auf der Grundlage des 95 %-KI des SMR-Wertes als unterdurchschnittlich eingestuft würden, werden im AOK-Krankenhausnavigator als "durchschnittlich", d. h. mit einem Indikatorsymbol in Kreisform, bewertet.
- Es werden aus Einzelindikatoren eines Leistungsbereichs zusammengefasste Gesamtindikatoren gebildet und bewertet.