Datenqualität mit branchenspezifischen Metriken messen

# Datenqualität mit branchenspezifischen Metriken messen

Ein Studienkoordinator lädt 4.200 onkologische Patientendatensätze hoch. Auf dem Papier sieht alles vollständig aus. Aber 38 Prozent der Felder zum Tumorstadium sind leer, einige HER2-Status lauten „positve“, und ein Patient hat ein dokumentiertes Gewicht von 6 Kilogramm. Noch bevor ein einziges Modell läuft, lügt dieser Datensatz Sie an.

Diese Lektion gibt Ihnen ein wiederholbares Verfahren, um solche Lügen zu erkennen. Wir nutzen drei Dimensionen der Datenqualität, auf die sich die Biomedizin tatsächlich stützt (Completeness, Conformance und Plausibility), und bewerten damit einen unsauberen onkologischen Datensatz auf seine Analytics-Reife.

Warum onkologische Daten auf vorhersehbare Weise brechen

Onkologische Daten sind aus strukturellen Gründen unsauber, nicht nur aus Nachlässigkeit.

• Mehrere Quellen fließen zusammen. Ein einzelner Datensatz eines Tumorregisters kann sich aus dem EHR (Electronic Health Record, die digitale Patientenakte des Krankenhauses), dem LIS (Laboratory Information System) und als Freitext erfassten Pathologieberichten speisen.
• Standards konkurrieren. Die Krebsstadienbestimmung folgt eventuell dem AJCC (American Joint Committee on Cancer) oder älteren Systemen. Diagnosen verwenden ICD-10 (International Classification of Diseases, 10. Revision) oder ICD-O-3 (die onkologiespezifische Version).
• Zeitverzögerungen. Ein Biomarker-Ergebnis kommt Wochen nach der Diagnose, sodass Felder vorübergehend leer bleiben.

Die Konsequenz: Sie kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen einem Datensatz nicht vertrauen, weil ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → „alle Spalten hat“. Sie messen ihn.

Die drei Dimensionen, definiert

Diese drei stammen direkt aus dem häufig zitierten Kahn-Framework für EHR-Datenqualität, das Forschungsnetzwerke wie OHDSI (Observational Health Data Sciences and Informatics) übernommen haben. Siehe das Open-Access-Paper zur harmonisierten Terminologie für Datenqualitätsbewertung.

1. Completeness

Sind Werte dort vorhanden, wo sie sein sollten? Ein Feld kann absent sein (nie erhoben) oder missing (erwartet, aber leer). Das sind unterschiedliche Probleme.

2. Conformance

Folgen die Werte dem erforderlichen Format, Typ und Vokabular? Ein HER2-Feld sollte einen kontrollierten Wert enthalten („Positive“, „Negative“, „Equivocal“), nicht „positve“ oder „3+ maybe“.

3. Plausibility

Sind die Werte angesichts der klinischen Realität glaubwürdig? Ein erwachsener Patient mit 6 kg fällt bei der Plausibility durch, obwohl das Feld vorhanden und numerisch ist.

Ein Datensatz kann eine Dimension bestehen und bei einer anderen durchfallen. Genau darum misst man sie getrennt.

Den unsauberen onkologischen Datensatz bewerten

Arbeiten wir ein konkretes Beispiel durch. Unser Datensatz: 4.200 Brustkrebsfälle mit diesen Schlüsselfeldern.

| Feld | Gefundenes Problem |

|---|---|

| tumor_stage | 38 % leer |

| her2_status | Freitext-Tippfehler, 12 % non-conforming |

| patient_weight_kg | 3 % implausible Werte |

| diagnosis_date | 1 % nach death_date |

Completeness-Score

Completeness für ein Feld:

completeness = (records with a valid non-null value) / (records where value is expected)

Für tumor_stage: 62 Prozent der 4.200 Datensätze haben einen Wert.

completeness(tumor_stage) = 2,604 / 4,200 = 0.62

Das sind 62 Prozent. Unter den meisten Analytics-Schwellenwerten (Forschungsnetzwerke zielen für zentrale klinische Variablen häufig auf 90 Prozent oder mehr, auch wenn es keinen einheitlichen universellen Standard gibt).

Aber Vorsicht: Manche Leerstellen sind legitim „nicht anwendbar“. Bei einer Patientin, deren Krebs präinvasiv entdeckt wurde, ist ein vollständiges Stadium möglicherweise nicht anwendbar. Trennen Sie Completeness also in „erwartet, aber fehlend“ (ein echtes Problem) und „nicht anwendbar“ (unproblematisch). Wenn 400 dieser Leerstellen tatsächlich nicht anwendbar sind:

adjusted completeness = 2,604 / (4,200 - 400) = 2,604 / 3,800 = 0.685

Jetzt 68,5 Prozent. Immer noch schwach, aber ehrlich.

Conformance-Score

her2_status sollte auf ein kontrolliertes Vokabular abbilden. Zwölf Prozent fallen durch.

conformance(her2_status) = (4,200 - 504) / 4,200 = 3,696 / 4,200 = 0.88

88 Prozent. Die 504 non-conforming Datensätze sind oft rettbar: „positve“, „POS“ und „positive“ lassen sich auf einen kanonischen Wert normalisieren. Conformance-Fehler sind häufig am günstigsten zu beheben, weil sie mechanisch sind.

Plausibility-Score

Zwei Prüfungen hier:

• Range-Check: patient_weight_kg bei Erwachsenen etwa zwischen 30 und 250. 3 Prozent fallen durch.
• Prüfung der zeitlichen Logik: diagnosis_date muss vor death_date liegen. 1 Prozent fällt durch.

plausibility(weight) = (4,200 - 126) / 4,200 = 0.97
plausibility(date_logic) = (4,200 - 42) / 4,200 = 0.99

Die Gewichts-Plausibility liegt bei 97 Prozent, die Datumslogik bei 99 Prozent. Die Datumsfehler sind Warnsignale: Sie deuten meist auf einen Fehler beim Zusammenführen der Daten hin, nicht auf einen echten AusreißererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen →.

Aus Scores ein Reife-Urteil machen

Sie bilden keinen blinden Durchschnitt. Gewichten Sie die Felder danach, wie stark Ihre nachgelagerte Analytik sie braucht.

Angenommen, Sie bauen ein Modell zur Vorhersage des Therapieansprechens, und tumor_stage sowie her2_status sind essenzielle Prädiktoren. Ein Feld-Score von 68,5 Prozent Completeness bei tumor_stage ist ein Blocker, keine Fußnote. Kein MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ß an saubereren Gewichtsdaten kompensiert einen fehlenden Schlüsselprädiktor.

Ein einfaches Reife-Rubrik:

• Grün (bereit): alle essenziellen Felder bei 90 Prozent oder mehr in jeder Dimension.
• Gelb (bedingt): behebbare Conformance-Probleme oder Fehlwerte, die transparent imputiert oder ausgeschlossen werden kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen.
• Rot (nicht bereit): Completeness eines essenziellen Feldes unter dem Schwellenwert oder systematische Plausibility-Fehler, die auf eine defekte PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen → hindeuten.

Unser Datensatz ist Rot, getrieben von der Completeness von tumor_stage. Das HER2-Conformance-Problem ist Gelb (mechanisch behebbar). Die Fehler in der Datumslogik müssen vor allem anderen untersucht werden, denn sie deuten darauf hin, dass der Merge selbst fehlerhaft ist.

Dieses Urteil ist das Ergebnis. „Rot wegen Stadium-Completeness und ungeklärten Fehlern in der Datumslogik“ ist weit nützlicher als ein einzelner Mischwert in Prozent, der den fatalen Mangel verdeckt.

🎬 [VIDEO: "Data QualityData QualityThe degree to which data is fit for purpose: accurate, complete, consistent, timely, valid and unique. Poor quality data undermines analytics, reporting and AI.Vollständige Definition ansehen → in Healthcare: The OHDSI Data QualityData QualityThe degree to which data is fit for purpose: accurate, complete, consistent, timely, valid and unique. Poor quality data undermines analytics, reporting and AI.Vollständige Definition ansehen → Dashboard" - youtube.com - Durchgang durch ein Open-Source-Tool, das tausende automatisierte Conformance- und Plausibility-Checks auf Gesundheitsdaten ausführt]

Die Prüfungen automatisieren

Sie würden 4.200 Datensätze nicht per Auge prüfen. Hier die Logik eines minimalen Conformance- und Plausibility-Checks in Pseudocode im Python-Stil.

VALID_HER2 = {"Positive", "Negative", "Equivocal"}

def score_record(r):
    flags = []
    # Conformance
    if r["her2_status"] not in VALID_HER2:
        flags.append("her2_nonconform")
    # Plausibility: Wertebereich
    if not (30 <= r["patient_weight_kg"] <= 250):
        flags.append("weight_implausible")
    # Plausibility: zeitliche Logik
    if r["diagnosis_date"] > r["death_date"]:
        flags.append("date_logic_fail")
    return flags

Lassen Sie das über den Datensatz laufen, zählen Sie die Flags pro Regel, und Sie haben automatisch Dimensions-Scores auf Feldebene. Tools wie das OHDSI Data Quality Dashboard machen genau das im großen MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßstab und führen tausende Checks gegen ein standardisiertes Datenmodell aus.

Branchenspezifische Benchmarks und Standards

Einige Referenzpunkte für 2026, alle als Kontext zu behandeln, nicht als harte Regeln:

• Common Data Models sind wichtig. Ein Mapping auf OMOP (Observational Medical Outcomes Partnership) oder FHIR (Fast Healthcare Interoperability Resources, der HL7-Standard für den Austausch von Gesundheitsdaten) erlaubt es, veröffentlichte Qualitätschecks wiederzuverwenden statt eigene zu erfinden.
• Regulatorische Erwartungen existieren. Für Daten, die Zulassungsanträge für Arzneimittel oder Medizinprodukte stützen, erwarten die US-amerikanische FDA (Food and Drug Administration) und die EMA (European Medicines Agency) Datenintegrität nach den ALCOA+-Prinzipien: Attributable, Legible, Contemporaneous, Original, Accurate, plus Complete, Consistent, Enduring, Available. Beachten Sie die Überschneidung: Completeness und Accuracy sind regulatorische Erwartungen, nicht bloß Annehmlichkeiten der Analytik.
• Die Prüfung von Real-World-Daten nimmt zu. Das Real-World-Evidence-Framework der FDA behandelt Datenzuverlässigkeit ausdrücklich, was direkt auf Conformance und Plausibility abbildet.

Es gibt keinen einzigen gesetzlich vorgeschriebenen Completeness-Prozentsatz. Was Regulierer verlangen, ist, dass Sie Ihre Qualitätsbewertung und Ihren Umgang mit Defekten dokumentieren. Ein transparentes Gelb ist verteidigbar. Ein verstecktes Rot nicht.

Eine Anmerkung zu Medtech-Gerätedaten

Dieselben drei Dimensionen gelten für gerätegenerierte Daten (ein kontinuierliches Glukosemesssystem, das Log einer Infusionspumpe).

• Completeness: Lücken in einer Sensor-Zeitreihe (ausgefallene Messwerte).
• Conformance: Zeitstempel in der erwarteten Zeitzone und Einheit.
• Plausibility: ein Glukosewert von 900 mg/dL, der wahrscheinlich einen Sensorfehler widerspiegelt und keinen Patienten.

Bei hochfrequenten Gerätedaten wird Plausibility oft zur dominierenden Sorge, weil Sensoren vorhandene, gut formatierte, aber physiologisch unmögliche Werte produzieren.

Wichtigste Erkenntnisse

• Messen Sie drei Dimensionen getrennt. Completeness, Conformance und Plausibility erfassen verschiedene Fehler. Ein Datensatz kann complete, aber implausibel sein, oder gut formatiert und doch leer an den entscheidenden Stellen.
• Bewerten Sie Felder, nicht nur Datensätze. 68,5 Prozent Completeness bei tumor_stage (einem essenziellen Prädiktor) machen den Datensatz Rot, egal wie sauber alles andere ist.
• Trennen Sie „missing“ von „nicht anwendbar“. Die Anpassung des Nenners machte aus 62 Prozent ehrliche 68,5 Prozent und vermied, legitime Leerstellen zu bestrafen.
• Conformance ist oft günstig, Plausibility-Fehler sind oft Warnungen. Tippfehler lassen sich leicht normalisieren; ein diagnosis_date nach dem death_date signalisiert meist einen fehlerhaften Daten-Merge.
• Dokumentieren, nicht verstecken. Regulierer (FDA, EMA) und Forschungsnetzwerke (OHDSI) erwarten eine transparente Qualitätsbewertung. Ein verteidigbares Gelb schlägt ein verborgenes Rot.