Data quality
Auch: DQ, Data Quality, Information quality, Qualite des donnees
Der Grad, in dem Daten für ihren Zweck geeignet sind: korrekt, vollständig, konsistent, aktuell, valide und eindeutig. Schlechte Datenqualität untergräbt Analytics, Reporting und KI.
Worum es geht
Data quality misst, wie gut ein Datensatz dem Zweck dient, für den er verwendet wird. Das ist kein abstraktes Ideal, sondern eine Beurteilung relativ zu einem konkreten Anwendungsfall: Daten, die für eine Marketing-Segmentierung gut genug sind, können für die Finanzberichterstattung unbrauchbar sein. Qualität wird meist in sechs verbreitete Dimensionen aufgeteilt:
- Accuracy: Werte beschreiben die Realität korrekt (die Adresse eines Kunden ist seine tatsächliche Adresse).
- Completeness: erforderliche Felder und Datensätze sind vorhanden (keine fehlenden Umsatzpositionen).
- Consistency: Werte stimmen über Systeme hinweg überein (derselbe Kunde hat in CRM und Billing denselben Status).
- Timeliness: Daten sind aktuell genug für die Entscheidung (Lagerbestand von gestern, nicht vom letzten Monat).
- Validity: Werte entsprechen definierten Regeln und Formaten (ein Datum ist ein echtes Datum, ein Ländercode existiert).
- Uniqueness: keine unbeabsichtigten Duplikate (ein Datensatz pro Kunde, nicht drei).
Warum das wichtig ist
Jede nachgelagerte Verwendung erbt die Qualität ihrer Inputs. Dashboards, regulatorische Meldungen, machine-learning-Modelle und Kundenkommunikation verschlechtern sich alle, wenn die zugrunde liegenden Daten falsch, veraltet oder doppelt vorhanden sind. Die Kosten sind selten als einzelne Position sichtbar; sie zeigen sich als Nacharbeit, falsche Entscheidungen, Compliance-Risiko und schwindendes Vertrauen in Daten.
Wie es in der Praxis genutzt wird
Unternehmen setzen data quality operativ um über:
- Profiling: Daten scannen, um Muster, Wertebereiche und Anomalien zu entdecken.
- Regeln und Validierung: Erwartungen kodieren (zum Beispiel `age between 0 and 120`).
- Scorecards und Schwellenwerte: Dimensions-Scores über Zeit verfolgen und bei Verschlechterung alarmieren.
- Remediation: an der Quelle korrigieren, deduplizieren und aus vertrauenswürdigen Referenzen anreichern.
- Ownership: Data Stewards benennen, die für bestimmte Domänen verantwortlich sind.
Qualität wird laufend gemessen, nicht einmalig. Gängige Praxis ist, jedem kritischen Datensatz einen data quality score zuzuordnen (Anteil der Datensätze, die die Regeln bestehen).
Rechenbeispiel
Ein Unternehmen hat 100.000 Kundendatensätze. Die Prüfungen zeigen:
- 4.000 doppelte Datensätze (uniqueness verletzt).
- 7.000 fehlende E-Mail-Adressen (completeness verletzt).
- 2.000 ungültige Postleitzahlen (validity verletzt).
Wenn eine Marketingkampagne per E-Mail ausspielt, sind rund 7 Prozent der Kunden nicht erreichbar, und die Duplikate blähen die ausgewiesene reach auf. Erst deduplizieren und validieren erhöht die Kampagnengenauigkeit und senkt verschwendete Spendings. Derselbe bereinigte Datensatz versorgt anschließend Finance- und AI-Teams, eine Korrektur wirkt also über Funktionen hinweg.
Häufige Fragen
Was bedeutet data quality konkret?
Data quality misst, wie gut ein Datensatz dem Zweck dient, für den er verwendet wird. Es ist eine Beurteilung relativ zu einem konkreten Anwendungsfall, kein absoluter Standard: eine Kundendatei, die für Marketing-Segmentierung funktioniert, kann für die Finanzberichterstattung unbrauchbar sein. Bewertet wird üblicherweise entlang von sechs Dimensionen: accuracy, completeness, consistency, timeliness, validity und uniqueness.
Was sind die sechs Dimensionen von data quality?
Accuracy (Werte beschreiben die Realität), completeness (erforderliche Felder und Datensätze sind vorhanden), consistency (Werte stimmen über Systeme hinweg überein), timeliness (Daten sind aktuell genug für die Entscheidung), validity (Werte halten definierte Regeln und Formate ein) und uniqueness (keine unbeabsichtigten Duplikate). Jede Dimension scheitert anders, also braucht jede eigene Prüfungen: ein doppelter Datensatz ist ein uniqueness-Problem, ein leeres E-Mail-Feld ein completeness-Problem.
Wen in einem Führungsteam betrifft data quality?
Marketing-, Finance-, Data- und AI-Verantwortliche erben alle die Qualität derselben Inputs. Ein CMO sieht sie als nicht erreichbare Kontakte und aufgeblähte reach, ein CFO als Meldungen, die nachgearbeitet werden müssen, ein CDO als schwindendes Vertrauen in Dashboards, ein AI Lead als Modelle, die auf falschen Werten trainiert wurden. Wegen dieser gemeinsamen Abhängigkeit wirkt eine Bereinigung über Funktionen hinweg.
Wie misst man data quality in der Praxis?
Indem Erwartungen als Regeln kodiert werden (zum Beispiel age between 0 and 120), diese laufend ausgeführt werden und der Anteil der Datensätze verfolgt wird, die sie bestehen. Gängige Praxis ist, jedem kritischen Datensatz einen data quality score zuzuordnen, also den Prozentsatz der Datensätze, die die Regeln bestehen, mit Schwellenwerten, die bei fallenden Scores einen Alert auslösen. Profiling kommt zuerst, um Muster, Wertebereiche und Anomalien zu entdecken, bevor die Regeln geschrieben werden.
Was kostet schlechte Datenqualität bei einer Kundendatei mit 100.000 Datensätzen?
Nehmen Sie eine Datei mit 4.000 Duplikaten, 7.000 fehlenden E-Mail-Adressen und 2.000 ungültigen Postleitzahlen. Eine E-Mail-Kampagne erreicht rund 7 Prozent der Kunden nicht, während die Duplikate die ausgewiesene reach aufblähen, also sind sowohl die Spendings als auch die Leistungsmessung falsch. Deduplizieren und Validieren vor dem Versand erhöht die Targeting-Genauigkeit, und die bereinigte Datei dient anschließend auch Finance- und AI-Teams.