Datenqualität messen mit Completeness- und Accuracy-Metriken

# Datenqualität messen mit Completeness- und Accuracy-Metriken

Um 7:15 Uhr öffnet eine Portfoliomanagerin (PM) für Fixed Income ihr Risiko-Dashboard und sieht, dass 4 ihrer 320 Unternehmensanleihen keinen Preis vom vorherigen Close zeigen. Diese 4 Positionen machen 2,8 % des Buchs nach Marktwert aus. Soll sie um 8:00 Uhr handeln? Diese einzelne Entscheidung hängt an Data-Quality-Metriken (DQDQDer Grad, in dem Daten für ihren Zweck geeignet sind: korrekt, vollständig, konsistent, aktuell, valide und eindeutig. Schlechte Datenqualität untergräbt Analytics, Reporting und KI.Vollständige Definition ansehen →): Coverage, Staleness und Tolerance Breaks. Diese Lektion verwandelt diese vagen Sorgen in Zahlen, die Sie in ein Service Level Agreement (SLA) schreiben kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen.

Warum Fixed Income der schwierige Fall ist

Aktien handeln an transparenten Börsen mit kontinuierlichen Preisen. Eine Large-Cap-Aktie hat jede Sekunde einen klaren, mit Timestamp versehenen letzten Trade.

Anleihen nicht. Die meisten Unternehmens- und Kommunalanleihen handeln over the counter (OTC), also Dealer zu Dealer, nicht an einer Börse. Eine bestimmte Anleihe handelt möglicherweise tagelang nicht. Preise sind häufig „evaluated prices“: modellbasierte Schätzungen von Pricing-Vendors wie Bloomberg (BVAL), ICE Data Services oder Refinitiv, keine tatsächlichen Transaktionen.

Deshalb ist DQDQDer Grad, in dem Daten für ihren Zweck geeignet sind: korrekt, vollständig, konsistent, aktuell, valide und eindeutig. Schlechte Datenqualität untergräbt Analytics, Reporting und KI.Vollständige Definition ansehen →-Messung unverzichtbar. Sie fragen nicht „ist der Preis richtig?“ Sie fragen „wie sicher bin ich, und wie weit kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnte ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → falsch sein?“

Die vier Metriken, die zählen

1. Coverage Ratio (Completeness)

Coverage Ratio = Positionen mit einem gültigen Attribut / Gesamtzahl Positionen. Messen Sie sie pro Attribut, nicht nur insgesamt.

Ein Fixed-Income-Buch braucht separate Coverage für: Preis, Rendite, Duration, Rating und Sektorklassifizierung. Eine Anleihe kann einen Preis haben, aber kein Credit Rating, was Ihre Risikoaggregation bricht.

Rechenbeispiel, Stand eines hypothetischen Close:

• Buch: 320 Anleihen
• Anleihen mit gültigem Vendor-Preis: 316
• Preis-Coverage = 316 / 320 = 98,75 %

Aber gewichten Sie nach Marktwert, denn 4 fehlende Kleinstpositionen wiegen weniger als 1 fehlende große.

• Marktwertgewichtete Preis-Coverage = (gesamter bepreister MV) / (gesamter MV) = 97,2 % in unserer Eingangsszene

Berichten Sie immer beides: anzahlbasierte und wertgewichtete Coverage. PMs interessiert die wertgewichtete Zahl.

2. Staleness Threshold (Timeliness)

Ein stale price ist ein Preis, der sich innerhalb eines akzeptablen Zeitfensters nicht geändert oder aktualisiert hat. Für eine aktiv gehandelte On-the-run-US-Treasury ist ein Preis, der intraday älter als ein paar Minuten ist, stale. Für eine illiquide High-Yield-Anleihe kann ein 2 Tage alter evaluated price völlig normal sein.

Staleness Thresholds müssen also nach Liquidität der Assets gestaffelt werden:

| Instrumentenklasse | Staleness Threshold (illustrativ) |

|---|---|

| On-the-run US Treasuries | 15 Minuten intraday |

| Investment-Grade-Unternehmensanleihen | 1 Geschäftstag |

| High-Yield-Unternehmensanleihen | 2 Geschäftstage |

| Private / illiquide Credit | 5 Geschäftstage, dann Eskalation |

Das sind illustrative betriebliche Entscheidungen, keine regulatorischen Standards. Jedes Haus kalibriert sie selbst.

Staleness Rate = Positionen, die den Threshold reißen / Gesamtzahl Positionen. Wenn 12 von 320 Anleihen ihren Tier-Threshold überschreiten, ist die Staleness Rate = 3,75 %.

3. Tolerance Breaks (Accuracy)

Sie kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen einen Anleihepreis nicht gegen „den wahren Preis“ prüfen, weil es oft keinen Trade gibt. Sie prüfen also auf interne Konsistenz und Übereinstimmung zwischen Quellen.

Ein Tolerance Break ist eine Differenz zwischen zwei Quellen (oder zwischen heute und gestern), die einen vorab festgelegten Threshold überschreitet.

Zwei gängige Checks:

• Day-over-day-Preisbewegungscheck. Flaggen Sie jede Anleihe, deren Preis sich um mehr als etwa 2 Punkte (2 % des Nominals) bewegt hat, ohne entsprechendes Marktereignis. Ein vertippter Preis von 98, eingegeben als 89, wird hier gefangen.
• Cross-Vendor-Check. Vergleichen Sie Bloomberg BVAL gegen ICE. Flaggen Sie Differenzen über einer Toleranz, oft ausgedrückt in Basispunkten (bps) der Rendite. Ein Basispunkt = 0,01 %. Eine gängige Toleranz für Unternehmensanleihen liegt bei 10 bis 25 bps Yield Spread.

Tolerance Break Rate = geflaggte Positionen / Gesamtzahl Positionen.

4. Exception Rate und Resolution

Eine Exception ist jedes DQDQDer Grad, in dem Daten für ihren Zweck geeignet sind: korrekt, vollständig, konsistent, aktuell, valide und eindeutig. Schlechte Datenqualität untergräbt Analytics, Reporting und KI.Vollständige Definition ansehen →-Flag, das eine manuelle Prüfung erfordert: ein fehlender Preis, ein stale price oder ein Tolerance Break. Die Exception Rate ist die Gesamtzahl Exceptions geteilt durch die Gesamtzahl geprüfter Datenpunkte.

Die Metrik, die PMs und Operations-Teams tatsächlich verhandeln, ist nicht nur, wie viele Exceptions es gibt, sondern wie schnell sie abgearbeitet werden.

• Exception Resolution Time: Median und 95. Perzentil der Zeit bis zum Schließen einer Exception.
• Aged Exceptions: Anzahl, die über das SLA-Fenster hinaus offen ist (zum Beispiel nach 2 Stunden am Pricing-Tag noch ungelöst).

Metriken in SLAs überführen

Ein SLA ist ein schriftliches Versprechen, meist zwischen dem Data-Operations-Team und dem Front Office, das Ziele und Konsequenzen festlegt. Ein Fixed-Income-Pricing-SLA legt typischerweise fest:

• Bepreistes Buch fertig bis zu einer Cutoff-Zeit (zum Beispiel 6:30 Uhr lokal für einen Trading Desk, der um 8:00 Uhr öffnet).
• Wertgewichtete Preis-Coverage >= 99,5 % zum Cutoff.
• Staleness Rate <= 2 % zum Cutoff.
• Alle Tolerance Breaks über dem Threshold geprüft und dispositioniert vor dem Cutoff.
• Kritische Exceptions (große Positionen, Benchmark-Bestandteile) gelöst mit einem namentlich benannten Eskalationsweg.

Das Wort „dispositioniert“ ist wichtig: Ein Break muss nicht behoben werden, ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → muss geprüft und eine Entscheidung dokumentiert werden (akzeptieren, überschreiben oder halten). Ein dokumentiertes Override mit Begründung ist gute Governance. Ein stillschweigend geänderter Preis nicht.

Zum regulatorischen Hintergrund: Valuation Governance liegt in Europa unter den Frameworks AIFMD (Alternative Investment Fund Managers Directive) und UCITS (Undertakings for Collective Investment in Transferable Securities), beide beaufsichtigt von der ESMA (European Securities and Markets Authority). In den USA wird Fund Valuation durch Rule 2a-5 unter dem Investment Company Act von 1940 geregelt, durchgesetzt von der SEC (Securities and Exchange Commission). Rule 2a-5 verlangt ausdrücklich, dass Boards Fair-Value-Prozesse überwachen und die Qualität von Pricing Services monitoren, was genau diese Metriken belegen. Das Adopting Release der SEC lesen Sie auf der Rule-2a-5-Seite der SEC.

Ein minimaler DQDQDer Grad, in dem Daten für ihren Zweck geeignet sind: korrekt, vollständig, konsistent, aktuell, valide und eindeutig. Schlechte Datenqualität untergräbt Analytics, Reporting und KI.Vollständige Definition ansehen →-Check im Code

Hier der Day-over-day-Toleranzcheck in einfachem Python, so wie ihn ein Operations-Analyst vor dem Cutoff laufen lässt.

import pandas as pd

# prices: columns = cusip, price_today, price_prior, market_value
df = pd.read_csv("book_prices.csv")

# Toleranz: Bewegungen über 2 Punkte des Nominals flaggen (Nominal = 100)
df["move"] = (df["price_today"] - df["price_prior"]).abs()
df["break_flag"] = df["move"] > 2.0

# fehlender Preis = Completeness-Lücke
df["missing"] = df["price_today"].isna()

# wertgewichtete Coverage
priced_mv = df.loc[~df["missing"], "market_value"].sum()
total_mv  = df["market_value"].sum()
coverage_vw = priced_mv / total_mv

print(f"VW price coverage: {coverage_vw:.2%}")
print(f"Tolerance breaks:  {df['break_flag'].sum()}")
print(f"Missing prices:    {df['missing'].sum()}")

Der Output ist Ihr morgendliches SLA-Scorecard: drei Zahlen, die entscheiden, ob das Buch handelbar ist.

Die Zahlen lesen wie ein PM

Metriken ohne Kontext führen in die Irre. Drei Gewohnheiten unterscheiden einen nützlichen DQDQDer Grad, in dem Daten für ihren Zweck geeignet sind: korrekt, vollständig, konsistent, aktuell, valide und eindeutig. Schlechte Datenqualität untergräbt Analytics, Reporting und KI.Vollständige Definition ansehen →-Report von einem verrauschten.

Nach Liquidität segmentieren. Eine Coverage Ratio von 96 % kann für ein Distressed-Debt-Buch exzellent und für einen Treasury-Fonds alarmierend sein. Berichten Sie Coverage nach Rating-Bucket und nach Liquiditäts-Tier, nie als eine gemischte Zahl.

Nach Risiko gewichten, nicht nur nach Wert. Ein fehlender Preis bei einer 30-jährigen Anleihe mit langer Duration verzerrt die Portfolio-Duration weit stärker als ein fehlender Preis bei einem 3-Monats-Bill mit demselben Marktwert. Fortgeschrittene Häuser gewichten Coverage nach Beitrag zum Zinsrisiko (DV01, die Wertänderung in Dollar pro 1 bp Bewegung), nicht nur nach Marktwert.

Den Trend beobachten, nicht den Snapshot. Eine Staleness Rate, die über einen Monat von 1,5 % auf 3 % kriecht, signalisiert oft einen verfallenden Vendor-Feed oder einen Mapping-Fehler, lange bevor ein einzelner Tag das SLA reißt.

Eine Anmerkung zu Benchmark- und Referenzdaten

Pricing ist nur die Hälfte des Buchs. Fixed-Income-Analytics hängen auch an Referenzdaten: Kupon, Laufzeit, Day-Count-Konvention, Call-Schedules und Emittentenhierarchie. Ein falsches Call-Datum korrumpiert stillschweigend jede Yield-to-worst-Berechnung downstream.

Coverage- und Accuracy-Metriken gelten auch hier. Verfolgen Sie „Reference Completeness“ (Prozentsatz der Anleihen mit vollständigem, validiertem Static-Data-Record) als eigenes SLA, oft mit Ziel über 99,9 %, weil diese Felder selten wechseln und Fehler still weiterleben.

Key Takeaways

• Pro Attribut messen, nicht pro Buch. Verfolgen Sie Coverage, Staleness und Tolerance Breaks separat für Preis, Rendite, Rating und Referenzdaten. Eine gemischte Zahl verdeckt die Lücken, die wehtun.
• Coverage zweifach berichten: anzahlbasiert und wertgewichtet, idealerweise auch risikogewichtet (DV01). PMs handeln auf Basis der risikogewichteten Zahl.
• Jeden Threshold nach Liquidität staffeln. Ein 2 Tage alter evaluated price ist für eine Treasury stale und für eine High-Yield-Anleihe normal. Ein Threshold für alle Instrumente ist eine kaputte Metrik.
• SLAs sind Versprechen mit Cutoffs und Eskalation. Typische Ziele (illustrativ, nicht regulatorisch): wertgewichtete Coverage >= 99,5 %, Staleness <= 2 %, alle Tolerance Breaks dispositioniert, bevor der Trading Desk öffnet.
• Governance bedeutet dokumentierte Entscheidungen. Rule 2a-5 in den USA und AIFMD/UCITS in Europa erwarten dokumentierte Überwachung der Pricing-Qualität. Ein Override mit protokollierter Begründung ist verteidigbar; eine stille Preisänderung nicht.