Benchmarking der Analytics-Performance im Banking

# Benchmarking der Analytics-Performance im Banking

Eine große europäische Retailbank stellte irgendwann fest, dass 40 % ihrer „aktiven" Dashboards seit über sechs Monaten nicht mehr geöffnet worden waren. Die interne Scorecard des Analytics-Teams wies dennoch „100 % Delivery" gegenüber der Roadmap aus. Delivery und Impact sind nicht dasselbe. In dieser Lektion geht es darum, beides auseinanderzuhalten.

Warum Benchmarking im Banking schwierig ist

Banken verfügen über mehr Dateninfrastruktur als fast jede andere Branche: Kernbankensysteme, Trading-Plattformen, Risk Engines, Fraud-Modelle, Pipelines für das Regulatory Reporting. Die meisten Gespräche über Performance enden aber bei „Haben wir das Projekt geliefert?" und nicht bei „Ist das Analytics-Estate gesund?"

Gesund heißt: Daten kommen pünktlich an, Modelle bleiben genau, Pipelines brechen nicht stillschweigend zusammen, und die Menschen, die Insights nutzen sollen, tun es tatsächlich. Für jeden dieser Punkte gibt es einen messbaren Proxy. Führungskräfte, die für diese vier Felder die Zahlen ihrer Bank nicht nennen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, steuern Analytics per Anekdote.

Die relevanten Daten: Quellen, die es zu tracken lohnt

Bevor Sie irgendetwas benchmarken, sollten Sie wissen, was durch das Estate fließt:

• Kernbankdaten: Kontostände, Transaktionen, Produktbestände, erzeugt von Systemen wie den Cores von Temenos, FIS oder Finastra.
• Payments-Daten: SWIFT-Nachrichten, Kartennetzwerke (Visa, Mastercard), Echtzeit-Rails wie FedNow in den USA oder SEPA Instant Credit Transfer in Europa.
• Risiko- und Kreditdaten: Kreditperformance, Bewertungen von Sicherheiten, Feeds von Kreditbüros (Experian, Equifax, TransUnion in den USA; Schufa in Deutschland).
• Daten für das Regulatory Reporting: Feeds für Meldungen unter Basel III (das internationale Rahmenwerk zur Bankeneigenkapitalausstattung des Basler Ausschusses für Bankenaufsicht) oder CCAR (Comprehensive Capital Analysis and Review, das Stresstest-Regime der US Federal Reserve).
• Daten zur Kundeninteraktion: App-Clickstreams, Call-Center-Logs, KYC-Datensätze (Know Your Customer), die für Onboarding und AML-Prüfungen (Anti-Money Laundering) genutzt werden.

Jede Quelle hat eine andere Erwartung an die Aktualisierung. Kernbankpositionen werden vielleicht täglich aktualisiert, Payments-Daten fließen nahezu in Echtzeit, regulatorische Meldungen erfolgen periodisch (monatlich, quartalsweise). Benchmarking ohne Kenntnis der erwarteten Kadenz der *Quelle* ist sinnlos.

Metriken für Datenqualität und Governance

Das sind die Metriken, die entscheiden, ob alles, was auf den Daten aufbaut, vertrauenswürdig ist.

Dimensionen der Datenqualität (ein branchenweit genutztes Framework, das sich auch in den Vorgaben der BCBS 239-Prinzipien des Basler Ausschusses zur Aggregation von Risikodaten wiederfindet):

• Vollständigkeit: % der erforderlichen Felder, die gefüllt sind. Ein KYC-Datensatz ohne Angaben zum wirtschaftlich Berechtigten ist unvollständig.
• Genauigkeit: % der Datensätze, die einer vertrauenswürdigen Source of Truth entsprechen.
• Aktualität: Verzögerung zwischen einem Ereignis (einer Transaktion) und seiner Verfügbarkeit im Reporting Layer.
• Konsistenz: Stimmen dieselbe Kunden-ID und derselbe Saldo im Hypothekensystem und im Data WarehouseData WarehouseA central repository that consolidates data from many source systems into a structured, query-optimized store designed for analytics, reporting, and business intelligence.Vollständige Definition ansehen → überein?

Governance-Metriken:

• Abdeckung der Data Lineage: % der kritischen Datenelemente mit dokumentiertem, nachvollziehbarem Pfad vom Quellsystem bis zum Report. BCBS 239 verlangt dies für global systemrelevante Banken faktisch.
• Zeit bis zur Behebung von Issues: durchschnittliche Anzahl Tage, um ein gemeldetes Datenqualitätsproblem zu beheben.
• Bestehensquote bei Access-Control-Audits: % der Systeme, die periodische Access Reviews bestehen, relevant unter der DSGVO (Datenschutz-Grundverordnung, EU) und US-Datenschutzgesetzen auf Bundesstaatenebene.

Ein durchgerechnetes Beispiel. Angenommen, das Kreditbuch einer Bank umfasst 500.000 aktive Konten. Ein Datenqualitätsaudit findet 12.500 Datensätze mit fehlender oder veralteter Bewertung der Sicherheiten.

Completeness rate = (500,000 - 12,500) / 500,000 = 97.5%

Eine Vollständigkeitsquote von 97,5 % klingt hoch. Konzentrieren sich die fehlenden 2,5 % aber im Gewerbeimmobilienbuch, ist die Risikoexponierung deutlich materieller, als der Prozentwert suggeriert. Segmentieren Sie Qualitätsmetriken immer nach Portfolio, nicht nur aggregiert.

Benchmarks für Analytics und Messung

Hier wird geprüft, ob wirklich geliefert wird.

PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen →-Uptime

Banken berichten zunehmend die Einhaltung von SLAs (Service Level Agreements) für Datenpipelines: den % der geplanten Data Jobs, die innerhalb ihres Zeitfensters abgeschlossen werden. Branchenschätzungen für ausgereifte Datenplattformen von Banken setzen die Ziel-Uptime bei rund 99,5 % für kritische Regulatory- und Risk-Feeds an (Schätzung, ein einheitlicher öffentlicher Benchmark existiert nicht; interne Zielwerte sind institutsspezifisch zu betrachten).

Kadenz des Model Refresh

Fraud- und Kreditrisikomodelle verlieren an Trennschärfe, wenn sich das Kundenverhalten verschiebt. Ein üblicher Benchmark:

• Fraud-Detection-Modelle: monatlich bis quartalsweise neu trainiert.
• Credit-Scoring-Modelle: mindestens jährlich überprüft, mit regulatorischer Validierung unter Frameworks wie SR 11-7 (Leitlinie der US Federal Reserve zum Model Risk Management).
• Marktrisikomodelle: benötigen oft tägliche Rekalibrierungs-Inputs, formale Revalidierung jährlich oder bei Trigger-Events.

Ein Modell, das seit zwei Jahren unangetastet ist und weiterhin „in Produktion" läuft, ist unabhängig von der bisherigen Performance ein Warnsignal, weil die Population, auf der es trainiert wurde, nicht mehr den heutigen Kunden entspricht.

Adoption von Dashboards und Tools

Das ist der am meisten vernachlässigte Benchmark. Gängige Metriken:

• Monthly Active Users (MAU) pro Dashboard, relativ zur Größe der adressierten Zielgruppe.
• Query-to-Decision-Ratio: qualitativ, aber über Nutzerbefragungen getrackt: Geben die Leute an, das Dashboard tatsächlich für eine Entscheidung zu nutzen, oder nur um eine Zahl zu prüfen?
• Shelf-Life: % der Dashboards, die 12 Monate nach Launch noch aktiv genutzt werden. Branchenkommentare (z. B. Gartner) schätzen seit langem, dass ein großererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → Teil der BIBITechnologies and processes that turn raw data into actionable insights via reporting, dashboards and analysis, so teams can decide based on facts rather than intuition.Vollständige Definition ansehen →-Dashboards (Business IntelligenceBusiness IntelligenceTechnologies and processes that turn raw data into actionable insights via reporting, dashboards and analysis, so teams can decide based on facts rather than intuition.Vollständige Definition ansehen →) branchenübergreifend innerhalb eines Jahres in die Nichtnutzung fällt; Banken sind davon nicht ausgenommen.

Eine brauchbare Ratio für den Plausibilitätscheck:

Adoption rate = Monthly active users / Total licensed users

Wenn eine Bank 3.000 Mitarbeitende für ein BIBITechnologies and processes that turn raw data into actionable insights via reporting, dashboards and analysis, so teams can decide based on facts rather than intuition.Vollständige Definition ansehen →-Tool wie Tableau oder Power BIBITechnologies and processes that turn raw data into actionable insights via reporting, dashboards and analysis, so teams can decide based on facts rather than intuition.Vollständige Definition ansehen → lizenziert hat, sich aber nur 450 monatlich einloggen, ergibt das eine Adoption Rate von 15 %. Stellt man das den Lizenzkosten gegenüber, wirkt das Narrativ „wir haben Self-Service-Analytics ausgerollt" deutlich weniger beeindruckend.

Zusammengesetzt: eine Benchmarking-Scorecard

Eine glaubwürdige Scorecard zur Analytics-Health für die Führungsebene einer Bank sollte mindestens enthalten:

| Kategorie | Beispielmetrik | Warum sie zählt |

|---|---|---|

| Datenqualität | Vollständigkeit, Genauigkeit in % je Portfolio | Verhindert schlechte Entscheidungen downstream |

| Governance | Lineage-Abdeckung, Behebungszeit | Regulatorische Exponierung, Audit-Bereitschaft |

| PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen →-Health | SLA-Einhaltung in % | Arbeiten Entscheider mit veralteten Daten? |

| Model Health | Refresh-Kadenz, Validierungsstatus | Sind Risk-/Fraud-Tools noch zweckmäßig? |

| Adoption | MAU/lizenzierte Nutzer, Dashboard-Shelf-Life | Wird Analytics genutzt oder nur gebaut? |

Keine dieser Metriken ersetzt Business Outcomes (Verlustreduktion, schnellere Genehmigungen), aber sie sind die Frühindikatoren. Ist die PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen →-Uptime schlecht oder die Adoption niedrig, werden am Ende auch die Zahlen zum Business Outcome leiden.

Key Takeaways

• Benchmarken Sie Banking-Analytics entlang von vier Achsen: Datenqualität, Governance, PipelinePipelineAll active sales opportunities across the stages of the sales process, together with their combined potential value and probability of closing.Vollständige Definition ansehen →-Health und Adoption. „Projekt geliefert" ist nicht dasselbe wie „Wert geliefert".
• Segmentieren Sie Datenqualitätsmetriken nach Portfolio. Eine aggregierte Vollständigkeitsquote von 97,5 % kann eine gefährliche Konzentration von Lücken in einem risikoreichen Segment verdecken.
• Kennen Sie die erwartete Refresh-Kadenz je Datentyp: Fraud-Modelle brauchen monatliches bis quartalsweises Retraining, Kreditmodelle mindestens eine jährliche Revalidierung unter Frameworks wie SR 11-7.
• Adoption ist der am wenigsten gemessene Benchmark. Tracken Sie Monthly Active Users gegen lizenzierte Nutzer und das Dashboard-Shelf-Life, nicht nur Deployment-Zahlen.
• Governance-Frameworks wie BCBS 239 geben Banken (besonders global systemrelevanten) einen echten regulatorischen Grund, Lineage-Tracking und Metriken zur Issue-Behebung zu formalisieren, nicht nur eine Best-Practice-Empfehlung.