Die Pre-Deployment-Checkliste, die einem Audit standhält

# Die Pre-Deployment-Checkliste, die einem Audit standhält

Eine Chief Actuary bei einem mittelgroßen US-Kfz-Versicherer soll eine Bestätigung unterschreiben, dass ein neues KI-basiertes Underwriting-Modell fair, erklärbar und startklar ist. Sie hat drei Tage. Die Versicherungsaufsicht des Bundesstaats hat bereits angedeutet, dass sie die komplette Modellakte anfordern wird, falls sich die Schadenquoten in den ersten zwei Quartalen unerwartet entwickeln. Das ist kein Gedankenspiel: In etwa dieser Lage befinden sich Chief Actuaries, seit die NAIC (National Association of Insurance Commissioners) 2023 ihr Model Bulletin on the Use of Artificial Intelligence Systems by Insurers verabschiedet hat, das inzwischen von den meisten US-Bundesstaaten übernommen wurde.

Diese Lektion geht die Checkliste der Reihe nach durch, die ein belastbares Sign-off tatsächlich verlangt.

Warum „es funktioniert" kein Sign-off ist

Ein Modell, das die Schadenquote gut vorhersagt, kann in der Governance trotzdem durchfallen. Drei Failure Modes sind in Underwriting und Pricing am wichtigsten:

• Proxy-Diskriminierung: Eine Variable korreliert mit einer geschützten Gruppe (Ethnie, Religion, in einigen Bundesstaaten sexuelle Orientierung), obwohl die Gruppe selbst ausgeschlossen ist. Credit-based Insurance Scores stehen seit Jahren unter dieser Kritik.
• Silent Drift: Das Modell wurde auf Daten von 2023 validiert; bis 2026 haben sich die Schadenmuster verschoben (Inflation bei Kfz-Reparaturkosten, neue Wettermuster bei Sachversicherungen) und das Modell bepreist Risiko stillschweigend falsch.
• Black-Box-Haftung: Wenn eine Aufsichtsbehörde oder ein Versicherungsnehmer fragt „warum wurde ich abgelehnt oder höher eingestuft" und niemand im Unternehmen kann das in verständlicher Sprache beantworten, kann allein das MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßnahmen nach den Unfair-Trade-Practices-Gesetzen der Bundesstaaten auslösen.

Die folgende Checkliste ist darauf angelegt, alle drei Lücken vor Go-live zu schließen.

Schritt 1: Disparate-Impact-Test

Disparate Impact bedeutet, dass eine auf den ersten Blick neutrale Variable für eine geschützte Gruppe deutlich schlechtere Ergebnisse produziert, unabhängig von der Absicht. Das ist der erste Test, denn wenn ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → scheitert, spielt der Rest noch keine Rolle.

Gängige Praxis, abgeleitet aus Methoden des US-Fair-Lending und von den Aufsichtsbehörden der Bundesstaaten angepasst (Colorados SB21-169 mit seinen Regeln zum Algorithmus-Testing ist das am stärksten kodifizierte Beispiel, Stand 2025):

1. Das Modell auf einem Holdout-Datensatz scoren, an den demografische Attribute angehängt sind (separat erhoben, nie in das Modell selbst eingespeist).

2. Ergebnisse über Gruppen hinweg mit einer Adverse Impact Ratio vergleichen: die Annahme- bzw. preislich vorteilhafte Rate der geschützten Gruppe geteilt durch die Rate der Referenzgruppe.

3. Ein häufig zitierter Schwellenwert (entlehnt aus der „Four-Fifths Rule" der US-EEOC im Arbeitsrecht, im Versicherungs-Testing informell übernommen) markiert Verhältnisse unter 0,80 für eine weitergehende Prüfung. Das ist eine Screening-Heuristik, kein rechtlicher Safe Harbor.

Rechenbeispiel: Das Modell bewilligt Preise der Preferred-Stufe für 60 % einer demografischen Gruppe und für 42 % einer anderen.

Adverse Impact Ratio = 42 / 60 = 0,70 → unterhalb der Screening-Linie von 0,80 → löst eine tiefere Prüfung aus, welche Variablen die Lücke treiben.

Colorados Regeln verlangen diese Art von Testing speziell für Algorithmen in der Lebensversicherung als geltende regulatorische Anforderung; andere Sparten und Bundesstaaten folgen. Das AI-Governance-Ressourcenzentrum der NAIC zeigt den Stand der Dinge Bundesstaat für Bundesstaat.

Schritt 2: Audit der Proxy-Variablen

Den aggregierten Disparate-Impact-Test zu bestehen, genügt nicht. Die Chief Actuary braucht ein Audit Variable für Variable:

• Korrelationsanalyse zwischen jedem Modell-Input und bekannten Proxys für geschützte Gruppen durchführen (ZIP-Code korreliert mit Ethnie; Beruf korreliert in manchen Bevölkerungsgruppen mit Religion).
• Removal Sensitivity testen: die verdächtige Variable entfernen, neu trainieren, prüfen, ob sich die Disparate Impact Ratio verbessert, ohne die Prognosegüte wesentlich zu verschlechtern (gemessen über Gini-Koeffizient oder AUC). Bewegt sich die Accuracy kaum, während die Fairness besser wird, ist diese Variable ein schwaches Signal, das auf einem Proxy mitreitet, und wird üblicherweise entfernt.
• Die Entscheidung in beide Richtungen dokumentieren. Aufsichtsbehörden interessiert das Ergebnis weniger als der Nachweis, dass die Analyse stattgefunden hat.

Schritt 3: Explainability-Dokumentation

Explainability heißt hier: die Fähigkeit, für jede einzelne Entscheidung zu benennen, welche Faktoren sie getrieben haben und wie stark.

In einer ausgereiften Governance-Akte werden zwei Ebenen erwartet:

• Globale Explainability: welche Variablen über das gesamte Portfolio hinweg am wichtigsten sind (Feature-Importance-Rankings, typischerweise über SHAP, Shapley Additive Explanations, Werte).
• Lokale Explainability: für jeden einzelnen Versicherungsnehmer ein Reason Code in verständlicher Sprache („höhere Prämie primär getrieben durch Fahrzeug-Reparaturkostenindex und frühere Schadenhäufigkeit").

Ein minimales SHAP-basiertes Reason-Code-Snippet sieht so aus:

import shap

explainer = shap.TreeExplainer(model)
shap_values = explainer(X_applicant)

# top 3 Treiber für diesen konkreten Antragsteller
top_features = (
    shap_values[0].values
    .argsort()[-3:][::-1]
)
reason_codes = [feature_names[i] for i in top_features]

Dieser Output fließt direkt in Adverse Action Notices ein, die die meisten US-Bundesstaaten nach den Unfair-Claims- und Trade-Practices-Statuten verlangen, wenn ein Versicherungsnehmer abgelehnt, nicht verlängert oder höher bepreist wird.

Schritt 4: Backtesting des Challenger-Modells

Vor Go-live werden das Incumbent-Modell (aktuell in Produktion) und der Challenger (das neue KI-Modell) parallel auf demselben historischen Portfolio out-of-time gerechnet.

Checkliste:

• Out-of-time-Validierung: auf einem Zeitraum testen, den das Modell im Training nie gesehen hat (z. B. Training bis 2023, Test auf Schäden von 2024 bis 2025).
• Stabilität der Schadenquote je Segment: prüfen, dass die Performance nicht nur aggregiert gut, sondern über Bundesstaat, Fahrzeugklasse und Altersband hinweg stabil ist.
• Champion-Challenger-Live-Pilot: den Challenger im Shadow Mode laufen lassen, also echte Anträge scoren, ohne auf den Score zu handeln, für ein definiertes Fenster (oft ein vollständiger Underwriting-Zyklus, üblicherweise ein Quartal) vor der vollen Umstellung.
• Prüfung der Override-Rate: verfolgen, wie oft Underwriter das Modell übersteuern. Ein plötzlicher Anstieg nach dem Deployment ist ein Frühwarnsignal für Fehlkalibrierung oder Misstrauen der Nutzer, beides lohnt eine Untersuchung.

Für Sach- und Haftpflichtsparten spiegelt diese Backtesting-Disziplin, was die International Association of Insurance Supervisors (IAIS) in ihrer aufsichtlichen Guidance zu KI beschreibt, und deckt sich zunehmend mit der Einordnung bestimmter Pricing- und Underwriting-Systeme als „hochriskant" im EU AI Act (Verordnung (EU) 2024/1689), die für Versicherer mit EU-Geschäft dokumentiertes Testing, menschliche Aufsicht und Post-Market-Monitoring vorschreibt.

Schritt 5: Sign-off-Paket für die Governance

Wenn die Chief Actuary zur Unterschrift gebeten wird, sollte das Paket enthalten:

1. Ergebnisse des Disparate-Impact-Tests mit den Adverse Impact Ratios je geschützter Gruppe.

2. Audit der Proxy-Variablen mit den Entscheidungen zu Beibehaltung/Entfernung und der Begründung.

3. Explainability-Dokumentation: globale Feature Importance plus Beispiele lokaler Reason Codes.

4. Ergebnisse des Challenger-Backtests, einschließlich Out-of-time-Performance und Daten aus dem Shadow-Mode-Piloten.

5. Einen Monitoring-Plan: benannter Owner, Review-Rhythmus (üblicherweise quartalsweise) und definierte Trigger für eine erneute Prüfung (z. B. Abweichung der Schadenquote über einen festgelegten Schwellenwert hinaus oder eine Adverse Impact Ratio, die nach dem Launch unter 0,80 abdriftet).

6. Modellrisiko-Klassifizierung nach dem internen Model-Risk-Management-Framework des Unternehmens, konsistent mit der Model-Risk-Guidance SR 11-7 der Federal Reserve/OCC, ursprünglich für Banken geschrieben, aber von Modellrisiko-Teams in der Versicherung breit als Best Practice übernommen.

Ohne Punkt 5 ist das Sign-off eine Momentaufnahme, keine Governance. Modelle driften; die Checkliste muss sich wiederholen, nicht nur einmal stattfinden.

🎬 [VIDEO: "How Insurers Are Using AI Responsibly" - youtube.com - nach Paneldiskussionen der NAIC oder der Society of Actuaries zu AI Governance im Versicherungs-Underwriting suchen, nützlich, um Aufseher und Aktuare diese Prüfungen in ihren eigenen Worten diskutieren zu sehen]

Die wichtigsten Erkenntnisse

• Der Disparate-Impact-Test kommt zuerst: Adverse Impact Ratios je geschützter Gruppe berechnen, bevor irgendetwas anderes bewertet wird; ein gängiger Screening-Schwellenwert ist 0,80, entlehnt aus dem US-Arbeitsrecht und im Versicherungsbereich informell übernommen.
• Ein bestandener Aggregatwert genügt nicht: einzelne Variablen mit Removal-Sensitivity-Tests auf Proxy-Diskriminierung prüfen (ZIP-Code, Beruf).
• Explainability muss auf zwei Ebenen funktionieren: globale Feature Importance für die Aufsicht und lokale Reason Codes in verständlicher Sprache für einzelne Versicherungsnehmer (oft für Adverse Action Notices verlangt).
• Challenger-Modelle brauchen Out-of-time-Backtesting und einen Shadow-Mode-Piloten vor der Umstellung; nach dem Launch die Override-Raten als Frühwarnsignal beobachten.
• Governance endet nicht mit dem Sign-off: ein Monitoring-Plan mit benannten Ownern und Drift-Triggern unterscheidet ein echtes Modellrisiko-Framework von einer einmaligen Compliance-Übung, im Einklang mit der Richtung des NAIC Model Bulletin, Colorados Regeln zum Algorithmus-Testing und den Pflichten des EU AI Act für Hochrisikosysteme.