Modellrisiko in der Produktion: wenn KI driftet, versagt oder in die Irre führt

# Modellrisiko in der Produktion: wenn KI driftet, versagt oder in die Irre führt

Dienstag, 2 Uhr nachts: Ein kamerabasiertes System zur Fehlererkennung an einer Pressenlinie in der Automobilproduktion meldet keine gerissenen Halter mehr. Nicht, weil es kaputt ist. Sondern weil ein neuer Stahllieferant den Oberflächenglanz gerade so weit verändert hat, dass die Trainingsdaten des Modells nicht mehr zur Realität passen. Sechs Stunden und 4.000 Teile später fällt jemandem auf, dass die Ausschussquote auf null gefallen ist, und genau das ist der Hinweis: Eine gesunde Linie weist immer einige Teile aus. Niemand hat das gewollt. Niemand hat das einprogrammiert. Es ist passiert, weil das Modell unbemerkt gedriftet ist und niemand hingeschaut hat.

Das ist Modellrisiko: die Möglichkeit, dass ein KI-System falsche, verzerrte oder unzuverlässige Outputs produziert, die finanziellen, sicherheitsrelevanten oder reputativen Schaden verursachen. In der Produktion bleibt Modellrisiko nicht im Dashboard. Es wird zu Ausschuss, Rückrufen, verpassten Lieferterminen oder verletzten Mitarbeitern.

Warum die Produktion ein eigenes Risikoumfeld ist

KI-Risiko in der Produktion unterscheidet sich in drei Punkten von, sagen wir, einer Recommendation Engine im Handel:

• Physische Konsequenzen. Eine falsche Vorhersage kann bedeuten, dass ein fehlerhaftes Bremsteil ausgeliefert wird, nicht nur, dass eine schlechte Anzeige ausgespielt wird.
• Nicht-stationäre Umgebungen. Licht, Luftfeuchtigkeit, Rohmaterialchargen, Maschinenverschleiß und Schichtwechsel verändern ständig die Daten, die das Modell sieht. Das nennt man data drift (die Verteilung der Eingabedaten verschiebt sich gegenüber dem Trainingsstand) oder concept drift (der Zusammenhang zwischen Input und korrektem Output verändert sich, auch wenn die Inputs ähnlich aussehen).
• Dünne Ausfalldaten. Katastrophale Ausfälle (ein Brand, ein Strukturdefekt) sind konstruktionsbedingt selten, also gibt es kaum Trainingsdaten für die schlimmsten Fälle. Modelle, die überwiegend auf „normalen“ Daten trainiert sind, sind bei seltenen Ereignissen mit hoher Schwere strukturell schlecht.

Zwei konkrete Fehlermodi

1. Drift in der Fehlererkennung. Ein Computer-Vision-Modell, das auf Bildern aus einem Lichtaufbau und von einem Stahllieferanten trainiert wurde, übersieht Defekte, sobald das Werk den Lieferanten wechselt oder sich ein leichter Ölfilm auf dem Objektiv bildet. Die Accuracy auf dem Papier (aus dem Validierungstest) sagt 98 %. Die Accuracy in der Halle, sechs Monate später, kann deutlich niedriger sein, und niemand hat nachgemessen.

2. Nachfrageprognosen, die für Schocks blind sind. Ein Forecasting-Modell, das auf fünf Jahren stabiler Nachfragedaten trainiert wurde, hat noch nie eine Halbleiterknappheit, eine Hafenschließung oder ein geopolitisches Exportverbot gesehen. Als die Chipknappheit 2021 bis 2022 die Autohersteller traf, unterschätzten Modelle, die auf Mustern vor dem Schock trainiert waren, die Lieferzeiten und überschätzten die Verfügbarkeit, weil der Schock außerhalb der Trainingsverteilung lag. Das ist ein Problem von tail risk: Modelle sind typischerweise stark in der „Mitte“ der Verteilung und schwach bei Ausreißern, die sie noch nie gesehen haben.

Modellrisiko klassifizieren: ein einfaches Framework

Greifen Sie auf die Leitlinie SR 11-7 der US Federal Reserve und des OCC zum Model Risk Management zurück (ursprünglich für Banken geschrieben, inzwischen branchenübergreifend adaptiert). Sie fasst Modellrisiko entlang zweier Achsen:

1. Wahrscheinlichkeit eines Modellfehlers (wie oft tritt ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → auf, wie leicht wird ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → durch Veränderungen in der Realität ausgelöst)

2. Schwere der Konsequenz (Sicherheit, Kosten, Compliance, Reputation)

| Risikostufe | Beispiel | MaMaUsing software to automate repetitive marketing tasks and campaigns, enabling personalisation at scale across channels like email, web, and social.Vollständige Definition ansehen →ßnahme |

|---|---|---|

| Geringe Wahrscheinlichkeit, geringe Schwere | Kleiner Forecast-Fehler bei einem langsam drehenden SKU | Quartalsweises Monitoring |

| Hohe Wahrscheinlichkeit, geringe Schwere | Saisonales Nachfragemodell muss jedes Quartal neu trainiert werden | Geplantes Retraining |

| Geringe Wahrscheinlichkeit, hohe Schwere | Vision-Modell übersieht einen Strukturriss in einem Luftfahrtteil | Human-in-the-loop verpflichtend, redundante Prüfungen |

| Hohe Wahrscheinlichkeit, hohe Schwere | Forecasting-Modell ist häufigen Lieferschocks ausgesetzt, ohne Fallback | Nicht ohne regelbasiertes Override einsetzen |

Alles im oberen rechten Quadranten (hohe Schwere) braucht dokumentierte menschliche Aufsicht, bevor es überhaupt in die Produktion geht, unabhängig von den Accuracy-Werten.

Drift quantifizieren: ein durchgerechnetes Beispiel

Sie brauchen keine exotische Mathematik, um Drift früh zu erkennen. Eine verbreitete, gut zugängliche Metrik ist der Population Stability Index (PSI), der misst, wie stark sich die Verteilung einer Variablen zwischen zwei Zeiträumen verschoben hat.

PSI = Σ (Actual% - Expected%) × ln(Actual% / Expected%)

Daumenregel zur Interpretation (weit verbreitet im Kreditrisiko und für Ops-Monitoring adaptiert):

• PSI < 0,1: keine signifikante Verschiebung
• 0,1 bis 0,25: moderate Verschiebung, prüfen
• \> 0,25: starke Verschiebung, Retraining oder Stopp

Durchgerechnetes Beispiel: Angenommen, Ihr Defektmodell wurde trainiert, als 5 % der Teile Oberflächenkratzer hatten (die „erwartete“ Verteilung). Diesen Monat zeigen die eingehenden QA-Stichproben wegen des neuen Stahllieferanten eine Kratzerquote von 18 %.

• Expected% = 0,05, Actual% = 0,18
• Beitrag = (0,18, 0,05) × ln(0,18/0,05) = 0,13 × ln(3,6) = 0,13 × 1,28 ≈ 0,166

Ein PSI von 0,166 für einen einzelnen Bucket liegt schon im Bereich „moderate Verschiebung, prüfen“. Rechnen Sie das monatlich über alle wichtigen Input-Features, und Sie erkennen Drift, bevor daraus ein Rückruf wird.

Regulatorischer und Governance-Kontext

KI in der Produktion bewegt sich nicht im regulatorischen Vakuum, auch wenn es kein einzelnes „KI-Gesetz für die Produktion“ gibt.

• EU AI Act (2024 in Kraft getreten, Pflichten treten gestaffelt bis 2026 bis 2027 in Kraft): klassifiziert KI nach Risikostufe. Sicherheitskomponenten in regulierten Produkten (z. B. Maschinen, Fahrzeuge), die KI nutzen, kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen in die Kategorie hohes Risiko fallen, was Anforderungen an Risikomanagementsysteme, Data GovernanceData GovernanceData governance is the set of policies, roles, and processes that ensure data is accurate, secure, well-defined, and used responsibly across an organization.Vollständige Definition ansehen →, technische Dokumentation und menschliche Aufsicht auslöst. Siehe die offizielle Übersicht der Europäischen Kommission zum AI Act.
• USA: Stand Anfang 2026 gibt es noch kein einheitliches Bundesgesetz zu KI. KI in der Produktion berührt bestehende Instanzen: OSHA (Arbeitssicherheit, wenn KI physische Anlagen steuert), NHTSA und FDA für sektorspezifische Produkte (Fahrzeuge, Medizinprodukte) sowie das freiwillige AI Risk Management Framework des NIST, das auch ohne rechtliche Pflicht zum De-facto-Benchmark für interne Governance wird.
• ISO/IEC 42001 (2023): der erste internationale Managementsystem-Standard für KI, der von Herstellern zunehmend genutzt wird, um KI-Governance so zu strukturieren, wie ISO 9001 das Qualitätsmanagement strukturiert.

Die praktische Konsequenz für eine Werks- oder Ops-Leitung: Dokumentieren Sie Ihren Prozess zum Modellrisiko, auch ohne konkrete Vorgabe. Regulierer und Auditoren fragen immer häufiger „KKThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Sie mir zeigen, dass Sie auf Drift getestet haben?“ statt „Haben Sie eine KI-Lizenz?“.

Guardrails vor dem Deployment

Bevor ein Modell eine laufende Linie berührt, führen Sie diese Prüfungen durch:

1. Out-of-Distribution-Tests. Geben Sie dem Modell Edge Cases, auf die es nicht trainiert wurde (neue Lieferantenchargen, extreme Lichtverhältnisse, ausgelaufene SKUs) und stellen Sie sicher, dass es niedrige Confidence meldet, statt still zu raten.

2. Human-in-the-loop-Schwellen. Definieren Sie Confidence-Grenzen, unterhalb derer ein Mensch entscheidet, nicht das Modell. In Kontexten mit hoher Schwere (Luftfahrt, sicherheitsrelevante Automobilteile) sollte das nicht verhandelbar sein.

3. Shadow Deployment. Lassen Sie das neue Modell für einen definierten Zeitraum parallel zum bestehenden Prozess (oder zu menschlichen Prüfern) laufen, bevor es Entscheidungen übernimmt. Vergleichen Sie Outputs, bevor Sie Ergebnissen vertrauen.

4. Monitoring-Takt. Setzen Sie PSI oder vergleichbare Drift-Metriken nach Plan an (wöchentlich bei schnell laufenden Linien, monatlich bei stabilen), nicht nur bei der Erstvalidierung.

5. Rollback-Plan. Wissen Sie im Vorfeld, wie Sie auf das vorherige Modell oder den manuellen Prozess zurückgehen, wenn die Drift Ihre Schwelle überschreitet. Das sollte ein dokumentiertes Runbook sein, kein improvisierter Slack-Thread mitten in der Krise.

Key Takeaways

• Modellrisiko in der Produktion wird zu physischen Ergebnissen: Ausschuss, Rückrufe, Sicherheitsvorfälle, nicht nur zu schlechten Dashboards. Behandeln Sie es mit der gleichen Strenge wie Anlagensicherheit, nicht als IT-Nebensache.
• Klassifizieren Sie Risiken nach Wahrscheinlichkeit und Schwere. Risiken mit hoher Schwere (Sicherheit, Struktur, Regulatorik) verlangen verpflichtende menschliche Aufsicht, egal wie gut die Accuracy-Metrik aussieht.
• Drift ist messbar, nicht mysteriös. Einfache Werkzeuge wie PSI erlauben es, Verteilungsverschiebungen bei Defektquoten oder Nachfragemustern zu quantifizieren, bevor Schaden entsteht; ein PSI über 0,25 ist ein Stop-and-Check-Signal.
• Die regulatorischen Erwartungen steigen auch ohne ein produktionsspezifisches KI-Gesetz: die Hochrisiko-Kategorie des EU AI Act, das AI RMF des NIST und ISO/IEC 42001 laufen auf dieselbe Forderung zu, dokumentieren Sie Ihren Risikomanagementprozess.
• Guardrails beim Deployment (Out-of-Distribution-Tests, Shadow Runs, Human-in-the-loop-Schwellen, Rollback-Pläne) sind eine günstige Versicherung im Vergleich zu einer stehenden Linie oder einem Rückruf.