Die Hürde für Safety und Validierung bei KI, die in Serie geht

# Die Hürde für Safety und Validierung bei KI, die in Serie geht

Ein Fahrer schläft. Das Auto fährt 70 mph auf einer Autobahn in der Dämmerung. Ein Lkw voraus verliert eine Matratze, die auf die Fahrspur rollt. Die KI-Fahrfunktion hat etwa eine Sekunde, um das Objekt zu erkennen, zu klassifizieren, seine Bewegung zu prognostizieren, ein Manöver zu planen und eine Bremsung oder einen Spurwechsel auszuführen. Macht sie es richtig, merkt es niemand. Macht sie es falsch, steht ein Unternehmen vor einem Todesfall, einem Rückruf und einem Gerichtssaal.

Die harte Frage für jedes Automotive-Team, das KI ausliefert, lautet nicht „funktioniert es in der Demo?“ Sie lautet: „KKThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen wir beweisen, dass es sicher genug ist, um es zu verkaufen, zuzulassen und zu verteidigen?“ Dieser Beweis hat in der Branche einen Namen: Homologation (die formale Genehmigung, die es erlaubt, ein Fahrzeug in einem Markt legal zu verkaufen) plus ein belastbarer Safety Case.

Diese Lektion geht die drei Säulen durch, mit denen Teams diese Hürde überspringen.

Säule 1: ISO 26262 und funktionale Sicherheit

ISO 26262 ist der internationale Standard für funktionale Sicherheit in Straßenfahrzeugen. „Funktionale Sicherheit“ heißt, dass sich das System auch dann sicher verhält, wenn eine Komponente ausfällt. Denken Sie an einen Sensor, der stirbt, einen Chip, der ein Bit kippt, oder Software, die abstürzt.

Das zentrale Werkzeug ist ASIL, das Automotive Safety Integrity Level. Jede Gefährdung wird von A (niedrigstes) bis D (höchstes) eingestuft, basierend auf drei Faktoren:

• Severity: Wie schwer ist der Schaden?
• Exposure: Wie oft befindet sich das Fahrzeug in dieser Situation?
• Controllability: Kann ein Fahrer oder das System den Schaden vermeiden?

Ein Brake-by-Wire-Ausfall bei Autobahngeschwindigkeit ist ASIL D. Eine klemmende Innenraumleuchte ist quality-managed, also überhaupt nicht safety-eingestuft.

Hier liegt die Reibung mit KI. ISO 26262 wurde für Systeme geschrieben, die man vollständig spezifizieren kann. Man kann eine Anforderung für einen ABS-Algorithmus schreiben und jeden Zweig testen. Ein neuronales Netz, das auf Millionen Bildern trainiert wurde, hat keine derart saubere Spezifikation. Man kann nicht auflisten, was es alles gelernt hat.

Also zertifizieren Teams nicht das Netz selbst nach klassischem 26262. Sie umhüllen es mit einer Architektur, die sie zertifizieren *kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen*:

• Ein redundanter, regelbasierter Safety-Monitor, der die KI überstimmt, wenn sie etwas Gefährliches kommandiert.
• Eine einfachere, verifizierbare „Safety Envelope“, die garantiert, dass das Auto nie physikalische Grenzen überschreitet, unabhängig davon, was die KI will.

Die KI schlägt vor. Die zertifizierte Schicht entscheidet.

Säule 2: SOTIF, wenn nichts kaputt war und trotzdem Schaden entstand

ISO 26262 deckt Ausfälle ab. Aber KI hat einen unangenehmeren Fehlermodus: Alles funktioniert genau wie entworfen, und trotzdem passiert das Falsche.

Das ist die Domäne von SOTIF (Safety Of The Intended Functionality), standardisiert als ISO 21448. SOTIF existiert, weil ein Perception-System ohne jeden Hardwarefehler einen weißen Lkw vor hellem Himmel falsch interpretieren oder einen Fußgänger in ungewöhnlicher Pose nicht erkennen kann.

SOTIF teilt die Welt in vier KKThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →ästen:

1. Known safe Szenarien (die, für die Sie entworfen haben).

2. Known unsafe Szenarien, die Sie gefunden und behoben haben.

3. Unknown unsafe Szenarien: die, die Ihnen wehtun.

4. Unknown safe Szenarien (harmlose Überraschungen).

Die ganze Engineering-Arbeit besteht darin, Kasten 3 zu verkleinern. Das tun Sie, indem Sie Edge Cases aufspüren, strukturierte Szenarioanalysen fahren und Unknown-unsafe-Fälle in die Spalte „bekannt und mitigiert“ schieben.

Das UNECE World Forum for Harmonization of Vehicle Regulations veröffentlicht den regulatorischen Rahmen, den viele Märkte übernehmen, und verweist für Zulassungen des automatisierten Fahrens zunehmend auf beide Standards.

Warum Edge Cases das Budget dominieren

Die unbequeme Wahrheit: Das letzte 1 Prozent der Szenarien verbraucht den größten Teil des Validierungsaufwands. Normale Autobahnfahrt ist einfach. Was Systeme bricht, ist der Long Tail: ein Pferd auf der Straße, eine überflutete Unterführung, ein Bauarbeiter mit widersprüchlichen Handzeichen, Einsatzfahrzeuge mit ungewöhnlichen Lichtmustern.

Das kann man nicht vorab wegkonstruieren. Man muss es finden und dann beweisen, dass das System damit umgeht.

Säule 3: Milliarden simulierter Meilen

Wie findet man seltene Ereignisse? Man kann sie nicht wirtschaftlich erfahren. Eine viel zitierte RAND-Analyse argumentierte, dass der Nachweis, ein autonomes System sei sicherer als Menschen, allein über Realfahrten hunderte Millionen oder sogar Milliarden Meilen erfordern kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnte, was Flotten Jahrzehnte kosten würde. Behandeln Sie diese konkreten Zahlen als Schätzungen, aber die Richtung ist unstrittig: Reale Meilen sind zu langsam und zu teuer für die seltenen Ereignisse, die am meisten zählen.

Also verlagert sich die Arbeitslast in die Simulation.

Szenariobasierte Simulation. Teams bauen eine Bibliothek parametrisierter Szenarien (ein Einscheren, ein Fußgänger, der die Straße kreuzt, ein liegengebliebenes Fahrzeug) und variieren jede Variable: Geschwindigkeit, Abstand, Licht, Wetter, Straßenreibung. Aus einem Szenario werden Tausende Tests.

Resimulation (Log Replay). Jede Meile, die eine echte Flotte fährt, wird zum Asset. Sie zeichnen die Sensordaten auf und spielen sie gegen neue Softwareversionen erneut ab, um Regressionen zu prüfen. Hat das Update, das den Autobahnauffahrer behoben hat, das Verhalten auf dem Parkplatz kaputt gemacht?

Synthetische Edge-Case-Generierung. Wo echte Daten dünn sind, erzeugen Sie sie: seltenes Wetter, seltene Objekttypen, adversariale Platzierungen, auf die ein menschlicher Tester nie kommen würde.

Das Ergebnis ist nicht „wir sind viel gefahren“. Es ist ein Coverage-Argument: Wir haben die Operational Design Domain systematisch abgesucht und gezeigt, dass die Funktion darin sicher bleibt.

Die Operational Design Domain (ODD) ist der präzise Rahmen, in dem das System betrieben werden darf: welche Straßen, Geschwindigkeiten, Wetterlagen und Tageszeiten. Ein System, das nur für Autobahnen mit Mittelstreifen bei klarem Wetter unter 60 mph freigegeben ist, hat eine enge ODD, und das ist oft ein Feature, keine Schwäche. Eine enge ODD ist leichter zu validieren und leichter zu verteidigen.

🎬 [VIDEO: "How Waymo Uses Simulation to Test Self-Driving Cars" - youtube.com - ein Blick in großskalige Fahrsimulation und Szenariotests]

Alles zusammen: der Safety Case

Alle drei Säulen münden in ein Ergebnis: den Safety Case. Das ist eine strukturierte, prüfbare Argumentation, dass das System akzeptabel sicher ist, gestützt auf Evidenz. Regulierer wollen sie. Ihre eigene Rechtsabteilung will sie. Versicherer wollen sie.

Eine verbreitete Struktur ist ein Baum aus Claim, Argument, Evidence. In Pseudocode sieht das so aus:

CLAIM: The lane-keeping function is acceptably safe within its ODD.
  ARGUMENT: All identified hazards are mitigated to target ASIL.
    EVIDENCE: HARA (Hazard Analysis and Risk Assessment) document
    EVIDENCE: ASIL-D safety monitor verification results
  ARGUMENT: Residual SOTIF risk is acceptably low.
    EVIDENCE: 4.2M scenario-simulation runs, pass rate + failure triage
    EVIDENCE: field monitoring plan for unknown-unsafe cases
  ARGUMENT: The ODD is enforced at runtime.
    EVIDENCE: geofence + weather-degradation handover logic tests

Achten Sie darauf, was Ihnen das in einem Haftungsfall bringt. Wenn etwas schiefgeht, lautet die Frage selten „war das System perfekt?“ Kein System ist das. Die Frage lautet: „Hat das Unternehmen angesichts des Stands der Technik verantwortungsvoll gehandelt?“ Ein nachvollziehbarer Safety Case, der zeigt, dass Sie die Gefährdung identifiziert, eine Mitigation entwickelt und sie validiert haben, ist Ihr stärkster Beleg dafür.

Was das für Ihre Entwicklung bedeutet

Die Validierungshürde formt die gesamte Produktorganisation um, nicht nur das Safety-Team.

Data Pipelines werden Safety-Infrastruktur. Jede Flottenmeile, die abgespielt werden kann, ist ein Validierungs-Asset. Teams, die reich und abrufbar loggen, validieren schneller.

Field Monitoring endet nie. SOTIF ist ein Lifecycle, kein Launch-Gate. Sie liefern aus, dann beobachten Sie die Unknown-unsafe-Fälle, die erst in der Breite auftreten, dann beheben und re-validieren Sie. Over-the-Air-Updates machen diese Schleife engmaschiger, aber jedes Update öffnet die Validierungsfrage erneut.

Eng schlägt breit. Eine eng gefasste ODD, die Sie vollständig verteidigen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen, geht oft Jahre früher in Serie als eine ambitionierte, die Sie nicht verteidigen kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen. Viele Serien-Assistenzfunktionen sind gerade deshalb erfolgreich, weil sie sich weigern, außerhalb ihres Rahmens zu arbeiten.

Der Safety Case ist ein Business-Dokument. ErErThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → steuert den Marktzugang, prägt Versicherungsbedingungen und begrenzt die Haftungsexposition. Führungskräfte, die ihn als Papierkram behandeln, bepreisen Risiko falsch.

Key Takeaways

• ISO 26262 behandelt Ausfälle; SOTIF behandelt korrektes, aber falsches Verhalten. KI braucht beides, weil ein fehlerfreies neuronales Netz die Welt trotzdem falsch wahrnehmen kann.
• Ein neuronales Netz lässt sich nicht direkt zertifizieren, also umhüllt man es. Ein verifizierbarer Safety-Monitor und eine physikbasierte Safety Envelope erlauben Garantien, die die KI selbst nicht liefern kann.
• Simulation ist der einzige wirtschaftliche Weg zu den seltenen Ereignissen, die zählen. Szenariovariationen, Log Replay und synthetische Edge Cases bauen ein Coverage-Argument, nicht bloß eine Meilensumme.
• Eine enge, durchgesetzte ODD ist ein Wettbewerbsvorteil. Genau zu definieren, wo das System funktioniert, macht es schneller validierbar, genehmigungsfähig und verteidigbar.
• Der Safety Case ist Ihr Homologationsschlüssel und Ihr Haftungsschild. Nachvollziehbare Claim, Argument, Evidence schlagen eine perfekte Demo, wenn ein Regulierer oder ein Gericht fragt, woher Sie wussten, dass es sicher ist.