Franchir la barre de sécurité et de validation pour l'IA que vous mettez sur le marché

# Franchir la barre de sécurité et de validation pour l'IA que vous mettez sur le marché

Un conducteur dort. La voiture roule à 110 km/h sur une autoroute au crcrLe pourcentage de visiteurs ou de prospects qui réalisent une action attendue (achat, inscription, formulaire de contact), calculé en divisant les conversions par le nombre total d'opportunités.Voir la définition complète →épuscule. Un camion devant perd un matelas, qui roule dans la voie. La fonction de conduite IA a environ une seconde pour percevoir l'objet, le classer, prédire son mouvement, planifier une manœuvre et exécuter un freinage ou un changement de voie. Si elle réussit, personne ne le remarque. Si elle échoue, l'entreprise fait face à un décès, un rappel et un tribunal.

La vraie question pour une équipe automobile qui livre de l'IA n'est pas « est-ce que ça marche en démo ? ». C'est « pouvons-nous prouver que c'est suffisamment sûr pour être vendu, immatriculé et défendu ? ». Cette preuve a un nom dans l'industrie : l'homologation (l'approbation formelle qui vous permet de vendre légalement un véhicule sur un marché) plus un safety case défendable.

Cette leçon parcourt les trois piliers que les équipes utilisent pour franchir cette barre.

Pilier 1 : ISO 26262 et la sécurité fonctionnelle

ISO 26262 est la norme internationale de sécurité fonctionnelle des véhicules routiers. La « sécurité fonctionnelle » signifie que le système se comporte de manière sûre même quand un composant tombe en panne. Pensez à un capteur qui meurt, à une puce dont un bit bascule, ou à un logiciel qui plante.

L'outil central est l'ASIL, l'Automotive Safety Integrity Level. Chaque danger est noté de A (le plus faible) à D (le plus élevé), selon trois facteurs :

• Sévérité : quelle est la gravité du dommage ?
• Exposition : à quelle fréquence le véhicule se trouve-t-il dans cette situation ?
• Contrôlabilité : un conducteur ou le système peut-il éviter le dommage ?

Une défaillance du freinage électrique à vitesse autoroutière est ASIL D. Un plafonnier bloqué relève de la gestion qualité, sans aucune note de sécurité.

Voici la friction avec l'IA. ISO 26262 a été écrite pour des systèmes que l'on peut spécifier complètement. On peut rédiger une exigence pour un algorithme d'antiblocage des roues et tester chaque branche. Un réseau de neurones entraîné sur des millions d'images n'a pas de spécification aussi propre. Vous ne pouvez pas énumérer tout ce qu'il a appris.

Les équipes ne certifient donc pas le réseau lui-même selon la 26262 classique. Elles l'enveloppent dans une architecture qu'elles *peuvent* certifier :

• Un moniteur de sécurité redondant, à base de règles, qui prend le dessus sur l'IA si celle-ci commande quelque chose de dangereux.
• Une « enveloppe de sécurité » plus simple et vérifiable, qui garantit que la voiture ne dépasse jamais les limites physiques, quoi que veuille l'IA.

L'IA propose. La couche certifiée dispose.

Pilier 2 : la SOTIF, quand rien n'a cassé mais le dommage a eu lieu

ISO 26262 couvre les défaillances. Mais l'IA a un mode de défaillance plus inquiétant : tout fonctionne exactement comme prévu, et elle fait quand même la mauvaise chose.

C'est le domaine de la SOTIF (Safety Of The Intended Functionality), normalisée sous ISO 21448. La SOTIF existe parce qu'un système de perception sans aucun défaut matériel peut malgré tout mal interpréter un camion blanc sur un ciel lumineux, ou ne pas reconnaître un piéton dans une posture inhabituelle.

La SOTIF divise le monde en quatre cases :

1. Scénarios connus sûrs (ceux pour lesquels vous avez conçu).

2. Scénarios connus dangereux que vous avez trouvés et corrigés.

3. Scénarios inconnus dangereux : ceux qui vous font mal.

4. Scénarios inconnus sûrs (surprises sans conséquence).

Tout le travail d'ingénierie consiste à réduire la case 3. On y parvient en exploitant les edge cases, en menant une analyse de scénarios structurée, et en faisant passer les cas inconnus dangereux dans la colonne connus et mamaUtiliser un logiciel pour automatiser les tâches et campagnes marketing répétitives, afin de personnaliser à grande échelle sur des canaux comme l'email, le web et le social.Voir la définition complète →îtrisés.

Le Forum mondial de l'harmonisation des règlements sur les véhicules de la CEE-ONU publie le cadre réglementaire que de nombreux marchés adoptent, et il fait de plus en plus référence aux deux normes pour les approbations de conduite automatisée.

Pourquoi les edge cases dominent le budget

La vérité inconfortable : le dernier 1 % des scénarios consomme l'essentiel de l'effort de validation. La conduite autoroutière normale est facile. Ce qui casse les systèmes, c'est la longue traîne : un cheval sur la route, un passage souterrain inondé, un ouvrier de chantier faisant des signes contradictoires, des véhicules d'urgence avec des motifs lumineux inhabituels.

Vous ne pouvez pas éliminer cela par conception à l'avance. Vous devez les trouver, puis prouver que votre système les gère.

Pilier 3 : des milliards de kilomètres simulés

Comment trouver des événements rares ? Vous ne pouvez pas les faire advenir en roulant, économiquement parlant. Une analyse de RAND largement citée soutenait que prouver qu'un système autonome est plus sûr que les humains par la seule conduite réelle pourrait exiger des centaines de millions voire des milliards de kilomètres, ce qui prendrait des décennies à des flottes entières. Traitez ces chiffres précis comme des estimations, mais la direction n'est pas contestée : les kilomètres réels sont trop lents et trop coûteux pour les événements rares qui comptent le plus.

La charge de travail se déplace donc vers la simulation.

Simulation par scénarios. Les équipes construisent une bibliothèque de scénarios paramétrés (une insertion brusque, un piéton traversant hors passage, un véhicule à l'arrarrL'Annual Recurring Revenue (ARR) est le revenu normalisé et prévisible qu'une entreprise par abonnement attend de ses contrats actifs sur une année.Voir la définition complète →êt) et balaient chaque variable : vitesse, distance, luminosité, météo, adhérence de la route. Un scénario devient des milliers de tests.

Resimulation (rejeu de logs). Chaque kilomètre parcouru par une flotte réelle devient un actif. Vous enregistrez les données capteurs, puis vous les rejouez contre les nouvelles versions logicielles pour détecter les régressions. La mise à jour qui a corrigé l'insertion sur autoroute a-t-elle cassé le comportement en parking ?

Génération synthétique d'edge cases. Là où les données réelles sont maigres, vous les générez : météo rare, types d'objets rares, placements adverses auxquels un testeur humain ne penserait jamais.

Le résultat n'est pas « nous avons beaucoup roulé ». C'est un argument de couverturecouvertureLe nombre de personnes uniques exposées à votre message sur une période donnée. Contrairement aux impressions, le reach compte chaque personne une seule fois, quel que soit le nombre d'expositions.Voir la définition complète → : nous avons systématiquement exploré le domaine de conception opérationnelle et montré que la fonction reste sûre sur tout ce domaine.

Le domaine de conception opérationnelle (ODD) est l'enveloppe précise dans laquelle le système est approuvé pour fonctionner : quelles routes, quelles vitesses, quelle météo, quels moments de la journée. Un système homologué uniquement pour les autoroutes à chaussées séparées, par temps clair et en dessous de 100 km/h, a un ODD étroit, et c'est souvent une qualité, pas une faiblesse. Un ODD resserré est plus facile à valider et plus facile à défendre.

🎬 [VIDEO: "How Waymo Uses Simulation to Test Self-Driving Cars" - youtube.com - un regard sur la simulation de conduite à grande échelle et les tests par scénarios]

Le lien : le safety case

Les trois piliers alimentent un seul livrable : le safety case. C'est un argumentaire structuré et auditable montrant que le système est acceptablement sûr, appuyé par des preuves. Les régulateurs le veulent. Votre propre direction juridique le veut. Les assureurs le veulent.

Une façon courante de le structurer est un arbre affirmation, argument, preuve. En pseudocode, cela ressemble à ceci :

CLAIM: The lane-keeping function is acceptably safe within its ODD.
  ARGUMENT: All identified hazards are mitigated to target ASIL.
    EVIDENCE: HARA (Hazard Analysis and Risk Assessment) document
    EVIDENCE: ASIL-D safety monitor verification results
  ARGUMENT: Residual SOTIF risk is acceptably low.
    EVIDENCE: 4.2M scenario-simulation runs, pass rate + failure triage
    EVIDENCE: field monitoring plan for unknown-unsafe cases
  ARGUMENT: The ODD is enforced at runtime.
    EVIDENCE: geofence + weather-degradation handover logic tests

Remarquez ce que cela vous apporte dans un contentieux de responsabilité. Si quelque chose tourne mal, la question est rarement « le système était-il parfait ? ». Aucun système ne l'est. La question est « l'entreprise a-t-elle agi de manière responsable compte tenu de l'état de l'art ? ». Un safety case traçable, montrant que vous avez identifié le danger, conçu une mesure d'atténuation et l'avez validée, est votre preuve la plus solide que oui.

Ce que cela implique pour votre façon de construire

La barre de validation reconfigure toute l'organisation produit, pas seulement l'équipe sécurité.

Les pipelines de données deviennent une infrastructure de sécurité. Chaque kilomètre de flotte rejouable est un actif de validation. Les équipes qui loguent richement et de façon exploitable valident plus vite.

Le monitoring terrain ne s'arrête jamais. La SOTIF est un cycle de vie, pas une porte de lancement. Vous livrez, puis vous guettez les cas inconnus dangereux qui n'apparaissent qu'à l'échelle, puis vous corrigez et revalidez. Les mises à jour over-the-air resserrent cette boucle, mais chaque mise à jour rouvre la question de la validation.

Étroit vaut mieux que large. Un ODD strictement délimité que vous pouvez pleinement défendre sort souvent des années avant un ODD ambitieux que vous ne pouvez pas défendre. Beaucoup de fonctions d'aide à la conduite en production réussissent précisément parce qu'elles refusent de fonctionner hors de leur enveloppe.

Le safety case est un document business. Il conditionne l'accès au marché, façonne les conditions d'assurance et plafonne l'exposition en responsabilité. Les dirigeants qui le traitent comme de la paperasse évaluent mal le risque.

Points clés

• ISO 26262 traite les défaillances ; la SOTIF traite les comportements corrects mais erronés. L'IA a besoin des deux, car un réseau de neurones sans défaut peut malgré tout mal percevoir le monde.
• Vous ne pouvez pas certifier un réseau de neurones directement, alors vous l'enveloppez. Un moniteur de sécurité vérifiable et une enveloppe de sécurité fondée sur la physique vous permettent d'offrir des garanties que l'IA elle-même ne peut pas fournir.
• La simulation est le seul moyen économique d'atteindre les événements rares qui comptent. Les balayages de scénarios, le rejeu de logs et les edge cases synthétiques construisent un argument de couverturecouvertureLe nombre de personnes uniques exposées à votre message sur une période donnée. Contrairement aux impressions, le reach compte chaque personne une seule fois, quel que soit le nombre d'expositions.Voir la définition complète →, pas juste un total de kilomètres.
• Un ODD étroit et appliqué est un avantage concurrentiel. Définir exactement où le système fonctionne rend la validation, l'approbation et la défense plus rapides.
• Le safety case est votre clé d'homologation et votre bouclier de responsabilité. Une chaîne traçable affirmation, argument, preuve vaut mieux qu'une démo parfaite quand un régulateur ou un tribunal demande comment vous saviez que c'était sûr.