Automobile · Comment les stacks de perception ADAS transforment les capteurs en décisions de conduite

Une voiture roulant à 70 mph parcourt environ 103 pieds chaque seconde. Dans les 200 millisecondes environ qu'il faut à un humain pour réagir à un véhicule qui s'insère, cette voiture a déjà avancé de 20 pieds. Un système d'aide avancée à la conduite (ADAS, l'ensemble de fonctions comme le freinage d'urgence automatique et le maintien dans la voie) doit percevoir, décider et agir dans cette même fenêtre, des milliers de fois par trajet, sans s'accorder de pause café.

Suivons un événement ordinaire : une voiture de la voie voisine dérive vers la vôtre. Comment l'IA transforme-t-elle des photons et des ondes radio en une correction de trajectoire ?

La scène : un changement de voie

Vous roulez sur autoroute. Une berline située deux longueurs de voiture devant vous, sur la voie de droite, commence à se rabattre à gauche, sur votre trajectoire. Votre voiture doit la repérer, prédire sa trajectoire et soit lever le pied, soit freiner légèrement, avant que la distance ne se réduise.

Cet événement unique traverse quatre étapes : percevoir, fusionner, prédire, agir. Chaque étape est un problème d'IA ou de logiciel distinct.

Étape 1 : Percevoir (les entrées brutes)

Les véhicules ADAS modernes embarquent trois types de capteurs complémentaires. Aucun n'est suffisant seul.

Caméra. Une caméra voit la couleur, le texte et la forme. Elle lit les marquages au sol, les feux stop et la différence entre un sac plastique et un rocher. Sa faiblesse : elle peine dans l'éblouissement, le brouillard et l'obscurité, et elle estime mal les distances par elle-même.

Radar (radio detection and ranging). Le radar fait rebondir des ondes radio sur les objets et mesure la façon dont elles reviennent. Il mesure directement la distance et la vitesse de rapprochement (via l'effet Doppler, le décalage de fréquence d'une onde émise par un objet en mouvement) et fonctionne sous la pluie et dans le noir. Sa faiblesse : une faible résolution spatiale, donc il peut vous dire « quelque chose de métallique est à 40 mètres devant et se rapproche vite » mais pas s'il s'agit d'une voiture ou d'un panneau.

Lidar (light detection and ranging). Le lidar émet des impulsions laser et chronomètre leur retour, construisant un « nuage de points » 3D précis de l'environnement. Il excelle sur la forme et la distance exactes. Ses faiblesses : le coût et une performance dégradée en cas de brouillard dense ou de neige. Beaucoup de systèmes ADAS grand public se passent totalement du lidar et s'appuient sur caméra plus radar ; les systèmes premium et les robotaxis tendent à l'inclure.

Dans notre scène de changement de voie :

• La caméra voit une berline et détecte son clignotant gauche ainsi qu'un léger décalage latéral.
• Le radar signale un objet à 38 mètres, se rapprochant à 4 mph, avec une dérive latérale.
• Le lidar (s'il est présent) confirme un amas de points en forme de véhicule dont la position change.

Trois récits bruités, partiels, parfois contradictoires. Il faut maintenant les réconcilier.

Étape 2 : Fusionner (combiner les capteurs en une seule vérité)

La fusion de capteurs est le processus qui consiste à fusionner plusieurs flux de capteurs en un modèle du monde unique et plus fiable. L'idée clé : la force de chaque capteur couvre la faiblesse d'un autre.

Il existe deux grandes approches.

Fusion tardive (au niveau objet) : chaque capteur produit d'abord ses propres détections, puis un module de fusion les réconcilie. Plus simple, plus facile à déboguer, mais elle jette le détail brut.

Fusion précoce (au niveau donnée) : les données brutes des capteurs sont combinées avant la détection d'objets, ce qui permet à un réseau de neurones d'apprendre des motifs subtils entre capteurs. Plus puissante, plus gourmande en compute, plus difficile à valider.

Un défi pratique est l'alignement temporel et spatial. La caméra, le radar et le lidar capturent chacun à des fréquences différentes et depuis des points de montage physiques légèrement différents. La fusion doit horodater chaque mesure et les transformertransformerUn Transformer est une architecture de réseau de neurones qui utilise le self-attention pour traiter des séquences en parallèle. Elle est au cœur de la plupart des modèles de langage et d'IA générative actuels.Voir la définition complète → dans un repère de coordonnées commun avant de pouvoir les comparer. Un décalage de 30 millisecondes à vitesse autoroutière représente un mètre d'erreur.

Voici une étape d'association simplifiée en fusion tardive, en pseudocode :

# Associer les détections caméra aux pistes radar par position prédite
for cam_obj in camera_detections:
    best = None
    for radar_trk in radar_tracks:
        # écart entre les positions estimées de l'objet par chaque capteur
        gap = position_error(cam_obj.xy, radar_trk.xy)
        if gap < GATE_METERS and (best is None or gap < best.gap):
            best = radar_trk
    if best:
        fused = merge(cam_obj, best.velocity, best.range)
        world_model.update(fused)   # un seul objet, plus riche que chaque capteur pris seul

La sortie de la fusion est un modèle du monde propre : une liste d'objets suivis, chacun avec une position, une vitesse, une taille et une classe (voiture, piéton, barrière), plus un score de confiance. Notre berline qui dérive est désormais un objet suivi unique : « véhicule, 38 m devant à droite, rapprochement 4 mph, vitesse latérale 0,5 m/s vers la voie ego, confiance élevée ».

(« Ego » est le terme standard pour désigner votre propre véhicule, celui que le système contrôle.)

Étape 3 : Prédire (ce qui va se passer)

Un instantané ne suffit pas. Le système doit anticiper les quelques secondes suivantes.

Les modèles de prédiction posent la question : compte tenu du mouvement récent de cet objet, de la géométrie des voies et de l'état du clignotant, où sera-t-il dans 1, 2 et 3 secondes ? Les stacks modernes utilisent des modèles appris sur d'énormes flottes de données de conduite réelle pour estimer les trajectoires probables, souvent plusieurs à la fois avec des probabilités associées.

Pour notre berline : clignotant activé, dérive latérale régulière, distance qui se réduit. Le modèle produit une probabilité élevée qu'elle occupe entièrement la voie ego dans environ 2 secondes.

C'est là que l'IA justifie son existence. Un système purement à base de règles (« si l'objet franchit la ligne, freiner ») serait saccadé et facile à tromper. Un prédicteur appris comprend l'intention : un clignotant plus une dérive latérale signifie « insertion », alors qu'une dérive latérale seule près d'un virage peut simplement signifier « suivre la route ».

Étape 4 : Agir (planification et contrôle)

Le système décide maintenant. La planification de mouvement choisit une trajectoire sûre pour le véhicule ego ; le contrôle traduit cette trajectoire en commandes de direction, d'accélérateur et de frein.

Face à la berline qui s'insère, le planificateur pèse les options :

• Maintenir la vitesse (dangereux, la distance se réduit).
• Freiner fort (sûr mais brutal, avec un risque de choc arrière).
• Lever le pied et appliquer un freinage léger (souple, rouvre la distance).

Il retient l'action la plus douce qui préserve une distance de sécurité, puis transmet une décélération cible à la couche de contrôle, qui module les freins. Tout cela se répète toutes les quelques dizaines de millisecondes à l'arrivée de nouvelles données capteurs.

La contrainte temps réel

Chaque étape s'exécute sur une plateforme de calcul de qualité automobile avec un budget temps strict, souvent une cible bien inférieure à 100 millisecondes de bout en bout. C'est une échéance de latence dure (la latence est le délai entre l'entrée et la réponse). Si elle est dépassée, la voiture agit sur des informations périmées. C'est pourquoi le logiciel ADAS tourne sur des puces dédiées, pas sur un CPU d'ordinateur portable généraliste, et pourquoi les ingénieurs s'acharnent à gratter des millisecondes.

La sécurité est ici encadrée par des référentiels comme ISO 26262 (sécurité fonctionnelle des véhicules routiers) et ISO 21448 / SOTIF (Safety Of The Intended Functionality, qui traite des dangers liés aux limites de performance plutôt qu'aux défaillances franches, par exemple une caméra aveuglée par le soleil). Vous pouvez lire un aperçu accessible des tests et notations ADAS chez Euro NCAP.

Pourquoi la fusion bat n'importe quel capteur seul

Revenons à la berline qui dérive et imaginons chaque capteur travaillant seul.

Caméra seule : en cas d'éblouissement solaire rasant, elle peut perdre totalement la berline pendant quelques images, ou mal évaluer la vitesse à laquelle la distance se réduit.

Radar seul : il sait que quelque chose se rapproche mais ne peut pas confirmer s'il s'agit d'une voiture ou d'un portique de signalisation, cause classique de freinages intempestifs.

Lidar seul : il voit parfaitement la forme et la distance mais ne peut pas lire le clignotant ni les feux stop, ce qui fait perdre le signal d'intention.

Fusionnés, les trois annulent mutuellement leurs angles morts. La caméra fournit la classe et l'intention, le radar fournit une vitesse de rapprochement fiable même en plein éblouissement, et le lidar (quand il est présent) fournit la géométrie exacte. La confiance monte, les fausses alertes chutent, et le planificateur peut agir avec fermeté.

C'est la leçon essentielle pour qui évalue l'IA automobile : la performance vient rarement d'un capteur ou d'un modèle héroïque. Elle vient de la redondance et de la gestion des désaccords. Les questions d'ingénierie les plus difficiles sont : que faire quand les capteurs se contredisent, comment dégrader proprement quand l'un tombe en panne, et comment prouver que toute la chaîne est sûre.

L'angle business

Pour les responsables produit et stratégie, ce stack façonne des arbitrages réels. Ajouter un lidar augmente le coût par véhicule mais peut simplifier la validation et améliorer la performance par mauvais temps. Les approches très orientées caméra réduisent le coût matériel mais exigent d'énormes volumes de données d'entraînement et davantage de compute. Aucune n'a universellement raison, et le choix se répercute sur les contrats fournisseurs, le pricing et la façon dont un système obtient ses notes de sécurité.

Points clés

• La perception ADAS est un pipeline : percevoir, fusionner, prédire, agir, le tout répété toutes les quelques dizaines de millisecondes sous une échéance de latence dure.
• Aucun capteur seul ne suffit. Les caméras lisent l'intention et la classe, le radar mesure la vitesse de rapprochement par tous les temps, le lidar livre une géométrie 3D précise. La fusion combine leurs forces.
• C'est la prédiction, pas seulement la détection, qui crée la valeur de l'IA. Anticiper l'intention d'une voiture qui s'insère permet une action souple au lieu de réactions saccadées à base de règles.
• La sécurité est un problème système. Des normes comme ISO 26262 et SOTIF traitent à la fois les défaillances franches et les limites de performance telles que l'aveuglement des capteurs.
• Le choix des capteurs est une décision business. Les stacks très orientés caméra ou équipés de lidar arbitrent entre coût matériel, besoins en données, compute et effort de validation.