Comment les stacks de perception ADAS transforment les capteurs en décisions de conduite

# Comment les stacks de perception ADAS transforment les capteurs en décisions de conduite

Une voiture qui roule à 110 km/h parcourt environ 31 mètres par seconde. Dans les 200 millisecondes environ qu'il faut à un humain pour réagir à un véhicule qui s'insère, cette voiture a déjà avancé de 6 mètres. Un système d'aide avancée à la conduite (ADAS, la famille de fonctions comme le freinage d'urgence automatique et le maintien dans la voie) doit percevoir, décider et agir dans cette même fenêtre, des milliers de fois par trajet, sans pause café.

Suivons un événement ordinaire : une voiture de la voie voisine dérive vers la vôtre. Comment l'IA transforme-t-elle des photons et des ondes radio en une correction du volant ?

La scène : un changement de voie

Vous roulez sur autoroute. Une berline située à deux longueurs de voiture devant vous, sur la voie de droite, commence à se rabattre à gauche, dans votre trajectoire. Votre voiture doit le remarquer, prédire la trajectoire de la berline, puis relâcher l'accélérateur ou freiner doucement, avant que la distance ne se réduise.

Cet événement unique traverse quatre étapes : percevoir, fusionner, prédire, agir. Chaque étape est un problème d'IA ou de logiciel distinct.

Étape 1 : Percevoir (les entrées brutes)

Les véhicules ADAS modernes embarquent trois types de capteurs complémentaires. Aucun ne suffit à lui seul.

Caméra. Une caméra voit la couleur, le texte et la forme. Elle lit les marquages au sol, les feux stop, et fait la différence entre un sac plastique et un caillou. Sa faiblesse : elle peine face aux contre-jours, au brouillard et à l'obscurité, et estime mal les distances seule.

Radar (radio detection and ranging). Le radar renvoie des ondes radio sur les objets et mesure leur retour. Il mesure directement la distance et la vitesse de rapprochement (via l'effet Doppler, le décalage de fréquence d'une onde émise par un objet en mouvement) et fonctionne sous la pluie et de nuit. Sa faiblesse : une faible résolution spatiale, si bien qu'il peut vous dire « quelque chose en métal est à 40 mètres devant et se rapproche vite » sans préciser s'il s'agit d'une voiture ou d'un panneau.

Lidar (light detection and ranging). Le lidar émet des impulsions laser et chronomètre leur retour, construisant un « nuage de points » 3D précis de l'environnement. Il excelle sur la forme et la distance exactes. Ses faiblesses : le coût et une performance dégradée par le brouillard épais ou la neige. Beaucoup de systèmes ADAS grand public se passent totalement du lidar et s'appuient sur caméra plus radar ; les systèmes premium et les robotaxis ont tendance à l'inclure.

Dans notre scène de changement de voie :

• La caméra voit une berline et détecte son clignotant gauche ainsi qu'un léger déplacement latéral.
• Le radar signale un objet à 38 mètres, se rapprochant à 6 km/h, dérivant latéralement.
• Le lidar (s'il est présent) confirme un amas de points en forme de véhicule qui change de position.

Trois récits bruités, partiels, parfois contradictoires. Il faut maintenant les réconcilier.

Étape 2 : Fusionner (combiner les capteurs en une seule vérité)

La sensor fusion est le processus qui fond plusieurs flux de capteurs en un modèle du monde unique et plus fiable. L'insight central : la force de chaque capteur couvre la faiblesse d'un autre.

Il existe deux grandes approches.

Late fusion (au niveau objet) : chaque capteur produit d'abord ses propres détections, puis un module de fusion les réconcilie. Plus simple, plus facile à débugger, mais on perd le détail brut.

Early fusion (au niveau données) : les données brutes des capteurs sont combinées avant la détection d'objets, ce qui permet à un réseau de neurones d'apprendre des motifs subtils entre capteurs. Plus puissant, plus gourmand en compute, plus difficile à valider.

Un défi pratique est l'alignement temporel et spatial. Caméra, radar et lidar capturent chacun à des cadences différentes et depuis des points de montage physiques légèrement différents. La fusion doit horodater chaque mesure et les transformertransformerUn Transformer est une architecture de réseau de neurones qui utilise le self-attention pour traiter des séquences en parallèle. Elle est au cœur de la plupart des modèles de langage et d'IA générative actuels.Voir la définition complète → dans un référentiel commun avant toute comparaison. Un décalage de 30 millisecondes à vitesse autoroutière, c'est un mètre d'erreur.

Voici une étape d'association de late fusion simplifiée, en pseudocode :

# Associer les détections caméra aux tracks radar par position prédite
for cam_obj in camera_detections:
    best = None
    for radar_trk in radar_tracks:
        # écart entre les positions estimées par chaque capteur
        gap = position_error(cam_obj.xy, radar_trk.xy)
        if gap < GATE_METERS and (best is None or gap < best.gap):
            best = radar_trk
    if best:
        fused = merge(cam_obj, best.velocity, best.range)
        world_model.update(fused)   # un seul objet, plus riche que chaque capteur seul

La sortie de la fusion est un world model propre : une liste d'objets suivis, chacun avec une position, une vitesse, une taille et une classe (voiture, piéton, glissière), plus un score de confiance. Notre berline qui dérive est désormais un objet suivi unique : « véhicule, 38 m devant à droite, rapprochement 6 km/h, vitesse latérale 0,5 m/s vers la voie ego, confiance élevée ».

(« Ego » est le terme standard pour désigner votre propre véhicule, celui que le système pilote.)

Étape 3 : Prédire (ce qui va se passer ensuite)

Un instantané ne suffit pas. Le système doit anticiper les quelques secondes suivantes.

Les modèles de prédiction posent la question : compte tenu du mouvement récent de cet objet, de la géométrie des voies et de l'état du clignotant, où sera-t-il dans 1, 2 et 3 secondes ? Les stacks modernes utilisent des modèles appris sur d'énormes volumes de données de conduite réelle pour estimer les trajectoires probables, souvent plusieurs à la fois avec des probabilités associées.

Pour notre berline : clignotant allumé, dérive latérale régulière, distance qui se réduit. Le modèle sort une probabilité élevée qu'elle occupe pleinement la voie ego dans environ 2 secondes.

C'est là que l'IA prouve sa valeur. Un système purement à base de règles (« si l'objet franchit la ligne, freiner ») serait saccadé et facile à tromper. Un prédicteur appris comprend l'intention : un clignotant plus une dérive latérale signifient « insertion », alors qu'une dérive latérale seule à l'approche d'un virage peut simplement signifier « suit la route ».

Étape 4 : Agir (planification et contrôle)

Le système décide. Le motion planning choisit une trajectoire sûre pour le véhicule ego ; le contrôle traduit cette trajectoire en commandes de direction, d'accélérateur et de frein.

Face à la berline qui s'insère, le planner pèse les options :

• Maintenir la vitesse (dangereux, la distance se réduit).
• Freiner fort (sûr mais brutal, risque d'être percuté par l'arrière).
• Relâcher l'accélérateur et appliquer un freinage léger (fluide, rouvre la distance).

Il choisit l'action la plus douce qui préserve une distance de sécurité, puis transmet une décélération cible à la couche de contrôle, qui module les freins. Tout cela se répète toutes les quelques dizaines de millisecondes, à mesure que de nouvelles données capteurs arrivent.

La contrainte temps réel

Chaque étape tourne sur une plateforme de calcul de qualité automobile sous un budget temps strict, souvent une cible bien inférieure à 100 millisecondes de bout en bout. C'est une échéance de latence dure (la latence est le délai entre l'entrée et la réponse). La manquer, c'est agir sur des informations périmées. D'où le fait que le logiciel ADAS tourne sur des puces dédiées, et non sur un CPU d'ordinateur portable généraliste, et que les ingénieurs s'obsèdent à gratter des millisecondes.

La sécurité est ici encadrée par des frameworks comme l'ISO 26262 (sécurité fonctionnelle des véhicules routiers) et l'ISO 21448 / SOTIF (Safety Of The Intended Functionality, qui traite des risques liés aux limites de performance plutôt qu'aux défaillances franches, par exemple une caméra aveuglée par le soleil). Vous trouverez un panorama accessible des tests et notations ADAS chez Euro NCAP.

Pourquoi la fusion bat n'importe quel capteur isolé

Revenons à la berline qui dérive et imaginons chaque capteur travaillant seul.

Caméra seule : en contre-jour rasant, elle peut perdre totalement la berline pendant quelques images, ou mal évaluer la vitesse à laquelle la distance se réduit.

Radar seul : il sait que quelque chose se rapproche mais ne peut confirmer s'il s'agit d'une voiture ou d'un portique de signalisation, cause classique de freinages injustifiés.

Lidar seul : il voit parfaitement la forme et la distance mais ne peut lire ni le clignotant ni les feux stop, et perd donc le signal d'intention.

Fusionnés, les trois annulent mutuellement leurs angles morts. La caméra fournit la classe et l'intention, le radar une vitesse de rapprochement inébranlable même en contre-jour, et le lidar (quand il est présent) la géométrie exacte. La confiance monte, les fausses alertes baissent, et le planner peut agir sans hésiter.

C'est la leçon centrale pour quiconque évalue l'IA automobile : la performance vient rarement d'un capteur ou d'un modèle héroïque. Elle vient de la redondance et de la gestion des désaccords. Les questions d'ingénierie les plus difficiles sont : que faire quand les capteurs se contredisent, comment dégrader proprement quand l'un tombe, et comment prouver que toute la chaîne est sûre.

L'angle business

Pour les dirigeants produit et stratégie, ce stack dessine des arbitrages réels. Ajouter du lidar augmente le coût par véhicule mais peut simplifier la validation et améliorer la performance par mauvais temps. Les approches très orientées caméra abaissent le coût matériel mais exigent des volumes de données d'entraînement énormes et davantage de compute. Aucune n'a universellement raison, et le choix se répercute sur les contrats fournisseurs, le pricing et la façon dont un système obtient ses notes de sécurité.

Points clés

• La perception ADAS est un pipeline : percevoir, fusionner, prédire, agir, le tout répété toutes les quelques dizaines de millisecondes sous une échéance de latence dure.
• Aucun capteur ne suffit seul. Les caméras lisent l'intention et la classe, le radar mesure la vitesse de rapprochement par tous les temps, le lidar livre une géométrie 3D précise. La fusion combine leurs forces.
• C'est la prédiction, pas seulement la détection, qui crée la valeur de l'IA. Anticiper l'intention d'une voiture qui s'insère permet une action fluide au lieu de réactions saccadées à base de règles.
• La sécurité est un problème système. Des normes comme l'ISO 26262 et le SOTIF traitent à la fois les défaillances franches et les limites de performance telles que l'aveuglement d'un capteur.
• Le choix des capteurs est une décision business. Les stacks très orientés caméra face aux stacks équipés de lidar arbitrent entre coût matériel, besoins en données, compute et effort de validation.