L'IA multimodale : comprendre ce qui se passe quand un modèle voit, entend et lit à la fois

L'expression "IA multimodale" circule depuis quelques années, mais elle reste mal comprise. Beaucoup de professionnels pensent qu'un modèle multimodal est simplement un modèle de texte auquel on a "branché" une caméra ou un microphone. Ce n'est pas ainsi que cela fonctionne, et cette confusion a des conséquences pratiques : on attend du modèle ce qu'il ne peut pas faire, ou on sous-exploite ce qu'il sait faire.

Le concept à comprendre ici est précis : lafusion de modalités dans un modèle unifié, c'est-à-dire la capacité d'un même système à traiter conjointement des données de natures différentes pour produire un raisonnement cohérent.

Pourquoi cela change quelque chose dans votre travail

Un modèle purement textuel, comme les premières versions de GPT-3, raisonne sur des tokenstokensA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Voir la définition complète → : des fragments de texte encodés numériquement. Ajoutez une image à la conversation et il est aveugle. Cela peut sembler évident, mais les implications pratiques sont importantes.

Dans un contexte professionnel, l'essentiel de l'information n'arrive pas sous forme de texte brut. Un contrat scanné est une image. Un appel client enregistré est un fichier audio. Une présentation PowerPoint est une combinaison de texte, de graphiques et de mise en page visuelle. Un modèle qui ne traite qu'une seule de ces couches ignore le reste.

GPT-4o, sorti en mai 2024 par OpenAI, ou Gemini 1.5 Pro de Google, sont des exemples de modèles construits pour traiter nativement plusieurs modalités. Un analyste qui soumet un graphique financier et demande "quelles tendances ressortent de cette courbe ?" obtient une réponse qui s'appuie sur les données visuelles réelles, pas sur une description que l'utilisateur aurait lui-même tapée. C'est une différence de fond, pas de forme.

Comment cela fonctionne réellement

Prenons le cas d'une image soumise à un modèle multimodal. L'image n'est pas "décrite" par un module séparé puis transmise au modèle de texte. Dans une architecture multimodale native, l'image est encodée par un composant visuel (souvent un Vision TransformerTransformerA Transformer is a neural network architecture that uses self-attention to process sequences in parallel, powering most modern language and generative AI models.Voir la définition complète →, ou ViT) qui la découpe en patches, des petites tuiles de pixels, et les encode en vecteurs numériques. Ces vecteurs sont ensuite projetés dans le même espace de représentation que les tokens textuels.

Le modèle reçoit alors une séquence mixte : des tokens de texte et des tokens visuels, alignés dans un espace commun. L'attention, le mécanisme central des transformers, opère sur l'ensemble de cette séquence. Le modèle peut donc "relier" un mot du texte à une région de l'image, parce que les deux sont représentés dans le même langage mathématique.

Pour l'audio, la logique est similaire. Whisper, le modèle de transcription d'OpenAI, encode les signaux sonores en spectrogrammes (des représentations visuelles du son), qui sont ensuite traités comme des images. D'autres architectures vont plus loin et intègrent directement les représentations audio dans l'espace latent du modèle principal.

Un exemple concret : imaginez un directeur commercial qui soumet l'enregistrement d'un appel de 45 minutes avec un client et demande au modèle d'identifier les objections exprimées et les engagements pris. Un modèle multimodal natif transcrit, segmente, analyse le contenu sémantique et peut croiser ces données avec un document contractuel soumis simultanément. Ce qui prendrait deux heures à un collaborateur prend quelques secondes.

La vidéo, elle, reste le domaine le plus complexe. Une vidéo est une séquence d'images auxquelles s'ajoute une piste audio, le tout lié par une temporalité. Gemini 1.5 Pro peut traiter jusqu'à une heure de vidéo dans son contexte long (contexte de 1 million de tokens). Mais la plupart des modèles actuels procèdent par échantillonnage de frames, ce qui signifie qu'ils ne voient pas chaque image de la vidéo : ils en sélectionnent une fraction et raisonnent sur cet échantillon. C'est suffisant pour beaucoup de tâches, mais cela crcrThe percentage of visitors or prospects who complete a desired action (purchase, sign-up, contact form), calculated as conversions divided by total opportunities.Voir la définition complète →ée des angles morts.

Quand l'utiliser, et quand ne pas s'y fier

La multimodalité apporte une valeur réelle dans des cas précis : extraction d'information depuis des documents non structurés (formulaires, factures scannées, plans techniques), analyse de présentations visuelles, contrôle qualité sur des images de produits, ou synthèse d'appels enregistrés.

Les limites sont tout aussi réelles. Première limite : la précision spatiale sur les images. Demandez à GPT-4o de compter exactement 47 objets dans une image dense, ou de lire un tableau de chiffres très serré, et les erreurs augmentent. Ces modèles raisonnent par inférence statistique, pas par lecture pixel par pixel.

Deuxième limite : la cohérence temporelle dans la vidéo. Si un événement se produit pendant une fraction de seconde entre deux frames échantillonnés, le modèle peut le manquer. Pour des analyses de sécurité ou de conformité où chaque instant compte, ce risque est sérieux.

Troisième limite, souvent ignorée : la traçabilité. Lorsqu'un modèle combine du texte, une image et de l'audio pour produire une réponse, il est difficile de savoir quelle modalité a pesé le plus dans le résultat. Dans des contextes réglementés (audit, conformité, ressources humaines), cette opacité est un problème réel. Ce n'est pas une raison de ne pas utiliser l'outil, mais c'est une raison de documenter les entrées et de conserver les sources brutes.

Quatrièmement : le coût. Les appels APIAPIApplication Programming Interface: a standardised interface that lets applications communicate and exchange data without knowing each other's internal workings.Voir la définition complète → multimodaux consomment beaucoup plus de tokens que les appels textuels. Une image de haute résolution peut représenter des centaines à des milliers de tokens. À l'échelle, cela se traduit par des coûts d'infrastructure significatifs. Les équipes qui automatisent des flux à grand volume doivent modéliser cet impact avant de déployer.

---

La fusion de modalités dans un modèle unifié n'est pas un détail technique réservé aux ingénieurs : elle détermine ce qu'on peut raisonnablement demander à un système d'IA et ce qu'on ne peut pas. Comprendre que le modèle traite une image comme une séquence de vecteurs, et non comme une description, aide à formuler de meilleures instructions et à interpréter les résultats avec le bon niveau de confiance. La multimodalité est puissante sur des tâches d'extraction et de synthèse, et fragile dès qu'on exige une précision absolue sur des données denses ou temporelles.