+170 XP

Multimodalité et contexte long : les superpouvoirs de Gemini

Donnez à Gemini un webinar enregistré de deux heures et un contrat de 300 pages dans le même prompt, puis demandez « à quel timestamp l'intervenant contredit-il la clause 14 ? » : il est réellement capable de répondre. Cette combinaison, multimodalité native et très grande fenêtre de contexte, c'est ce que Gemini fait vraiment là où la plupart des assistants font encore semblant en découpant les entrées en morceaux.

Cette leçon porte sur l'usage délibéré de ces deux forces, et sur la manière de savoir quand elles valent leur coût.

Ce que « multimodalité native » veut vraiment dire

Gemini a été entraîné dès le départ pour traiter le texte, les images, l'audio et la vidéo comme des tokens dans un même modèle. C'est différent d'un modèle purement textuel greffé sur un système séparé de vision ou de reconnaissance vocale. Il n'y a pas d'étape de transcription invisible, pas de passe OCR séparée qui perd la mise en page.

Conséquence pratique : **Gemini raisonne *à travers* les modalités en une seule passe**. Il peut lire le graphique d'un PDF, le relier à une phrase trois pages plus loin, et remarquer que le ton audio d'un extrait vidéo ne correspond pas à la slide à l'écran.

Le token est ici l'unité d'entrée. Texte, pixels et trames audio sont tous convertis en tokens. Une longue fenêtre de contexte signifie un gros budget de tokens. La fenêtre de Gemini (environ 1 million de tokens sur les modèles Pro et Flash actuels) est assez grande pour contenir des livres entiers, des codebases conséquentes, ou environ une heure de vidéo d'un coup.

Pourquoi c'est mieux que le chunk-and-retrieve pour certaines tâches

Vous connaissez déjà le RAG : découper les documents, faire l'embedding des chunks, récupérer les quelques passages pertinents. Cela reste le bon outil pour une base de connaissances de 10 000 documents. Mais **pour un *seul gros artefact* que vous voulez faire analyser dans son ensemble, le chunking vous pénalise activement**. Il casse les renvois internes, perd la structure globale et ne peut pas voir ce que vous ne saviez pas qu'il fallait chercher.

Le contexte long permet de se passer complètement du retrieval dans ce cas. Déposez le document entier. Gemini le voit en totalité, il peut donc répondre à des questions qui couvrent tout le fichier.

Un exemple concret : interroger une longue vidéo

Mettons que vous ayez l'enregistrement d'un all-hands d'ingénierie de 90 minutes et un design doc en PDF. Vous voulez vérifier que la présentation correspond au document.

Dans Google AI Studio, vous pouvez importer les deux et simplement poser la question. Via l'API, voici la même chose avec le SDK google-genai :

python
from google import genai

client = genai.Client()

video = client.files.upload(file="all-hands.mp4")
doc = client.files.upload(file="design-doc.pdf")

response = client.models.generate_content(
    model="gemini-3-pro-preview",
    contents=[
        video, doc,
        "Find every place the speaker describes the rollout plan. "
        "For each, give the timestamp and quote, then say whether it "
        "matches the design doc. Cite the doc page for any mismatch.",
    ],
)

print(response.text)

Vous obtenez des timestamps, des citations, des références de pages et un verdict. Pas de pipeline de transcription, pas de configuration de chunking, pas de vector store. Gemini a regardé la vidéo et lu le PDF en même temps.

Quelques points à connaître :

  • Files API : les gros fichiers passent par client.files.upload, qui stocke le fichier temporairement et vous renvoie une référence. Utilisez-la pour tout ce qui dépasse de petites images inline.
  • Timestamps : comme Gemini traite la vidéo nativement, vous pouvez lui demander de renvoyer des références MM:SS, et même demander « qu'y a-t-il à l'écran à 42:15 ? »
  • Choix du modèle : un modèle Gemini 3 Pro pour le raisonnement approfondi sur de longues entrées, un modèle Flash quand vous voulez de la vitesse et un coût plus faible et que la tâche relève plus de l'extraction que du raisonnement. Les identifiants de modèles changent quand les versions passent de preview à stable : vérifiez les noms actuels sur la page des modèles avant de mettre en production.

La même puissance dans l'application Gemini et Workspace

Vous n'avez pas besoin de l'API pour en profiter. Dans l'application Gemini, importez un PDF, une image ou un fichier audio et posez vos questions. Dans Google Workspace, la portée est plus large :

  • Gemini dans Drive peut résumer un fichier et répondre à des questions dessus sans l'ouvrir.
  • Gemini dans Docs et Gmail raisonne sur le document ou le fil de discussion dans lequel vous êtes.
  • Gemini dans Meet traite la réunion elle-même pour produire notes et comptes rendus.

Si vous faites ce type d'analyse multi-documents régulièrement, créez un Gem : une configuration de Gemini enregistrée et réutilisable, avec vos propres instructions et (éventuellement) des fichiers de référence joints. Voyez-le comme un expert enregistré. Un Gem « Contract Reviewer » qui intègre votre checklist de clauses vous évite de ressaisir le cadrage à chaque fois.

Où le contexte long est rentable (et où il ne l'est pas)

Le contexte long est un outil, pas un réglage par défaut. Utilisez-le quand la valeur vient du fait de *tout voir d'un coup*.

Bons cas d'usage :

  • Q&A sur un document entier : un gros contrat, un RFP, un article de recherche ou une transcription dont les réponses couvrent plusieurs sections.
  • Analyse vidéo et audio : cours, interviews, enregistrements d'écran, appels au support. « À quel moment le client s'agace-t-il ? » est une vraie requête.
  • Raisonnement sur une codebase : collez un module entier ou plusieurs fichiers et demandez une revue d'architecture ou une chasse aux bugs qui traverse les frontières entre fichiers.
  • Vérification cross-modale : la vidéo de démo correspond-elle à la spec ? Le graphique correspond-il à sa légende ?

Mauvais cas d'usage (utilisez plutôt le RAG ou des outils) :

  • Grands corpus : des milliers de documents. Le retrieval est moins cher et plus précis que de tout entasser dans le prompt.
  • Faits récents : la fenêtre du modèle contient *vos* données, pas l'actualité du jour. Pour de l'information à jour, appuyez-vous sur le grounding (section suivante).
  • Recherches répétitives à fort volume : un million de tokens par appel coûte cher si vous le faites en permanence. Utilisez le cache ou le retrieval.

Une note sur le coût et la latence

Les grosses entrées coûtent plus cher et sont plus lentes, à peu près en proportion des tokens traités. Deux façons de gérer cela :

  1. Context caching : si vous posez de nombreuses questions sur le *même* gros document, mettez-le en cache une fois via l'API pour ne pas renvoyer (et repayer) l'entrée complète à chaque tour. Voir la documentation context caching de l'API Gemini.
  2. Dimensionner le modèle : Flash pour l'extraction à grande échelle, Pro pour les passes de raisonnement réellement difficiles.

Grounding : contexte long et faits en temps réel

Le contexte long traite *vos* données. Pour les données *du monde*, combinez-le avec le grounding. Le grounding avec Google Search permet à Gemini de vérifier des affirmations face à des résultats en temps réel et de renvoyer des citations, ce qui lutte directement contre les hallucinations.

Dans l'API, vous l'activez comme un outil :

python
from google import genai
from google.genai import types

client = genai.Client()

response = client.models.generate_content(
    model="gemini-3-pro-preview",
    contents="Summarize this report, then flag any claims that current "
             "public data contradicts.",
    config=types.GenerateContentConfig(
        tools=[types.Tool(google_search=types.GoogleSearch())]
    ),
)

print(response.text)

Gemini raisonne alors sur le long document que vous avez fourni *et* vérifie des affirmations précises face au web en temps réel. Cette association, votre contexte privé plus des faits publics vérifiés, est difficile à reproduire avec un assistant purement textuel.

Vérification des acquis

1. Que signifie fondamentalement « multimodalité native » dans le cas de Gemini ?

2. Pour une base de connaissances de 10 000 documents sur laquelle vous devez répondre à des questions ciblées, quelle approche la leçon recommande-t-elle ?

3. Pourquoi le chunking d'un seul gros document pénalise-t-il activement certaines tâches ?

CHOIX MULTIPLES

4. Sélectionnez TOUTES les affirmations vraies sur le fonctionnement des tokens dans la fenêtre de contexte multimodale de Gemini.

Sélectionnez toutes les réponses correctes.

CHOIX MULTIPLES

5. Sélectionnez TOUS les scénarios où la combinaison de la multimodalité native et du contexte long apporte un vrai avantage par rapport au chunk-and-retrieve.

Sélectionnez toutes les réponses correctes.

Choisir votre surface : application, AI Studio ou Vertex AI

La même capacité multimodale et de contexte long se retrouve dans toute la stack Google, à différents niveaux. Choisissez en fonction de ce que vous construisez.

Application Gemini et Gems

Pour les workflows individuels et d'équipe, sans code. Importez des fichiers, créez des Gems, utilisez l'intégration Workspace. C'est là que la plupart des professionnels commencent et là que se fait une grande partie du vrai travail.

Google AI studio et l'API Gemini

Pour prototyper et construire des produits. AI Studio est l'endroit le plus rapide pour tester un prompt multimodal, ajuster les paramètres et récupérer le code équivalent. Quand vous êtes prêt, l'API Gemini (le SDK google-genai ci-dessus) permet de livrer. C'est la bonne couche pour les startups et les outils internes rapides.

Vertex AI

Pour la production à l'échelle d'une grande entreprise : gouvernance, résidence des données, MLOps, IAM et intégration plus étroite avec Google Cloud. Mêmes modèles, enveloppe entreprise. Voir Vertex AI. Le modèle mental : AI Studio pour prototyper, Vertex AI pour faire tourner là où la conformité et l'échelle comptent.

Les outils développeur qui héritent de ces forces

  • Gemini CLI : pilotez Gemini depuis votre terminal, y compris sur des fichiers locaux. Compatible multimodal et contexte long.
  • Gemini Code Assist : une aide dans l'IDE capable de raisonner sur une grande codebase et pas seulement sur le fichier ouvert.
  • Agent Development Kit (ADK) : construisez des agents dans lesquels le contexte long de Gemini alimente des workflows qui utilisent des outils.
  • Apps Script : intégrez Gemini dans des automatisations Workspace (un script qui lit un PDF dans Drive et rédige un Doc).

Des patterns pratiques qui fonctionnent

Quelques patterns qui donnent des résultats fiables avec de grosses entrées multimodales.

Demandez de la structure. Quand vous extrayez des informations d'un long fichier, demandez du JSON. Cela impose de la précision et facilite l'exploitation en aval :

python
config = types.GenerateContentConfig(
    response_mime_type="application/json",
    response_schema={
        "type": "object",
        "properties": {
            "findings": {
                "type": "array",
                "items": {
                    "type": "object",
                    "properties": {
                        "timestamp": {"type": "string"},
                        "quote": {"type": "string"},
                        "matches_doc": {"type": "boolean"},
                    },
                },
            }
        },
    },
)

Placez la question après les données. Avec de très grosses entrées, fournissez d'abord les documents, puis posez la question. Le modèle porte bien son attention sur toute la fenêtre, mais une instruction claire à la fin garde la tâche nette.

Demandez des citations à chaque fois. « Cite la page ou le timestamp » n'est pas optionnel sur de longues entrées. La réponse devient vérifiable et vous voyez quand le modèle devine.

Décomposez les longues vidéos. Pour un enregistrement de 2 heures, une première passe pour construire un plan horodaté, puis des questions ciblées sur des segments précis, donnent souvent de meilleurs résultats qu'une seule énorme question ouverte.

Comment cela se compare aux autres assistants

Trois vraies différences, dites simplement :

  1. La vidéo et l'audio natifs dans le modèle, et non une transcription transmise à un modèle textuel. Vous pouvez poser des questions sur ce qui est *montré* et *dit*, avec timestamps.
  2. Une fenêtre de contexte réellement grande qui contient des livres ou des codebases entiers, ce qui permet de se passer du chunking pour raisonner sur un artefact unique.
  3. Une intégration profonde dans Workspace et Google Cloud, pour que la même capacité fonctionne de l'application Gemini jusqu'à Vertex AI sans refaire l'architecture.

Cela ne fait pas du contexte long la réponse à tout. Les gros corpus relèvent toujours du RAG. Mais pour « voici un gros objet multimodal et désordonné, raisonne sur l'ensemble », c'est là que Gemini a réellement de l'avance.

Points clés

  • Contexte long pour les gros artefacts uniques, RAG pour les grands corpus. Déposez un contrat, une vidéo ou une codebase en entier quand les réponses couvrent tout le fichier ; passez par le retrieval quand vous avez des milliers de documents.
  • Exploitez la multimodalité native. Demandez des timestamps sur la vidéo, des lectures de PDF qui tiennent compte de la mise en page et des vérifications cross-modales (« la démo correspond-elle à la spec ? »). Aucun pipeline de transcription nécessaire.
  • Associez contexte long et grounding. Vos données privées vivent dans la fenêtre ; activez le grounding Google Search pour les faits en temps réel et les citations.
  • Adaptez le modèle et la surface à la tâche. Flash pour l'extraction peu coûteuse à grande échelle, Gemini 3 Pro pour le raisonnement difficile (vérifiez les identifiants actuels sur la page des modèles) ; l'application Gemini pour travailler, AI Studio pour prototyper, Vertex AI pour livrer à l'échelle d'une grande entreprise.
  • Exigez toujours des citations et une sortie structurée sur les longues entrées, et mettez en cache les gros prompts répétés pour maîtriser les coûts.

À faire, tiré de cette leçon

Ces actions sont compilées dans le plan d'action du rôle.

  • Envoyez PDF, images, audio et vidéo nativement dans une seule requête
  • Placer les artefacts volumineux uniques directement dans le long context, en réservant le RAG aux grands corpus
Voir le plan d'action complet →

Articles liés

Les articles récents du blog qui s'appuient sur cette leçon.