ChatGPT · Images, voix et vision
ChatGPT peut générer une image, lire la photo de votre tableau blanc ou une stack trace, et tenir une vraie conversation orale, le tout dans le même fil. Ce ne sont pas trois applications distinctes assemblées tant bien que mal. Ce sont trois modes d'un même modèle multimodal, et la compétence consiste à savoir quel mode se justifie pour une tâche donnée. Nous allons parcourir trois prompts concrets : une maquette d'interface, un debug à partir d'une capture d'écran et un brainstorm mains libres.
Générer des images : du prompt à la maquette
La génération d'images dans ChatGPT repose sur le modèle nativement multimodalmultimodalIA qui traite plusieurs types de contenu à la fois: texte, image, audio, vidéo et données, au lieu d'un seul format.Voir la définition complète → d'OpenAI, et non sur un module de diffusion séparé qu'il faudrait appeler par son nom. Vous décrivez ce que vous voulez en langage courant et vous itérez dans la même conversation, et c'est là le vrai avantage : le modèle conserve le contexte d'une modification à l'autre.
Essayez ceci, dans la peau d'un product designer qui esquisse une landing pagelanding pagePage web autonome construite pour un seul objectif de campagne, conçue pour maximiser les conversions en supprimant les distractions et en concentrant le visiteur sur une action unique.Voir la définition complète → :
Génère une maquette épurée d'une page de tarifs SaaS. Trois niveaux (Starter, Pro, Team), thème clair, une seule couleur d'accent en bleu sarcelle, beaucoup d'espace blanc, pas de lorem ipsum, utilise des noms d'offres et des puces de fonctionnalités réalistes. 16:9.
Puis itérez sans tout redécrire :
Même mise en page, mais fais de Pro le niveau mis en avant « le plus populaire » et resserre l'espacement vertical.
Comme le modèle garde l'image précédente en contexte, des relances comme « maintenant en mode sombre » ou « remplace le bleu sarcelle par de l'indigo » fonctionnent réellement. C'est là que ChatGPT l'emporte sur un outil d'image en un seul coup : la conversation tient lieu d'historique des versions.
Deux limites pratiques à intégrer. D'abord, le texte généré dans les images est bien meilleur qu'avant mais reste imparfait au pixel près : considérez les titres comme des placeholders, pas comme du texte définitif. Ensuite, il s'agit d'une maquette, pas d'un fichier Figma. Vous obtenez une image matricielle à plat, sans calques modifiables. Servez-vous-en pour aligner une équipe sur une direction en quelques minutes, puis reconstruisez la direction retenue dans votre véritable outil de design.
Vous pouvez aussi fournir une image *en entrée* et demander une variante : téléversez la capture d'écran d'un concurrent et dites « conçois quelque chose dans cet esprit, mais pour un public de développeurs ». Le modèle raisonne sur les pixels téléversés, ce qui fait le lien avec le mode suivant.
Vision : lire des captures d'écran, des tableaux blancs et des erreurs
La vision est l'inverse de la génération. Vous donnez une image à ChatGPT et il la lit. C'est le mode que la plupart des professionnels sous-utilisent, et c'est celui qui fait gagner le plus de temps.
Le cas d'usage phare est le debug à partir d'une capture d'écran. Imaginons que votre terminal crache un mur de rouge et que vous n'ayez pas le courage de le lire attentivement. Faites une capture, déposez-la et demandez :
Voici l'erreur de mon build. Quelle est la cause racine et le correctif minimal ? Pars du principe que c'est Node 20.
ChatGPT lit la stack trace comme du texte, identifie le module en échec et pointe généralement la vraie cause plutôt que la première ligne (qui n'est souvent que du bruit). Pour de meilleurs résultats, associez l'image au fichier concerné. La vision accompagnée d'un extrait de code collé fait mieux que chacun séparément, car le modèle peut croiser ce qu'il voit avec ce que vous avez écrit.
Le cas du tableau blanc est tout aussi solide. Photographiez un schémamaUtiliser un logiciel pour automatiser les tâches et campagnes marketing répétitives, afin de personnaliser à grande échelle sur des canaux comme l'email, le web et le social.Voir la définition complète → d'architecture brouillon après une réunion et demandez :
Retranscris ce tableau blanc en un document markdown structuré : les boîtes sont des services, les flèches sont des flux de données. Signale tout ce qui est ambigu.
Il transformera flèches et gribouillis en une liste de composants propre et signalera les deux flèches qu'il n'a pas pu lire. Cette consigne « signale ce qui est ambigu » compte : elle empêche le modèle d'inventer avec assurance les parties qu'il ne voit pas.
Quelques remarques sur la précision. La vision lit l'écriture manuscrite, les diagrammes, les graphiques, les interfaces et les textes denses, mais les photos en très basse résolution ou prises de biais dégradent les résultats : recadrez serré et photographiez de face. Pour les documents sensibles, gardez en tête que l'image est envoyée au modèle comme n'importe quelle autre entrée ; traitez-la avec le même soin qu'un texte collé. Le récapitulatif officiel de ce que les modèles dotés de vision savent faire ou non se trouve dans le guide vision d'OpenAI.
Vision et analyse de données avancée
La vision devient nettement plus utile quand vous l'enchaînez avec Advanced Data Analysis (le sandbox Code Interpreter vu précédemment). Téléversez la capture d'un graphique issu d'un rapport PDF et **demandez à ChatGPT d'*extraire* les chiffres sous-jacents et de reconstruire proprement le graphique** :
Relève les valeurs des barres de ce graphique, mets-les dans un tableau, puis trace une version plus propre avec des barres triées et des axes légendés.
Le modèle lit l'image, écrit du Python pour recréererLe rapport entre les interactions (likes, commentaires, partages) et le reach d'un contenu, utilisé pour mesurer la réaction de l'audience au regard du nombre de personnes touchées.Voir la définition complète → les données et l'exécute dans le sandbox. Vous obtenez une vraie figure téléchargeable, ainsi que les données qui la sous-tendent. Aucun outil mono-usage ne vous offre ce workflow.
Voix : conversation mains libres en temps réel
Le mode voix vous permet de parler à ChatGPT et de l'entendre vous répondre, avec une latence assez faible pour ressembler à une conversation plutôt qu'à un talkie-walkie. En coulisses, il s'appuie sur les modèles realtime speech-to-speech d'OpenAI, ce qui explique qu'on puisse l'interrompre en pleine phrase et qu'il capte votre ton, pas seulement vos mots.
La voix excelle dès que vos mains ou vos yeux sont occupés. Le cas type est le brainstorm mains libres :
Je pars marcher. Sois mon partenaire de réflexion. Je cherche un nom pour un produit d'analytics B2B. Propose-moi cinq pistes, demande-moi ce qui me parle, et ne me balance pas une liste géante, reste dans la conversation.
Cette dernière consigne, c'est tout l'enjeu de la voix. Par défaut, les modèles veulent énumérer. À l'oral, une liste de quinze éléments ne sert à rien, parce que vous ne pouvez pas la parcourir des yeux. Demandez explicitement des tours de parole courts, une idée à la fois, et la possibilité de vous contredire. Traitez-le comme un collègue, pas comme une barre de recherche.
Deux éléments rendent la voix bien plus puissante qu'il n'y paraît :
- Elle partage votre mémoire et vos instructions personnalisées. Un brainstorm vocal connaît vos projets et vos préférences comme un chat écrit, il peut donc évoquer « le parcours d'onboarding dont on a parlé » sans que vous ayez à réexpliquer.
- Elle peut être combinée à la caméra sur mobile. Vous pouvez pointer votre téléphone vers une machine, un menu ou un tableau blanc et poser votre question à voix haute. C'est la fusion de la vision et de la voix : « Que signifie cet avertissement sur le dashboard ? » en regardant l'écran.
Une fois la marche terminée, toute la conversation orale figure en texte dans le fil : vous pouvez passer dans Canvas et demander à ChatGPT de transformertransformerUn Transformer est une architecture de réseau de neurones qui utilise le self-attention pour traiter des séquences en parallèle. Elle est au cœur de la plupart des modèles de langage et d'IA générative actuels.Voir la définition complète → ce brainstorm décousu en un one-pager serré. **Le mode dans lequel vous *commencez* ne vous enferme pas**.
Choisir le bon mode
L'erreur consiste à les traiter comme des gadgets. Associez-les à la forme de la tâche :
- Générez une image quand vous devez *matérialiser* rapidement une idée visuelle : une maquette, une ébauche de diagramme, un concept pour aligner les gens. La précision au pixel près importe peu.
- Utilisez la vision quand l'information est *prisonnière des pixels* : une capture d'erreur, un tableau blanc, un graphique dans un PDF, la photo d'un formulaire. Vous convertissez une image en texte structuré ou en analyse.
- Utilisez la voix quand vos *mains ou vos yeux sont occupés* ou quand penser à voix haute vaut mieux que taper : brainstorming, rubber-ducking sur un problème, dictée pendant les trajets.
La plupart des workflows réels les enchaînent. Photographiez un tableau blanc (vision), discutez-en en marchant (voix), puis faites générer par ChatGPT un diagramme d'architecture au propre (image), le tout dans un seul fil qui garde en mémoire l'ensemble du parcours.
Vérification des acquis
1. Selon la leçon, quel est le principal avantage de générer des images dans une conversation ChatGPT plutôt qu'avec un outil d'image en un seul coup ?
2. Comment la leçon décrit-elle la relation entre génération d'images et vision ?
3. Pourquoi la leçon conseille-t-elle de considérer une maquette générée comme un point de départ plutôt que comme un livrable final ?
4. Sélectionnez TOUTES les limites pratiques des images générées mises en avant par la leçon.
Sélectionnez toutes les réponses correctes.
5. Sélectionnez TOUTES les affirmations qui reflètent fidèlement la vision de la leçon sur les capacités multimodales de ChatGPT.
Sélectionnez toutes les réponses correctes.
Intégrer le multimodal via l'APIAPIApplication Programming Interface : une interface standardisée qui permet aux applications de communiquer et d'échanger des données sans connaître leur fonctionnement interne respectif.Voir la définition complète →
Tout ce qui précède est aussi accessible par programmation, ce qui permet de l'intégrer à un produit au lieu de le faire à la main. La Responses API accepte texte et images dans la même requête : le workflow de debug par capture d'écran devient une fonction que votre application peut appeler.
Voici le cas vision sous forme de code : envoyez une image et une question, et récupérez une analyse structurée. L'exemple utilise un modèle actuel de la famille GPT-5 ; consultez la page des modèles pour l'option la plus récente, car les noms changent vite.
from openai import OpenAI
client = OpenAI()
response = client.responses.create(
model="gpt-5",
input=[{
"role": "user",
"content": [
{"type": "input_text", "text": "What's the root cause of this build error? One sentence."},
{"type": "input_image", "image_url": "https://example.com/build-error.png"},
],
}],
)
print(response.output_text)Vous pouvez passer une URL hébergée comme ci-dessus, ou un fichier local encodé en base64, ce que vous feriez pour la capture d'écran téléversée par un utilisateur. Le même schéma de tableau input gère plusieurs images : une fonctionnalité « comparer ces deux états d'interface » se résume à deux entrées input_image. Pour un tri de captures d'écran à fort volume et à faible coût, une variante plus petite comme gpt-5-mini suffit généralement.
Pour la *génération* d'images via l'API, vous appelez l'outil de génération d'images (ou l'endpoint images dédié) plutôt que les modèles de chat, et vous récupérez des données d'image à stocker ou à afficher. Combinez cela avec les structured outputs et vous pouvez construire un pipelinepipelineL'ensemble des opportunités commerciales actives réparties selon les étapes du processus de vente, avec leur valeur potentielle cumulée et leur probabilité de conclusion.Voir la définition complète → qui, par exemple, lit la photo d'un ticket de caisse et renvoie des lignes JSON propres avec un schéma garanti, sans parsing fragile.
La voix dans l'API constitue une surface à part : les modèles realtime assurent le speech-to-speech, tandis que des endpoints distincts de transcription et de text-to-speech couvrent les cas plus simples où il s'agit « juste de convertir de l'audio ». Si vous n'avez besoin que d'une transcription, utilisez la transcription ; passez au realtime quand il vous faut un véritable agent vocal interactif. Le choix reflète celui côté ChatGPT : conversation complète contre conversion ponctuelle.
Ce qui reste dans ChatGPT
Tout ne nécessite pas l'API. Si votre objectif est un workflow multimodal *personnel* et reproductible, un Custom GPT avec des instructions claires (« Chaque fois que je téléverse un graphique, extrais les données, reconstruis-le proprement et donne-moi le tableau ») le capture sans une ligne de code. L'API sert quand vous livrez la fonctionnalité à d'autres personnes au sein d'un produit.
Points clés
- Choisissez le mode selon l'endroit où se trouve l'information. Des pixels en entrée : la vision ; une idée à sortir : la génération d'image ; les mains occupées : la voix. La plupart des workflows solides enchaînent les trois dans un seul fil.
- En vision, associez l'image à du contexte et demandez de signaler les ambiguïtés. Une capture d'écran plus un extrait de code, plus « dis-moi ce que tu ne peux pas lire », fait mieux que l'image seule et évite les hallucinations énoncées avec assurance.
- En voix, exigez explicitement des tours de parole courts. Par défaut, les modèles produisent de longues listes, inutiles à l'oral. Demandez une idée à la fois et dites-lui de vous contredire.
- Enchaînez la vision avec Advanced Data Analysis pour transformer la capture d'un graphique en vraies données téléchargeables et en figure reconstruite au propre.
- Passez par la [Responses API](https://platform.openai.com/docs/api-reference/responses) avec `input_image` et un modèle actuel de la famille GPT-5 quand vous devez industrialiser le workflow capture-vers-analyse, et ajoutez les structured outputs pour un JSON fiable.
Articles liés
Les articles récents du blog qui s'appuient sur cette leçon.
- IAMettre l'IA multimodale au travail : le playbook opérationnelTexte, image, voix, vidéo : les modèles d'IA actuels traitent ces quatre modalités, souvent simultanément. Ce guide vous montre comment orchestrer ces capacités dans vos tâches quotidiennes, sans perdre de temps sur des expérimentations sans résultat.
- IAL'IA multimodale : comprendre ce qui se passe quand un modèle voit, entend et lit à la foisLes modèles d'IA multimodaux traitent simultanément plusieurs types de données : texte, image, audio, vidéo. Comprendre leur mécanique interne change la façon dont on les utilise et dont on évite leurs pièges.