ChatGPT · Bilder, Sprache und Vision

ChatGPT kann ein Bild generieren, ein Foto Ihres Whiteboards oder einen Stack Trace lesen und ein echtes gesprochenes Gespräch führen, alles im selben Thread. Das sind nicht drei separate Apps, die man zusammengeschraubt hat. Es sind drei Modi eines multimodalen Modells, und die Fähigkeit besteht darin zu wissen, welcher Modus sich für eine bestimmte Aufgabe lohnt. Wir gehen drei konkrete Prompts durch: ein UI-Mockup, ein Screenshot-Debugging und ein freihändiges Brainstorming.

Bilder generieren: vom Prompt zum Mockup

Die Bildgenerierung in ChatGPT läuft über OpenAIs nativ multimodales Modellmultimodales ModellKI, die mehrere Eingabe- und Ausgabeformate zugleich verarbeitet: Text, Bild, Audio, Video und Daten, statt nur eines Formats.Vollständige Definition ansehen →, nicht über ein separates Diffusion-Anhängsel, das Sie namentlich aufrufen müssten. Sie beschreiben in normaler Sprache, was Sie wollen, und iterieren im selben Gespräch, und genau das ist der eigentliche Vorteil: Das Modell behält den Kontext über die Änderungen hinweg.

Probieren Sie das als Product Designer, der eine Landing PageLanding PageEine eigenständige Webseite für ein einziges Kampagnenziel, die Conversions maximiert, indem sie Ablenkungen entfernt und Besucher auf eine einzige Aktion fokussiert.Vollständige Definition ansehen → skizziert:

Generiere ein aufgeräumtes Mockup einer SaaS-Pricing-Seite. Drei Tiers (Starter, Pro, Team), helles Theme, eine einzige Akzentfarbe in Türkis, großzügiger Whitespace, kein Lorem ipsum, realistische Plan-Namen und Feature-Bullets. 16:9.

Dann iterieren, ohne alles neu zu beschreiben:

Gleiches Layout, aber mach Pro zum hervorgehobenen „most popular“-Tier und verringere die vertikalen Abstände.

Weil das Modell das vorherige Bild als Kontext behält, funktionieren Nachfragen wie „jetzt im Dark Mode“ oder „tausche Türkis gegen Indigo“ tatsächlich. Hier schlägt ChatGPT ein One-Shot-Bildtool: Das Gespräch ist die Versionshistorie.

Zwei praktische Grenzen sollten Sie verinnerlichen. Erstens ist generierter Text innerhalb von Bildern deutlich besser als früher, aber noch nicht pixelgenau, behandeln Sie Überschriften also als Platzhalter, nicht als finale Copy. Zweitens ist das ein Mockup, keine Figma-Datei. Sie bekommen eine flache Rastergrafik, keine editierbaren Ebenen. Nutzen Sie es, um ein Team in Minuten auf eine Richtung einzuschwören, und bauen Sie die gewählte Richtung dann in Ihrem echten Design-Tool nach.

Sie kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen auch ein Bild *hineingeben* und nach einer Variante fragen: Laden Sie den Screenshot eines Wettbewerbers hoch und sagen Sie „entwirf etwas in diesem Geist, aber für ein Entwicklerpublikum“. Das Modell schlussfolgert über die hochgeladenen Pixel, und das ist die BrBrDer Anteil der Besucher, die nach nur einer angesehenen Seite wieder abspringen, häufig ein Signal für mangelnde Relevanz, verfehlte Suchintention oder schwache User Experience.Vollständige Definition ansehen →ücke zum nächsten Modus.

Vision: Screenshots, Whiteboards und Fehler lesen

Vision ist die Umkehrung der Generierung. Sie geben ChatGPT ein Bild, und es liest es. Das ist der Modus, den die meisten Professionals zu wenig nutzen, und es ist der, der am meisten Zeit spart.

Der Killer-Use-Case ist Debugging aus einem Screenshot. Angenommen, Ihr Terminal wirft eine Wand aus Rot aus und Sie haben keine Lust, sie sorgfältig zu lesen. Screenshot machen, reinziehen und fragen:

Hier ist der Fehler aus meinem Build. Was ist die Root Cause und der kleinstmögliche Fix? Geh von Node 20 aus.

ChatGPT liest den Stack Trace als Text, identifiziert das fehlschlagende Modul und zeigt meist auf die eigentliche Ursache statt auf die oberste Zeile (die oft nur Rauschen ist). Für beste Ergebnisse kombinieren Sie das Bild mit der relevanten Datei. Vision plus eingefügtes Snippet schlägt beides einzeln, weil das Modell abgleichen kann, was es sieht, mit dem, was Sie geschrieben haben.

Der Whiteboard-Fall ist genauso stark. Fotografieren Sie nach einem Meeting eine unordentliche Architekturskizze und fragen Sie:

Übertrage dieses Whiteboard in ein strukturiertes Markdown-Dokument: Die Kästen sind Services, die Pfeile sind Datenflüsse. Markiere alles Mehrdeutige.

Es verwandelt Pfeile und Gekritzel in eine saubere Komponentenliste und weist auf die zwei Pfeile hin, die es nicht lesen konnte. Diese Anweisung „markiere, was mehrdeutig ist“ zählt: Sie hindert das Modell daran, die Teile, die es nicht sehen kann, selbstbewusst zu erfinden.

Ein paar Hinweise zur Genauigkeit. Vision liest Handschrift, Diagramme, Charts, UI und dichten Text, aber sehr niedrig aufgelöste oder schiefe Fotos verschlechtern das Ergebnis, also eng zuschneiden und frontal fotografieren. Bei sensiblen Dokumenten gilt: Das Bild geht wie jeder andere Input an das Modell, behandeln Sie es mit derselben Sorgfalt wie eingefügten Text. Die offizielle Übersicht, was die vision-fähigen Modelle können und was nicht, finden Sie im OpenAI vision guide.

Vision plus Advanced Data Analysis

Vision wird dramatisch nützlicher, wenn Sie es mit Advanced Data Analysis verketten (der Code-Interpreter-Sandbox, die Sie bereits kennengelernt haben). Laden Sie den Screenshot eines Charts aus einem PDF-Report hoch und **bitten Sie ChatGPT, die zugrunde liegenden Zahlen zu *extrahieren* und den Chart sauber neu zu bauen**:

Lies die Balkenwerte aus diesem Chart ab, packe sie in eine Tabelle und plotte dann eine sauberere Version mit sortierten Balken und beschrifteten Achsen.

Das Modell liest das Bild, schreibt Python, um die Daten nachzubauen, und führt es in der Sandbox aus. Sie bekommen eine echte, herunterladbare Grafik plus die Daten dahinter. Das ist ein Workflow, den Ihnen kein Single-Purpose-Tool bietet.

Voice: freihändige Konversation in Echtzeit

Der Voice-Modus lässt Sie mit ChatGPT sprechen und es antwortet gesprochen, mit ausreichend niedriger Latenz, damit es sich wie ein Gespräch anfühlt und nicht wie ein Funkgerät. Darunter arbeiten OpenAIs Realtime-Speech-to-Speech-Modelle, deshalb kann man es mitten im Satz unterbrechen und es nimmt Ihren Tonfall auf, nicht nur Ihre Worte.

Voice glänzt überall dort, wo Hände oder Augen beschäftigt sind. Der klassische Fall ist das freihändige Brainstorming:

Ich gehe spazieren. Sei mein Denkpartner. Ich benenne ein B2B-Analytics-Produkt. Wirf mir fünf Richtungen hin, frag mich, was mich anspricht, und kipp keine Riesenliste aus, bleib im Gesprächsmodus.

Diese letzte Anweisung ist bei Voice das Entscheidende. Standardmäßig wollen Modelle aufzählen. In Voice ist eine Liste mit fünfzehn Punkten nutzlos, weil Sie sie nicht überfliegen können. Fordern Sie ausdrücklich kurze Redebeiträge, eine Idee nach der anderen, und die Fähigkeit, Sie herauszufordern. Behandeln Sie es wie einen Kollegen, nicht wie ein Suchfeld.

Zwei Dinge machen Voice weit mächtiger, als es zunächst wirkt:

• Es teilt Ihr Memory und Ihre Custom Instructions. Ein Voice-Brainstorming kennt Ihre Projekte und Präferenzen genau wie ein getippter Chat und kann daher auf „den Onboarding-Flow, über den wir gesprochen haben“ verweisen, ohne dass Sie es neu erklären.
• Es lässt sich mobil mit der Kamera kombinieren. Sie können Ihr Handy auf eine Maschine, eine Speisekarte oder ein Whiteboard richten und laut dazu fragen. Das ist Vision und Voice verschmolzen: „Was bedeutet diese Dashboard-Warnung?“, während Sie auf den Bildschirm schauen.

Wenn Ihr Spaziergang zu Ende ist, steht das gesamte gesprochene Gespräch als Text im Thread, Sie können also zu Canvas wechseln und ChatGPT bitten, aus dem ausschweifenden Brainstorming ein knappes One-Pager zu machen. **Der Modus, in dem Sie *starten*, legt Sie nicht fest**.

Den richtigen Modus wählen

Der Fehler ist, diese Dinge als Spielereien zu behandeln. Ordnen Sie sie der Form der Aufgabe zu:

• Generieren Sie ein Bild, wenn Sie eine visuelle Idee schnell *nach außen bringen* müssen: ein Mockup, ein Diagrammentwurf, ein Konzept, um Leute auszurichten. Geringe Anforderungen an Pixelgenauigkeit.
• Nutzen Sie Vision, wenn die Information *in Pixeln gefangen* ist: ein Fehler-Screenshot, ein Whiteboard, ein Chart in einem PDF, das Foto eines Formulars. Sie wandeln Bild in strukturierten Text oder Analyse um.
• Nutzen Sie Voice, wenn *Hände oder Augen belegt sind* oder wenn lautes Denken besser funktioniert als Tippen: Brainstorming, ein Problem durchsprechen, Diktieren im Pendelverkehr.

Die meisten echten Workflows verketten sie. Whiteboard fotografieren (Vision), es beim Spaziergang besprechen (Voice), dann ChatGPT ein aufgeräumtes Architekturdiagramm generieren lassen (Bild), alles in einem Thread, der den gesamten Bogen behält.

Multimodalität in die APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen → bringen

Alles oben Genannte ist auch programmatisch verfügbar, und so backen Sie es in ein Produkt ein, statt es von Hand zu machen. Die Responses API akzeptiert Text und Bilder im selben Request, der Screenshot-Debug-Workflow wird damit zu einer Funktion, die Ihre App aufrufen kann.

Hier der Vision-Fall als Code: ein Bild plus eine Frage senden und strukturierte Analyse zurückbekommen.

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-4.1",
    input=[{
        "role": "user",
        "content": [
            {"type": "input_text", "text": "What's the root cause of this build error? One sentence."},
            {"type": "input_image", "image_url": "https://example.com/build-error.png"},
        ],
    }],
)

print(response.output_text)

Sie können wie gezeigt eine gehostete URL übergeben oder eine base64-kodierte lokale Datei, was Sie beim hochgeladenen Screenshot eines Nutzers tun würden. Dasselbe input-Array-Muster verarbeitet mehrere Bilder, ein Feature „vergleiche diese beiden UI-Zustände“ sind also einfach zwei input_image-Einträge.

Für die Bild*generierung* aus der API rufen Sie das Image-Generation-Tool auf (oder den dedizierten Images-Endpoint) statt der Chat-Modelle und bekommen Bilddaten zurück, die Sie speichern oder anzeigen können. Kombinieren Sie das mit structured outputs, und Sie können eine PipelinePipelineAlle aktiven Verkaufschancen über die Phasen des Vertriebsprozesses hinweg, zusammen mit ihrem gesamten potenziellen Wert und ihrer Abschlusswahrscheinlichkeit.Vollständige Definition ansehen → bauen, die etwa das Foto eines Belegs liest und saubere JSON-Positionen mit garantiertem SchemaSchemaEin Schema ist der formale Bauplan, der festlegt, wie Daten in einer Datenbank, einer Datei oder einer Nachricht strukturiert, benannt, typisiert und miteinander verknüpft sind.Vollständige Definition ansehen → zurückgibt, ohne fragiles Parsing.

Voice in der API ist eine eigene Fläche: Die Realtime-Modelle treiben Speech-to-Speech an, während separate Transkriptions- und Text-to-Speech-Endpoints die einfacheren „nur Audio umwandeln“-Fälle abdecken. Wenn Sie nur ein Transkript brauchen, nehmen Sie Transkription; greifen Sie zu Realtime, wenn Sie einen echten interaktiven Voice-Agenten brauchen. Die Entscheidung spiegelt die ChatGPT-Seite: vollständige Konversation versus einmalige Umwandlung.

Eine Anmerkung dazu, was in ChatGPT bleibt

Nicht alles braucht die API. Wenn Ihr Ziel ein wiederholbarer *persönlicher* multimodaler Workflow ist, hält ein Custom GPT mit klaren Instruktionen („Immer wenn ich einen Chart hochlade, extrahiere die Daten, bau ihn sauber neu und gib mir die Tabelle“) das ohne eine Zeile Code fest. Die API ist für den Fall, dass Sie die Fähigkeit innerhalb eines Produkts an andere Menschen ausliefern.

Wichtigste Erkenntnisse

• Wählen Sie den Modus danach, wo die Information liegt. Pixel rein, Vision nutzen; Idee raus, Bild generieren; Hände beschäftigt, Voice nutzen. Die meisten starken Workflows verketten alle drei in einem Thread.
• Kombinieren Sie bei Vision das Bild mit Kontext und lassen Sie Mehrdeutigkeiten markieren. Ein Screenshot plus Code-Snippet, plus „sag mir, was du nicht lesen kannst“, schlägt das Bild allein und verhindert selbstbewusste Halluzinationen.
• Fordern Sie bei Voice ausdrücklich kurze Gesprächsbeiträge. Modelle neigen zu langen Listen, die laut vorgelesen nutzlos sind. Sagen Sie ihm, es soll eine Idee nach der anderen liefern und Sie herausfordern.
• Verketten Sie Vision mit Advanced Data Analysis, um aus einem Chart-Screenshot echte, herunterladbare Daten und eine sauber neu gebaute Grafik zu machen.
• Greifen Sie zur [Responses API](https://platform.openai.com/docs/api-reference/responses) mit `input_image`, wenn Sie den Screenshot-zu-Analyse-Workflow produktisieren wollen, und ergänzen Sie structured outputs für verlässliches JSON.