Kosten, Latenz und Modellauswahl: die Tradeoffs

Ein Startup hat 2 Millionen Kundenbewertungen durch ein Frontier-Reasoning-Modell (GPT-5 mit Standardeinstellungen) laufen lassen, um sie als „positiv“, „negativ“ oder „neutral“ einzusortieren. Das funktionierte hervorragend. Es dauerte aber auch 9 Stunden und kostete rund 1.500 $, das meiste davon für versteckte „Denk“-TokensTokensEin Token ist die grundlegende Texteinheit, die Sprachmodelle verarbeiten, oft ein Wortfragment, ein ganzes Wort oder ein Satzzeichen und nicht ein einzelnes Zeichen.Vollständige Definition ansehen →, die niemand brauchte. Dann wechselte das Team zu einem kleinen, schnellen Modell mit heruntergeregeltem Reasoning. Gleiche Aufgabe: 40 Minuten, rund 40 $, und die Genauigkeit sank um weniger als 1 %.

Das ist die ganze Lektion in einer Geschichte. Das größte Modell ist für repetitive Arbeit in hohem Volumen selten das richtige. So sollten Sie darüber nachdenken.

Drei Dinge, die Sie immer gegeneinander abwägen

Jedes Mal, wenn Sie ein Modell auswählen, balancieren Sie drei Dinge aus:

• Qualität: wie gut der Output ist.
• Latenz: wie lange Sie auf eine Antwort warten. (Latenz heißt einfach Verzögerung.)
• Kosten: wie viel Sie pro Anfrage bezahlen.

Meist können Sie zwei davon optimieren, aber nicht alle drei. Ein riesiges Frontier-Modell liefert Spitzenqualität, kostet aber mehr und ist langsamer. Ein kleines Modell ist günstig und schnell, kann bei schwierigen Aufgaben aber ins Straucheln geraten.

Die Kunst besteht darin, das Modell passend zur Aufgabe zu wählen, statt immer zum leistungsstärksten zu greifen.

Warum größere Modelle langsamer und teurer sind

Large Language Models rechnen pro Token ab, wobei ein Token ungefähr 3/4 eines Wortes entspricht. „Customer Service“ sind etwa 2 bis 3 Tokens.

Größere Modelle haben mehr interne „Parameter“ (die Stellschrauben, die beim Training justiert werden). Mehr Parameter bedeuten mehr Rechenaufwand pro Token, also höhere Kosten und mehr Verzögerung.

Es gibt einen zweiten Kostenfaktor, der leicht übersehen wird. Viele aktuelle Modelle (GPT-5, Claude mit Extended Thinking, Gemini 2.5 Pro) sind Reasoning-Modelle: Bevor sie antworten, erzeugen sie versteckte Reasoning-Tokens. Sie sehen diese nie, bezahlen sie aber zum Output-Preis und warten auf sie. Bei einer Antwort aus einem einzigen Wort „denkt“ ein Modell unter Umständen vorher Hunderte Tokens lang.

Ein Frontier-Modell kann pro Anfrage also leicht 10- bis 50-mal mehr kosten als ein kleines und um ein Mehrfaches langsamer antworten. Bei einer einzelnen Anfrage merken Sie diesen Unterschied nicht. Bei 2 Millionen Anfragen ist ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → Ihr gesamtes Budget.

Ein konkretes Beispiel: die Klassifizierungsaufgabe

Machen wir die Sortierung der Bewertungen konkret.

Sie haben 2 Millionen Bewertungen. Jede ist kurz (sagen wir 50 Tokens Input, ein Wort Output, nur das Label). Jede soll als positiv, negativ oder neutral getaggt werden. Das ist Klassifizierung: Elemente werden in feste Kategorien einsortiert.

Diesen Prompt würden Sie für jede Bewertung senden:

Classify the sentiment of this review as exactly one word:
positive, negative, or neutral.

Review: "Shipping was slow but the product is excellent."

Answer:

Das ist eine einfache Aufgabe. Selbst kleine Modelle kommen mit Sentiment gut zurecht. Sie brauchen kein Modell, das Gedichte schreiben oder Code debuggen kann. Sie brauchen eines, das drei Sätze liest und ein Wort ausgibt, schnell und günstig.

Rechnen Sie nach

Ungefähre Preise Ende 2026 (prüfen Sie immer die aktuellen Tarife, sie ändern sich häufig):

Bei 2 Millionen Bewertungen mit je ~50 Tokens sind das 100 Millionen Input-Tokens.

• Frontier-Modell: grob 125 $ bis 500 $ allein für den Input. Kommen pro Bewertung einige Hundert versteckte Reasoning-Tokens zu Output-Preisen hinzu, klettert die Rechnung in die Tausende, dazu viele Stunden Laufzeit.
• Kleines Modell mit minimalem Reasoning: grob 5 $ bis 100 $, in einem Bruchteil der Zeit.

Das kleine Modell gewinnt klar, solange die Genauigkeit stimmt. Bei einer so einfachen Aufgabe ist das meist der Fall. Genau das müssen Sie aber überprüfen, und damit sind wir beim Testen.

Wie Sie tatsächlich entscheiden: testen statt raten

Gehen Sie nie davon aus, dass das kleine Modell gut genug ist. Messen Sie es. So sieht der Workflow aus.

Schritt 1: Ein kleines gelabeltes Test-Set aufbauen

Labeln Sie 100 bis 200 Bewertungen selbst von Hand. Das ist Ihre Ground Truth: die richtigen Antworten, mit denen Sie vergleichen.

Schritt 2: Beide Modelle auf das Test-Set ansetzen

from openai import OpenAI
client = OpenAI()

def classify(review, model):
    resp = client.chat.completions.create(
        model=model,
        messages=[{
            "role": "user",
            "content": f"Classify sentiment as one word "
                       f"(positive, negative, neutral): {review}"
        }],
        reasoning_effort="minimal",   # überspringt den Großteil des versteckten Denkens
        max_completion_tokens=16,     # inklusive Reasoning-Tokens
    )
    return (resp.choices[0].message.content or "").strip().lower()

# Ein kleines Modell mit einem großen vergleichen
for model in ["gpt-5-mini", "gpt-5"]:
    correct = sum(
        classify(r["text"], model) == r["label"]
        for r in test_set
    )
    print(model, correct / len(test_set))

Zwei Details sind hier wichtig. Reasoning-Modelle lehnen den alten Parameter max_tokens ab, deshalb verwenden Sie max_completion_tokens. Und diese Obergrenze zählt auch die versteckten Reasoning-Tokens mit. Setzen Sie sie auf 1, verbraucht das Modell sein einziges Token womöglich fürs Denken und gibt gar nichts zurück.

Schritt 3: Genauigkeit vergleichen und entscheiden

Angenommen, das große Modell erreicht 96 % und das kleine 95 %. Diese Lücke von 1 % rechtfertigt bei der Sortierung von Bewertungen fast nie die zehnfachen Kosten und die langsameren Durchläufe. Nehmen Sie das kleine Modell in Produktion.

Läge die Lücke bei 96 % zu 78 %, sähe es anders aus. Dann würden Sie entweder beim großen Modell bleiben oder den Prompt für das kleine verbessern.

Eine gute kostenlose Einführung in diese Art der ModellbewertungModellbewertungDer Prozess, der misst, ob ein KI-Modell gut und sicher genug für die vorgesehene Geschäftsentscheidung arbeitet.Vollständige Definition ansehen → ist der Evals guide von OpenAI. Er zeigt Schritt für Schritt, wie Sie Test-Sets aufbauen und Outputs bewerten.

Clevere Muster, die besser sind als „einfach eins auswählen“

Sie müssen sich nicht auf ein einziges Modell festlegen. Einige der besten Setups kombinieren mehrere.

Muster 1: Kaskade (erst günstig, teuer nur bei schwierigen Fällen)

Schicken Sie alles durch das kleine Modell. Ist es unsicher, eskalieren Sie an das große.

Sie kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen das Modell um einen Confidence Score bitten oder die Token-Wahrscheinlichkeiten prüfen, sofern die APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen → sie liefert. Ist die Confidence niedrig, schicken Sie genau dieses eine Element an das Frontier-Modell. Sind 90 % der Bewertungen einfach, zahlen Sie die Preise des großen Modells nur für 10 % der Arbeit.

Muster 2: Batch-Modus für nicht dringende Aufgaben

Wenn Sie die Antworten nicht sofort brauchen, nutzen Sie Batch Processing. Sie reichen einen großen Stapel Anfragen ein und erhalten die Ergebnisse innerhalb eines Zeitfensters (meist bis zu 24 Stunden) zu ungefähr dem halben Preis.

OpenAI, Anthropic und Google bieten alle Batch-APIs an. Für unsere 2 Millionen Bewertungen, auf die niemand in Echtzeit wartet, ist der Batch-Modus ideal: Die Latenz spielt keine Rolle, also tauschen Sie sie gegen niedrigere Kosten.

Muster 3: Latenz am Menschen auf der anderen Seite ausrichten

• Ein Live-Chatbot, bei dem eine Person wartet: Latenz ist sehr wichtig. Wählen Sie ein schnelles Modell und halten Sie den Reasoning-Aufwand niedrig.
• Ein nächtlicher Report, der läuft, während alle schlafen: Latenz spielt kaum eine Rolle. Optimieren Sie auf Kosten oder Qualität.

Fragen Sie sich: „Starrt gerade ein Mensch auf einen Ladekreisel?“ Wenn nicht, haben Sie Spielraum zum Sparen.

Häufige Fehler

Standardmäßig das größte Modell nehmen, „sicherheitshalber“. Das ist die teuerste Angewohnheit in KI-Projekten. Diese Sicherheit kostet echtes Geld und bringt Verzögerung, ohne bei einfachen Aufgaben die Qualität zu verbessern.

Reasoning bei trivialen Aufgaben eingeschaltet lassen. Ein Reasoning-Modell mit Standardaufwand denkt unter Umständen Hunderte Tokens lang, bevor es „positive“ schreibt. Regeln Sie den Aufwand herunter (reasoning_effort="minimal" oder "low" bei OpenAI, bei Claude Extended Thinking ausgeschaltet lassen), wenn die Aufgabe es nicht erfordert.

An drei Beispielen testen und es dabei belassen. Drei Bewertungen sagen Ihnen gar nichts. Sie brauchen ein Test-Set, das groß genug ist, um ihm zu vertrauen, bei einer einfachen Aufgabe 100 oder mehr.

Die Output-Länge ignorieren. Output-Tokens kosten ein Mehrfaches der Input-Tokens. Ein Modell, das ausschweift, ist teurer als eines, das mit einem Wort antwortet. Fordern Sie bei der Klassifizierung ein einziges Wort an und setzen Sie eine niedrige Output-Obergrenze, mit etwas Puffer für eventuelle Reasoning-Tokens.

Vergessen, dass Prompts kleine Modelle retten können. Oft scheitert ein kleines Modell, weil der Prompt vage ist, nicht weil das Modell schwach ist. Ein einziges klares Beispiel (ein sogenanntes Few-Shot-Beispiel) kann die Lücke schließen:

Example:
Review: "Arrived broken and support ignored me."
Answer: negative

Now classify:
Review: "Works fine, nothing special."
Answer:

Dieses eine Beispiel kann die Genauigkeit eines kleinen Modells um mehrere Prozentpunkte steigern, oft genug, um sich ein größeres zu sparen.

Eine einfache Checkliste für die Entscheidung

Bevor Sie ein Modell auswählen, fragen Sie sich:

1. Wie schwierig ist die Aufgabe wirklich? Sortieren und Extrahieren sind einfach. Nuanciertes Schreiben und mehrstufiges Reasoning sind schwierig.
2. Wie viele Anfragen? Bei einer einmaligen Aufgabe gewinnt die Qualität. Bei Millionen dominieren Kosten und Geschwindigkeit.
3. Wartet ein Mensch? Ja heißt: Latenz priorisieren. Nein heißt: als Batch verarbeiten.
4. Braucht es Reasoning? Wenn nicht, regeln Sie es herunter oder schalten Sie es ab.
5. Wo liegt die Mindestgenauigkeit? Legen Sie den minimal akzeptablen Wert vor dem Testen fest, damit Sie sich hinterher nichts schönreden.
6. Habe ich tatsächlich gemessen? Wenn Sie kein Test-Set durchlaufen lassen haben, raten Sie.

Wenden Sie diese Fragen auf die Bewertungsaufgabe an, ist die Antwort offensichtlich: einfache Aufgabe, riesiges Volumen, niemand wartet, das kleine Modell erreicht die Genauigkeitsschwelle. Nehmen Sie das kleine, im Batch-Modus, mit minimalem Reasoning und einer knappen Output-Obergrenze.

Key Takeaways

• Wählen Sie das Modell passend zur Aufgabe, nicht zu Ihrem Ego. Bei einfacher Arbeit in hohem Volumen wie Klassifizierung schlägt ein kleines, schnelles Modell ein Frontier-Modell meist bei Kosten und Geschwindigkeit, fast ohne Qualitätsverlust.
• Versteckte Reasoning-Tokens werden als Output abgerechnet und verursachen Verzögerung. Halten Sie den Reasoning-Aufwand bei einfachen Aufgaben niedrig.
• Testen Sie immer an einem gelabelten Set mit 100+ Beispielen, bevor Sie sich festlegen. Vergleichen Sie die Genauigkeit direkt und legen Sie Ihre akzeptable Untergrenze vorab fest.
• Nutzen Sie den Batch-Modus, wenn kein Mensch wartet, um die Kosten ungefähr zu halbieren, und begrenzen Sie die Output-Länge (bei Reasoning-Modellen mit max_completion_tokens), damit Sie nicht für Ausschweifungen bezahlen.
• Setzen Sie auf Kaskaden (erst das günstige Modell, schwierige Fälle eskalieren), um Big-Model-Qualität genau für die wenigen Elemente zu bekommen, die sie brauchen.
• Verbessern Sie den Prompt, bevor Sie das Modell upgraden. Ein einziges Few-Shot-Beispiel schließt oft die Lücke und erspart Ihnen das Upgrade ganz.