Kosten, Latenz und Abwägungen bei der Modellauswahl

# Kosten, Latenz und Abwägungen bei der Modellauswahl

Ein Startup hat 2 Millionen Kundenbewertungen durch GPT-5 laufen lassen, um sie in "positiv", "negativ" oder "neutral" zu sortieren. Das funktionierte hervorragend. Es dauerte aber auch 9 Stunden und kostete rund 4.000 $. Sie wechselten zu einem kleinen, schnellen Modell. Gleiche Aufgabe: 40 Minuten, rund 80 $, und die Accuracy sank um weniger als 1 %.

Das ist die ganze Lektion in einer Geschichte. Das größte Modell ist selten das richtige für hochvolumige, repetitive Arbeit. Ich zeige Ihnen, wie Sie darüber nachdenken sollten.

Drei Dinge, die Sie immer gegeneinander abwägen

Jedes Mal, wenn Sie ein Modell auswählen, balancieren Sie drei Dinge:

• Qualität: wie gut der Output ist.
• Latenz: wie lange Sie auf eine Antwort warten. (Latenz bedeutet einfach Verzögerung.)
• Kosten: wie viel Sie pro Request zahlen.

Meist kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen Sie auf zwei davon optimieren, aber nicht auf alle drei. Ein riesiges Frontier-Modell liefert Ihnen Spitzenqualität, kostet aber mehr und läuft langsamer. Ein kleines Modell ist günstig und schnell, kann aber bei schwierigen Aufgaben stolpern.

Die Fähigkeit besteht darin, das Modell zur Aufgabe passend zu wählen, nicht immer zum leistungsfähigsten zu greifen.

Warum größere Modelle langsamer und teurer sind

Large Language Models rechnen pro TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen → ab, wobei ein TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen → etwa 3/4 eines Wortes entspricht. "Customer service" sind rund 4 TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen →.

Größere Modelle haben mehr interne "Parameter" (die Regler, die beim Training justiert werden). Mehr Parameter bedeutet mehr Rechenaufwand pro TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen →, und das bedeutet mehr Kosten und mehr Verzögerung. Sie zahlen buchstäblich für mehr Mathematik bei jedem Wort.

Ein 10x größeres Modell kann also 10x bis 30x mehr pro TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen → kosten und mehrfach langsamer antworten. Bei einem einzelnen Request ist dieser Unterschied unsichtbar. Bei 2 Millionen Requests ist ererThe ratio of interactions (likes, comments, shares) to reach for a given piece of content, used to gauge how well audiences respond relative to how many people saw it.Vollständige Definition ansehen → Ihr ganzes Budget.

Ein konkretes Beispiel: die Klassifizierungsaufgabe

Machen wir die Aufgabe des Bewertungssortierens greifbar.

Sie haben 2 Millionen Bewertungen. Jede ist kurz (sagen wir 50 TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen → rein, 1 TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen → raus, nur das Label). Sie wollen jede als positiv, negativ oder neutral kennzeichnen. Das ist Klassifizierung: das Einsortieren von Elementen in feste Kategorien.

Hier ist der Prompt, den Sie für jede Bewertung senden würden:

Classify the sentiment of this review as exactly one word:
positive, negative, or neutral.

Review: "Shipping was slow but the product is excellent."

Answer:

Das ist eine leichte Aufgabe. Sentiment beherrschen selbst kleine Modelle gut. Sie brauchen kein Modell, das Gedichte schreiben oder Code debuggen kann. Sie brauchen eines, das drei Sätze liest und ein Wort ausgibt, schnell und günstig.

Rechnen wir es durch

Grobe Preise für 2026 (prüfen Sie immer die aktuellen Raten, sie verändern sich):

| Modelltyp | Kosten pro 1M Input-TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen → | Relative Geschwindigkeit |

|---|---|---|

| Frontier (GPT-5, Claude Opus 4.x) | ~3 $ bis 15 $ | Langsamer |

| Klein/schnell (GPT-5 mini, Claude Haiku, Gemini Flash) | ~0,10 $ bis 0,40 $ | Viel schneller |

Bei 2 Millionen Bewertungen mit je ~50 TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen → sind das 100 Millionen Input-TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen →.

• Frontier-Modell: ungefähr 300 $ bis 1.500 $ und viele Stunden.
• Kleines Modell: ungefähr 10 $ bis 40 $ und ein Bruchteil der Zeit.

Das kleine Modell gewinnt klar, solange die Accuracy hält. Und bei einer so einfachen Aufgabe tut sie das meistens. Das ist der Haken, den Sie verifizieren müssen, und damit kommen wir zum Testen.

Wie Sie tatsächlich entscheiden: testen, nicht raten

Gehen Sie nie davon aus, dass das kleine Modell gut genug ist. Messen Sie es. Hier ist der Workflow.

Schritt 1: Erstellen Sie ein kleines gelabeltes Test-Set

Labeln Sie 100 bis 200 Bewertungen selbst von Hand. Das ist Ihre Ground Truth: die korrekten Antworten, mit denen Sie vergleichen.

Schritt 2: Lassen Sie beide Modelle auf dem Test-Set laufen

from openai import OpenAI
client = OpenAI()

def classify(review, model):
    resp = client.chat.completions.create(
        model=model,
        messages=[{
            "role": "user",
            "content": f"Classify sentiment as one word "
                       f"(positive, negative, neutral): {review}"
        }],
        max_tokens=1,
    )
    return resp.choices[0].message.content.strip().lower()

# Kleines Modell mit einem großen vergleichen
for model in ["gpt-5-mini", "gpt-5"]:
    correct = sum(
        classify(r["text"], model) == r["label"]
        for r in test_set
    )
    print(model, correct / len(test_set))

Schritt 3: Accuracy vergleichen und entscheiden

Nehmen wir an, das große Modell erreicht 96 % und das kleine 95 %. Diese 1 % Unterschied rechtfertigen bei einer Bewertungssortierung fast nie den 10-fachen Preis und langsamere Durchläufe. Nehmen Sie das kleine Modell.

Wäre der Unterschied 96 % gegen 78 %, sieht es anders aus. Dann würden Sie entweder beim großen Modell bleiben oder den Prompt des kleinen verbessern.

Eine gute kostenlose Einführung in diese Art der Modellbewertung ist OpenAIs Evals guide, der den Aufbau von Test-Sets und die Bewertung von Outputs durchgeht.

Clevere Muster, die "einfach eins auswählen" schlagen

Sie müssen sich nicht auf ein einziges Modell festlegen. Manche der besten Setups mischen sie.

Muster 1: Kaskade (günstig zuerst, teuer bei schwierigen Fällen)

Lassen Sie alles durch das kleine Modell laufen. Wenn es unsicher ist, eskalieren Sie zum großen.

Viele Modelle kkThe average number of new users each existing user generates through referrals. Above 1.0, growth compounds on itself and becomes exponential.Vollständige Definition ansehen →önnen ein Confidence-Signal zurückgeben, oder Sie fragen danach. Ist die Confidence niedrig, schicken Sie dieses einzelne Element an das Frontier-Modell. Wenn 90 % der Bewertungen einfach sind, zahlen Sie Preise des großen Modells nur für 10 % der Arbeit.

Muster 2: Batch-Modus für nicht dringende Jobs

Wenn Sie Antworten nicht sofort brauchen, nutzen Sie Batch Processing. Sie reichen einen großen Stapel Requests ein und erhalten die Ergebnisse innerhalb eines Zeitfensters (oft 24 Stunden) für etwa den halben Preis.

OpenAI, Anthropic und Google bieten alle Batch-APIs. Für unsere 2 Millionen Bewertungen, bei denen niemand in Echtzeit wartet, ist der Batch-Modus perfekt: Latenz spielt keine Rolle, also tauschen Sie sie gegen Kosten.

Muster 3: Latenz an den Menschen am anderen Ende anpassen

• Ein Live-Chatbot, bei dem eine Person wartet: Latenz zählt sehr. Wählen Sie ein schnelles Modell.
• Ein nächtlicher Report, der läuft, während alle schlafen: Latenz zählt kaum. Optimieren Sie auf Kosten oder Qualität.

Fragen Sie: "Starrt ein Mensch auf einen Ladebalken?" Wenn nein, haben Sie Spielraum, Geld zu sparen.

Häufige Fehler

Standardmäßig zum größten Modell greifen, "um sicher zu sein". Das ist die teuerste Angewohnheit in KI-Projekten. Sicherheit kostet hier echtes Geld und bringt bei leichten Aufgaben Verzögerung ohne Qualitätsgewinn.

An drei Beispielen testen und es dabei belassen. Drei Bewertungen sagen Ihnen nichts. Sie brauchen ein Test-Set, das groß genug ist, um ihm zu trauen, 100+ bei einer einfachen Aufgabe.

Die Output-Länge ignorieren. Output-TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen → kosten oft mehr als Input-TokenTokenA token is the basic unit of text that language models process, often a word fragment, whole word, or punctuation mark rather than a single character.Vollständige Definition ansehen →. Ein Modell, das schwafelt, ist teurer als eines, das mit einem Wort antwortet. Bei Klassifizierung begrenzen Sie das: max_tokens=1 erzwingt eine kurze Antwort und spart Geld.

Vergessen, dass Prompts kleine Modelle retten können. Oft scheitert ein kleines Modell nicht, weil es schwach ist, sondern weil der Prompt vage ist. Ein einziges klares Beispiel (ein sogenanntes Few-Shot-Beispiel) kann die Lücke schließen:

Example:
Review: "Arrived broken and support ignored me."
Answer: negative

Now classify:
Review: "Works fine, nothing special."
Answer:

Dieses eine Beispiel kann die Accuracy eines kleinen Modells um mehrere Punkte heben, oft genug, um nicht für ein größeres zahlen zu müssen.

Eine einfache Entscheidungs-Checkliste

Bevor Sie ein Modell wählen, fragen Sie:

1. Wie schwierig ist die Aufgabe wirklich? Sortieren und Extrahieren sind leicht. Nuanciertes Schreiben und mehrstufiges Reasoning sind schwer.

2. Wie viele Requests? Einmalig heißt, Qualität gewinnt. Millionen heißt, Kosten und Geschwindigkeit dominieren.

3. Wartet ein Mensch? Ja heißt, Latenz priorisieren. Nein heißt, Batch nutzen.

4. Was ist die Accuracy-Untergrenze? Legen Sie den minimal akzeptablen Wert vor dem Testen fest, damit Sie es nachher nicht schönreden.

5. Habe ich tatsächlich gemessen? Wenn Sie kein Test-Set haben laufen lassen, raten Sie.

Wenden Sie diese Fragen auf den Bewertungsjob an, und die Antwort ist offensichtlich: leichte Aufgabe, riesiges Volumen, niemand wartet, das kleine Modell überschreitet die Accuracy-Schwelle. Nehmen Sie das kleine, im Batch-Modus, mit max_tokens=1.

Die wichtigsten Erkenntnisse

• Passen Sie das Modell zur Aufgabe an, nicht zu Ihrem Ego. Bei leichter, hochvolumiger Arbeit wie Klassifizierung schlägt ein kleines, schnelles Modell ein Frontier-Modell meist bei Kosten und Geschwindigkeit, mit fast keinem Qualitätsverlust.
• Testen Sie immer an einem gelabelten Set von 100+ Beispielen, bevor Sie sich festlegen. Vergleichen Sie die Accuracy direkt und legen Sie Ihre akzeptable Untergrenze vorab fest.
• Nutzen Sie den Batch-Modus, wenn kein Mensch wartet, um die Kosten etwa zu halbieren, und begrenzen Sie die Output-Länge, damit Sie nicht für Geschwafel zahlen.
• Greifen Sie zu Kaskaden (günstiges Modell zuerst, schwierige Fälle eskalieren), um die Qualität des großen Modells bei den wenigen Elementen zu bekommen, die sie brauchen, ohne für alle zu zahlen.
• Verbessern Sie den Prompt, bevor Sie das Modell upgraden. Ein einzelnes Few-Shot-Beispiel schließt oft die Lücke und erspart Ihnen das Upgrade komplett.