Tokens, Training und Inference: Was passiert, wenn Sie Enter drücken

Tippen Sie „Paris is the capital of“ in ChatGPT, Claude oder Gemini ein, und das Modell wird mit ziemlicher Sicherheit mit „France“ ergänzen. Warum das Modell das tut, behandeln wir ausführlich in „Was ein Modell tatsächlich tut: Vorhersage, nicht Verstehen“.

Diese Lektion öffnet die Motorhaube. Drei Konzepte erklären die gesamte PipelinePipelineAlle aktiven Verkaufschancen über die Phasen des Vertriebsprozesses hinweg, zusammen mit ihrem gesamten potenziellen Wert und ihrer Abschlusswahrscheinlichkeit.Vollständige Definition ansehen →: TokensTokensEin Token ist die grundlegende Texteinheit, die Sprachmodelle verarbeiten, oft ein Wortfragment, ein ganzes Wort oder ein Satzzeichen und nicht ein einzelnes Zeichen.Vollständige Definition ansehen →, Training und InferenceInferenceDer Moment, in dem ein trainiertes KI-Modell arbeitet: Es nimmt eine neue Eingabe und erzeugt eine Antwort, Vorhersage oder generierte Ausgabe.Vollständige Definition ansehen →.

Schritt 1: Tokens (wie das Modell liest)

Ein Large Language ModelLarge Language ModelEin Large Language Model ist ein KI-System, das auf riesigen Textmengen trainiert wurde, um Sprache vorherzusagen und zu erzeugen. Damit sind Aufgaben wie Schreiben, Zusammenfassen und Beantworten von Fragen möglich.Vollständige Definition ansehen → (LLM) liest Wörter nicht so wie Sie. Es zerlegt Text in Tokens: kleine Stücke, die oft ganze Wörter sind, manchmal aber auch Wortteile.

Hier die klassische Überraschung. Für das Modell ist das Wort „strawberry“ keine Einheit. Es wird meist als etwas wie „straw“ + „berry“ gelesen. Deshalb hatten Modelle früher Mühe, die Buchstaben in „strawberry“ zu zählen: Sie haben die einzelnen Buchstaben nie gesehen, nur die Stücke.

Eine grobe Faustregel für Englisch: 1 Token entspricht etwa 4 Zeichen oder ungefähr 3/4 eines Wortes. 100 Tokens sind also etwa 75 Wörter.

Ein paar schnelle Beispiele, wie Text aufgeteilt wird:

• „cat“ wird zu 1 Token
• „unbelievable“ wird zu „un“ + „believ“ + „able“ (3 Tokens)
• „GPT-4“ wird zu „G“ + „PT“ + „-“ + „4“ (mehrere Tokens)
• Ein Leerzeichen vor einem Wort gehört meist zum Token („ France“ ist etwas anderes als „France“)

Sie kkDie durchschnittliche Zahl neuer Nutzer, die jeder bestehende Nutzer über Empfehlungen generiert. Über 1,0 verstärkt sich das Wachstum selbst und wird exponentiell.Vollständige Definition ansehen →önnen das selbst ausprobieren mit dem kostenlosen Tokenizer-Tool von OpenAI. Fügen Sie einen Satz ein und sehen Sie zu, wie ererDas Verhältnis von Interaktionen (Likes, Kommentare, Shares) zur Reichweite eines Inhalts. Zeigt, wie stark die Zielgruppe reagiert, gemessen an der Zahl der Personen, die den Inhalt gesehen haben.Vollständige Definition ansehen → in farbige Stücke zerfällt.

Warum Tokens für Sie relevant sind

Tokens sind die Einheit für Preise und Limits. Wenn ein Tool ein „Context WindowContext WindowDas Context Window ist die maximale Textmenge (gemessen in Tokens), die ein Sprachmodell auf einmal verarbeiten kann, einschließlich Input-Prompt und generiertem Output.Vollständige Definition ansehen → von 200.000 Tokens“ angibt, heißt das, dass etwa 150.000 Wörter in eine einzige Unterhaltung passen. Wenn eine APIAPIApplication Programming Interface: eine standardisierte Schnittstelle, über die Anwendungen kommunizieren und Daten austauschen, ohne die interne Funktionsweise der jeweils anderen zu kennen.Vollständige Definition ansehen → „3 $ pro Million Input-Tokens“ berechnet, zählt sie diese Stücke, nicht Wörter.

Praktische Konsequenz: Kürzere Prompts kosten weniger, und es passt mehr hinein. Seltsames Verhalten bei Rechtschreibung, Reimen oder Buchstabenzählen lässt sich oft auf die Tokenisierung zurückführen.

Schritt 2: Training (wie das Modell gelernt hat)

Bevor Sie überhaupt etwas eingetippt haben, hat das Modell ein Training durchlaufen. Das ist ein langer, teurer Prozess, bei dem es aus riesigen Textmengen lernt: Bücher, Websites, Code, Artikel.

Die Kernaufgabe ist verblüffend einfach. Dem Modell wird eine Textsequenz gezeigt, bei der das letzte Token verdeckt ist, und es muss das nächste Token vorhersagen.

Zeigen Sie ihm „The sky is“, und es lernt, „blue“ vorherzusagen. Zeigen Sie ihm „2 + 2 =“, und es lernt, „4“ vorherzusagen. Machen Sie das über Billionen von Tokens, milliardenfach, und das Modell passt nach und nach seine internen Einstellungen an, um besser zu raten. Diese Einstellungen heißen Parameter, die Zahlen, die es justiert.

Niemand hat die Regel „Paris gehört zu France“ von Hand programmiert. Das Modell hat dieses Muster millionenfach in seinen Trainingstexten gesehen und den statistischen Zusammenhang selbst gelernt.

Zwei Phasen, die Sie kennen sollten

1. Pre-Training: Das Modell liest den riesigen Textberg und lernt Next-Token-Prediction. Heraus kommt ein „rohes“ Modell, das viel weiß, aber nicht besonders hilfreich oder höflich ist.
2. Fine-tuning und Alignment: Menschen und automatisiertes Feedback bringen dem Modell bei, Anweisungen zu befolgen, hilfreich zu sein und schädliche Antworten zu vermeiden. Das macht aus einem Textvorhersager ChatGPT. Neuere Modelle bekommen außerdem zusätzliches Training, das sie dafür belohnt, Probleme Schritt für Schritt durchzuarbeiten. Aus diesem Training entstehen die „Reasoning“-Modelle, die Sie in Schritt 3 kennenlernen.

Deshalb haben Modelle auch einen Knowledge Cutoff. Das Training fand zu einem festen Zeitpunkt statt, also kennt ein Modell Ereignisse nach diesem Datum unter Umständen nicht, es sei denn, es kann im Web suchen. ChatGPT, Claude und Gemini bieten alle eine Live-Websuche, um diese Lücke zu schließen, aber das Grundwissen bleibt auf dem Stand des Trainings eingefroren.

Schritt 3: Inference (was passiert, wenn Sie Enter drücken)

Inference ist der Moment der Nutzung. Das Modell lernt nicht mehr, sondern erstellt jetzt in Echtzeit Vorhersagen für Sie.

Das ist der vollständige Ablauf, wenn Sie Enter drücken:

1. Ihr Prompt wird in Tokens zerlegt.
2. Das Modell liest diese Tokens und sagt ein wahrscheinliches nächstes Token vorher.
3. Es hängt dieses Token an die Sequenz an und sagt dann das nächste vorher.
4. Das wiederholt es, Token für Token, bis es entscheidet, dass die Antwort vollständig ist.

Sie sehen, wie die Wörter in die Oberfläche hineinlaufen, während die Antwort erscheint. Das ist buchstäblich das Modell, das ein Token erzeugt, dann das nächste, dann das nächste. Sie sehen Inference live.

Denken vor dem Antworten

Viele Modelle, die Sie heute nutzen, sind Reasoning-Modelle, zum Beispiel der Thinking-Modus von GPT-5, Claude mit Extended Thinking und die Thinking-Modelle von Gemini. Sie sagen weiterhin ein Token nach dem anderen vorher. Der Unterschied: Sie erzeugen zuerst eine lange Folge von „Denk“-Tokens, um zu planen, ihre Arbeit zu prüfen und Alternativen auszuprobieren, und schreiben erst dann die Antwort, die Sie sehen. Oft bekommen Sie nur eine kurze Zusammenfassung dieses Reasonings oder eine „Thinking...“-Anzeige.

Das hat zwei praktische Auswirkungen. Schwierige Fragen (Mathematik, Code, mehrstufige Planung) bekommen spürbar bessere Antworten. Die Antworten kommen aber auch langsamer, und die verborgenen Denk-Tokens zählen zu Ihrer API-Rechnung, obwohl Sie sie nie lesen. Für eine schnelle Umformulierung oder einen einfachen Fakt reicht meist ein schneller Modus ohne Thinking.

Warum Sie auf denselben Prompt unterschiedliche Antworten bekommen

Würde das Modell immer das eine wahrscheinlichste Token wählen, wäre es repetitiv und roboterhaft. Deshalb gibt es eine Einstellung namens Temperature, die kontrollierten Zufall hinzufügt.

• Niedrige Temperature (nahe 0): vorhersehbar, fokussiert, reproduzierbar. Gut für Faktenaufgaben, Code, Datenextraktion.
• Hohe Temperature (nahe 1 oder darüber): abwechslungsreich, kreativ, überraschend. Gut für Brainstorming, Story-Ideen, Marketingtexte.

Deshalb bekommen Sie zwei verschiedene Taglines, wenn Sie zweimal „Gib mir eine Tagline für mein Café“ fragen. Der Zufall ist gewollt. Eine Einschränkung: Viele Reasoning-Modelle legen ihre Sampling-Einstellungen selbst fest, und ihre APIs ignorieren einen Temperature-Wert oder lehnen ihn ab.

Inference im Code

Wenn Sie die Pipeline konkret beobachten wollen, hier ein kurzes, lauffähiges Beispiel mit der OpenAI API. Sie brauchen einen API-Key, und dasselbe Prinzip funktioniert mit den APIs von Anthropics Claude und Googles Gemini.

from openai import OpenAI

client = OpenAI()  # verwendet Ihren API-Key

response = client.chat.completions.create(
    model="gpt-4.1-mini",  # ein schnelles Modell ohne Reasoning, das Temperature akzeptiert
    messages=[
        {"role": "user", "content": "Paris is the capital of"}
    ],
    temperature=0,             # nahe null = wahrscheinlichstes Token, sehr vorhersehbar
    max_completion_tokens=5    # begrenzt die Antwort auf wenige Tokens
)

print(response.choices[0].message.content)
# Erwartete Ausgabe: France

Zwei Dinge fallen auf. temperature=0 weist das Modell an, auf Nummer sicher zu gehen und die wahrscheinlichste Fortsetzung zu wählen. max_completion_tokens=5 begrenzt die Antwortlänge in Tokens, nicht in Wörtern, was direkt an Schritt 1 anknüpft. Bei einem Reasoning-Modell muss diese Grenze auch die verborgenen Denk-Tokens abdecken. Mit einem Limit von 5 bekämen Sie eine leere Antwort.

Alles zusammen: die gesamte Pipeline

Hier ein echter Prompt, von Anfang bis Ende verfolgt. Sie tippen:

„Fasse diese E-Mail in einem Satz zusammen: [fügt eine lange E-Mail ein]“

1. Tokens: Ihre Anweisung und die gesamte E-Mail werden in Tokens zerlegt. Eine E-Mail mit 500 Wörtern ergibt etwa 650 Tokens.
2. Training (bereits erledigt): Vor langer Zeit hat das Modell aus unzähligen Beispielen gelernt, was „zusammenfassen“ bedeutet und wie Zusammenfassungen aufgebaut sind.
3. Inference: Das Modell liest all diese Tokens und erzeugt eine Zusammenfassung in einem Satz, Token für Token, bis es einen natürlichen Endpunkt erreicht. Ein Reasoning-Modell denkt vorher womöglich ein paar hundert Tokens lang nach.

Es wird nichts nachgeschlagen. Das Modell macht sehr gute Next-Token-Prediction, geformt durch Training und angetrieben durch Inference.

Warum Sie dieses Denkmodell besser im Umgang mit KI macht

Sobald Sie das Modell als Next-Token-Vorhersager sehen, ergeben viele praktische Ratschläge plötzlich Sinn:

• Liefern Sie Kontext gleich am Anfang. Das Modell sagt nur auf Basis der Tokens vorher, die vor ihm liegen. Wenn Sie die E-Mail nicht einfügen, kann es sie nicht zusammenfassen. Abgesehen von sichtbaren Funktionen wie Memory-Einstellungen oder hochgeladenen Dateien hat es kein verborgenes Wissen über Ihre Dokumente.
• Beispiele lenken die Vorhersagen. Wenn Sie dem Modell zwei Beispielzusammenfassungen in Ihrem bevorzugten Stil zeigen, schieben Sie es dahin, genau diesen Stil vorherzusagen. Deshalb funktioniert „zeigen statt nur beschreiben“ in Prompts so gut.
• Seien Sie konkret, um das Raten einzugrenzen. „Schreib einen Tweet“ lässt die Vorhersage völlig offen. „Schreib einen Tweet mit 280 Zeichen, freundlicher Ton, ein Emoji, keine Hashtags“ schränkt stark ein, was als Nächstes kommt.
• Halluzinationen sind übermäßig selbstsichere Vorhersagen. Wenn das Modell eine falsche Quelle erfindet, sagt es Text vorher, der auf Basis von Mustern richtig *aussieht*, obwohl er nicht stimmt. Reasoning-Modelle tun das seltener, aber sie tun es noch, also prüfen Sie alles, worauf es ankommt.

Für eine tiefergehende, aber gut lesbare Erklärung ist der Wikipedia-Artikel zu Large Language Models eine solide, kostenlose Referenz, die einigermaßen verständlich bleibt.

Key Takeaways

• Das Modell liest in Tokens, nicht in Wörtern. Etwa 4 Zeichen pro Token. Das bestimmt Preise, Context-Limits und Eigenheiten wie das Verzählen der Buchstaben in „strawberry“. Probieren Sie das Tokenizer-Tool einmal aus, um es greifbar zu machen.
• Training ist Next-Token-Prediction in riesigem Maßstab. Das Modell hat Muster wie „Paris gehört zu France“ gelernt, indem es über Billionen von Tokens das nächste Stück geraten hat, nicht indem es eine Faktendatenbank auswendig gelernt hat.
• Inference ist das, was läuft, wenn Sie Enter drücken: ein Token nach dem anderen vorhergesagt und an Sie zurückgestreamt. Reasoning-Modelle schalten vorher eine verborgene Denkphase. Sie kostet zusätzliche Zeit und Tokens und zahlt sich bei schwierigen Problemen aus.
• Setzen Sie Temperature bewusst ein: niedrig für faktische, reproduzierbare Arbeit, hoch für kreatives Brainstorming. Rechnen Sie damit, dass Reasoning-Modelle die Einstellung ignorieren oder ablehnen.
• Geben Sie dem Modell Kontext und Beispiele. Es sagt nur aus den Tokens vorher, die Sie ihm geben, also liefern konkrete Prompts mit klaren Beispielen präzisere Antworten.