Token
Auch: Tokens, Subword unit, BPE token
Ein Token ist die grundlegende Texteinheit, die Sprachmodelle verarbeiten, oft ein Wortfragment, ein ganzes Wort oder ein Satzzeichen und nicht ein einzelnes Zeichen.
Was ein Token ist
Ein Token ist die kleinste Texteinheit, die ein Sprachmodell liest und erzeugt. Tokens sind nicht immer ganze Wörter. Je nach Tokenizer des Modells kann ein Token ein vollständiges Wort, ein Wortteil (ein Subword), ein einzelnes Zeichen oder ein Satzzeichen sein. Das Wort „unbelievable“ zerfällt zum Beispiel in Tokens wie `un`, `believ` und `able`, während ein häufiges Wort wie „the“ meist ein einzelnes Token ist.
Modelle sehen keinen Rohtext. Der Tokenizer wandelt Text zunächst in eine Folge von Token-IDs (Ganzzahlen) um, und das Modell arbeitet ausschließlich mit diesen Zahlen. Nachdem die Ausgabe-Token-IDs erzeugt wurden, wandelt der Tokenizer sie zurück in lesbaren Text.
Warum Tokens wichtig sind
Tokens sind die Maßeinheit für fast alles, was in der Praxis mit KI-Modellen zu tun hat:
- Kosten: Die meisten API-Anbieter rechnen pro Token ab, getrennt für Input (Prompt) und Output (Completion).
- Kontextgrenzen: Jedes Modell hat ein maximales Kontextfenster, gemessen in Tokens (zum Beispiel 8.000, 128.000 oder mehr). Prompt plus Antwort müssen hineinpassen.
- Latenz: Die Generierungszeit skaliert etwa mit der Anzahl der Output-Tokens.
- Qualitätskontrolle: Truncation, Zusammenfassung und Chunking-Strategien hängen alle von Token-Zahlen ab.
Wie Tokens in der Praxis verwendet werden
Eine grobe Daumenregel für Englisch lautet: 1 Token entspricht etwa 4 Zeichen oder 0,75 Wörtern, also sind 1.000 Tokens rund 750 Wörter. Verschiedene Sprachen und Schriftsysteme werden unterschiedlich tokenisiert, nicht englischer Text verbraucht deshalb oft mehr Tokens pro Wort.
Beim Aufbau von Anwendungen gehen Teams so vor:
- Tokens vor dem Senden von Requests zählen, um innerhalb der Limits zu bleiben und Kosten zu schätzen.
- Lange Dokumente in Chunks in Token-Größe aufteilen für Retrieval-Systeme.
- Einen `max_tokens`-Parameter setzen, um die Antwortlänge zu begrenzen.
- Den Token-Verbrauch überwachen, um Ausgaben zu prognostizieren.
Konkretes Beispiel
Der Satz „AI changes how we work.“ wird möglicherweise in sieben Tokens zerlegt: `AI`, ` changes`, ` how`, ` we`, ` work`, `.`, plus einen Endmarker. Beachten Sie, dass die vorangestellten Leerzeichen Teil der Tokens sind. Berechnet ein Anbieter 0,50 USD pro Million Input-Tokens, würde die Verarbeitung von einer Million solcher Sätze (etwa 7 Millionen Tokens) rund 3,50 USD kosten. Wer Tokens versteht, kann sowohl Verhalten als auch Budget vorhersagen und steuern.
Siehe auch
Häufige Fragen
Was genau ist ein Token in einem Sprachmodell?
Ein Token ist die kleinste Texteinheit, die ein Sprachmodell liest und erzeugt. Es ist nicht immer ein ganzes Wort: Je nach Tokenizer kann ein Token ein vollständiges Wort, ein Wortfragment (Subword), ein einzelnes Zeichen oder ein Satzzeichen sein. „the“ ist meist ein Token, während „unbelievable“ in Teile wie `un`, `believ` und `able` zerfallen kann.
Warum sollte sich eine Führungskraft für Tokens statt für Wörter interessieren?
Weil Tokens, nicht Wörter, die Abrechnungs- und Kapazitätseinheit von KI-Modellen sind. API-Anbieter rechnen pro Token ab, Input und Output getrennt gezählt; jedes Modell hat ein Kontextfenster in Tokens; und die Generierungszeit wächst etwa mit der Anzahl der Output-Tokens. Budgetprognosen und Prompt-Design beruhen beide auf Token-Zahlen.
Wie rechne ich Wörter für eine schnelle Schätzung in Tokens um?
Für Englisch gilt die Daumenregel, dass 1 Token etwa 4 Zeichen oder 0,75 Wörtern entspricht, 1.000 Tokens sind also rund 750 Wörter. Es bleibt eine Annäherung: Andere Sprachen und Schriftsysteme werden anders tokenisiert und verbrauchen oft mehr Tokens pro Wort. Bei allem, was Kosten oder Kontextgrenzen betrifft, zählen Sie die Tokens mit dem Tokenizer des Modells selbst, statt zu schätzen.
Was ist der Unterschied zwischen Input-Tokens und Output-Tokens?
Input-Tokens sind die, die Sie senden (der Prompt); Output-Tokens sind die, die das Modell erzeugt (die Completion). Anbieter rechnen sie meist zu unterschiedlichen Sätzen ab, und beide müssen gemeinsam in das Kontextfenster des Modells passen. Output-Tokens treiben außerdem die Latenz, weshalb `max_tokens` genutzt wird, um die Antwortlänge zu begrenzen.
Wie steuert ein Team den Token-Verbrauch in einer echten Anwendung?
Vier Praktiken deckenderi größten Teil ab: Tokens vor dem Senden eines Requests zählen, um im Kontextfenster zu bleiben und Kosten zu schätzen, lange Dokumente in Chunks in Token-Größe aufteilen für Retrieval-Systeme, `max_tokens` setzen, um die Antwortlänge zu begrenzen, und den Verbrauch überwachen, um Ausgaben zu prognostizieren. Truncation, Zusammenfassung und Chunking-Strategien führen alle auf Token-Zahlen zurück.