Context Window
Auch: Context Length, Token Window, Maximum Context Length
Das Context Window ist die maximale Textmenge (gemessen in Tokens), die ein Sprachmodell auf einmal verarbeiten kann, einschließlich Input-Prompt und generiertem Output.
Was es ist
Das Context Window ist die feste Grenze dafür, wie viel Text ein Large Language Model (LLM) gleichzeitig berücksichtigen kann. Gemessen wird es in Tokens, nicht in Wörtern oder Zeichen. Ein Token ist ein Textabschnitt von etwa 3 bis 4 Zeichen im Englischen, 1.000 Tokens entsprechen also rund 750 Wörtern.
Das Context Window umfasst alles, was zu einer einzelnen Interaktion gehört:
- Den System-Prompt (Anweisungen, die das Verhalten des Modells festlegen)
- Den User-Input (Ihre Frage oder Aufgabe)
- Alle abgerufenen Dokumente oder eingefügten Inhalte
- Die Conversation History in einem Chat
- Die Antwort des Modells während ihrer Generierung
Übersteigt die Summe das Window, müssen die ältesten oder am wenigsten relevanten Inhalte entfernt oder abgeschnitten werden.
Warum das wichtig ist
Das Context Window bestimmt, worüber ein Modell praktisch schlussfolgern kann. Ein Modell kann keine Informationen nutzen, die es nie erhalten hat, und es kann sich an nichts außerhalb des aktuellen Windows erinnern, solange diese Information nicht erneut eingespeist wird.
Wichtige Konsequenzen:
- Größere Windows erlauben die Verarbeitung langer Dokumente, kompletter Codebases oder ausgedehnter Chats, kosten aber mehr und können Antworten verlangsamen.
- Kleinere Windows zwingen Sie zum Zusammenfassen, Chunking oder selektiven Abrufen von Inhalten.
- Modelle können in der Mitte sehr langer Inputs an Genauigkeit verlieren, ein Effekt, der oft „lost in the middle“ genannt wird.
Wie es in der Praxis eingesetzt wird
Praktiker steuern das Context Window über mehrere Techniken:
- Chunking: Lange Dokumente in kleinere Stücke aufteilen.
- Retrieval Augmented Generation (RAG): Nur die relevantesten Passagen in das Window holen.
- Zusammenfassung: Frühere Chat-Turns verdichten, um Platz zu schaffen.
- Prompt Budgeting: Genügend Tokens für den Output reservieren.
Konkretes Beispiel
Angenommen, ein Modell hat ein Context Window von 8.000 Tokens. Sie fügen einen Vertrag mit 6.000 Tokens ein und stellen eine Frage mit 200 Tokens. Damit bleiben etwa 1.800 Tokens für den System-Prompt und die Antwort. Fügen Sie stattdessen einen Vertrag mit 9.000 Tokens ein, passt er nicht hinein, Sie müssen ihn also zusammenfassen oder nur die relevanten Klauseln abrufen. Die Planung innerhalb dieses Budgets ist für zuverlässige und kosteneffiziente KI-Anwendungen unverzichtbar.
Siehe auch
Häufige Fragen
Was genau ist ein Context Window bei einem LLM?
Das Context Window ist die feste maximale Textmenge, die ein Large Language Model in einer Interaktion berücksichtigen kann, gemessen in Tokens statt in Wörtern. Es umfasst den System-Prompt, Ihren Input, alle eingefügten oder abgerufenen Dokumente, die Conversation History und die gerade generierte Antwort. Alles, was über dieses Limit hinausgeht, muss entfernt, abgeschnitten oder zusammengefasst werden.
Wie rechnen sich Tokens in Wörter um?
Im Englischen umfasst ein Token etwa 3 bis 4 Zeichen, 1.000 Tokens entsprechen also rund 750 Wörtern. Ein Modell misst sein Kontextlimit an der Anzahl der Tokens, nicht der Wörter, und die meisten Anbieter rechnen ebenfalls danach ab. Ihren Prompt in Tokens zu schätzen ist der einzige zuverlässige Weg, um zu wissen, ob ein Dokument hineinpasst.
Zählt die Antwort des Modells mit ins Context Window?
Ja. Die generierte Antwort verbraucht Tokens aus demselben Window wie der Input, deshalb ist Prompt Budgeting wichtig. Wenn Sie fast das gesamte Window mit einem eingefügten Dokument füllen, bleibt dem Modell kaum Raum für die Antwort und der Output bricht ab. Reservieren Sie Tokens für den Output, bevor Sie entscheiden, wie viel Material Sie einfügen.
Führt ein größeres Context Window immer zu besseren Ergebnissen?
Nein. Größere Windows erlauben die Verarbeitung langer Dokumente, kompletter Codebases oder ausgedehnter Chats, kosten aber mehr und können Antworten verlangsamen. Modelle verlieren außerdem tendenziell Genauigkeit bei Informationen, die in der Mitte sehr langer Inputs stehen, ein Effekt, der als „lost in the middle“ bekannt ist. Weniger, aber besser ausgewählte Passagen schlagen oft das Einspeisen von allem.
Was tue ich, wenn ein Dokument zu lang für das Context Window ist?
Vier Techniken deckne die meisten Fälle ab: das Dokument in kleinere Stücke chunken, Retrieval Augmented Generation (RAG) nutzen, um nur die relevanten Passagen in das Window zu holen, frühere Chat-Turns zusammenfassen, um Platz zu schaffen, und Prompt Budgeting, um Tokens für den Output zu reservieren. Konkret: Bei einem Window von 8.000 Tokens passt ein Vertrag mit 9.000 Tokens nicht hinein, Sie fassen ihn also zusammen oder rufen nur die Klauseln ab, auf die es ankommt.