Chain-of-Thought
Auch: CoT, Chain of Thought Prompting, Step-by-Step Reasoning
Eine Prompting-Technik, bei der ein Sprachmodell dazu angeleitet wird, Zwischenschritte der Argumentation zu erzeugen, bevor es eine endgültige Antwort gibt. Das erhöht die Genauigkeit bei komplexen Aufgaben.
Was es ist
Chain-of-Thought (CoT) ist eine Prompting- und Reasoning-Technik für Large Language Models (LLMs), bei der das Modell eine Folge von Zwischenschritten erzeugt, bevor es die endgültige Antwort ausgibt. Anstatt direkt zum Ergebnis zu springen, wird das Modell dazu gebracht, „laut zu denken“ und ein Problem in kleinere, logisch verbundene Teile zu zerlegen.
Die Technik lässt sich auf mehreren Wegen auslösen: durch Anweisungen wie „Let's think step by step“, durch durchgerechnete Beispiele mit Argumentationskette (Few-Shot-CoT) oder durch ein Modelltraining, das schrittweises Reasoning zum Standardverhalten macht.
Warum es wichtig ist
Viele Aufgaben, etwa mehrstufige Rechenaufgaben, Logikrätsel und komplexe Entscheidungen, lassen sich in einem einzigen Durchgang kaum lösen. Chain-of-Thought verbessert die Leistung, weil es:
- Komplexität zerlegt: Große Probleme werden in handhabbare Schritte aufgeteilt.
- Fehler reduziert: Jeder Schritt baut auf einem geprüften Zwischenergebnis auf.
- Transparenz erhöht: Die sichtbare Argumentationsspur erleichtert Audit und Debugging des Modellverhaltens.
- Verlässlichkeit steigert: Studien zeigen durchgehend höhere Genauigkeit bei Reasoning-Benchmarks als beim Prompting auf direkte Antwort.
Wie es in der Praxis eingesetzt wird
- Few-Shot-CoT: 2 bis 5 Beispiele in den Prompt aufnehmen, die die Argumentation zeigen, dann die neue Frage stellen.
- Zero-Shot-CoT: Einfach einen Hinweis anhängen wie „Erkläre deine Argumentation Schritt für Schritt“.
- Self-Consistency: Mehrere Argumentationspfade erzeugen und die Mehrheitsantwort nehmen, um die Robustheit zu erhöhen.
- Hidden Reasoning: In der Produktion kann das Reasoning intern erzeugt und aus der für Nutzer sichtbaren Ausgabe entfernt werden, damit die Antworten schlank bleiben.
Ein praktischer Hinweis: Offen gelegtes Reasoning kann sensible Logik verraten oder ausufern, deshalb trennen Teams die Argumentation häufig von der Antwort, die Nutzer sehen.
Konkretes Beispiel
Prompt: „Ein Laden verkauft Stifte, 3 für 2 $. Was kosten 12 Stifte? Denke Schritt für Schritt.“
Ausgabe des Modells:
1. 12 Stifte in Gruppen von 3 ergeben 4 Gruppen.
2. Jede Gruppe kostet 2 $.
3. 4 Gruppen mal 2 $ ergibt 8 $.
Endgültige Antwort: 8 $.
Ohne die Schritte würde ein Modell vielleicht falsch raten. Mit Chain-of-Thought führt der strukturierte Weg zu einem korrekten, überprüfbaren Ergebnis.
Siehe auch
Häufige Fragen
Was ist Chain-of-Thought-Prompting?
Chain-of-Thought (CoT) ist eine Technik, bei der ein Large Language Model eine Folge von Zwischenschritten erzeugt, bevor es seine endgültige Antwort gibt, anstatt direkt zum Ergebnis zu springen. Ausgelöst wird das durch Anweisungen wie „Let's think step by step“, durch durchgerechnete Beispiele, die die Argumentation zeigen, oder durch ein Training, das schrittweises Reasoning zum Standardverhalten des Modells macht. Man spricht auch von CoT oder Step-by-Step-Reasoning.
Wann verbessert Chain-of-Thought die Ergebnisse tatsächlich?
Bei Aufgaben, die sich nicht in einem einzigen Durchgang lösen lassen: mehrstufige Rechenaufgaben, Logikrätsel und komplexe Entscheidungen. Chain-of-Thought hilft, weil jeder Schritt auf einem geprüften Zwischenergebnis aufbaut, was Fehler reduziert, und weil die sichtbare Argumentationsspur Audit und Debugging des Modells erleichtert. Reasoning-Benchmarks zeigen durchgehend höhere Genauigkeit als Prompting auf direkte Antwort.
Was ist der Unterschied zwischen Zero-Shot- und Few-Shot-Chain-of-Thought?
Zero-Shot-CoT ergänzt den Prompt um einen einfachen Hinweis wie „Erkläre deine Argumentation Schritt für Schritt“, ohne Beispiele. Few-Shot-CoT nimmt 2 bis 5 Beispiele in den Prompt auf, die die Argumentation explizit vorführen, und stellt dann die neue Frage. Few-Shot kostet mehr Tokens, gibt Ihnen aber Kontrolle über die Form der Argumentation, die Sie wollen.
Sollten die Argumentationsschritte den Endnutzern gezeigt werden?
Meist nicht. Offen gelegtes Reasoning kann sensible Geschäftslogik verraten und wird tendenziell lang, deshalb erzeugen Teams es intern und entfernen es aus der für Nutzer sichtbaren Ausgabe, ein Ansatz, der als Hidden Reasoning bekannt ist. Die Argumentation bleibt für internes Audit und Debugging verfügbar, während der Nutzer nur eine schlanke Endantwort sieht.
Was ist Self-Consistency und wie hängt es mit Chain-of-Thought zusammen?
Self-Consistency erzeugt mehrere unabhängige Argumentationspfade für dieselbe Frage und behält die Mehrheitsantwort. Es baut auf Chain-of-Thought auf: Eine einzelne Argumentationskette kann in einem Schritt falsch abbiegen, während Übereinstimmung über mehrere Ketten die Endantwort robuster macht. Der Preis dafür sind die Kosten, da Sie das Modell mehrmals pro Frage laufen lassen.