Fine-Tuning
Auch: Model fine-tuning, Domain adaptation, Supervised fine-tuning (SFT)
Fine-Tuning passt ein vortrainiertes Modell an eine bestimmte Aufgabe oder Domäne an, indem das Training auf einem kleineren, gezielten Datensatz fortgesetzt wird. Das verbessert Genauigkeit und Stil für den jeweiligen Anwendungsfall.
Was es ist
Fine-Tuning bezeichnet den Prozess, ein Modell, das schon auf einem großen, allgemeinen Datensatz trainiert wurde (ein vortrainiertes Modell oder Foundation Model), auf einem kleineren, fokussierten Datensatz weiterzutrainieren. Ziel ist es, das Modell zu spezialisieren, damit es bei einer bestimmten Aufgabe, Domäne oder in einem bestimmten Stil besser abschneidet, ohne ein neues Modell von Null an zu trainieren.
Da das Basismodell breites Wissen bereits abbildet (Sprachmuster, visuelle Merkmale oder allgemeines Reasoning), muss das Fine-Tuning das Modell nur noch auf das neue Ziel ausrichten. Das ist deutlich günstiger und schneller als ein vollständiges Training.
Warum es relevant ist
- Geringere Kosten und weniger Datenbedarf: Sie nutzen das teure Pre-Training weiter, daher können einige hundert bis einige tausend gelabelte Beispiele ausreichen.
- Bessere Task-Performance: Ein fine-getuntes Modell schlägt ein generisches Modell bei Nischenaufgaben meist deutlich (juristische Zusammenfassungen, medizinische Kodierung, Brand Voice).
- Konsistenz: Es kann einen Tonfall, ein Format oder ein Domänenvokabular festschreiben, das sich allein über Prompting nur schwer zuverlässig durchsetzen lässt.
Wie es in der Praxis eingesetzt wird
1. Daten sammeln: Hochwertige Input/Output-Paare zusammenstellen, die für die Zielaufgabe repräsentativ sind.
2. Methode wählen:
- Full Fine-Tuning: alle Modellgewichte werden aktualisiert (am flexibelsten, am teuersten).
- Parameter-efficient Fine-Tuning (PEFT): nur kleine Adapter-Layer werden aktualisiert, zum Beispiel LoRA, der Großteil der Gewichte bleibt eingefroren.
3. Trainieren: Zusätzliche Trainings-Epochen mit niedriger Learning Rate fahren, um vorhandenes Wissen nicht zu löschen (ein Risiko, das Catastrophic Forgetting heißt).
4. Evaluieren und deployen: Auf zurückgehaltenen Beispielen validieren, dann das angepasste Modell ausliefern.
Konkretes Beispiel
Ein Support-Team hat ein allgemeines Sprachmodell, das Fragen beantwortet, aber nicht zum eigenen Produkt passt. Das Team bereitet 1.500 vergangene Tickets mit den freigegebenen Antworten der Agents auf. Nach dem Fine-Tuning antwortet das Modell mit der Terminologie, den Eskalationsregeln und dem Tonfall des Unternehmens. Die Genauigkeit in internen Evaluationen steigt von 68 % auf 91 %, und die Antworten müssen weniger nachbearbeitet werden.
Wann Sie es nicht einsetzen sollten
Wenn der Bedarf nur gelegentlich auftritt oder sich das Wissen häufig ändert, sind Prompt Engineering oder Retrieval Augmented Generation (RAG) möglicherweise günstiger und einfacher zu aktualisieren als ein erneutes Training.
Siehe auch
Häufige Fragen
Was bedeutet Fine-Tuning eines Modells genau?
Fine-Tuning heißt, ein Modell, das bereits auf einem großen allgemeinen Datensatz trainiert wurde (ein vortrainiertes Modell oder Foundation Model), auf einem kleineren, fokussierten Datensatz weiterzutrainieren, damit es bei einer Aufgabe, Domäne oder in einem Stil besser abschneidet. Da das Basismodell breites Wissen bereits abbildet, ist nur eine Anpassung nötig statt eines Trainings von Null an, was deutlich günstiger und schneller ist. Man spricht auch von Domain Adaptation oder Supervised Fine-Tuning (SFT).
Wann sollte ich fine-tunen, statt nur meine Prompts zu verbessern oder RAG zu nutzen?
Fine-tunen Sie, wenn Sie einen Tonfall, ein Format oder ein Domänenvokabular festschreiben müssen, das Prompting allein nicht zuverlässig durchsetzt, und wenn die Aufgabe über die Zeit stabil bleibt. Tritt der Bedarf nur gelegentlich auf oder ändert sich das zugrunde liegende Wissen häufig, sind Prompt Engineering oder Retrieval Augmented Generation (RAG) günstiger und viel einfacher zu aktualisieren als ein erneutes Training des Modells.
Wie viele gelabelte Beispiele braucht man für ein Fine-Tuning?
Einige hundert bis einige tausend hochwertige Input/Output-Paare genügen oft, weil das teure Pre-Training weitergenutzt wird. Qualität und Repräsentativität der Paare zählen mehr als die Menge: Sie müssen die Zielaufgabe so abbilden, wie sie später tatsächlich genutzt wird. In einem Support-Anwendungsfall hoben 1.500 vergangene Tickets mit den freigegebenen Antworten der Agents die Genauigkeit in der internen Evaluation von 68 % auf 91 %.
Was ist der Unterschied zwischen Full Fine-Tuning und LoRA?
Full Fine-Tuning aktualisiert alle Modellgewichte: die flexibelste und die teuerste Option. LoRA ist eine Form von Parameter-efficient Fine-Tuning (PEFT), bei der nur kleine Adapter-Layer trainiert werden, während der Großteil der Gewichte eingefroren bleibt. Das senkt Compute- und Speicherkosten deutlich. Teams mit begrenztem Budget oder mehreren Task-Varianten starten meist mit PEFT.
Was ist Catastrophic Forgetting und wie vermeidet man es?
Catastrophic Forgetting tritt auf, wenn zusätzliches Training auf einem engen Datensatz das allgemeine Wissen löscht, das das Modell im Pre-Training erworben hat. Die übliche Vorsichtsmaßnahme ist, die zusätzlichen Trainings-Epochen mit einer niedrigen Learning Rate zu fahren und vor dem Deployment auf zurückgehaltenen Beispielen zu validieren. Parameter-effiziente Methoden, die den Großteil der Gewichte einfrieren, begrenzen das Risiko ebenfalls.