Reinforcement Learning from Human Feedback
Auch: RLHF, Reinforcement Learning from Human Feedback, Human preference fine-tuning
Eine Trainingsmethode, die KI-Modelle anhand menschlicher Präferenzurteile fine-tunt und ihre Ausgaben an dem ausrichtet, was Menschen als hilfreich, sicher und qualitativ hochwertig empfinden.
Was es ist
Reinforcement Learning from Human Feedback (RLHF) ist eine Technik, um Machine-Learning-Modelle, insbesondere große Sprachmodelle, an menschlichen Präferenzen auszurichten. Statt sich nur auf die rohen Trainingsdaten zu stützen, bezieht RLHF menschliche Urteile darüber ein, welche Modellausgaben besser sind, und nutzt diese Urteile, um das Modell in Richtung des gewünschten Verhaltens zu lenken.
RLHF verbindet zwei Felder: supervised learning (Lernen aus gelabelten Beispielen) und reinforcement learning (Lernen aus einem Reward-Signal). Der entscheidende Punkt: Menschen sind oft besser darin, zwei Antworten zu *vergleichen*, als die perfekte Antwort von Null auf zu schreiben. RLHF verwandelt menschliche Präferenzen deshalb in einen Reward, den das Modell optimieren kann.
Warum es wichtig ist
Modelle, die ausschließlich auf die Vorhersage von Text trainiert sind, können flüssig formulieren und trotzdem nicht hilfreich, ausweichend oder unsicher sein. RLHF hilft, die Lücke zwischen dem, was ein Modell produzieren *kann*, und dem, was Nutzer tatsächlich *wollen*, zu schließen. Es ist ein wesentlicher Grund dafür, dass moderne konversationelle Assistenten kooperativ wirken, Anweisungen folgen und klar schädliche Anfragen ablehnen.
- Alignment: Ausgaben entsprechen besser menschlicher Absicht und menschlichen Werten.
- Qualität: Antworten werden hilfreicher, knapper und relevanter.
- Sicherheit: reduziert toxische, verzerrte oder gefährliche Inhalte.
Wie es in der Praxis funktioniert
RLHF läuft typischerweise in drei Phasen ab:
1. Supervised fine-tuning (SFT): Menschen schreiben oder kuratieren Beispielantworten, und das Basismodell wird darauf fine-getunt.
2. Training des Reward-Modells: Menschen ranken oder vergleichen mehrere Modellausgaben zum selben prompt. Diese Vergleiche trainieren ein separates Reward-Modell, das bewertet, wie gut eine Antwort ist.
3. Policy-Optimierung: Das Hauptmodell wird mit einem Reinforcement-Learning-Algorithmus (üblicherweise PPO) fine-getunt, um den Score des Reward-Modells zu maximieren, meist mit einer Nebenbedingung, die es nahe am Ursprungsmodell hält.
Konkretes Beispiel
Angenommen, ein Chatbot wird gefragt: „Erkläre Inflation für Anfänger.“ Das Modell erzeugt vier Antworten. Menschliche Reviewer ranken sie von der besten zur schlechtesten und bevorzugen klare, korrekte Antworten ohne Fachjargon. Das Reward-Modell lernt dieses Muster. Während der Optimierung wird der Chatbot dazu gedrängt, Antworten zu erzeugen, die den bestgerankten ähneln. Über viele prompts hinweg liefert er dann durchgehend klarere, hilfreichere Erklärungen.
Grenzen
RLHF übernimmt menschliche Verzerrungen, das Labeling kann teuer sein, und es kann selbstsicher klingende, aber falsche Antworten belohnen, wenn die Reviewer nicht sorgfältig arbeiten. Varianten wie RLAIF (mit KI-Feedback) und direct preference optimization sollen diese Kosten senken.
Siehe auch
Häufige Fragen
Wofür steht RLHF, und welches Problem löst es?
RLHF steht für Reinforcement Learning from Human Feedback. Es ist eine Trainingsmethode, die Machine-Learning-Modelle, insbesondere große Sprachmodelle, anhand menschlicher Urteile darüber fine-tunt, welche Ausgaben besser sind. Sie existiert, weil ein Modell, das nur auf die Vorhersage des nächsten Wortes trainiert ist, flüssig formulieren und dabei trotzdem nicht hilfreich, ausweichend oder unsicher sein kann.
Warum ranken menschliche Reviewer Antworten, anstatt die ideale Antwort zu schreiben?
Weil Menschen meist besser darin sind, zwei Antworten zu vergleichen, als eine perfekte von Null auf zu erzeugen. Mehrere Kandidatenantworten zum selben prompt zu ranken, ist schneller, konsistenter und liefert ein Signal, das in einen numerischen Reward umgewandelt werden kann, gegen den das Modell optimiert.
Was sind die drei Phasen einer RLHF-Pipeline?
Erstens supervised fine-tuning (SFT): Menschen schreiben oder kuratieren Beispielantworten, und das Basismodell wird darauf fine-getunt. Zweitens das Training des Reward-Modells: Menschen ranken mehrere Ausgaben zum selben prompt, und diese Vergleiche trainieren ein separates Reward-Modell, das jede Antwort bewertet. Drittens die Policy-Optimierung: Das Hauptmodell wird mit einem Reinforcement-Learning-Algorithmus, üblicherweise PPO, fine-getunt, um den Score des Reward-Modells zu maximieren und dabei nahe am Ursprungsmodell zu bleiben.
Was ist der Unterschied zwischen dem Reward-Modell und dem Modell, das trainiert wird?
Das Reward-Modell ist ein separates Modell, dessen einzige Aufgabe darin besteht, zu bewerten, wie gut eine Antwort ist, gelernt aus menschlichen Vergleichen. Das Hauptmodell, die Policy, ist jenes, das Antworten erzeugt und so angepasst wird, dass es laut Reward-Modell höher bewertet wird. Die Trennung erlaubt es, menschliche Präferenzen auf tausende prompts anzuwenden, ohne dass Menschen jeden einzelnen prüfen müssen.
Was sind die bekannten Schwächen von RLHF, und welche Alternativen adressieren sie?
RLHF übernimmt die Verzerrungen seiner Reviewer, das Labeling ist teuer, und es kann Antworten belohnen, die selbstsicher klingen, aber falsch sind, wenn die Reviewer nicht rigoros arbeiten. RLAIF, das einen Teil des menschlichen Feedbacks durch KI-Feedback ersetzt, und direct preference optimization, das auf das separate Reward-Modell verzichtet, wurden entwickelt, um diese Kosten zu senken.