RLHF erklärt: Wie menschliches Feedback KI-Modelle formt

RLHF kann ein Modell darin verbessern, Antworten zu geben, die Menschen bevorzugen. Verlässlich wahr werden diese Antworten dadurch noch nicht. Im klassischen Verfahren vergleichen Menschen 2 Antworten auf denselben Prompt. Ein Belohnungsmodell lernt aus diesen Präferenzen, und Reinforcement Learning richtet das antwortende Modell auf höhere Bewertungen aus. Für ein kleines Unternehmen zählt vor allem eine Frage: Lässt sich mit Präferenztraining ein wiederkehrendes Verhaltensproblem beheben, das bessere Anweisungen und besserer Kontext bisher nicht gelöst haben?

Die Empfehlung für die Praxis: Am Anfang stehen eine klare Evaluation und ein guter Prompt. Präferenzbasiertes Fine-Tuning kommt infrage, wenn das Modell die Aufgabe beherrscht, aber immer wieder den falschen Ton, die falschen Schwerpunkte oder ein unpassendes Antwortverhalten wählt. Fehlen aktuelle Unternehmensinformationen, ist Retrieval der passende Ansatz.

Forschung und Dokumentation der gehosteten APIs geprüft am 22. Oktober 2026. Die nachfolgend beschriebenen historischen Trainingsverfahren sind den jeweiligen Veröffentlichungen zugeordnet. Sie belegen nicht, welche unveröffentlichten Verfahren ein Forschungslabor heute verwendet.

Was bedeutet RLHF, und wie verändern menschliche Bewertungen ein Modell?

RLHF steht für Reinforcement Learning from Human Feedback, also bestärkendes Lernen aus menschlichem Feedback. Das Training erhält damit ein Signal dafür, was Menschen von einer Antwort erwarten. Es geht um mehr als die Frage, ob die Wörter Texten ähneln, die das Modell bereits gesehen hat.

Anschaulich wird das am Zusammenspiel von Autor und Redaktion. Eine Redakteurin vergleicht Entwürfe und vermittelt ihren Maßstab durch wiederholte Auswahlentscheidungen. Ein erlerntes Bewertungssystem bildet ihre Präferenzen näherungsweise ab. Der Autor kann seine Entwürfe dann anhand dieser Bewertungen verbessern. Der Haken: Was dem Bewertungssystem gefällt, kann sich zunehmend von dem entfernen, was die Redakteurin tatsächlich gut findet.

Bei einem großen Sprachmodell, kurz LLM, läuft das klassische Verfahren so ab:

1. Menschen vergleichen Antworten. Bewertende Personen sehen denselben Prompt und ordnen mögliche Antworten nach vorgegebenen Kriterien ein, etwa Nützlichkeit, Korrektheit und angemessenem Verhalten.
2. Ein Belohnungsmodell lernt aus diesen Rangfolgen. Dieses separate Modell sagt voraus, welche Antworten die Bewertenden bevorzugen würden. Es übersetzt die Vergleiche in einen Wert, den das Training nutzen kann.
3. Das antwortende Modell wird angepasst. Es erzeugt weitere Antworten, erhält dafür Bewertungen des Belohnungsmodells und passt seine Parameter in Richtung besser bewerteten Verhaltens an.

Diesen Mechanismus beschrieb OpenAI für InstructGPT, die auf das Befolgen von Anweisungen trainierte Version von GPT-3. Menschen müssen also nicht jede Antwort einzeln bewerten, die während der Reinforcement-Learning-Phase entsteht.

SFT und RLHF im Vergleich: Vorbilder oder Präferenzen?

Supervised Fine-Tuning, kurz SFT, lernt anhand von Beispielen für die gewünschte Antwort. RLHF ergänzt Urteile darüber, welche Antworten besser sind. Bei InstructGPT stand SFT am Anfang: Das vortrainierte Modell erhielt Beispiele dafür, wie es Anweisungen befolgen sollte. Menschliche Rangfolgen und Reinforcement Learning verfeinerten anschließend dieses Ausgangsverhalten.

Die Policy ist das Modell, das entscheidet, was ausgegeben wird. InstructGPT aktualisierte sie mit Proximal Policy Optimization, kurz PPO. Dieser Algorithmus verbessert Verhalten anhand von Belohnungen. Zugleich bestrafte das Training zu große Abweichungen von einem Referenzmodell. Vereinfacht lässt sich dieses regularisierte Trainingsziel so ausdrücken:

Trainingsziel = vorhergesagte Belohnung für bevorzugte Antworten minus Strafe für zu starke Abweichungen.

Das beschreibt das Prinzip, nicht die vollständige Trainingsgleichung der Veröffentlichung. Die Begrenzung ist wichtig, weil ein erlerntes Bewertungssystem Fehler macht: Seine Bewertung immer weiter zu steigern, verbessert die Antwort nicht unbegrenzt. InstructGPT-Publikation

Nach Abschluss des Trainings kann das entstandene Modell Anfragen beantworten, ohne bei jeder Kundenanfrage diese gesamte Schleife zu durchlaufen. Eine Feedbackschaltfläche kann ein Signal für späteres Training sammeln. Ihr Betätigen allein verändert noch keine Modellparameter.

Ein RLHF-Datensatz als Beispiel: Ein Prompt, zwei Antworten

Das Präferenzlabel sollte die Unternehmensregel abbilden und nicht bloß festhalten, welche Antwort freundlicher klingt. Das folgende Support-Szenario veranschaulicht den Unterschied. Die Beispiele sind erfunden und stammen nicht aus einem Modelltest.

Der Assistent entwirft Antworten für die Rechnungsabteilung. Er hat weder Zugriff auf Kundenkonten noch kann er Erstattungen auslösen. Nach der geltenden Richtlinie muss die Rechnungsabteilung mögliche Doppelabbuchungen prüfen, bevor eine Erstattung zugesagt werden darf.

Antwort A, bevorzugt:

Die doppelte Abbuchung tut mir leid. In diesem Chat kann ich eine Erstattung weder bestätigen noch veranlassen. Bitte übermitteln Sie die Zahlungsreferenzen über das sichere Supportformular. Die Rechnungsabteilung kann sie dann prüfen und eine Erstattung veranlassen, falls sich die Doppelabbuchung bestätigt.

Antwort B, abgelehnt:

Die doppelte Abbuchung tut mir leid. Ich habe die zusätzliche Zahlung erstattet; Sie müssen nichts weiter unternehmen. Vielen Dank für Ihre Geduld, während wir das geklärt haben.

Eine bewertende Person entscheidet sich für A, weil die Antwort die Befugnisse des Assistenten respektiert und einen konkreten nächsten Schritt nennt. B klingt beruhigend, behauptet aber eine Transaktion, die der Assistent gar nicht ausführen konnte.

Der Trainingsdatensatz enthält den gemeinsamen Prompt, A als bevorzugte und B als nicht bevorzugte Antwort. Beim klassischen RLHF lernt das Belohnungsmodell aus vielen solchen Vergleichen, was es positiv bewerten soll. Bei Direct Preference Optimization trainieren die Paare das antwortende Modell direkter.

Entscheidend sind auch die weiteren Beispiele im Datensatz. Ist jede bevorzugte Antwort länger, werden Regeltreue und Antwortlänge miteinander vermischt. Deshalb gehört auch eine knappe, regelkonforme Antwort dazu, die einer ausführlichen, aber erfundenen Zusage gegenübersteht. Ebenso braucht es Fälle, in denen ein autorisiertes Tool die Erstattung tatsächlich ausgeführt hat: Das gewünschte Verhalten muss sich mit der Beweislage ändern. Sonst lernt das Modell womöglich „immer vorsichtig formulieren“, obwohl die Regel lautet: „Nur behaupten, was die vorliegenden Informationen belegen.“

Dafür braucht es ein Bewertungsschema, das sich eindeutig anwenden lässt: keine erfundene Aktion, keine unbelegte Zusage, der richtige nächste Schritt, ein angemessener Ton. Verstoßen beide Antworten dagegen, muss das Paar überarbeitet oder ausgeschlossen werden. Sind sich die Bewertenden uneinig, ist zunächst die Unklarheit in der Richtlinie zu beseitigen, bevor aus dem Streitfall ein Trainingslabel wird.

Ein separater Evaluationsdatensatz bleibt vom Training getrennt. Beim Aufteilen der Daten müssen Varianten desselben ursprünglichen Tickets zusammenbleiben. Das Modell soll das gewünschte Verhalten in unbekannten Situationen zeigen und nicht lediglich ein leicht umformuliertes Trainingsbeispiel wiedererkennen.

Warum RLHF Chatmodelle nützlicher gemacht hat

RLHF half dabei, vorhandene sprachliche Fähigkeiten in ein Verhalten zu übersetzen, das sich direkt anfordern lässt. Plausiblen Text vorherzusagen und auf eine Anfrage hilfreich zu reagieren, sind unterschiedliche Trainingsziele. Anweisungsbeispiele und Präferenzfeedback gaben Entwicklern die Möglichkeit, diesen Unterschied gezielt zu beeinflussen.

In OpenAIs InstructGPT-Studie von 2022 bevorzugten menschliche Bewertende die Ausgaben eines InstructGPT-Modells mit 1,3 Milliarden Parametern gegenüber denen von GPT-3 mit 175 Milliarden Parametern – bezogen auf die Promptverteilung der Studie. Parameter sind die erlernten numerischen Einstellungen eines Modells. Das Ergebnis zeigte, dass die Ausrichtung auf die Nutzerabsicht in dieser Evaluation wichtiger sein konnte als die Modellgröße. Es bedeutete nicht, dass das kleinere Modell generell leistungsfähiger geworden war. OpenAIs Forschungsarbeit

Auch OpenAIs technischer Bericht zu GPT-4 beschreibt RLHF nach dem Vortraining, um das Modell besser an der Nutzerabsicht auszurichten. Das dokumentiert das Training eines bestimmten Modells. Es legt nicht das vollständige Trainingsverfahren aller Modelle offen, die heute über ChatGPT verfügbar sind. OpenAIs GPT-4-Bericht

Für die Entwicklung folgt daraus: Ein Modell kann bereits nützliches Wissen besitzen und trotzdem ein wenig hilfreiches Antwortmuster wählen. Training kann diese Auswahl verbessern. Es ersetzt jedoch nicht den Zugriff eines Supportassistenten auf den richtigen Kundendatensatz.

DPO, KI-Feedback und überprüfbare Belohnungen

Diese Verfahren verändern unterschiedliche Teile des Trainings. Sie können sich deshalb ersetzen oder ergänzen. Drei Fragen sollten getrennt betrachtet werden: Wer liefert das Urteil? Was gilt als gutes Ergebnis? Und wie wird dieses Signal genutzt, um das Modell anzupassen?

DPO vs. RLHF: Wie wird das Modell angepasst?

Direct Preference Optimization, kurz DPO, kann aus derselben Art von Antwortpaaren lernen, ohne ein separates Belohnungsmodell zu trainieren. Das ursprüngliche Verfahren passt das Modell so an, dass es bevorzugte Antworten gegenüber abgelehnten Antworten und relativ zu einem Referenzmodell begünstigt. Damit entfällt beim Fine-Tuning die klassische Schleife, in der neue Ausgaben erzeugt und mit einem separat trainierten Belohnungsmodell bewertet werden. Ursprüngliche DPO-Publikation

Der praktische Vorteil liegt im geringeren technischen Aufwand. Das Datenproblem bleibt bestehen: Wenn die Bewertenden Antwort B zum Sieger erklären, erkennt DPO nicht von selbst, dass die dort behauptete Erstattung erfunden ist.

Metas Vorstellung von Llama 3 im Jahr 2024 nannte SFT, Rejection Sampling, PPO und DPO gemeinsam. Rejection Sampling bedeutet, mehrere Kandidaten zu erzeugen und ausgewählte davon zu behalten. Diese veröffentlichte Kombination zeigt, warum sich Nachtraining nicht als allgemeingültige Abfolge verstehen lässt, in der ein Kürzel das vorherige ablöst. Metas Beschreibung des Llama-3-Trainings

RLAIF vs. RLHF: Wer bewertet die Antworten?

Reinforcement Learning from AI Feedback, kurz RLAIF, nutzt modellgenerierte Urteile als Feedback. Dadurch kann der Bedarf an direkter menschlicher Datenbewertung sinken. Die Verantwortung für Anweisungen, Prinzipien und Evaluationskriterien bleibt bei Menschen.

Anthropics Veröffentlichung zu Constitutional AI von 2022 beschrieb zunächst eine überwachte Lernphase mit Modellkritiken und überarbeiteten Antworten. In einer anschließenden Phase trainierten KI-Vergleiche ein Präferenzmodell für Reinforcement Learning. Die „Verfassung“ bestand aus Prinzipien, an denen sich der Prozess orientierte. Das ging über einen Richtlinienabsatz im Prompt bei der Modellnutzung hinaus. Anthropics Forschung zu Constitutional AI

Das Unternehmen hat auch spätere Änderungen veröffentlicht. Am 8. Mai 2026 beschrieb Anthropic ein Training mit Dokumenten, die an diesen Prinzipien ausgerichtet waren, mit Chatbeispielen und unterschiedlichen Umgebungen. Dabei erläuterte es, weshalb auf Chats ausgerichtetes Alignment-Training Situationen mit handelnden Agenten nicht ausreichend abgedeckt hatte. Für die Entwicklung heißt das: Verhalten muss in der Umgebung evaluiert werden, in der es später zum Einsatz kommt. Eine höfliche Supportantwort und ein Rechnungsagent mit Toolzugriff stellen unterschiedliche Anforderungen. Teaching Claude Why

RLVR vs. RLHF: Lässt sich das Ergebnis prüfen?

Reinforcement Learning with Verifiable Rewards, kurz RLVR, eignet sich für Aufgaben, bei denen ein Prüfverfahren feststellen kann, ob ein Versuch erfolgreich war. Eine Codelösung lässt sich an Testfällen prüfen, eine mathematische Antwort mit einem bekannten Ergebnis vergleichen. Die Belohnung muss dann nicht davon abhängen, ob jemand die Formulierung bevorzugt.

In der veröffentlichten Forschung des DeepSeek-Teams verwendete DeepSeek-R1-Zero regelbasierte Belohnungen für Korrektheit und Format. DeepSeek-R1 nutzte ein breiteres, mehrstufiges Verfahren: regelbasierte Belohnungen für Schlussfolgerungsaufgaben, modellbasierte Belohnungen für allgemeine Aufgaben und überwachte Trainingsphasen. Das sind unterschiedliche Konfigurationen. DeepSeeks R1-Publikation

Die Grenze setzt das Prüfverfahren. Bestandene Tests belegen nicht, dass Code auch eine nicht formulierte Anforderung erfüllt. Beim Erstattungsbeispiel ist es etwas anderes, eine tatsächlich ausgeführte, autorisierte Transaktion zu prüfen, als die Hilfsbereitschaft einer Antwort zu bewerten. Vor der Wahl des Trainingsverfahrens muss klar sein, welchen Nachweis die Belohnung abbilden soll.

RLHF und LLM-Fine-Tuning: Welche Möglichkeiten haben kleine Unternehmen?

Kleine Unternehmen können Präferenztraining als verwalteten Dienst nutzen, ohne die gesamte klassische RLHF-Infrastruktur aufzubauen. Entscheidend ist ein Modell, das sich bei den vom Training zurückgehaltenen Aufgaben besser verhält. Dass ein Dienst „Fine-Tuning“ anbietet, bedeutet noch nicht, dass er Präferenzpaare, jedes Modell oder jedes Kundenkonto unterstützt.

Together AI: Gehostetes DPO mit Präferenzpaaren

Together AI bietet DPO-Trainingsläufe mit training_method="dpo" an. Das dokumentierte JSONL-Format enthält einen JSON-Trainingsdatensatz pro Zeile mit den Feldern input.messages, preferred_output und non_preferred_output. Jede Ausgabe enthält eine Assistentennachricht. Das Supportpaar aus dem Beispiel lässt sich unmittelbar diesen Rollen zuordnen. Together-AI-Dokumentation zum Präferenztraining

Die Dokumentation empfiehlt, zunächst SFT einzusetzen, wenn die Beispiele deutlich von der Trainingsverteilung des Basismodells abweichen. Praktisch entscheiden die vorhandenen Daten: Gibt es pro Prompt nur eine freigegebene Antwort, ist SFT der Ausgangspunkt. Präferenztraining braucht aussagekräftige Alternativen aus bevorzugten und abgelehnten Antworten.

Fireworks AI: Präferenztraining als verwalteter Dienst

Fireworks AI dokumentiert verwaltetes DPO-Training mit Präferenzdatensätzen, die über die Benutzeroberfläche, das Kommandozeilenwerkzeug oder die REST API hochgeladen werden. In der Oberfläche führt der dokumentierte Weg über Training → New job → Direct Preference, anschließend werden Modell und Datensatz ausgewählt. Das gewählte Basismodell muss DPO unterstützen. Fireworks-Dokumentation zum Präferenztraining

Der Leitfaden sieht Trainingsbeispiele mit einem einzelnen Dialogschritt vor. Die bevorzugte und die abgelehnte Ausgabe bilden jeweils die letzte Assistentennachricht. Für einen Agenten, dessen Fehler erst über eine Folge von Toolaufrufen entstehen, ist das eine wichtige Einschränkung. Ein akzeptiertes Dateiformat belegt noch nicht, dass das Trainingsverfahren das Verhalten erfasst, das verbessert werden soll.

OpenAI: Zuerst Zugang und verbleibende Modelllaufzeit prüfen

OpenAI dokumentiert textbasiertes DPO, stellt seine Fine-Tuning-Plattform jedoch schrittweise ein. Nach dem am 22. Oktober 2026 geprüften Stand ist sie für neue Nutzer geschlossen. Berechtigte Bestandskunden können noch bis zum 6. Januar 2027 Trainingsaufträge anlegen, sofern ihr Basismodell nicht früher abgeschaltet wird. Dieser Weg kommt damit für Bestandskunden infrage; für ein neu einsteigendes Unternehmen ist er keine Einstiegsempfehlung. OpenAI-Dokumentation zu DPO

Die dokumentierten Fine-Tuning-Varianten von gpt-4.1-nano-2025-04-14 werden am 23. Oktober 2026 abgeschaltet. Die Snapshots gpt-4.1-2025-04-14 und gpt-4.1-mini-2025-04-14 sowie ihre Fine-Tuning-Varianten werden am 14. Januar 2027 abgeschaltet. Bevor Arbeit in einen Datensatz für diesen Weg fließt, sollte feststehen, ob das resultierende Modell für den geplanten Einsatz lange genug verfügbar bleibt. OpenAIs Abschalttermine

Was bleibt ein Projekt im Maßstab eines Forschungslabors?

Die Algorithmen sind nicht Forschungslaboren vorbehalten. Anders sind Umfang und Betriebsaufwand. Ein breit angelegtes Nachtrainingsprogramm für ein Spitzenmodell erfordert eigene Prozesse zur Feedbackerfassung, zum Training des Belohnungsmodells, zur wiederholten Generierung und Optimierung sowie zur Evaluation vieler Fähigkeiten. Ein gehosteter DPO-Auftrag übernimmt eine enger begrenzte Anpassung eines dafür geeigneten bestehenden Modells.

Auch Reinforcement Learning ist nicht grundsätzlich außerhalb der Reichweite einer API. OpenAI dokumentiert Reinforcement Fine-Tuning, kurz RFT, bei dem eine Bewertungsinstanz die Ausgaben von o4-mini benotet. Es gelten dieselben Einschränkungen für die Verfügbarkeit der Plattform. Das ist eine verwaltete Möglichkeit für belohnungsgesteuertes Training, aber kein Beleg dafür, dass sich damit das vollständige interne Trainingsverfahren eines Forschungslabors nachbauen lässt. OpenAI-Dokumentation zu RFT

Für die meisten kleinen Unternehmen sollte die erste Investition den Beispielen, dem Bewertungsschema und der Evaluation gelten. Ein eigenes Belohnungsmodell zu betreiben, wird erst dann zu einer gesonderten technischen Entscheidung, wenn die verwalteten Verfahren die Aufgabe nicht abdecken.

Was bedeutet das für Entwicklung, Betrieb und Einkauf?

Entwicklung: Vor der Wahl des Trainingsverfahrens muss der Fehlertyp feststehen. Fehlt dem Assistenten die Erstattungsrichtlinie, muss sie bereitgestellt werden. Liegt sie ihm vor und er erfindet trotzdem wiederholt abgeschlossene Erstattungen, sollten zunächst Anweisungen und Beispiele verbessert werden. Danach lässt sich prüfen, ob Präferenztraining hilft. Der umfassendere Leitfaden zum LLM-Fine-Tuning behandelt den Weg von der Datensatzvorbereitung bis zum Einsatz.

Betrieb: Die Definition einer besseren Antwort liegt im Unternehmen. Rechnungsabteilung, Support und Produktteam müssen sich darüber einig sein, wann ein Fall weitergeleitet werden muss und wo die Befugnisse enden. Ein Anbieter kann eine ungeklärte Unternehmensrichtlinie nicht dadurch lösen, dass er ein Modell stärker optimiert.

Einkauf: Gefragt sind Nachweise für die eigenen Aufgaben. „Mit RLHF trainiert“ beschreibt einen Teil des Verfahrens. Zu klären ist, welche Verhaltensweisen evaluiert wurden, welche Fehler verbleiben und ob das getestete System dieselben Tools und Berechtigungen hatte wie der geplante Einsatz. Liefert ein KI-Evaluator die Präferenzlabels, sollten seine Abweichungen von menschlichen Urteilen geprüft werden. Der Leitfaden zu LLM-as-a-Judge zeigt, wie solche Evaluationen aussagekräftig werden.

Welche Erwartungen an RLHF sind überzogen?

Ein höherer Präferenzwert ist kein Gütesiegel für Wahrheit, Sicherheit oder Kompetenz. Das Belohnungsmodell bildet die Urteile aus seinem Training nur näherungsweise ab. Bewertende Personen können einen plausibel klingenden Fehler übersehen oder beruhigende Formulierungen bevorzugen.

Anthropics Forschung zu übermäßiger Zustimmung, auch Sycophancy genannt, zeigte: Menschliche Präferenzen können Antworten belohnen, die den Ansichten der fragenden Person entsprechen – selbst dann, wenn eine wahrheitsgemäße Antwort widersprechen müsste. Ein Supportassistent, der selbstbewusst bestätigt, eine Erstattung sei erfolgt, könnte einer bewertenden Person gefallen und zugleich gegen die betriebliche Vorgabe verstoßen. Anthropics Studie zu Sycophancy

Hinzu kommt Reward Hacking: das Ausnutzen einer Schwäche im Bewertungssystem. Ein Modell kann lernen, die oberflächlichen Merkmale zu liefern, die das System belohnt, ohne das beabsichtigte Ergebnis zu erreichen. DeepSeeks Forschung erörtert ausdrücklich, wie schwierig verlässliche Belohnungssignale für offene Aufgaben sind. DeepSeeks veröffentlichte Einschränkungen

Deshalb muss das eigentliche Ziel unabhängig vom Trainingswert gemessen werden. Im Supportbeispiel sind erfundene Aktionen, die korrekte Weiterleitung von Fällen und hilfreiche nächste Schritte zu prüfen. Eine steigende Trainingsmetrik ist ein Anlass, den Modellstand zu evaluieren – keine automatische Freigabe für den Einsatz.

Was lässt sich nächste Woche konkret angehen?

Handlungsbedarf besteht bei einem wiederkehrenden, messbaren Verhaltensfehler und einheitlichen Urteilen darüber, welche Antworten besser sind. Solange sich dieser Unterschied nicht definieren oder evaluieren lässt, ist Abwarten sinnvoll. Besteht das aktuelle Modell eines Unternehmens seine Evaluation bereits, gibt es keinen Grund für Fine-Tuning, nur weil ein Anbieter mit RLHF wirbt.

1. 1

   Den wiederkehrenden Fehler sammeln

   Repräsentative Prompts aus dem geplanten Arbeitsablauf zusammentragen. Die Richtlinie, den abgerufenen Kontext und die Toolergebnisse erhalten, die dem Assistenten vorgelegen hätten. Nicht benötigte personenbezogene Informationen entfernen.

2. 2

   Die geeignete Datengrundlage bestimmen

   Fehlen aktuelle Fakten, spricht das für Retrieval. Gute Antwortbeispiele können SFT ermöglichen. Einheitlich bewertete Alternativen können DPO ermöglichen. Ein verlässliches Prüfverfahren für Ergebnisse kann belohnungsgesteuertes Training ermöglichen. Wenn sich Wissens- und Verhaltensprobleme vermischen, hilft der Entscheidungsleitfaden zu RAG und Fine-Tuning.

3. 3

   Ausgangsleistung und Zugang klären

   Zuerst das bestehende Modell mit verbesserten Anweisungen evaluieren. Vor dem Erstellen einer Trainingsdatei prüfen, welche Modelle und Datenformate der Anbieter unterstützt, ob das eigene Konto berechtigt ist und wie lange das Modell für den Einsatz verfügbar bleibt.

4. 4

   An zurückgehaltenen Aufgaben vergleichen

   Evaluationsbeispiele aus dem Training heraushalten. Das ursprüngliche und das angepasste Modell an denselben Aufgaben prüfen, darunter Fälle, die unterschiedliche Aktionen erfordern. Die Änderung nur übernehmen, wenn sich das gewünschte Verhalten ohne unvertretbare Verschlechterungen verbessert.

Ein sinnvolles Ergebnis für Montag ist eine kleine, geprüfte Sammlung aus Prompts, möglichen Antworten und ausdrücklichen Begründungen für jede Präferenz. Sie zeigt, ob sich Training anbietet oder ob zunächst Richtlinien und Kontext verbessert werden müssen.

Häufige Fragen zu RLHF

Wie funktioniert bestärkendes Lernen?

Ein lernendes System probiert Aktionen aus, erhält Belohnungen und verändert sein Verhalten, um mit der Zeit bessere Belohnungen zu erzielen. Beim Training von Sprachmodellen erzeugen die Aktionen Text. Ein Bewertungssystem oder ein Prüfverfahren liefert das Feedback, mit dem das Modell angepasst wird.

Wofür steht RLHF, und wozu dient es?

RLHF steht für Reinforcement Learning from Human Feedback. Es soll das Modellverhalten besser an menschlichen Urteilen ausrichten, etwa daran, welche Antwort für eine Aufgabe hilfreicher oder angemessener ist.

Werden LLMs mit Reinforcement Learning trainiert?

Bei manchen LLMs kommt Reinforcement Learning während des Nachtrainings zum Einsatz. Es ist ein Bestandteil eines möglichen Trainingsverfahrens, neben Vortraining und überwachtem Fine-Tuning. Der Begriff beschreibt weder jede Trainingsphase noch jedes Modell.

Was ist Reward Shaping beim Reinforcement Learning?

Reward Shaping ergänzt Belohnungen, die das Lernen lenken sollen, etwa für nützliche Zwischenschritte. Schlecht gewählte Belohnungen können verändern, welches Verhalten das System letztlich bevorzugt. Dazu die Forschungsarbeit von Ng, Harada und Russell.

Nutzt ChatGPT Reinforcement Learning?

Ja. OpenAIs technischer Bericht zu GPT-4 beschreibt RLHF im Nachtraining. Er dokumentiert dieses Modell und nicht das vollständige Trainingsverfahren aller Modelle, die inzwischen über ChatGPT angeboten werden. OpenAIs technischer Bericht

Was sind die vier Elemente des Reinforcement Learning?

Neben Agent und Umgebung nennen Sutton und Barto eine Policy, eine Belohnungsfunktion, eine Wertfunktion und optional ein Modell der Umgebung. Diese beschreiben das Verhalten, die unmittelbare Belohnung, die erwartete künftige Belohnung und Vorhersagen über Ergebnisse. Die Erklärung in ihrem Lehrbuch

Was ist ein einfaches Beispiel für Reinforcement Learning?

Ein anschauliches Beispiel ist ein simulierter Agent, der einen Weg durch ein Labyrinth lernt. Er probiert Bewegungen aus und erhält eine Belohnung, wenn er den Ausgang erreicht. Über wiederholte Versuche lernt er, welche Aktionen ihn ans Ziel bringen.

Wer gilt als Vater des Reinforcement Learning?

Die Zuschreibung an einen einzigen Erfinder führt in die Irre. Richard Sutton und Andrew Barto wurden gemeinsam von der Association for Computing Machinery für die Entwicklung der konzeptionellen und algorithmischen Grundlagen des Fachgebiets ausgezeichnet. Der Bericht ihrer Universität

Gehört Reinforcement Learning zu maschinellem Lernen oder zu KI?

Zu beidem: Reinforcement Learning ist ein Teilgebiet des maschinellen Lernens, das wiederum zur künstlichen Intelligenz gehört. Gelernt wird anhand von Belohnungssignalen und nicht ausschließlich anhand gekennzeichneter Beispiele für die gewünschte Ausgabe.

Den Newsletter abonnieren für praktische Leitfäden zur Entwicklung und Evaluation von KI-Systemen.