RLHF: как обратная связь от людей меняет ответы нейросетей

RLHF помогает модели давать ответы, которые больше нравятся людям, но не гарантирует их достоверность. В классической схеме люди сравнивают 2 ответа на один запрос, модель вознаграждения учится воспроизводить их предпочтения, а обучение с подкреплением настраивает отвечающую модель так, чтобы она получала более высокие оценки. Для небольшой компании главный вопрос в другом: поможет ли обучение на предпочтениях исправить повторяющуюся проблему в поведении модели, с которой не справились более точные инструкции и более подходящий контекст?

Практический вывод: начните с понятных критериев оценки и хорошего промпта. Дообучение на предпочтениях имеет смысл, если модель умеет решать задачу, но раз за разом выбирает неподходящий тон, расставляет неверные акценты или отвечает не так, как нужно. Если же ей не хватает актуальных сведений о компании, используйте поиск и подачу нужной информации в контекст.

Исследования и документация облачных API проверены 22 октября 2026 года. Описанные ниже исторические схемы обучения приведены со ссылками на соответствующие публикации. По ним нельзя судить о нынешних методах лабораторий, если те не раскрыты публично.

Что такое RLHF и как оценки людей меняют модель

RLHF расшифровывается как reinforcement learning from human feedback — обучение с подкреплением с обратной связью от человека. Этот подход дает модели сигнал о том, чего люди ждут от ответа, помимо сходства с текстами, которые она встречала при обучении.

Представьте автора, который работает с редактором. Редактор сравнивает черновики и своими последовательными решениями показывает, какой текст считает хорошим. Затем обученная система оценки учится приближенно воспроизводить его предпочтения, а автор тренируется, ориентируясь на ее баллы. Но здесь есть подвох: со временем угождать системе оценки и угождать редактору может оказаться совсем не одним и тем же.

Для большой языковой модели, или LLM, классический процесс выглядит так:

1. Люди сравнивают ответы. Разметчики видят один и тот же запрос и ранжируют варианты ответа по инструкции, учитывая полезность, правильность и уместность поведения.
2. Модель вознаграждения учится на этих оценках. Это отдельная модель, которая предсказывает, какие ответы предпочтут разметчики. Она превращает сравнения в численную оценку, пригодную для обучения.
3. Отвечающая модель обновляется. Она генерирует новые ответы, получает оценки модели вознаграждения, а ее параметры корректируются так, чтобы чаще получать высокие баллы.

Именно такой механизм OpenAI описала в работе об InstructGPT — версии GPT-3, обученной следовать инструкциям. На этапе обучения с подкреплением людям не нужно вручную оценивать каждый сгенерированный ответ.

SFT и RLHF: образцы ответов и предпочтения

Дообучение с учителем, или SFT, использует примеры желаемых ответов. RLHF добавляет суждения о том, какие ответы лучше. В схеме InstructGPT первым этапом было SFT: предварительно обученной модели показывали примеры выполнения инструкций. Затем оценки людей и обучение с подкреплением помогали скорректировать полученное поведение.

Политика — это модель, которая выбирает, что выдать в ответ. В InstructGPT ее обновляли с помощью proximal policy optimization, или PPO — алгоритма, который улучшает поведение на основе вознаграждений. При обучении также штрафовали за слишком сильное отклонение от опорной модели. Упрощенно эту целевую функцию с регуляризацией можно записать так:

Целевая функция обучения = предсказанное вознаграждение за соответствие предпочтениям минус штраф за чрезмерное отклонение.

Это краткое объяснение идеи, а не полная формула из статьи. Ограничение важно, потому что обученная система оценки несовершенна: если все сильнее оптимизировать ее показатель, качество ответа не будет расти бесконечно. Статья об InstructGPT

После завершения обучения полученная модель может обрабатывать запросы без запуска всего этого цикла для каждого клиента. Кнопка обратной связи позволяет собирать данные для будущего обучения, но само нажатие не обновляет параметры модели.

Пример датасета для RLHF: один запрос, два ответа

Метка предпочтения должна отражать правило компании, а не просто указывать на более дружелюбный ответ. Рассмотрим условный сценарий работы поддержки. Эти примеры придуманы для объяснения и не являются результатами тестирования модели.

Ассистент составляет ответы для команды, которая занимается платежами. У него нет доступа к счетам клиентов, и он не может оформлять возвраты. По правилам компании сообщение о повторном списании сначала должно пройти проверку в платежном отделе: обещать возврат до этого нельзя.

Ответ A, предпочтительный:

Сожалею, что вы столкнулись с повторным списанием. В этом чате я не могу подтвердить или оформить возврат. Пожалуйста, передайте идентификаторы транзакций через защищенную форму обращения в поддержку. Платежный отдел проверит их и оформит возврат, если повторное списание подтвердится.

Ответ B, отклоненный:

Сожалею, что деньги списали повторно. Я уже вернул лишний платеж, вам больше ничего делать не нужно. Спасибо за терпение, пока мы разбирались с этой ситуацией.

Разметчик выбирает A: этот ответ не выходит за пределы полномочий ассистента и предлагает конкретный следующий шаг. Ответ B успокаивает клиента, но заявляет о финансовой операции, которую ассистент не мог выполнить.

В обучающей записи сохраняются общий запрос, A как предпочтительный ответ и B как непредпочтительный. В классическом RLHF множество таких сравнений учит модель вознаграждения выставлять оценки. При прямой оптимизации предпочтений эти пары используются для более непосредственного обучения отвечающей модели.

Главная работа — подобрать остальные примеры. Если предпочтительный ответ всегда длиннее, соблюдение правил окажется смешано с длиной текста. Добавьте пару, где краткий ответ по правилам противопоставлен многословному обещанию вымышленного действия. Включите случаи, когда инструмент с нужными полномочиями действительно оформил возврат: желаемый ответ должен меняться в зависимости от фактов. Иначе вместо правила «утверждай лишь то, что подтверждено данными» модель может усвоить «всегда отвечай с оговорками».

Составьте критерии, которыми сможет пользоваться разметчик: никаких вымышленных действий и необоснованных обещаний, правильный следующий шаг, уместный тон. Если оба ответа нарушают эти критерии, исправьте пару или исключите ее. Если мнения разметчиков расходятся, сначала устраните неоднозначность в правилах и только потом превращайте выбор в обучающую метку.

Выделите отдельный набор для оценки. При разделении данных оставляйте все варианты одного исходного обращения в одной выборке. Модель должна показывать нужное поведение в незнакомых ситуациях, а не просто узнавать слегка перефразированный обучающий пример.

Как RLHF сделал чат-модели полезнее

RLHF помог превратить скрытые языковые способности моделей в поведение, которого можно добиться прямым запросом. Предсказывать правдоподобный текст и полезно отвечать на просьбу — разные цели обучения. Примеры выполнения инструкций и обратная связь о предпочтениях дали разработчикам способ сократить этот разрыв.

В исследовании InstructGPT, опубликованном OpenAI в 2022 году, разметчики предпочитали ответы InstructGPT с 1.3 млрд параметров ответам GPT-3 со 175 млрд параметров на использованном в исследовании распределении запросов. Параметры — это численные настройки внутри модели, которые она усваивает при обучении. Результат показал, что в этой оценке обучение с учетом намерений пользователя могло оказаться важнее размера модели. Он не означал, что меньшая модель стала сильнее во всех задачах. Исследование OpenAI

В техническом отчете OpenAI о GPT-4 также описано применение RLHF после предварительного обучения, чтобы лучше согласовать поведение с намерениями пользователя. Это сведения об обучении конкретной модели, а не полное описание обучения всех моделей, доступных сегодня в ChatGPT. Отчет OpenAI о GPT-4

Для разработчика вывод прост: модель может уже обладать полезными знаниями, но выбирать неудачный способ ответа. Обучение помогает скорректировать этот выбор. Однако оно не заменит доступ ассистента поддержки к правильным данным клиента.

DPO, обратная связь от ИИ и проверяемые вознаграждения

Эти методы меняют разные части обучения, поэтому могут как заменять, так и дополнять друг друга. Разделяйте три вопроса: кто выносит суждение, что считается хорошим результатом и как этот сигнал используется для обновления модели.

DPO и RLHF: другой способ обновления модели

Прямая оптимизация предпочтений, или DPO, позволяет учиться на таких же парах ответов без обучения отдельной модели вознаграждения. Исходный метод обновляет модель так, чтобы она чаще выбирала предпочтительные ответы по сравнению с отклоненными, с учетом опорной модели. При дообучении он обходится без классического цикла генерации новых ответов и их оценки отдельно обученной моделью вознаграждения. Исходная статья о DPO

Практическое преимущество — меньше компонентов в системе. Но проблема качества данных остается: DPO не выяснит, что ответ B выдумал возврат, если разметчики выбрали его победителем.

В описании запуска Llama 3 в 2024 году Meta перечислила вместе SFT, отбор с отклонением, PPO и DPO. Отбор с отклонением, или rejection sampling, означает генерацию кандидатов с последующим сохранением выбранных вариантов. Эта опубликованная комбинация показывает, почему не стоит представлять постобучение как универсальную последовательность, в которой одна аббревиатура сменяет другую. Описание обучения Llama 3 от Meta

RLAIF и RLHF: кто выставляет оценки

Обучение с подкреплением с обратной связью от ИИ, или RLAIF, использует оценки, сгенерированные моделью. Это может сократить объем непосредственной ручной разметки. При этом за инструкции, принципы и критерии оценки по-прежнему отвечают люди.

В публикации Anthropic о Constitutional AI 2022 года описаны этап обучения с учителем, использующий критику и исправленные ответы самой модели, и следующий этап, на котором сравнения, выполненные ИИ, обучали модель предпочтений для обучения с подкреплением. «Конституцией» назывался набор принципов, направлявших этот процесс. Подход не сводился к добавлению абзаца с правилами в промпт при генерации ответа. Исследование Constitutional AI от Anthropic

Лаборатория публиковала и более поздние изменения. 8 мая 2026 года Anthropic описала обучение на документах, согласованных с конституцией, примерах диалогов и в разнообразных средах. Компания также объяснила, почему обучение согласованному поведению с акцентом на чат не охватывало в достаточной мере ситуации с агентами. Для разработчика урок такой: оценивайте поведение в той среде, где система будет работать. К вежливому ответу поддержки и к платежному агенту, который использует инструменты, предъявляются разные требования. Как Claude учат понимать причины

RLVR и RLHF: проверка результата

Обучение с подкреплением с проверяемыми вознаграждениями, или RLVR, подходит для задач, где можно проверить, удалась ли попытка. Написанный код можно прогнать через тесты, а ответ математической задачи — сравнить с известным результатом. Вознаграждение не обязательно должно зависеть от того, кому больше понравилась формулировка.

Согласно опубликованному исследованию команды DeepSeek, DeepSeek-R1-Zero использовала основанные на правилах вознаграждения за точность и формат. Для DeepSeek-R1 применялся более широкий многоэтапный процесс: вознаграждения на основе правил для задач на рассуждение сочетались с вознаграждениями от модели для общих задач и этапами обучения с учителем. Это разные схемы. Статья DeepSeek о R1

Ограничения задает сама проверка. Успешное прохождение заданных тестов не доказывает, что код выполняет требование, которое нигде не сформулировано. В примере с возвратом денег проверка того, что операция действительно выполнена с нужными полномочиями, отличается от оценки того, насколько полезным кажется ответ. Прежде чем выбирать метод обучения, определите, какие факты должно отражать вознаграждение.

Дообучение с RLHF: что доступно небольшой компании

Небольшая компания может заказать обучение на предпочтениях в облачном сервисе, не выстраивая всю классическую инфраструктуру RLHF. Полезный результат — модель, которая лучше ведет себя на ваших задачах из отложенной выборки. Если сервис предлагает «дообучение», это еще не означает поддержку пар предпочтений, любой модели или любого аккаунта.

Together AI: облачное DPO на парах ответов

Together AI поддерживает запуск DPO с параметром training_method="dpo". В документации описан формат JSONL, где каждая строка содержит одну обучающую запись в JSON с полями input.messages, preferred_output и non_preferred_output. Каждый вариант ответа содержит одно сообщение ассистента. Пара из примера с поддержкой напрямую соответствует этим ролям. Документация Together AI по обучению на предпочтениях

Документация рекомендует сначала провести SFT, если ваши примеры существенно отличаются от распределения обучающих данных базовой модели. Практическое ограничение — ваши данные: если на каждый запрос есть только один одобренный ответ, начните с SFT. Для обучения на предпочтениях нужны содержательные пары предпочтительных и отклоненных вариантов.

Fireworks AI: обучение на предпочтениях в облачном сервисе

Fireworks AI описывает управляемое обучение DPO на датасетах предпочтений, которые загружаются через интерфейс, инструмент командной строки или REST API. Согласно документации, в интерфейсе нужно пройти Training → New job → Direct Preference, а затем выбрать модель и датасет. Выбранная базовая модель должна поддерживать DPO. Документация Fireworks по обучению на предпочтениях

Руководство предусматривает обучающие примеры с одним ходом диалога, где предпочтительный и отклоненный варианты выступают последними сообщениями ассистента. Это существенное ограничение для агента, ошибки которого возникают в цепочке вызовов инструментов. Тот факт, что сервис принимает файл, еще не доказывает, что схема обучения охватывает поведение, которое вы хотите исправить.

OpenAI: сначала проверьте доступ и срок поддержки модели

OpenAI документирует DPO для текста, но сворачивает платформу дообучения. По состоянию на 22 октября 2026 года она закрыта для новых пользователей. Действующие клиенты, которым доступна эта возможность, могут создавать задания до 6 января 2027 года, если их базовую модель не отключат раньше. Поэтому этот путь подходит существующим клиентам, но не как стартовая рекомендация для новой компании. Документация OpenAI по DPO

Согласно документации, дообученные версии gpt-4.1-nano-2025-04-14 отключаются 23 октября 2026 года. Снимки gpt-4.1-2025-04-14 и gpt-4.1-mini-2025-04-14, а также их дообученные версии отключаются 14 января 2027 года. Прежде чем вкладываться в подготовку датасета для этого варианта, проверьте, останется ли итоговая модель доступной в период, когда вы планируете ее использовать. График отключения моделей OpenAI

Что по-прежнему требует ресурсов большой лаборатории?

Алгоритмы доступны не только лабораториям; различаются масштаб и сложность эксплуатации. Полноценная программа постобучения передовой модели требует самостоятельно организовать сбор обратной связи, обучение модели вознаграждения, многократную генерацию и оптимизацию, а также оценку множества способностей. Облачное задание DPO решает более узкую задачу: обновляет существующую модель, которая поддерживает этот метод.

При этом обучение с подкреплением тоже бывает доступно через API. OpenAI описывает дообучение с подкреплением, или RFT, в котором оценщик выставляет баллы ответам o4-mini. На него распространяются те же ограничения доступности платформы. Это управляемый вариант обучения на основе вознаграждений, но не свидетельство того, что через него можно воспроизвести весь внутренний процесс лаборатории. Документация OpenAI по RFT

Для большинства небольших компаний первые вложения должны идти в примеры, критерии разметки и оценку качества. Собственная модель вознаграждения становится отдельным инженерным решением лишь тогда, когда готовые управляемые методы не подходят для задачи.

Что это значит для разработчиков, рабочих команд и заказчиков

Разработчикам: определите тип ошибки, прежде чем выбирать метод обучения. Если ассистент не знает правил возврата, передайте ему эти правила. Если он видит их, но постоянно выдумывает уже выполненные возвраты, улучшите инструкции и примеры, а затем проверьте, помогает ли обучение на предпочтениях. В общем руководстве по дообучению LLM разобран весь процесс — от подготовки датасета до развертывания.

Командам, которые используют систему: возьмите на себя определение того, какой ответ считать лучшим. Платежный отдел, поддержка и продуктовая команда должны согласовать правила передачи обращений и границы полномочий. Поставщик не разрешит неоднозначность в политике компании, просто усилив оптимизацию модели.

Заказчикам: требуйте доказательств на ваших задачах. Формулировка «обучено с RLHF» описывает лишь часть процесса. Уточняйте, какие формы поведения проверяли, какие ошибки остались и были ли у тестируемой системы те же инструменты и разрешения, что будут у вашей. Если метки предпочтения выставляет ИИ-оценщик, разбирайте случаи, когда его мнение расходится с человеческим. В руководстве по LLM в роли судьи объясняется, как сделать такую оценку полезной.

Какие ожидания от RLHF завышены?

Высокая оценка предпочтения не гарантирует истинность, безопасность или компетентность. Модель вознаграждения лишь приближенно воспроизводит суждения, на которых обучалась. Разметчики могут пропустить правдоподобную ошибку или предпочесть успокаивающую формулировку.

Исследование угодливости моделей, проведенное Anthropic, показало: предпочтения людей могут поощрять ответы, совпадающие со взглядами пользователя, даже если правдивый ответ должен им противоречить. Угодливость, или sycophancy, — это неоправданное соглашательство. Ассистент поддержки, который уверенно подтверждает уже состоявшийся возврат, может понравиться разметчику и при этом нарушить рабочее требование. Исследование угодливости моделей от Anthropic

Есть и взлом системы вознаграждения, или reward hacking — использование слабого места в системе оценки. Модель может выучить внешние признаки ответа, которые нравятся оценщику, но не давать желаемого результата. В исследовании DeepSeek прямо обсуждается сложность получения надежных сигналов вознаграждения для задач с открытым ответом. Ограничения, описанные в публикации DeepSeek

Поэтому измеряйте то, что действительно важно, отдельно от обучающей оценки. В примере с поддержкой проверяйте вымышленные действия, правильность передачи обращения и полезность следующих шагов. Рост метрики обучения — повод оценить контрольную точку модели, а не автоматически запускать ее в работу.

Что сделать на следующей неделе

Действуйте, если ошибка в поведении повторяется, ее можно измерить, а оценки лучших ответов последовательны. Подождите, если вы пока не можете определить или проверить разницу. Если нынешняя модель компании уже проходит ее оценку, дообучать ее только потому, что поставщик упомянул RLHF в презентации, незачем.

1. 1

   Соберите примеры повторяющейся ошибки

   Возьмите характерные запросы из предполагаемого рабочего процесса. Сохраните правила, найденный контекст и результаты вызовов инструментов, которые были бы доступны ассистенту. Удалите ненужные персональные данные.

2. 2

   Определите, какие данные помогут исправить ошибку

   Если не хватает актуальных фактов, нужен поиск информации. Хорошие образцы ответов подходят для SFT. Альтернативные ответы с согласованными оценками предпочтения — для DPO. Надежная проверка результата — для обучения на основе вознаграждений. Если проблема затрагивает и знания, и поведение, обратитесь к руководству по выбору между RAG и дообучением.

3. 3

   Оцените исходную модель и проверьте доступ

   Сначала оцените существующую модель с улучшенными инструкциями. Прежде чем создавать обучающий файл, проверьте, какие модели и форматы данных поддерживает поставщик, подходит ли ваш аккаунт и как долго итоговая модель будет доступна для использования.

4. 4

   Сравните модели на отложенных задачах

   Не включайте примеры для оценки в обучающие данные. Сравните исходную и дообученную модели на одних и тех же задачах, в том числе в ситуациях, требующих разных действий. Принимайте изменение только в том случае, если нужное поведение улучшилось без неприемлемого ухудшения в других аспектах.

Полезный результат к понедельнику — небольшой проверенный набор запросов, вариантов ответа и явно сформулированных причин каждого предпочтения. По нему станет ясно, есть ли у вас задача для дообучения или сначала нужно разобраться с правилами и контекстом.

Частые вопросы о RLHF

Как работает обучение с подкреплением?

Обучающаяся система пробует действия, получает вознаграждения и меняет поведение, чтобы со временем получать больше. При обучении языковой модели действия приводят к появлению текста, а оценщик или средство проверки дает обратную связь, которая используется для обновления модели.

Как расшифровывается RLHF и для чего он нужен?

RLHF означает обучение с подкреплением с обратной связью от человека. Его цель — лучше согласовать поведение модели с оценками людей: например, с тем, какой ответ полезнее или уместнее для задачи.

Используют ли обучение с подкреплением для LLM?

Некоторые LLM проходят обучение с подкреплением на этапе постобучения. Это одна из частей возможной схемы наряду с предварительным обучением и дообучением с учителем. Термин не описывает все этапы обучения и не относится к каждой модели.

Что такое формирование вознаграждения в обучении с подкреплением?

Формирование вознаграждения, или reward shaping, добавляет обучающие вознаграждения, которые помогают направлять обучение: например, за полезный промежуточный прогресс. Неудачно выбранные вознаграждения могут изменить поведение, которое система в итоге предпочтет. См. исследование Ng, Harada и Russell.

Используется ли обучение с подкреплением в ChatGPT?

Да. В техническом отчете OpenAI о GPT-4 описан RLHF на этапе постобучения. Документ относится к этой модели и не раскрывает полную схему обучения всех моделей, которые сейчас доступны через ChatGPT. Технический отчет OpenAI

Каковы четыре элемента обучения с подкреплением?

Помимо агента и среды, Sutton и Barto выделяют политику, функцию вознаграждения, функцию ценности и, при необходимости, модель среды. Они задают поведение, немедленное вознаграждение, ожидаемое будущее вознаграждение и прогнозы результатов. Объяснение в их учебнике

Какой самый простой пример обучения с подкреплением?

Наглядный пример — виртуальный агент, который учится проходить лабиринт. Он пробует разные ходы и получает вознаграждение за достижение выхода. После многократных попыток он усваивает, какие действия помогают дойти до цели.

Кого считают отцом обучения с подкреплением?

Представление о единственном изобретателе вводит в заблуждение. Richard Sutton и Andrew Barto совместно получили признание Association for Computing Machinery за разработку концептуальных и алгоритмических основ этой области. Сообщение их университета

Обучение с подкреплением — это машинное обучение или ИИ?

И то и другое: обучение с подкреплением — раздел машинного обучения, а машинное обучение входит в область искусственного интеллекта. В основе здесь сигналы вознаграждения, а не только размеченные примеры желаемого ответа.

Подпишитесь на рассылку, чтобы получать практические руководства по разработке и оценке ИИ-систем.