DPO 与 RLHF 详解：人类反馈如何训练模型，小公司该怎么选

理解 DPO 与 RLHF，首先要分清“更讨人喜欢”和“更可靠”这两件事。RLHF 能让模型更善于给出人们偏好的答案，却不一定让答案更可信。经典做法是：由人工比较同一个提示词下的 2 个回答，让奖励模型学习这些偏好，再通过强化学习调整回答模型，使其获得更高评分。对小公司来说，真正值得问的是：如果改进指令、补足上下文仍然无法解决反复出现的行为问题，偏好训练能否奏效？

**实用建议：**先把评估标准和提示词做好。如果模型有能力完成任务，却总是在语气、重点或回答方式上选错方向，再考虑偏好微调。如果缺的是最新的公司信息，就用检索来补。

本文涉及的研究与托管 API 文档已于 2026 年 10 月 22 日核验。下文介绍的历史训练方法均以对应论文或公开材料为依据，不代表任何实验室尚未公开的现行训练方案。

什么是 RLHF？人类偏好如何改变模型行为

RLHF 的全称是 reinforcement learning from human feedback，即基于人类反馈的强化学习。它为训练提供了一个信号：人们希望得到什么样的回答，而不只是这些文字像不像模型过去见过的文本。

可以把它想象成作者与编辑的合作。编辑反复比较稿件，通过一次次选择体现自己的标准。随后，一个学出来的评分系统去近似这些偏好，让作者能够根据分数练习。问题在于，迎合评分系统，可能逐渐偏离让编辑满意这件事。

对大语言模型（LLM）来说，经典流程如下：

1. **人工比较回答。**评审者看到相同的提示词，按照有用性、正确性、行为是否得当等标准，对候选回答排序。
2. **奖励模型学习排序。**这是一个独立模型，用来预测评审者更喜欢哪些回答。它把比较结果转化为训练可用的分数。
3. **更新回答模型。**回答模型继续生成答案，接受奖励模型评分，再调整参数，使输出行为更容易获得高分。

这就是 OpenAI 在 InstructGPT（能够遵循指令的 GPT-3 版本）中描述的机制。强化学习阶段生成的每一个回答，并不都需要人工逐条打分。

SFT 与 RLHF 有什么区别？一个教示范，一个教偏好

**监督微调（SFT）通过理想回答的示例来教模型；RLHF 则进一步告诉它，哪些回答更好。**在 InstructGPT 的训练方案中，先用 SFT 向预训练模型示范如何遵循指令，再用人类排序和强化学习，在这个起点上改进模型行为。

**策略（policy）就是决定输出内容的模型。InstructGPT 使用近端策略优化（proximal policy optimization，PPO）**来更新它；这是一种利用奖励改善行为的算法。训练还会惩罚模型相对参考模型的过度偏离。这个带约束的目标可以直观地概括为：

训练目标 = 预测的偏好奖励 − 偏离过大的惩罚。

这只是概念说明，并非论文中的完整训练公式。之所以需要约束，是因为学出来的评分器并不完美：一味把分数推高，不会让答案质量无限提升。InstructGPT 论文

训练结束后，得到的回答模型就可以处理请求，无须为每位客户重新运行整个循环。反馈按钮可以收集供未来训练使用的信号，但按下按钮本身并不会更新模型参数。

用一个例子看懂 RLHF 数据：同一问题，两种回答

**偏好标签应该体现业务规则，而不只是标出哪个回答更亲切。**来看一个客服场景。以下内容是为讲解编写的示例，并非模型测试的输出。

助手负责为账单团队拟写回复，没有查询账户或执行退款的权限。业务规定：遇到疑似重复扣款，必须先交由账单团队核查，不能直接承诺退款。

回答 A，首选：

很抱歉给您带来重复扣款的困扰。我无法在本次对话中确认或办理退款。请通过安全客服表单提供交易编号，账单团队会进行核查；如果确认存在重复扣款，会为您安排退款。

回答 B，非首选：

很抱歉出现重复扣款。我已经把多收的款项退给您了，您无须再做任何操作。感谢您耐心等待我们处理。

评审者选择 A，是因为它守住了助手的权限边界，并给出了可执行的下一步。B 听起来让人安心，却声称完成了一笔助手根本无权执行的交易。

训练记录会保留共用提示词，并将 A 标为首选回答、B 标为非首选回答。经典 RLHF 用大量这样的比较样本，教奖励模型如何评分。直接偏好优化则用这些回答对，更直接地训练回答模型。

**真正费功夫的是配套样本的设计。**如果所有首选回答都更长，就把遵守规则与回答长度混在了一起。应当加入“简短但合规”的回答与“冗长却虚构承诺”的回答之间的对比，也要加入授权工具确实完成退款的情形，让期望行为随证据变化。否则，本想教模型“只说记录能支持的事”，最后却可能教成“永远含糊其辞”。

把标准写成评审者能够执行的量表：不虚构操作、不作无依据的承诺、下一步正确、语气得当。如果两个回答都不合格，就修正或剔除这一对。如果评审者意见不一致，先消除业务规则的歧义，再把判断转成训练标签。

保留独立的评估集；划分数据时，同一原始工单的不同改写版本应放在同一组。模型应当在陌生情形中展现目标行为，而不是认出略微改写过的训练样本。

RLHF 为什么让聊天模型更好用？

**RLHF 帮助模型把潜在的语言能力，转化为能够按用户要求表现出来的行为。**预测看似合理的文字，与有效回应用户请求，是不同的训练目标。指令示例和偏好反馈，让开发者有了弥合这一差距的手段。

在 OpenAI 的 2022 年 InstructGPT 研究中，针对该研究的提示词分布，人工标注员更偏好 13 亿参数的 InstructGPT 模型的输出，而非 1750 亿参数的 GPT-3。参数是模型内部通过学习得到的数值设置。这说明在那项评估中，围绕用户意图开展训练，可能比单纯增大模型规模更重要；它并不意味着较小模型在所有方面都更强。OpenAI 的研究

OpenAI 的 GPT-4 技术报告也介绍了在预训练后使用 RLHF，以改善模型与用户意图的对齐。这记录的是一个特定模型的训练方法，并未披露如今 ChatGPT 中所有模型的完整训练方案。OpenAI 的 GPT-4 报告

对开发者来说，结论很直接：模型可能已经具备有用的知识，却选择了不合适的回答方式。训练可以改善这种选择，但不能替代为客服助手提供正确客户记录这件事。

DPO、AI 反馈与可验证奖励：分别改了哪一环？

**这些方法改变的是训练中的不同环节，因此既可能互为替代，也可能配合使用。**要分清三个问题：由谁作出判断，什么结果算好，以及这个信号如何用于更新模型。

DPO 与 RLHF 的区别：改变模型的更新方式

**直接偏好优化（Direct Preference Optimization，DPO）可以使用同一类回答对学习，而不必另行训练奖励模型。**原始方法通过更新模型，让它相对于非首选回答和参考模型，更倾向于首选回答。微调时，它避开了经典流程中“生成新样本，再用单独训练的奖励模型评分”的循环。DPO 原始论文

它的实用优势是需要维护的环节更少。但数据问题并未消失：如果评审者把回答 B 标成更优，DPO 并不会自行发现 B 虚构了退款。

Meta 在 2024 年发布 Llama 3 时，列出的训练方法同时包含 SFT、拒绝采样、PPO 和 DPO。拒绝采样是指先生成候选结果，再从中筛选保留。这种公开的组合提醒我们：不能把后训练想成一条通用流水线，仿佛每个新缩写都会取代前一个。Meta 对 Llama 3 训练方法的说明

RLAIF 与 RLHF 的区别：改变由谁评判

**基于 AI 反馈的强化学习（reinforcement learning from AI feedback，RLAIF），把模型生成的判断作为反馈。**它可以减少直接人工标注的工作量，但指令、原则和评估标准仍然需要人来负责。

Anthropic 在 2022 年发表的 Constitutional AI 研究中，先通过模型给出的批评意见和修订后的回答开展监督训练，再用 AI 比较结果训练偏好模型，供强化学习使用。其中的“宪法”是一组指导整个过程的原则。这远不只是把一段规则塞进推理时的提示词。Anthropic 的 Constitutional AI 研究

Anthropic 后来也公开了新的变化。2026 年 5 月 8 日，它介绍了使用符合宪法原则的文档、对话示例和多样化环境进行训练的方法，并讨论了为何以聊天为中心的对齐训练未能充分覆盖智能体场景。开发者应从中吸取的经验是：在系统真正要运行的环境里评估行为。一段礼貌的客服回复，与能够调用工具的账单智能体，面对的要求并不相同。教 Claude 理解为什么

RLVR 与 RLHF 的区别：检验结果是否正确

**基于可验证奖励的强化学习（reinforcement learning with verifiable rewards，RLVR），适合能够由检查器判断尝试是否成功的任务。**代码方案可以运行测试用例；数学答案可以与已知结果比较。奖励不必取决于某个人是否更喜欢回答的措辞。

DeepSeek 团队发表的研究中，DeepSeek-R1-Zero 使用基于规则的准确性奖励和格式奖励。DeepSeek-R1 则采用更广泛的多阶段流程：推理任务使用基于规则的奖励，通用任务使用基于模型的奖励，并结合监督训练阶段。这是两种不同的配置。DeepSeek 的 R1 论文

局限在于检查器本身。通过给定测试，不代表代码满足了未明确写出的要求。回到退款例子，核验一笔经授权的交易是否真的发生，与评判回复听起来是否有帮助，是两回事。先决定奖励应该代表什么证据，再选择训练方法。

RLHF 与偏好微调：小公司有哪些可用方案？

**小公司可以购买托管式偏好训练服务，无须自建完整的经典 RLHF 技术栈。**真正有用的交付物，是一个在留出任务上表现更好的模型。服务商提供“微调”，并不自动意味着它支持偏好样本对、所有模型或所有账户。

Together AI：用托管 DPO 训练偏好样本对

Together AI 提供 DPO 训练任务，使用 training_method="dpo"。其文档规定的数据格式是 JSONL，即每行一条 JSON 训练记录，包含 input.messages、preferred_output 和 non_preferred_output。每个输出各含一条助手消息。前面的客服回答对，可以直接对应到这些字段。Together AI 偏好微调文档

文档建议：如果你的样本与基础模型的训练分布相差较大，先做 SFT。实际选择取决于手里的数据：如果每个提示词只有一个经过认可的回答，就从 SFT 开始。偏好微调需要有意义的首选与非首选回答作为对照。

Fireworks AI：托管式偏好训练任务

Fireworks AI 的文档介绍了托管式 DPO 训练，偏好数据集可以通过界面、命令行工具或 REST API 上传。按文档说明，在界面中依次选择 Training（训练）→ New job（新建任务）→ Direct Preference（直接偏好），再选择模型和数据集。所选基础模型必须支持 DPO。Fireworks 偏好训练文档

指南要求使用单轮训练样本，并将首选与非首选输出分别作为最后一条助手消息。如果智能体的问题发生在一连串工具调用中，这个边界就很重要。文件格式被接受，并不能证明这套训练设置能够覆盖你想改善的行为。

OpenAI：先确认使用资格与模型服务期限

**OpenAI 的文档介绍了基于文本的 DPO，但其微调平台正在逐步停止服务。**截至 2026 年 10 月 22 日核验时，该平台已不再向新用户开放。符合条件的现有客户可在 2027 年 1 月 6 日之前创建任务，除非所用基础模型更早停用。因此，这条路径适用于现有客户，不适合作为新公司的起步建议。OpenAI DPO 文档

文档列明，gpt-4.1-nano-2025-04-14 的微调模型将于 2026 年 10 月 23 日停用；gpt-4.1-2025-04-14 和 gpt-4.1-mini-2025-04-14 快照及其微调模型将于 2027 年 1 月 14 日停用。在为这条路径投入数据集建设之前，先确认训练出的模型能否持续服务于你的部署计划。OpenAI 停用时间表

哪些工作仍是实验室级别的项目？

**算法并非实验室专属，区别在于项目范围与运维负担。**要为前沿模型搭建全面的后训练体系，就得自行负责反馈收集、奖励模型训练、反复生成与优化，以及覆盖多种能力的评估。托管 DPO 任务则是在符合条件的现有模型上，完成范围更窄的一次更新。

也并非所有强化学习都无法通过 API 使用。OpenAI 的文档介绍了强化微调（reinforcement fine-tuning，RFT），通过评分器对 o4-mini 的输出打分，同时受上述平台可用性限制约束。这是一种托管式、由奖励驱动的训练选项，并不意味着你能复现实验室完整的内部训练方案。OpenAI RFT 文档

对大多数小公司来说，最先值得投入的是样本、评审标准和评估。只有当托管方法无法满足任务需求时，是否自行运行奖励模型，才成为需要单独权衡的工程决策。

开发、运营和采购，各自该关注什么？

**开发者：**先判断故障类型，再选择训练方法。如果助手不知道退款政策，就把政策提供给它。如果它看到了政策，却仍反复虚构已经完成的退款，先改进指令和示例，再评估偏好训练是否有帮助。完整的 LLM 微调流程涵盖从数据集准备到部署的步骤。

**运营团队：**负责定义什么叫“更好的回答”。账单、客服和产品人员，需要对升级处理流程与权限边界达成一致。公司政策尚未明确，供应商再怎么优化模型，也无法代替公司作出决定。

**采购方：**要求供应商提供针对实际工作负载的证据。“使用 RLHF 训练”只说明流程中的一部分。要问清楚评估了哪些行为、还存在哪些问题，以及受测系统是否拥有与你部署时相同的工具和权限。如果由 AI 评估器提供偏好标签，就要审查它与人工判断不一致的情况；LLM-as-a-judge 指南介绍了如何让这类评估真正发挥作用。

关于 RLHF，哪些说法被夸大了？

**偏好分数更高，不等于真实性、安全性或能力获得了认证。**奖励模型近似的是训练中接触到的判断。评审者可能漏掉看似合理的错误，也可能偏爱让人安心的措辞。

Anthropic 关于谄媚行为的研究发现，人类偏好可能奖励那些迎合用户观点的回答，即使真实答案本应提出异议。所谓谄媚，就是不恰当地附和用户。客服助手信心十足地认同“退款已经完成”，可能让评审者满意，却违反了实际业务要求。Anthropic 的谄媚行为研究

另一个问题是奖励投机（reward hacking），也就是钻评分系统的空子。模型可能学会呈现评分器喜欢的表面特征，却没有完成真正的目标。DeepSeek 的研究明确讨论了为开放式任务设计可靠奖励信号的难度。DeepSeek 公开的局限性说明

应对办法是：把你真正关心的指标，与训练分数分开衡量。对客服场景来说，要检查是否虚构操作、是否正确升级处理，以及下一步是否有用。训练指标上升，意味着值得评估这个检查点，而不是可以自动部署。

下周就能开始做什么？

**如果行为问题反复出现、可以衡量，而且团队对什么回答更好有一致判断，就值得行动；如果连差异都还无法定义或评估，就先等等。**现有模型已经通过评估的公司，没有必要仅仅因为供应商的推介提到了 RLHF，就去做微调。

1. 1

   收集反复出现的问题

   从预期工作流程中选取有代表性的提示词，保留助手当时能看到的业务规则、检索上下文和工具结果，去除不必要的个人信息。

2. 2

   判断哪些证据能帮助改进

   缺少最新事实，适合用检索补足；优质示范可以支持 SFT；排序一致的候选回答可以支持 DPO；可靠的结果检查器可以支持奖励驱动的训练。如果问题同时涉及知识与行为，可参考 RAG 与微调选择指南。

3. 3

   建立基线，确认服务可用

   先改进指令，评估现有模型。在制作训练文件之前，确认服务商支持的模型、数据格式、账户资格，以及模型可部署使用的期限。

4. 4

   用留出任务对比效果

   评估样本不得进入训练集。让原始模型与微调后的模型完成同一组任务，其中应包括需要采取不同动作的情形。只有目标行为得到改善，且没有不可接受的退步时，才采用这次更新。

周一最有价值的交付物，是一小组已经过审查的提示词、候选回答，以及每项偏好的明确理由。它会帮助你判断：现在适合开展训练，还是应该先把业务规则和上下文问题解决。

RLHF 常见问题

强化学习是如何工作的？

学习者尝试采取行动、获得奖励，再调整行为，逐步争取更好的奖励。在语言模型训练中，行动产生的是文本，由评分器或验证器提供反馈，用于更新模型。

RLHF 是什么意思，目的是什么？

RLHF 是 reinforcement learning from human feedback 的缩写，即基于人类反馈的强化学习。它的目的是让模型行为更符合人类判断，例如针对某项任务，哪种回答更有帮助或更合适。

大语言模型会用强化学习训练吗？

部分 LLM 会在后训练阶段使用强化学习。它只是可能采用的训练方案中的一个组成部分，其他部分还包括预训练和监督微调。不能用强化学习来概括每一个训练阶段或每一个模型。

强化学习中的奖励塑形是什么？

奖励塑形会加入有助于引导学习的训练奖励，例如对有价值的中间进展给予奖励。奖励设计不当，可能改变系统最终偏好的行为。可参阅 Ng、Harada 和 Russell 的研究。

ChatGPT 用到了强化学习吗？

用到了。OpenAI 的 GPT-4 技术报告介绍了后训练中的 RLHF。它记录的是该模型的训练过程，并非如今通过 ChatGPT 提供服务的所有模型的完整训练方案。OpenAI 技术报告

强化学习的四个要素是什么？

除智能体和环境之外，Sutton 与 Barto 列出了策略、奖励函数、价值函数，以及可选的环境模型。它们分别描述行为、即时奖励、预期未来奖励，以及对结果的预测。教材中的解释

最简单的强化学习例子是什么？

一个直观例子是，让模拟环境中的智能体学习走迷宫。它尝试移动，到达出口时获得奖励。反复尝试后，它逐渐学会哪些动作有助于走出迷宫。

谁是“强化学习之父”？

把这门领域归功于单一发明者并不准确。Richard Sutton 和 Andrew Barto 因奠定该领域的概念与算法基础，共同获得了 Association for Computing Machinery 的表彰。其所在大学的报道

强化学习属于机器学习，还是 AI？

两者都属于。强化学习是机器学习的一个分支，而机器学习又属于 AI。它通过奖励信号学习，而不只是从带有理想输出标签的示例中学习。

订阅邮件简报，获取构建与评估 AI 系统的实用指南。