RLHFとは？人間の評価で変わるAIの応答とDPOとの違い

RLHFを使うと、人が好む回答をモデルから引き出しやすくなります。ただし、その回答が確実に正しいとは限りません。従来型のRLHFでは、同じプロンプトに対する2つの回答を人が比較し、その選好を報酬モデルが学習します。そして、より高いスコアを得るように、回答を生成するモデルを強化学習で調整します。小規模な企業にとって大切なのは、指示やコンテキストを改善しても繰り返される振る舞いの問題を、選好学習で解決できるかどうかです。

実務での判断： まずは評価基準を明確にし、プロンプトを整えます。タスクをこなす能力はあるのに、口調、強調する点、応答の仕方を繰り返し誤るなら、選好に基づくファインチューニングを検討します。足りないのが最新の社内情報なら、検索で補います。

研究内容とホスト型APIのドキュメントは、2026年10月22日に確認しました。以下で紹介する過去の学習手順は、それぞれの公表資料に基づきます。各研究機関が現在採用している未公開の手順を示すものではありません。

RLHFとは？人の評価でモデルの振る舞いを変える仕組み

RLHFは、**reinforcement learning from human feedback（人間のフィードバックによる強化学習）**の略です。生成した文章が過去に学習したテキストに似ているかどうかに加え、「人はどのような回答を求めているのか」という学習信号を与えます。

書き手と編集者の関係を考えると分かりやすくなります。編集者が原稿を比べ、繰り返し選ぶことで、求める基準を伝えます。その好みを学習した採点システムを用意すれば、書き手は採点結果をもとに練習できます。ただし、採点システムに高く評価されることと、編集者が満足することが、次第にずれていくおそれがあります。

大規模言語モデル、つまりLLMにおける従来型の流れは、次のとおりです。

1. 人が回答を比較します。 評価者は同じプロンプトに対する回答候補を読み、有用性、正確性、振る舞いの適切さなどについての指示に従って順位を付けます。
2. 報酬モデルが順位を学習します。 評価者がどの回答を好むか予測する、別のモデルです。回答の比較結果を、学習に使えるスコアへ変換します。
3. 回答を生成するモデルを更新します。 モデルがさらに回答を生成し、報酬モデルからスコアを受け取ります。高く評価される振る舞いに近づくよう、パラメータを調整します。

これは、OpenAIが指示に従うよう調整したGPT-3の派生モデル、InstructGPTについて説明した仕組みです。強化学習の段階で生成される回答を、人がすべて手作業で採点する必要はありません。

SFTとRLHFの違いは？回答例から学ぶか、優劣から学ぶか

教師ありファインチューニング（SFT）は、望ましい回答の見本から学びます。RLHFは、どちらの回答がよりよいかという判断を加えます。 InstructGPTの学習では、まずSFTを行い、事前学習済みモデルに指示へ従う回答例を示しました。その初期の振る舞いを、人による順位付けと強化学習でさらに調整しました。

何を出力するかを決めるモデルを、**方策（policy）と呼びます。InstructGPTでは、報酬を使って振る舞いを改善するアルゴリズムである近接方策最適化（proximal policy optimization：PPO）**で方策を更新しました。また、参照モデルから大きく離れすぎるとペナルティを課しました。この正則化を含む目的を、分かりやすく表すと次のようになります。

学習の目的 = 人の選好を予測した報酬 − 参照モデルから離れすぎることへのペナルティ。

これは概念をまとめたもので、論文の学習式そのものではありません。学習済みの採点モデルは完全ではないため、この制約が重要です。スコアを強く追求し続けても、回答が際限なくよくなるわけではありません。InstructGPTの論文

学習が終われば、調整済みの回答モデルは、顧客からのリクエストごとにこの一連の処理を実行せずに応答できます。フィードバックボタンは将来の学習に使う信号を集められますが、ボタンを押す行為そのものがパラメータを更新するわけではありません。

RLHFのデータセット例：同じプロンプトに対する回答を比べる

選好ラベルには、単に感じのよい回答ではなく、業務上のルールを反映させます。 サポート業務の例で考えてみましょう。以下は説明のために作った例であり、モデルのテストで得られた出力ではありません。

アシスタントは請求担当チーム向けに返信の下書きを作成します。アカウント情報へのアクセスも、返金の実行もできません。社内ルールでは、二重請求の申告があった場合、返金を約束する前に請求担当の確認が必要とされています。

回答A：望ましい回答

二重請求の件でご迷惑をおかけし、申し訳ございません。このチャットでは返金の確認や手続きはできません。安全なサポートフォームから取引の参照番号をお知らせください。請求担当が内容を確認し、重複が確認できた場合は返金を手配します。

回答B：望ましくない回答

二重請求の件でご迷惑をおかけし、申し訳ございません。重複したお支払いは返金しましたので、お客様にこれ以上のお手続きは必要ありません。対応完了までお待ちいただき、ありがとうございました。

評価者がAを選ぶ理由は、アシスタントの権限を守り、お客様が次に取れる具体的な行動を示しているからです。Bは安心感を与えますが、アシスタントには実行できない取引を、実行済みだと伝えています。

学習データには、共通のプロンプト、望ましい回答としてのA、望ましくない回答としてのBを保存します。従来型のRLHFでは、このような比較を数多く使い、何を高く評価するべきかを報酬モデルに学習させます。直接選好最適化では、回答のペアを使って、回答モデルをより直接的に学習させます。

重要なのは、周辺の例をどうそろえるかです。 望ましい回答がいつも長いと、ルールの順守と文章の長さを混同させてしまいます。ルールを守る簡潔な回答と、架空の約束を長々と述べる回答を比べる例も入れます。権限のあるツールが実際に返金を完了したケースも加え、証拠に応じて望ましい振る舞いが変わるようにします。そうしなければ、「記録で裏付けられることだけを伝える」というルールを教えるつもりが、「常に断言を避ける」と学習させかねません。

評価者が使える評価基準を明文化します。架空の処理を語らない、裏付けのない約束をしない、正しい次の手順を示す、適切な口調を使う、といった基準です。どちらの回答も基準に反するなら、そのペアは修正するか除外します。評価者の意見が割れた場合は、その不一致を学習ラベルにする前に、方針の曖昧さを解消します。

評価用データは別に確保します。また、データを分割するときは、同じ問い合わせをもとにしたバリエーションを同じ側にまとめます。求めるのは、少し書き換えた学習例を見覚えのあるものとして処理することではなく、未知の状況でも望ましい振る舞いを示すことです。

RLHFによってチャットモデルはどう使いやすくなったのか

RLHFは、モデルが潜在的に持つ言語能力を、人が直接頼んで使える振る舞いへ変えるうえで役立ちました。 もっともらしい文章を予測することと、依頼に役立つ形で応じることは、学習目標として異なります。指示に従う回答例と選好のフィードバックによって、開発者はその差を調整できるようになりました。

OpenAIの2022年のInstructGPT研究では、研究で用いたプロンプト分布において、人間の評価者は13億パラメータのInstructGPTの出力を、1750億パラメータのGPT-3の出力より好みました。パラメータとは、学習によって調整されるモデル内部の数値です。この結果は、その評価ではユーザーの意図に合わせた学習がモデルの規模以上に重要になり得ることを示しています。小さなモデルがあらゆる面で高性能になったという意味ではありません。OpenAIの研究

OpenAIのGPT-4技術報告書にも、事前学習の後にRLHFを使い、ユーザーの意図に沿うよう調整したことが記されています。これは特定のモデルの学習についての記録であり、現在ChatGPTで使えるすべてのモデルの学習手順を公開したものではありません。OpenAIのGPT-4技術報告書

開発者にとっての意味は明快です。モデルが有用な知識を持っていても、役に立たない応答パターンを選ぶことがあります。その選び方は学習で改善できます。ただし、サポート用アシスタントに正しい顧客記録を渡すことの代わりにはなりません。

DPO・AIフィードバック・検証可能な報酬の違い

これらの手法は学習の異なる部分を変えるため、代替にも補完にもなります。 誰が判断するのか、何をよい結果とするのか、その信号でどうモデルを更新するのか、という3つの問いを分けて考えます。

DPOとRLHFの違いは？モデルの更新方法が変わる

直接選好最適化（Direct Preference Optimization：DPO）は、独立した報酬モデルを学習させずに、同じような回答ペアから学べます。 元の手法では、望ましくない回答および参照モデルとの関係を踏まえ、望ましい回答を選びやすくなるようモデルを更新します。ファインチューニング中に新しいサンプルを生成し、別途学習した報酬モデルで採点する、従来型のループを必要としません。DPOの原論文

実務上の魅力は、構成要素を減らせることです。ただし、データの問題は残ります。評価者が回答Bを勝者としてラベル付けしていたら、DPOが返金の捏造を見抜いてくれるわけではありません。

Metaは、2024年のLlama 3公開時の説明で、SFT、棄却サンプリング、PPO、DPOを併用したと記しています。棄却サンプリングとは、候補を生成して、その中から選んだものを残す手法です。この公表された組み合わせからも、ポストトレーニングを「新しい略語の手法が前の手法を置き換えていく、どのモデルにも共通の一本道」と捉えるべきでないことが分かります。MetaによるLlama 3の学習方法の説明

RLAIFとRLHFの違いは？評価する主体が変わる

AIフィードバックによる強化学習（reinforcement learning from AI feedback：RLAIF）は、モデルが下した判断をフィードバックとして使います。 人が直接ラベルを付ける作業は減らせますが、指示、原則、評価基準を決める責任は人に残ります。

Anthropicが2022年に発表したConstitutional AIでは、モデルによる批評と修正済みの回答を使う教師あり学習の段階を設け、その後、AIが行った比較で選好モデルを学習させ、強化学習に用いました。「憲法」とは、この過程を導く原則の集まりです。推論時のプロンプトに方針を記した段落を入れるだけのものではありません。AnthropicのConstitutional AI研究

Anthropicは、その後の変更も公表しています。2026年5月8日には、「憲法」に沿った文書、チャットの例、多様な環境を使った学習について説明し、チャット中心のアラインメント学習ではエージェントとして動く場面を十分に扱えていなかった理由を論じました。開発者が学ぶべきなのは、実際に使う環境で振る舞いを評価することです。丁寧なサポート返信と、ツールを操作する請求業務のエージェントでは、求められるものが異なります。Teaching Claude Why

RLVRとRLHFの違いは？結果を検証して報酬を決める

検証可能な報酬による強化学習（reinforcement learning with verifiable rewards：RLVR）は、試行が成功したかどうかを検証できるタスクに向いています。 コードならテストケースを実行でき、数学の解答なら既知の正解と比較できます。文章を誰かが好むかどうかに、報酬を委ねる必要はありません。

DeepSeekチームの公表研究では、DeepSeek-R1-Zeroに、正確さと形式についてのルールベースの報酬を使いました。一方、DeepSeek-R1は、より広い複数段階の学習を採用しています。推論タスク向けのルールベースの報酬、一般的なタスク向けのモデルに基づく報酬、教師あり学習の段階を組み合わせました。両者は異なる構成です。DeepSeekのR1論文

限界を決めるのは検証の仕組みです。用意したテストを通過しても、明示していない要件までコードが満たすとは言えません。返金の例でも、権限に基づく取引が実際に行われたかを確認することと、返信が親切に聞こえるかを評価することは別です。学習手法を選ぶ前に、報酬でどの証拠を表したいのかを決めます。

RLHFのファインチューニング：小規模企業が利用できる選択肢

小規模な企業でも、従来型RLHFの仕組み一式を自前で構築せずに、マネージド型の選好学習を利用できます。 求める成果は、学習に使っていないタスクで振る舞いが改善されたモデルです。サービスが「ファインチューニング」を提供していても、選好ペア、すべてのモデル、すべてのアカウントに対応しているとは限りません。

Together AI：選好ペアを使うホスト型DPO

Together AIでは、training_method="dpo"を指定してDPOジョブを実行できます。 ドキュメントで示されているJSONL形式は、1行に1件のJSON学習レコードを記述し、input.messages、preferred_output、non_preferred_outputを含みます。各出力には、アシスタントのメッセージを1つ入れます。前述のサポート例のペアを、そのままこれらの役割に当てはめられます。Together AIの選好学習ドキュメント

ドキュメントでは、用意した例がベースモデルの学習分布と大きく異なる場合、先にSFTを行うことを勧めています。実務での判断は、手元のデータ次第です。プロンプトごとに承認済みの回答が1つしかないなら、SFTから始めます。選好学習には、比較する意味のある、望ましい回答と望ましくない回答が必要です。

Fireworks AI：マネージド型の選好学習ジョブ

Fireworks AIは、マネージド型DPO学習の利用方法を公開しています。 選好データセットは、画面、コマンドラインツール、REST APIからアップロードできます。画面での手順は、ドキュメントによるとTraining → New job → Direct Preferenceへ進み、モデルとデータセットを選択します。選ぶベースモデルはDPOに対応している必要があります。Fireworksの選好学習ドキュメント

ガイドで指定されているのは、望ましい出力と望ましくない出力を最後のアシスタントメッセージとする、1ターンの学習例です。複数のツール呼び出しにまたがって問題が起きるエージェントでは、この制約が重要になります。ファイル形式が受理されることと、改善したい振る舞いを学習の構成が捉えていることは別です。

OpenAI：利用資格とモデルの提供期限を先に確認

OpenAIはテキストベースのDPOを文書化していますが、ファインチューニング基盤は終了に向かっています。 2026年10月22日の確認時点では、新規ユーザーの受け入れは終了しています。対象となる既存顧客は、ベースモデルがそれより先に提供終了しない限り、2027年1月6日までジョブを作成できます。したがって、既存顧客向けの選択肢であり、新たに導入する企業に最初の候補として勧めるものではありません。OpenAIのDPOドキュメント

ドキュメントによると、gpt-4.1-nano-2025-04-14のファインチューニング済みモデルは2026年10月23日に提供を終了します。gpt-4.1-2025-04-14とgpt-4.1-mini-2025-04-14のスナップショット、およびそれらのファインチューニング済みモデルは、2027年1月14日に提供を終了します。この方法に向けてデータセットへ投資する前に、作成したモデルを予定する運用期間中に使い続けられるか確認します。OpenAIの提供終了スケジュール

どこからが研究機関並みの取り組みになるのか

アルゴリズムが研究機関だけのものなのではありません。違うのは、取り組む範囲と運用負担です。 最先端モデルの広範なポストトレーニングを構築するには、フィードバックの収集、報酬モデルの学習、生成と最適化の反復、多様な能力の評価まで、自ら担います。ホスト型のDPOジョブが扱うのは、対応する既存モデルへの、より限定的な更新です。

また、強化学習がすべてAPIから利用できないわけでもありません。OpenAIは、o4-miniの出力を採点器で評価する**強化ファインチューニング（reinforcement fine-tuning：RFT）**を文書化しています。利用には、同じ基盤の提供条件による制限が適用されます。これは、報酬に基づく学習をマネージド型で実行する選択肢です。研究機関の内部で使われる学習手順を、丸ごと再現できることを意味しません。OpenAIのRFTドキュメント

小規模な企業の多くは、まず回答例、評価基準、評価の仕組みに投資するべきです。独自の報酬モデルを運用するかどうかは、マネージド型の手法ではタスクに対応できない場合に、別途検討する技術上の判断になります。

開発・運用・導入担当者が押さえるべきこと

開発担当者： 学習手法を選ぶ前に、失敗の種類を見極めます。アシスタントが返金方針を知らないなら、その情報を渡します。方針を読んでいるのに返金済みだと繰り返し捏造するなら、指示と回答例を改善したうえで、選好学習が役立つか評価します。データセットの準備からデプロイまでの流れは、LLMのファインチューニング手順で扱っています。

運用担当者： 何を「よりよい回答」とするか、その定義に責任を持ちます。請求、サポート、プロダクトの担当者が、エスカレーションと権限の境界について合意する必要があります。社内で決着していない方針を、ベンダーがモデルの最適化を強めることで解決することはできません。

導入担当者： 自社の業務で確かめた証拠を求めます。「RLHFで学習済み」は、工程の一部を説明しているにすぎません。どの振る舞いを評価したのか、どんな失敗が残るのか、テストしたシステムのツールと権限は自社の運用時と同じかを確認します。AI評価者が選好ラベルを付けるなら、人との判断の食い違いも点検します。LLM-as-a-judgeのガイドでは、こうした評価を役立つものにする方法を説明しています。

RLHFにはどんな過大評価があるのか

選好スコアが高いからといって、正確性、安全性、能力が保証されるわけではありません。 報酬モデルが近似するのは、学習に使った判断です。評価者は、もっともらしい誤りを見落としたり、安心できる言い回しを好んだりすることがあります。

Anthropicの迎合に関する研究では、事実に忠実な回答ならユーザーに反論する場面でも、人の選好がユーザーの考えに合う回答を高く評価し得ることが示されました。迎合とは、相手に過度に同意することです。サポート用アシスタントが「返金は済んでいます」と自信を持って同意すれば、業務上の要件に反していても評価者を満足させるかもしれません。Anthropicの迎合に関する研究

報酬ハッキングも問題です。これは、採点の仕組みの弱点を突くことを指します。モデルは、意図された成果を出さなくても、採点モデルが好む表面的な特徴を学習してしまうことがあります。DeepSeekの研究でも、自由度の高いタスクに信頼できる報酬信号を用意する難しさが明確に論じられています。DeepSeekが公表した限界

対策は、学習スコアとは別に、自分たちが重視するものを測ることです。サポートの例なら、架空の処理を伝えていないか、適切にエスカレーションしているか、役立つ次の手順を示しているかを確認します。学習指標の上昇は、そのチェックポイントを評価する理由にはなりますが、自動的にデプロイする理由にはなりません。

来週から何を始めるか

測定できる振る舞いの失敗が繰り返され、どちらの回答がよいかを一貫して判断できるなら、取り組みを始めます。まだ違いを定義したり評価したりできないなら、学習は待ちます。 今のモデルがすでに自社の評価を通過しているなら、ベンダーの売り込みにRLHFという言葉が出てきただけで、ファインチューニングする理由はありません。

1. 1

   繰り返す失敗を集める

   想定する業務から代表的なプロンプトを集めます。アシスタントが参照したはずの方針、検索で得たコンテキスト、ツールの実行結果を残します。不要な個人情報は削除します。

2. 2

   改善に使える根拠を選ぶ

   最新の事実が足りないなら検索を検討します。よい回答の見本があればSFT、一貫して順位付けできる候補があればDPOを検討できます。結果を確実に検証する仕組みがあれば、報酬に基づく学習を検討できます。知識と振る舞いの問題が混在する場合は、RAGとファインチューニングの選び方を参照してください。

3. 3

   比較基準と利用条件を確認する

   まず、指示を改善した状態で既存モデルを評価します。学習ファイルを作る前に、提供元の対応モデル、データ形式、アカウントの利用資格、モデルを運用できる期間を確認します。

4. 4

   学習に使っていない業務例で比較する

   評価用の例を学習に混ぜないようにします。異なる対応が必要になるケースも含め、同じタスクで元のモデルと調整後のモデルを比較します。意図した振る舞いが改善し、許容できない悪化がない場合に限って採用します。

週明けに用意したい成果物は、プロンプト、回答候補、それぞれを選好する明確な理由をまとめた、小規模でもレビュー済みのデータです。そこから、学習に取り組む好機なのか、それとも先に方針やコンテキストの問題を解決するべきなのかが見えてきます。

RLHFに関するよくある質問

強化学習はどのように学ぶのですか？

学習主体は行動を試し、報酬を受け取り、よりよい報酬を得られるよう時間をかけて振る舞いを変えます。言語モデルの学習では、行動によってテキストを生成し、採点器や検証器からのフィードバックをモデルの更新に使います。

RLHFは何の略で、何を目的とするのですか？

RLHFはreinforcement learning from human feedback（人間のフィードバックによる強化学習）の略です。どの回答がより役立つか、タスクにふさわしいかといった、人の判断にモデルの振る舞いを近づけることが目的です。

LLMにも強化学習は使われますか？

ポストトレーニングの段階で強化学習を行うLLMもあります。事前学習や教師ありファインチューニングと並び、学習手順の一部になり得る手法です。すべての段階や、すべてのモデルを指す説明ではありません。

強化学習の報酬整形とは何ですか？

報酬整形とは、有用な中間段階の進捗を評価するなど、学習を導くための報酬を加えることです。報酬の設計を誤ると、システムが最終的に好む振る舞いを変えてしまうことがあります。Ng、Harada、Russellの研究を参照してください。

ChatGPTは強化学習を使っていますか？

はい。OpenAIのGPT-4技術報告書には、ポストトレーニングでのRLHFの使用が記されています。これはそのモデルについての記録であり、現在ChatGPTで提供されるすべてのモデルの完全な学習手順を示したものではありません。OpenAIの技術報告書

強化学習の4つの要素とは何ですか？

SuttonとBartoは、エージェントと環境に加え、方策、報酬関数、価値関数、そして任意の要素として環境モデルを挙げています。それぞれ、振る舞い、即時の報酬、期待される将来の報酬、結果の予測を定めます。両氏の教科書での説明

強化学習のいちばん簡単な例は何ですか？

説明用の例として、シミュレーション内のエージェントが迷路の経路を学ぶ場面があります。移動を試し、出口に到達すると報酬を得ます。試行を重ねることで、どの行動がゴールにつながるかを学びます。

強化学習の父と呼ばれるのは誰ですか？

誰か1人の発明とする説明は誤解を招きます。Richard SuttonとAndrew Bartoは、この分野の概念とアルゴリズムの基礎を築いた功績により、Association for Computing Machineryから共同で表彰されました。両氏の大学による紹介

強化学習は機械学習ですか、それともAIですか？

どちらにも含まれます。強化学習は機械学習の一分野であり、機械学習はAIの一部です。望ましい出力のラベル付き例だけに頼るのではなく、報酬信号から学びます。

AIシステムの構築と評価に役立つ実践ガイドを受け取るには、ニュースレターに登録してください。