RLHF란? 인간 피드백 강화학습과 DPO, 파인튜닝 활용법

RLHF는 사람이 선호하는 답변을 더 잘 내놓도록 모델을 학습시킬 수 있습니다. 그렇다고 그 답변이 늘 사실에 부합하게 되는 것은 아닙니다. 전통적인 방식에서는 사람이 같은 프롬프트에 대한 답변 2개를 비교하고, 보상 모델이 그 선호를 학습한 뒤, 강화학습으로 응답 모델이 더 높은 점수를 받도록 조정합니다. 소규모 기업에서 따져야 할 핵심은 명확합니다. 지시와 맥락을 개선해도 반복되는 행동 문제를 선호도 학습으로 해결할 수 있는지입니다.

실무에서는 이렇게 판단합니다. 먼저 평가 기준을 명확히 세우고 프롬프트를 다듬습니다. 모델이 과업을 수행할 능력은 있지만 말투, 강조점, 응답 방식에서 같은 실수를 반복한다면 선호도 파인튜닝을 검토합니다. 부족한 것이 최신 사내 정보라면 검색으로 보완합니다.

연구 자료와 호스팅 API 문서는 2026년 10월 22일에 확인했습니다. 아래에 소개하는 과거 학습 방식은 각각의 발표 자료에 근거하며, 연구 기관이 공개하지 않은 현재의 학습 방식을 보여 주는 것은 아닙니다.

RLHF 뜻: 사람의 평가가 모델의 행동을 바꾸는 원리

RLHF는 **인간 피드백 기반 강화학습(reinforcement learning from human feedback)**의 약자입니다. 생성한 문장이 모델이 이전에 본 텍스트와 얼마나 비슷한지를 넘어, 사람이 답변에서 무엇을 원하는지 학습할 수 있도록 신호를 제공합니다.

작가가 편집자와 함께 원고를 다듬는 상황을 떠올리면 이해하기 쉽습니다. 편집자는 여러 초안을 비교하고, 반복해서 선택하는 과정을 통해 기준을 드러냅니다. 학습된 채점 시스템은 그 편집자의 선호를 근사하고, 작가는 그 점수를 기준으로 연습합니다. 문제는 채점 시스템을 만족시키는 일이 편집자를 만족시키는 일과 점점 멀어질 수 있다는 점입니다.

대규모 언어 모델, 즉 LLM에서 전통적인 RLHF는 다음과 같이 진행됩니다.

1. 사람이 답변을 비교합니다. 평가자는 동일한 프롬프트에 대한 후보 답변을 보고, 유용성·정확성·적절한 행동 등의 지침에 따라 순위를 매깁니다.
2. 보상 모델이 순위를 학습합니다. 평가자가 어떤 답변을 선호할지 예측하는 별도의 모델입니다. 비교 결과를 학습에 사용할 수 있는 점수로 바꿉니다.
3. 응답 모델을 업데이트합니다. 응답 모델이 더 많은 답변을 생성하면 보상 모델이 점수를 매기고, 더 높은 점수를 받는 행동을 하도록 응답 모델의 파라미터를 조정합니다.

이는 OpenAI가 GPT-3를 지시 수행에 맞게 학습한 InstructGPT에서 설명한 방식입니다. 강화학습 단계에서 생성되는 모든 답변을 사람이 일일이 채점할 필요는 없습니다.

SFT와 RLHF의 차이: 모범 답변을 보여 줄 것인가, 더 나은 답변을 고를 것인가

지도 파인튜닝(SFT)은 원하는 답변의 예시로 가르칩니다. RLHF는 어떤 답변이 더 나은지에 대한 판단을 더합니다. InstructGPT에서는 먼저 SFT를 통해 사전 학습된 모델에 지시를 따르는 예시를 보여 줬습니다. 이후 사람의 순위 평가와 강화학습으로 그 초기 행동을 다듬었습니다.

**정책(policy)**은 무엇을 출력할지 결정하는 모델입니다. InstructGPT는 보상을 바탕으로 행동을 개선하는 알고리즘인 **근접 정책 최적화(proximal policy optimization, PPO)**로 정책을 업데이트했습니다. 또한 참조 모델에서 지나치게 벗어나면 페널티를 부과했습니다. 이렇게 규제를 더한 학습 목표는 개념적으로 다음과 같이 요약할 수 있습니다.

학습 목표 = 예측된 선호도 보상 − 지나치게 벗어나는 데 대한 페널티

이는 개념을 풀어 쓴 설명이며, 논문의 전체 학습 수식은 아닙니다. 이 제약이 중요한 이유는 학습된 채점기가 완벽하지 않기 때문입니다. 점수를 더 높이도록 밀어붙인다고 해서 답변도 끝없이 좋아지지는 않습니다. InstructGPT 논문

학습이 끝나면 완성된 응답 모델은 고객의 요청을 처리할 때마다 이 전체 과정을 반복할 필요가 없습니다. 피드백 버튼으로 향후 학습에 쓸 신호를 모을 수는 있지만, 버튼을 누르는 행위 자체가 파라미터를 업데이트하지는 않습니다.

RLHF 데이터 예시: 같은 질문, 서로 다른 답변

선호도 라벨에는 업무 규칙이 담겨야 합니다. 단지 더 친절하게 들리는 답변을 고르는 것으로는 부족합니다. 다음은 이해를 돕기 위해 만든 고객 지원 사례입니다. 모델을 테스트해서 얻은 출력이 아닙니다.

어시스턴트는 결제 담당 팀의 답변 초안을 작성합니다. 계정에 접근하거나 환불을 처리할 권한은 없습니다. 정책상 중복 결제 신고는 담당 팀의 검토를 거쳐야 하며, 그 전에 환불을 약속해서는 안 됩니다.

답변 A — 선호하는 답변:

중복 결제로 불편을 드려 죄송합니다. 이 채팅에서는 환불 여부를 확정하거나 환불을 처리할 수 없습니다. 보안 지원 양식으로 거래 참조 정보를 보내 주시면 결제 담당 팀이 확인한 뒤, 중복 결제로 확인될 경우 환불을 진행할 수 있습니다.

답변 B — 선택하지 않은 답변:

중복 결제로 불편을 드려 죄송합니다. 추가 결제 금액은 환불 처리했으므로 더 하실 일은 없습니다. 문제를 해결하는 동안 기다려 주셔서 감사합니다.

평가자는 A를 선택합니다. 어시스턴트의 권한 범위를 지키면서 고객이 실제로 취할 수 있는 다음 단계를 안내하기 때문입니다. B는 안심시키는 말투지만, 어시스턴트가 수행할 수 없는 거래를 완료했다고 주장합니다.

학습 데이터에는 공통 프롬프트와 함께 선호 답변 A, 비선호 답변 B를 기록합니다. 전통적인 RLHF에서는 이런 비교를 많이 모아 보상 모델이 무엇에 점수를 줘야 하는지 가르칩니다. 직접 선호도 최적화에서는 같은 답변 쌍으로 응답 모델을 더 직접적으로 학습시킵니다.

실제로 중요한 작업은 이 사례를 둘러싼 다른 예시를 구성하는 데 있습니다. 선호 답변이 언제나 더 길다면 정책 준수와 답변 길이를 뒤섞은 셈입니다. 짧지만 정책을 지킨 답변과, 길지만 허구의 약속을 하는 답변을 비교하는 사례도 넣어야 합니다. 권한이 있는 툴이 실제로 환불을 완료한 사례도 포함해, 근거에 따라 바람직한 행동이 달라지도록 해야 합니다. 그렇지 않으면 “기록이 뒷받침하는 내용만 말하라”는 규칙 대신 “항상 확답을 피하라”는 행동을 학습시킬 수 있습니다.

평가자가 적용할 수 있는 채점 기준을 작성합니다. 하지 않은 조치를 꾸며 내지 않는지, 근거 없는 약속을 하지 않는지, 다음 단계가 올바른지, 말투가 적절한지를 봅니다. 두 답변 모두 기준을 어긴다면 답변 쌍을 수정하거나 제외합니다. 평가자의 판단이 엇갈릴 때는 그 불일치를 학습 라벨로 굳히기 전에 모호한 정책부터 정리합니다.

평가 데이터는 별도로 확보합니다. 데이터를 나눌 때 같은 원본 문의에서 파생된 변형들은 한쪽에 묶어 둡니다. 모델은 학습 예시를 살짝 바꾼 문장을 알아보는 데 그치지 않고, 낯선 상황에서도 원하는 행동을 보여 줘야 합니다.

RLHF는 어떻게 채팅 모델을 쓸 만하게 만들었을까요?

RLHF는 모델이 잠재적으로 갖고 있던 언어 능력을 사람이 직접 요청할 수 있는 행동으로 끌어내는 데 기여했습니다. 그럴듯한 텍스트를 예측하는 것과 요청에 유용하게 응답하는 것은 서로 다른 학습 목표입니다. 지시 수행 예시와 선호도 피드백은 개발자가 이 차이를 조정할 수 있게 했습니다.

OpenAI의 2022년 InstructGPT 연구에서 사람 평가자들은 해당 연구의 프롬프트 분포를 기준으로, 파라미터 수가 1.3B인 InstructGPT의 출력을 175B인 GPT-3의 출력보다 선호했습니다. 파라미터는 모델 내부에서 학습되는 수치 설정값입니다. 이 결과는 해당 평가에서 사용자 의도에 맞춘 학습이 모델 크기보다 더 중요할 수 있음을 보여 줍니다. 작은 모델이 모든 면에서 더 뛰어나졌다는 뜻은 아닙니다. OpenAI 연구

OpenAI의 GPT-4 기술 보고서도 사전 학습 이후 RLHF를 적용해 사용자 의도와의 정렬을 개선했다고 설명합니다. 이는 특정 모델의 학습을 기록한 자료이며, 현재 ChatGPT에서 제공되는 모든 모델의 전체 학습 방식을 공개한 것은 아닙니다. OpenAI의 GPT-4 보고서

개발자에게 주는 시사점은 명확합니다. 모델이 유용한 지식을 이미 갖고 있어도 도움이 되지 않는 응답 패턴을 선택할 수 있습니다. 학습은 그 선택을 개선할 수 있습니다. 하지만 고객 지원 어시스턴트에 올바른 고객 기록을 제공하는 일을 대신하지는 못합니다.

DPO, AI 피드백, 검증 가능한 보상은 무엇이 다를까요?

각 방법은 학습 과정의 서로 다른 부분을 바꾸므로 대안이 될 수도, 함께 쓰일 수도 있습니다. 누가 판단을 제공하는지, 무엇을 좋은 결과로 보는지, 그 신호로 모델을 어떻게 업데이트하는지를 구분해야 합니다.

DPO와 RLHF: 모델을 업데이트하는 방식이 다릅니다

직접 선호도 최적화(Direct Preference Optimization, DPO)는 별도의 보상 모델을 학습하지 않고도 같은 유형의 답변 쌍으로 학습할 수 있습니다. 원래 제안된 방법은 비선호 답변 및 참조 모델을 기준으로 선호 답변을 더 선호하도록 모델을 업데이트합니다. 따라서 파인튜닝 중 새 샘플을 생성하고 별도로 학습한 보상 모델로 점수를 매기는 전통적인 반복 과정이 필요하지 않습니다. DPO 원 논문

실무적 장점은 구성 요소가 줄어든다는 데 있습니다. 데이터 문제는 그대로 남습니다. 평가자가 B를 더 나은 답변으로 표시했다면, DPO가 답변 B의 환불 주장이 허구라는 사실을 스스로 알아내지는 못합니다.

Meta의 2024년 Llama 3 출시 설명에는 SFT, 기각 샘플링, PPO, DPO가 함께 등장했습니다. 기각 샘플링은 후보를 생성한 뒤 선택한 후보만 남기는 방식입니다. 이처럼 여러 방법을 함께 쓴 사례는 포스트트레이닝을 하나의 약어가 앞선 약어를 차례로 대체하는 보편적 순서로 봐서는 안 된다는 점을 보여 줍니다. Meta의 Llama 3 학습 설명

RLAIF와 RLHF: 판단하는 주체가 다릅니다

AI 피드백 기반 강화학습(reinforcement learning from AI feedback, RLAIF)은 모델이 생성한 판단을 피드백으로 활용합니다. 사람이 직접 라벨을 붙이는 양은 줄일 수 있지만, 지침·원칙·평가 기준을 정하는 책임은 여전히 사람에게 있습니다.

Anthropic의 2022년 Constitutional AI 발표에서는 먼저 모델의 비평과 수정된 답변을 활용해 지도 학습을 진행했습니다. 이어 AI가 수행한 비교로 선호도 모델을 학습시키고, 이를 강화학습에 활용했습니다. 여기서 “헌법”은 전체 과정을 안내하는 원칙의 모음입니다. 추론 시점의 프롬프트에 정책 문단 하나를 넣는 것보다 훨씬 넓은 과정입니다. Anthropic의 Constitutional AI 연구

Anthropic은 이후의 변화도 공개했습니다. 2026년 5월 8일에는 헌법적 원칙에 부합하는 문서, 채팅 예시, 다양한 환경을 활용한 학습을 설명하고, 채팅 중심의 정렬 학습이 에이전트 상황을 충분히 포괄하지 못한 이유를 논의했습니다. 개발자가 얻을 교훈은 실제로 사용할 환경에서 행동을 평가해야 한다는 점입니다. 정중한 고객 지원 답변과 툴을 사용하는 결제 에이전트에는 서로 다른 요구가 따릅니다. Claude에 이유를 가르치는 방법

RLVR과 RLHF: 결과를 검증합니다

검증 가능한 보상 기반 강화학습(reinforcement learning with verifiable rewards, RLVR)은 검증기로 시도의 성공 여부를 판단할 수 있는 과업에 적합합니다. 코드 풀이를 테스트 케이스로 실행하거나, 수학 답안을 알려진 정답과 비교할 수 있습니다. 보상은 누군가 그 문장을 더 좋아하는지에 달려 있지 않아도 됩니다.

DeepSeek 팀이 발표한 연구에서 DeepSeek-R1-Zero는 규칙 기반의 정확도 보상과 형식 보상을 사용했습니다. DeepSeek-R1은 더 폭넓은 다단계 과정을 거쳤습니다. 추론 과업에는 규칙 기반 보상을, 일반 과업에는 모델 기반 보상을 사용하고 지도 학습 단계도 결합했습니다. 둘은 서로 다른 학습 구성입니다. DeepSeek의 R1 논문

한계는 검증기에 있습니다. 주어진 테스트를 통과했다고 해서 코드가 명시되지 않은 요구사항까지 충족한다는 뜻은 아닙니다. 환불 사례에서도 권한이 있는 거래가 실제로 일어났는지 확인하는 일과, 답변이 도움이 되게 들리는지 평가하는 일은 다릅니다. 학습 방법을 고르기 전에 보상이 어떤 근거를 반영해야 하는지 결정해야 합니다.

RLHF와 LLM 파인튜닝: 소규모 기업이 활용할 수 있는 방법

소규모 기업도 전통적인 RLHF 시스템 전체를 구축하지 않고 관리형 선호도 학습 서비스를 이용할 수 있습니다. 목표는 학습에 쓰지 않고 따로 남겨 둔 과업에서 더 나은 행동을 보이는 모델입니다. 서비스가 “파인튜닝”을 제공한다고 해서 선호도 답변 쌍, 모든 모델, 모든 계정을 자동으로 지원하는 것은 아닙니다.

Together AI: 선호도 답변 쌍을 학습하는 호스팅 DPO

Together AI는 training_method="dpo"를 사용하는 DPO 학습 작업을 제공합니다. 문서에 명시된 데이터 형식은 한 줄에 JSON 학습 레코드 하나를 담는 JSONL이며, input.messages, preferred_output, non_preferred_output이 들어갑니다. 각 출력에는 어시스턴트 메시지 하나가 포함됩니다. 앞서 본 고객 지원 답변 쌍을 이 역할에 그대로 대응시킬 수 있습니다. Together AI 선호도 튜닝 문서

문서는 예시 데이터가 기본 모델의 학습 분포와 크게 다를 때 SFT를 먼저 수행하도록 권장합니다. 실무에서 방법을 가르는 기준은 보유한 데이터입니다. 프롬프트마다 승인된 답변이 하나씩만 있다면 SFT부터 시작합니다. 선호도 튜닝에는 비교할 의미가 있는 선호·비선호 답변이 필요합니다.

Fireworks AI: 관리형 선호도 학습 작업

Fireworks AI는 관리형 DPO 학습을 문서로 안내합니다. 화면 인터페이스, 명령줄 툴 또는 REST API로 선호도 데이터셋을 업로드할 수 있습니다. 문서에 제시된 화면 경로는 Training → New job → Direct Preference이며, 이후 모델과 데이터셋을 선택합니다. 선택한 기본 모델은 DPO를 지원해야 합니다. Fireworks 선호도 학습 문서

가이드는 단일 턴 학습 예시를 명시하며, 선호 출력과 비선호 출력은 각각 마지막 어시스턴트 메시지로 둡니다. 여러 번의 툴 호출에 걸쳐 실패하는 에이전트라면 이 제약을 주의 깊게 살펴야 합니다. 파일 형식이 받아들여졌다고 해서 개선하려는 행동을 해당 학습 구성에 충분히 담았다는 뜻은 아닙니다.

OpenAI: 이용 자격과 모델 지원 종료일부터 확인합니다

OpenAI는 텍스트 기반 DPO를 문서로 안내하지만, 파인튜닝 플랫폼은 종료 수순에 있습니다. 2026년 10월 22일 확인 기준으로 신규 사용자는 이용할 수 없습니다. 이용 자격이 있는 기존 고객은 기본 모델이 더 일찍 종료되지 않는 한 2027년 1월 6일까지 작업을 생성할 수 있습니다. 따라서 기존 고객이 검토할 수 있는 경로이지, 새로 시작하는 기업에 권할 출발점은 아닙니다. OpenAI DPO 문서

문서에 따르면 gpt-4.1-nano-2025-04-14의 파인튜닝 모델은 2026년 10월 23일에 종료됩니다. gpt-4.1-2025-04-14 및 gpt-4.1-mini-2025-04-14 스냅샷과 그 파인튜닝 모델은 2027년 1월 14일에 종료됩니다. 이 경로를 위한 데이터셋에 투자하기 전에, 학습한 모델을 계획한 배포 기간 동안 계속 사용할 수 있는지 확인해야 합니다. OpenAI 지원 종료 일정

여전히 연구소 규모의 프로젝트가 필요한 영역은 무엇일까요?

알고리즘이 연구소만의 전유물인 것은 아닙니다. 차이는 범위와 운영 부담에 있습니다. 최첨단 모델을 위한 광범위한 포스트트레이닝 프로그램을 구축하려면 피드백 수집, 보상 모델 학습, 반복적인 생성과 최적화, 여러 역량에 걸친 평가를 모두 책임져야 합니다. 호스팅 DPO 작업은 지원되는 기존 모델에 더 좁은 범위의 업데이트를 적용합니다.

모든 강화학습이 API로는 불가능한 것도 아닙니다. OpenAI는 평가기로 o4-mini의 출력에 점수를 매기는 **강화 파인튜닝(reinforcement fine-tuning, RFT)**을 문서로 안내하며, 여기에도 같은 플랫폼 이용 제한이 적용됩니다. 이는 보상을 활용하는 관리형 학습 선택지입니다. 연구소의 전체 내부 학습 방식을 재현할 수 있다는 근거는 아닙니다. OpenAI RFT 문서

대부분의 소규모 기업은 먼저 예시, 채점 기준, 평가에 투자해야 합니다. 자체 보상 모델을 운영할지는 관리형 방법으로 과업을 해결할 수 없을 때 별도의 엔지니어링 문제로 판단하면 됩니다.

개발자·운영자·구매 담당자가 각각 확인할 것

개발자: 학습 방법을 고르기 전에 실패의 유형부터 분류합니다. 어시스턴트에 환불 정책이 없다면 정책을 제공합니다. 정책을 보고도 환불을 완료했다고 반복해서 꾸며 낸다면 지시와 예시를 개선한 뒤, 선호도 학습이 도움이 되는지 평가합니다. 데이터셋 준비부터 배포까지의 전체 과정은 LLM 파인튜닝 워크플로 가이드에서 다룹니다.

운영자: 무엇이 더 나은 답변인지 직접 정의해야 합니다. 결제·고객 지원·제품 담당자가 이관 기준과 권한 범위에 합의해야 합니다. 모델을 더 강하게 최적화한다고 해서 공급업체가 미정인 사내 정책을 대신 정리해 줄 수는 없습니다.

구매 담당자: 실제 업무에 대한 근거를 요구합니다. “RLHF로 학습했다”는 말은 과정의 일부를 설명할 뿐입니다. 어떤 행동을 평가했는지, 어떤 실패가 남아 있는지, 테스트한 시스템에 실제 배포 환경과 같은 툴과 권한이 있었는지 물어야 합니다. AI 평가자가 선호도 라벨을 제공한다면 사람과 판단이 엇갈리는 사례를 검토합니다. LLM을 평가자로 활용하는 가이드는 이런 평가를 유용하게 만드는 방법을 설명합니다.

RLHF에 대한 기대 중 과장된 것은 무엇일까요?

높은 선호도 점수는 진실성·안전성·능력을 보증하지 않습니다. 보상 모델은 학습에 사용된 판단을 근사합니다. 평가자는 그럴듯한 오류를 놓치거나 안심시키는 표현을 더 선호할 수 있습니다.

Anthropic의 아첨(sycophancy) 연구에서는 사실대로 답하려면 사용자의 견해에 반대해야 하는 상황에서도, 사람의 선호가 사용자에게 동조하는 답변에 보상을 줄 수 있다는 점을 발견했습니다. 여기서 아첨은 과도한 동의를 뜻합니다. 환불이 완료됐다는 말에 자신 있게 동의하는 고객 지원 어시스턴트는 평가자를 만족시키면서도 실제 운영 요구사항을 위반할 수 있습니다. Anthropic의 아첨 연구

채점 시스템의 약점을 이용하는 **보상 해킹(reward hacking)**도 있습니다. 모델이 의도한 결과를 내놓지 않으면서 채점기가 좋아하는 표면적 특징만 학습할 수 있습니다. DeepSeek의 연구도 개방형 과업에서 신뢰할 수 있는 보상 신호를 확보하기 어렵다는 점을 명시적으로 다룹니다. DeepSeek이 공개한 한계

대응 방법은 학습 점수와 별개로 실제로 중요하게 여기는 항목을 측정하는 것입니다. 고객 지원 사례라면 하지 않은 조치를 꾸며 내는지, 올바르게 담당자에게 이관하는지, 유용한 다음 단계를 제시하는지 확인합니다. 학습 지표가 올랐다는 것은 해당 체크포인트를 평가해 볼 이유이지, 자동으로 배포할 이유는 아닙니다.

다음 주에 무엇부터 시작하면 좋을까요?

측정 가능한 행동 실패가 반복되고 더 나은 답변에 대한 판단이 일관적이라면 실행에 옮깁니다. 아직 그 차이를 정의하거나 평가할 수 없다면 기다립니다. 현재 모델이 이미 평가를 통과하는 기업이라면, 공급업체의 영업 제안에 RLHF가 등장했다는 이유만으로 파인튜닝할 필요는 없습니다.

1. 1

   반복되는 실패를 모읍니다

   실제로 사용할 워크플로에서 대표적인 프롬프트를 수집합니다. 어시스턴트가 봤을 정책, 검색으로 확보한 맥락, 툴 실행 결과를 함께 보존합니다. 불필요한 개인정보는 제거합니다.

2. 2

   개선에 쓸 수 있는 근거를 고릅니다

   최신 사실이 부족하다면 검색을 검토합니다. 좋은 모범 답변이 있으면 SFT를, 일관되게 순위를 매긴 대안 답변이 있으면 DPO를 고려할 수 있습니다. 신뢰할 수 있는 결과 검증기가 있다면 보상 기반 학습을 고려할 수 있습니다. 지식과 행동의 문제가 섞여 있다면 RAG와 파인튜닝 선택 가이드를 활용합니다.

3. 3

   기준 성능과 서비스 이용 조건을 확인합니다

   먼저 지시를 개선한 상태에서 기존 모델을 평가합니다. 학습 파일을 만들기 전에 공급업체가 지원하는 모델, 데이터 형식, 계정 이용 자격, 배포 후 사용 가능한 기간을 확인합니다.

4. 4

   학습에 쓰지 않은 업무 사례로 비교합니다

   평가 예시는 학습에서 제외합니다. 서로 다른 조치가 필요한 사례까지 포함해, 원래 모델과 튜닝한 모델을 같은 과업에서 비교합니다. 감수할 수 없는 성능 저하 없이 의도한 행동이 개선될 때만 변경을 도입합니다.

월요일에 마련할 만한 실질적인 결과물은 검토를 마친 소규모 프롬프트·후보 답변 묶음과 각 선호의 명확한 이유입니다. 이를 보면 학습으로 개선할 기회가 있는지, 정책과 맥락부터 바로잡아야 하는지 알 수 있습니다.

RLHF 자주 묻는 질문

강화학습은 어떻게 작동하나요?

학습 주체가 행동을 시도하고 보상을 받은 뒤, 시간이 지날수록 더 나은 보상을 얻도록 행동을 바꿉니다. 언어 모델 학습에서는 행동이 텍스트를 만들어 내며, 채점기나 검증기가 모델 업데이트에 쓰이는 피드백을 제공합니다.

RLHF는 무엇의 약자이며, 왜 사용하나요?

RLHF는 인간 피드백 기반 강화학습(reinforcement learning from human feedback)의 약자입니다. 어떤 응답이 과업에 더 도움이 되는지, 더 적절한지 같은 사람의 판단에 모델의 행동을 더 잘 맞추는 것이 목적입니다.

LLM도 강화학습으로 학습하나요?

일부 LLM은 포스트트레이닝 과정에서 강화학습을 거칩니다. 강화학습은 사전 학습, 지도 파인튜닝과 함께 구성할 수 있는 학습 과정의 일부입니다. 모든 단계나 모든 모델을 설명하는 말은 아닙니다.

강화학습에서 보상 셰이핑이란 무엇인가요?

보상 셰이핑(reward shaping)은 유용한 중간 진전에 보상을 주는 식으로, 학습을 안내하는 추가 보상을 제공합니다. 보상을 잘못 정하면 시스템이 최종적으로 선호하는 행동 자체가 달라질 수 있습니다. Ng, Harada, Russell의 연구를 참고할 수 있습니다.

ChatGPT에도 강화학습이 사용되나요?

그렇습니다. OpenAI의 GPT-4 기술 보고서는 포스트트레이닝에서 RLHF를 사용했다고 설명합니다. 다만 이 보고서는 해당 모델을 기록한 것이며, 현재 ChatGPT에서 제공되는 모든 모델의 전체 학습 방식을 담은 것은 아닙니다. OpenAI 기술 보고서

강화학습의 네 가지 구성 요소는 무엇인가요?

Sutton과 Barto는 에이전트와 환경 외에 정책, 보상 함수, 가치 함수, 그리고 선택적 요소인 환경 모델을 제시합니다. 각각 행동, 즉각적인 보상, 기대되는 미래 보상, 결과에 대한 예측을 규정합니다. 교과서의 설명

강화학습을 가장 간단한 예로 설명하면 무엇인가요?

시뮬레이션 속 에이전트가 미로를 빠져나가는 경로를 학습하는 상황을 예로 들 수 있습니다. 에이전트는 여러 방향으로 움직여 보고 출구에 도착하면 보상을 받습니다. 반복해서 시도하면서 어떤 행동이 탈출에 도움이 되는지 배웁니다.

강화학습의 창시자는 누구인가요?

한 사람이 발명했다고 설명하면 오해를 낳습니다. Richard Sutton과 Andrew Barto는 이 분야의 개념적·알고리즘적 토대를 발전시킨 공로로 Association for Computing Machinery의 인정을 공동으로 받았습니다. 소속 대학의 소개

강화학습은 머신러닝인가요, AI인가요?

둘 다에 해당합니다. 강화학습은 머신러닝의 한 분야이고, 머신러닝은 인공지능에 속합니다. 원하는 출력에 라벨을 붙인 예시만으로 배우는 것이 아니라 보상 신호를 통해 학습합니다.

AI 시스템을 구축하고 평가하는 실무 가이드는 뉴스레터를 구독해 받아볼 수 있습니다.