RLHF: como o feedback humano muda as respostas da IA

O RLHF pode ajudar um modelo a dar a resposta que as pessoas preferem, sem garantir que ela seja verdadeira. Na configuração clássica, pessoas comparam 2 respostas ao mesmo prompt, um modelo de recompensa aprende essas preferências e o aprendizado por reforço ajusta o modelo que responde para obter notas mais altas. Para uma pequena empresa, a pergunta útil é se o treinamento por preferências resolve um problema recorrente de comportamento que instruções e contexto melhores ainda não resolveram.

Na prática: comece com uma avaliação bem definida e um bom prompt. Considere o fine-tuning por preferências quando o modelo consegue executar a tarefa, mas insiste no tom, na ênfase ou no comportamento errado ao responder. Recorra à recuperação de informações quando o que falta são dados atualizados da empresa.

Pesquisas e documentação das APIs de serviços gerenciados verificadas em 22 de outubro de 2026. Os métodos de treinamento históricos descritos abaixo são atribuídos às respectivas publicações; eles não revelam o método atual, não publicado, de nenhum laboratório.

O que é RLHF e como as preferências humanas mudam um modelo?

RLHF é a sigla de reinforcement learning from human feedback, ou aprendizado por reforço com feedback humano. A técnica fornece ao treinamento um sinal sobre o que as pessoas esperam de uma resposta, além de verificar se as palavras se parecem com textos que o modelo já viu.

Pense em um redator que trabalha com um editor. O editor compara versões do texto e, a cada escolha, deixa mais claro o padrão que espera. Um sistema de pontuação aprende a aproximar essas preferências, permitindo que o redator pratique com base nas notas recebidas. O problema é que agradar ao sistema de pontuação pode deixar de significar agradar ao editor.

Em um grande modelo de linguagem, ou LLM, o processo clássico funciona assim:

1. Pessoas comparam respostas. Os avaliadores recebem o mesmo prompt e ordenam as respostas candidatas seguindo orientações sobre critérios como utilidade, correção e comportamento adequado.
2. Um modelo de recompensa aprende as preferências. Esse modelo separado prevê quais respostas os avaliadores escolheriam. Ele transforma as comparações em uma pontuação que pode orientar o treinamento.
3. O modelo que responde é atualizado. Ele gera mais respostas, recebe notas do modelo de recompensa e tem seus parâmetros ajustados para favorecer comportamentos mais bem avaliados.

Esse é o mecanismo que a OpenAI descreveu para o InstructGPT, sua versão do GPT-3 treinada para seguir instruções. Na etapa de aprendizado por reforço, não é preciso que uma pessoa atribua manualmente uma nota a cada resposta gerada.

SFT e RLHF: qual é a diferença entre exemplos e preferências?

O fine-tuning supervisionado, ou SFT, ensina com exemplos da resposta desejada. O RLHF acrescenta julgamentos sobre quais respostas são melhores. No método do InstructGPT, o SFT veio primeiro: o modelo pré-treinado recebeu exemplos de como seguir instruções. Depois, as preferências humanas e o aprendizado por reforço refinaram esse comportamento inicial.

A política é o modelo que escolhe o que produzir como saída. O InstructGPT a atualizou com proximal policy optimization, ou PPO, um algoritmo que usa recompensas para melhorar o comportamento. O treinamento também penalizava desvios excessivos em relação a um modelo de referência. Uma forma simples de resumir esse objetivo regularizado é:

Objetivo do treinamento = recompensa prevista por preferência menos uma penalidade por se afastar demais.

Esse é um resumo conceitual, não a equação completa de treinamento do artigo. A restrição importa porque um avaliador aprendido é imperfeito: forçar sua pontuação para cima não melhora a resposta indefinidamente. Artigo sobre o InstructGPT

Ao fim do treinamento, o modelo resultante pode atender às solicitações sem executar todo esse ciclo para cada cliente. Um botão de feedback pode coletar um sinal para treinamentos futuros; clicar nele, por si só, não atualiza os parâmetros.

Um exemplo de dataset para RLHF: um prompt, duas respostas

O rótulo de preferência deve representar a regra do negócio, não apenas indicar qual resposta soa mais simpática. Veja este cenário ilustrativo de atendimento. Os exemplos são inventados, não resultados de um teste de modelo.

O assistente redige respostas para a equipe de cobrança. Ele não tem acesso às contas nem pode emitir reembolsos. A política determina que relatos de cobrança duplicada passem pela análise da equipe antes que alguém prometa um reembolso.

Resposta A, preferida:

Sinto muito pela cobrança duplicada. Não consigo confirmar nem emitir um reembolso por este chat. Envie as referências das transações pelo formulário seguro de suporte para que a equipe de cobrança possa verificá-las e providenciar o reembolso, caso a duplicidade seja confirmada.

Resposta B, rejeitada:

Sinto muito pela cobrança duplicada. Já reembolsei o pagamento extra, então você não precisa fazer mais nada. Agradeço pela paciência enquanto resolvíamos o problema.

O avaliador escolhe A porque ela respeita os limites de atuação do assistente e indica um próximo passo concreto. B tranquiliza o cliente, mas afirma ter realizado uma transação que o assistente não poderia executar.

O registro de treinamento preserva o prompt compartilhado, A como resposta preferida e B como resposta não preferida. No RLHF clássico, muitas comparações desse tipo ensinam ao modelo de recompensa o que pontuar. Na otimização direta de preferências, os pares treinam de forma mais direta o modelo que responde.

O trabalho decisivo está nos demais exemplos. Se toda resposta preferida for mais longa, você misturou o cumprimento da política com o tamanho da resposta. Inclua uma resposta curta que respeite a política em oposição a uma promessa inventada e prolixa. Inclua também casos em que uma ferramenta autorizada realmente concluiu o reembolso, para que o comportamento desejado mude conforme as evidências. Caso contrário, você pode ensinar “sempre faça ressalvas” quando a regra era “afirme apenas o que os registros sustentam”.

Escreva critérios que um avaliador consiga aplicar: não inventar ações, não fazer promessas sem respaldo, indicar o próximo passo correto e usar um tom adequado. Se as duas respostas violarem esses critérios, corrija ou exclua o par. Se os avaliadores discordarem, resolva a ambiguidade da política antes de transformar a divergência em um rótulo de treinamento.

Mantenha um conjunto de avaliação separado e, ao dividir os dados, deixe juntas as variações de um mesmo chamado original. O modelo precisa demonstrar o comportamento em situações desconhecidas, em vez de apenas reconhecer uma versão levemente reescrita de um exemplo de treinamento.

Por que o RLHF tornou os modelos de chat mais úteis?

O RLHF ajudou a transformar capacidades de linguagem já presentes no modelo em comportamentos que as pessoas podiam solicitar diretamente. Prever um texto plausível e responder de forma útil a um pedido são objetivos de treinamento diferentes. Exemplos de instruções e feedback de preferência deram aos desenvolvedores um caminho para trabalhar essa diferença.

No estudo do InstructGPT de 2022, da OpenAI, os avaliadores humanos preferiram as respostas de um InstructGPT de 1.3 bilhão de parâmetros às de um GPT-3 de 175 bilhões de parâmetros, considerando a distribuição de prompts usada no estudo. Parâmetros são os ajustes numéricos aprendidos dentro do modelo. O resultado mostrou que treinar para a intenção do usuário podia importar mais do que o tamanho naquela avaliação, não que um modelo menor tivesse se tornado mais capaz em qualquer situação. Pesquisa da OpenAI

O relatório técnico do GPT-4, da OpenAI, também descreve o uso de RLHF após o pré-treinamento para melhorar o alinhamento com a intenção do usuário. O documento registra o treinamento de um modelo específico; ele não revela o método completo de todos os modelos disponíveis hoje no ChatGPT. Relatório da OpenAI sobre o GPT-4

Para quem desenvolve sistemas, a consequência é direta: um modelo pode já ter conhecimento útil e, mesmo assim, escolher uma forma pouco útil de responder. O treinamento pode melhorar essa escolha. Ele não substitui o acesso do assistente de suporte ao registro correto do cliente.

DPO, feedback de IA e recompensas verificáveis

Esses métodos alteram partes diferentes do treinamento e, por isso, podem ser alternativas ou se complementar. Separe três perguntas: quem fornece o julgamento, o que conta como um bom resultado e como esse sinal atualiza o modelo.

RLHF e DPO: o que muda na atualização do modelo?

A otimização direta de preferências, ou DPO, pode aprender com o mesmo tipo de par sem treinar um modelo de recompensa separado. O método original atualiza o modelo para favorecer respostas preferidas em relação às rejeitadas e a um modelo de referência. Assim, durante o fine-tuning, dispensa o ciclo clássico de gerar novas amostras e avaliá-las com um modelo de recompensa treinado à parte. Artigo original sobre DPO

O atrativo prático é ter menos componentes para administrar. O problema dos dados continua: o DPO não vai descobrir que a resposta B inventou um reembolso se os seus avaliadores marcaram B como a vencedora.

A descrição de lançamento do Llama 3, em 2024, pela Meta, listava SFT, amostragem por rejeição, PPO e DPO em conjunto. Amostragem por rejeição significa gerar candidatos e manter os selecionados. Essa combinação publicada mostra por que não convém tratar o pós-treinamento como uma sequência universal em que cada sigla substitui a anterior. Descrição do treinamento do Llama 3 pela Meta

RLAIF e RLHF: quem faz a avaliação?

O aprendizado por reforço com feedback de IA, ou RLAIF, usa julgamentos gerados por modelos como feedback. Ele pode reduzir a quantidade de rotulagem humana direta, mas as pessoas continuam responsáveis pelas instruções, pelos princípios e pelos critérios de avaliação.

A publicação da Anthropic sobre Constitutional AI, de 2022, descreveu uma fase supervisionada com críticas geradas pelo modelo e respostas revisadas, seguida de uma fase em que comparações feitas por IA treinaram um modelo de preferências para o aprendizado por reforço. Sua “constituição” era um conjunto de princípios que orientava o processo. Isso ia além de inserir um parágrafo de política em um prompt de inferência. Pesquisa da Anthropic sobre Constitutional AI

O laboratório também publicou mudanças posteriores. Em 8 de maio de 2026, a Anthropic descreveu um treinamento com documentos alinhados à constituição, exemplos de chat e ambientes variados, além de discutir por que o treinamento de alinhamento focado em chat não cobria adequadamente situações envolvendo agentes. A lição para quem desenvolve é avaliar o comportamento no ambiente de uso: uma resposta educada de suporte e um agente de cobrança que usa ferramentas têm exigências diferentes. Teaching Claude Why

RLVR e RLHF: como verificar o resultado?

O aprendizado por reforço com recompensas verificáveis, ou RLVR, é adequado a tarefas em que um verificador consegue determinar se uma tentativa deu certo. Uma solução em código pode ser executada contra casos de teste; uma resposta matemática pode ser comparada a um resultado conhecido. A recompensa não precisa depender de alguém preferir a redação.

Na pesquisa publicada pela equipe da DeepSeek, o DeepSeek-R1-Zero usou recompensas de precisão e formato baseadas em regras. O DeepSeek-R1 passou por um processo mais amplo, com várias etapas, combinando recompensas baseadas em regras para tarefas de raciocínio, recompensas baseadas em modelos para tarefas gerais e etapas de treinamento supervisionado. São configurações distintas. Artigo da DeepSeek sobre o R1

O limite está no verificador. Passar nos testes fornecidos não demonstra que o código atende a um requisito que ninguém explicitou. No exemplo do reembolso, verificar se uma transação autorizada aconteceu é diferente de avaliar se a resposta parece prestativa. Defina que evidência a recompensa deve representar antes de escolher o método de treinamento.

Fine-tuning com RLHF: o que uma pequena empresa pode usar?

Uma pequena empresa pode contratar treinamento gerenciado por preferências sem montar toda a estrutura do RLHF clássico. O resultado útil é um modelo que se comporte melhor nas tarefas reservadas para avaliação. Um serviço oferecer “fine-tuning” não significa que ele aceite pares de preferências, qualquer modelo ou qualquer conta.

Together AI: DPO gerenciado com pares de preferências

A Together AI oferece tarefas de treinamento com DPO usando training_method="dpo". Seu formato JSONL documentado, com um registro de treinamento em JSON por linha, contém input.messages, preferred_output e non_preferred_output. Cada saída contém uma mensagem do assistente. O par de respostas de suporte apresentado acima se encaixa diretamente nesses campos. Documentação da Together AI sobre treinamento por preferências

A documentação recomenda começar pelo SFT quando os exemplos diferem muito da distribuição de treinamento do modelo base. Na prática, seus dados definem o caminho: se você só tem uma resposta aprovada por prompt, comece com SFT. O treinamento por preferências precisa de alternativas preferidas e rejeitadas que permitam uma comparação relevante.

Fireworks AI: treinamento gerenciado por preferências

A Fireworks AI documenta treinamento gerenciado com DPO, usando datasets de preferências enviados pela interface, pela ferramenta de linha de comando ou pela API REST. Na interface, o caminho documentado é Training → New job → Direct Preference, seguido da seleção do modelo e do dataset. O modelo base escolhido precisa ter suporte a DPO. Documentação da Fireworks sobre treinamento por preferências

O guia especifica exemplos de treinamento de um único turno, com as saídas preferida e rejeitada como mensagens finais do assistente. Essa restrição importa para um agente cujas falhas aparecem ao longo de uma sequência de chamadas de ferramentas. Um formato de arquivo ser aceito não comprova que a configuração de treinamento capture o comportamento que você quer melhorar.

OpenAI: confira primeiro o acesso e a vida útil do modelo

A OpenAI documenta DPO baseado em texto, mas sua plataforma de fine-tuning está em processo de encerramento. Conforme verificado em 22 de outubro de 2026, ela está fechada para novos usuários. Clientes atuais elegíveis podem criar tarefas de treinamento até 6 de janeiro de 2027, a menos que o modelo base seja desativado antes. Isso faz dela uma opção para clientes existentes, não uma recomendação inicial para uma nova empresa. Documentação da OpenAI sobre DPO

Segundo a documentação, os modelos derivados de gpt-4.1-nano-2025-04-14 por fine-tuning serão desativados em 23 de outubro de 2026. As versões gpt-4.1-2025-04-14 e gpt-4.1-mini-2025-04-14, junto com seus modelos derivados por fine-tuning, serão desativadas em 14 de janeiro de 2027. Antes de investir em um dataset para esse caminho, confira se o modelo resultante continuará disponível durante o período de uso planejado. Cronograma de desativação da OpenAI

O que ainda exige uma estrutura de laboratório?

Os algoritmos não são exclusivos dos laboratórios; o que muda é a abrangência e o trabalho de operação. Montar um programa amplo de pós-treinamento para um modelo de fronteira significa assumir a coleta de feedback, o treinamento do modelo de recompensa, os ciclos de geração e otimização e as avaliações de muitas capacidades. Uma tarefa de DPO gerenciado faz uma atualização mais restrita em um modelo existente elegível.

Também não é verdade que todo aprendizado por reforço seja inacessível por API. A OpenAI documenta o reinforcement fine-tuning, ou RFT, que usa um avaliador para pontuar as saídas do o4-mini, sujeito às mesmas restrições de disponibilidade da plataforma. É uma opção gerenciada de treinamento orientado por recompensas, não uma prova de que seja possível reproduzir todo o método interno de um laboratório. Documentação da OpenAI sobre RFT

Para a maioria das pequenas empresas, o investimento inicial deve ir para os exemplos, os critérios e a avaliação. Operar um modelo de recompensa próprio só passa a ser uma decisão de engenharia à parte quando os métodos gerenciados não atendem à tarefa.

O que muda para quem desenvolve, opera ou compra soluções de IA?

Quem desenvolve: classifique a falha antes de escolher o método de treinamento. Se o assistente não tem a política de reembolso, forneça essa informação. Se ele vê a política, mas insiste em inventar reembolsos concluídos, melhore as instruções e os exemplos; depois, avalie se o treinamento por preferências ajuda. O guia completo de fine-tuning de LLMs cobre desde a preparação do dataset até a implantação.

Quem opera: assuma a responsabilidade por definir o que é uma resposta melhor. As equipes de cobrança, suporte e produto precisam concordar sobre quando encaminhar um caso e quais são os limites de atuação do assistente. Um fornecedor não resolve uma política interna indefinida simplesmente intensificando a otimização do modelo.

Quem compra: peça evidências nas tarefas que você precisa executar. “Treinado com RLHF” descreve parte de um processo. Pergunte quais comportamentos foram avaliados, quais falhas permanecem e se o sistema testado tinha as mesmas ferramentas e permissões previstas para a sua implantação. Se um avaliador de IA fornecer os rótulos de preferência, examine as divergências entre ele e as pessoas; o guia de LLM como juiz explica como tornar essas avaliações úteis.

Onde as promessas sobre RLHF passam do ponto?

Uma pontuação de preferência mais alta não é um certificado de veracidade, segurança ou competência. O modelo de recompensa aproxima os julgamentos com os quais foi treinado. Os avaliadores podem deixar passar um erro plausível ou favorecer uma linguagem tranquilizadora.

A pesquisa da Anthropic sobre bajulação encontrou situações em que as preferências humanas recompensam respostas alinhadas às opiniões do usuário, mesmo quando uma resposta verdadeira discordaria delas. Nesse contexto, bajulação significa concordância indevida. Um assistente de suporte que confirma com convicção que um reembolso foi feito pode agradar ao avaliador e, ao mesmo tempo, violar a exigência operacional. Estudo da Anthropic sobre bajulação

Há também o reward hacking: explorar uma fragilidade do sistema de pontuação. Um modelo pode aprender os sinais superficiais que agradam ao avaliador sem entregar o resultado pretendido. A pesquisa da DeepSeek discute explicitamente a dificuldade de obter sinais de recompensa confiáveis para tarefas abertas. Limitações publicadas pela DeepSeek

A resposta é medir o que importa separadamente da pontuação de treinamento. No exemplo de suporte, examine ações inventadas, encaminhamento correto dos casos e próximos passos úteis. Uma métrica de treinamento em alta é motivo para avaliar o checkpoint, não para colocá-lo em produção automaticamente.

O que fazer na próxima semana?

Avance quando houver uma falha de comportamento recorrente e mensurável, com julgamentos consistentes sobre o que torna uma resposta melhor. Espere se ainda não consegue definir ou avaliar essa diferença. Uma empresa cujo modelo atual já passa na avaliação não tem motivo para fazer fine-tuning só porque um fornecedor mencionou RLHF na apresentação comercial.

1. 1

   Reúna exemplos da falha recorrente

   Separe prompts representativos do fluxo de trabalho pretendido. Preserve a política, o contexto recuperado e os resultados das ferramentas que o assistente teria visto. Remova informações pessoais desnecessárias.

2. 2

   Escolha a evidência que pode corrigir a falha

   A falta de fatos atuais aponta para a recuperação de informações. Boas demonstrações podem servir de base para SFT. Alternativas classificadas de forma consistente podem servir de base para DPO. Um verificador confiável de resultados pode sustentar treinamento orientado por recompensas. Consulte o guia para decidir entre RAG e fine-tuning quando a falha misturar conhecimento e comportamento.

3. 3

   Defina a referência de comparação e confirme o acesso

   Primeiro, avalie o modelo existente com instruções melhores. Antes de montar o arquivo de treinamento, confira o modelo compatível, o formato dos dados, a elegibilidade da conta e o prazo de disponibilidade para uso em produção oferecidos pelo provedor.

4. 4

   Compare em tarefas reservadas para avaliação

   Mantenha os exemplos de avaliação fora do treinamento. Compare o modelo original e o ajustado nas mesmas tarefas, incluindo casos que exigem ações diferentes. Adote a mudança apenas se o comportamento desejado melhorar sem regressões inaceitáveis.

Uma entrega útil para a segunda-feira é um pequeno conjunto revisado de prompts, respostas candidatas e motivos explícitos para cada preferência. Ele vai mostrar se existe uma oportunidade de treinamento ou um problema de política e contexto que precisa ser resolvido primeiro.

Perguntas frequentes sobre RLHF

Como funciona o aprendizado por reforço?

Um agente experimenta ações, recebe recompensas e muda seu comportamento para obter recompensas melhores ao longo do tempo. No treinamento de modelos de linguagem, as ações produzem texto; um avaliador ou verificador fornece o feedback usado para atualizar o modelo.

O que significa RLHF e para que serve?

RLHF significa aprendizado por reforço com feedback humano. Seu objetivo é aproximar o comportamento do modelo dos julgamentos humanos, como decidir qual resposta é mais útil ou adequada para uma tarefa.

Os LLMs são treinados com aprendizado por reforço?

Alguns LLMs passam por aprendizado por reforço no pós-treinamento. Ele é uma parte de um possível método de treinamento, ao lado do pré-treinamento e do fine-tuning supervisionado. Não descreve todas as etapas nem todos os modelos.

O que é reward shaping no aprendizado por reforço?

Reward shaping acrescenta recompensas ao treinamento para orientar o aprendizado, como dar crédito por avanços intermediários úteis. Recompensas mal escolhidas podem mudar o comportamento que o sistema acaba favorecendo. Veja a pesquisa de Ng, Harada e Russell.

O ChatGPT usa aprendizado por reforço?

Sim. O relatório técnico do GPT-4, da OpenAI, descreve RLHF no pós-treinamento. Ele documenta aquele modelo, não o método completo de treinamento de todos os modelos hoje oferecidos pelo ChatGPT. Relatório técnico da OpenAI

Quais são os quatro elementos do aprendizado por reforço?

Além do agente e do ambiente, Sutton e Barto apontam uma política, uma função de recompensa, uma função de valor e, opcionalmente, um modelo do ambiente. Esses elementos definem o comportamento, a recompensa imediata, a recompensa futura esperada e as previsões sobre os resultados. Explicação no livro dos autores

Qual é o exemplo mais simples de aprendizado por reforço?

Um exemplo ilustrativo é um agente simulado que aprende um caminho por um labirinto. Ele experimenta movimentos e recebe uma recompensa ao chegar à saída. Com as tentativas sucessivas, aprende quais ações o ajudam a concluir o percurso.

Quem é o pai do aprendizado por reforço?

Atribuir a invenção a uma única pessoa é enganoso. Richard Sutton e Andrew Barto receberam juntos o reconhecimento da Association for Computing Machinery pelo desenvolvimento das bases conceituais e algorítmicas da área. Relato da universidade dos pesquisadores

Aprendizado por reforço é machine learning ou IA?

Os dois: aprendizado por reforço é um ramo do aprendizado de máquina, que faz parte da inteligência artificial. Ele aprende com sinais de recompensa, em vez de depender apenas de exemplos rotulados da saída desejada.

Assine a newsletter para receber guias práticos sobre como construir e avaliar sistemas de IA.