RLHF: aprendizaje por refuerzo con preferencias humanas

El aprendizaje por refuerzo con retroalimentación humana, o RLHF, puede hacer que un modelo dé respuestas más acordes con las preferencias de las personas sin garantizar que sean verdaderas. En el esquema clásico, las personas comparan 2 respuestas a un mismo prompt, un modelo de recompensa aprende esas preferencias y el aprendizaje por refuerzo ajusta el modelo que responde para obtener mejores puntuaciones. Para una empresa pequeña, la pregunta útil es si entrenar con preferencias puede corregir un problema de comportamiento recurrente que unas instrucciones más claras y un mejor contexto no han resuelto.

La recomendación práctica: empieza con una evaluación bien definida y un buen prompt. Considera el ajuste fino con preferencias cuando el modelo sabe realizar la tarea, pero elige una y otra vez el tono, el énfasis o la forma de responder equivocados. Si lo que falta es información actualizada de la empresa, recurre a la recuperación de información.

La investigación y la documentación de las API de servicios gestionados se verificaron el 22 de octubre de 2026. Los métodos de entrenamiento históricos que se describen a continuación se atribuyen a sus publicaciones; no permiten determinar qué métodos actuales utiliza un laboratorio si no los ha publicado.

Qué es RLHF: aprendizaje por refuerzo guiado por preferencias humanas

RLHF es la sigla inglesa de aprendizaje por refuerzo con retroalimentación humana. Aporta al entrenamiento una señal sobre lo que las personas esperan de una respuesta, más allá de que sus palabras se parezcan a textos que el modelo ya haya visto.

Piensa en un redactor que trabaja con un editor. El editor compara borradores y, al elegir unos sobre otros, va mostrando qué criterios aplica. Después, un sistema de puntuación entrenado aproxima las preferencias de ese editor y permite que el redactor practique a partir de sus valoraciones. El riesgo es que satisfacer al sistema de puntuación acabe alejándose de satisfacer al editor.

En un modelo de lenguaje de gran tamaño, o LLM, el proceso clásico funciona así:

1. Las personas comparan respuestas. Los evaluadores reciben el mismo prompt y ordenan las respuestas candidatas según instrucciones sobre cualidades como la utilidad, la corrección y el comportamiento adecuado.
2. Un modelo de recompensa aprende de esas clasificaciones. Es un modelo independiente que predice qué respuestas preferirían los evaluadores. Convierte las comparaciones en una puntuación que se puede usar durante el entrenamiento.
3. Se actualiza el modelo que responde. Genera más respuestas, recibe las puntuaciones del modelo de recompensa y ajusta sus parámetros para favorecer los comportamientos mejor puntuados.

Ese es el mecanismo que OpenAI describió para InstructGPT, su versión de GPT-3 orientada a seguir instrucciones. No hace falta que las personas puntúen manualmente cada respuesta generada durante la etapa de aprendizaje por refuerzo.

SFT y RLHF: aprender de ejemplos o de preferencias

El ajuste fino supervisado, o SFT, enseña mediante ejemplos de la respuesta deseada. RLHF añade valoraciones sobre qué respuestas son mejores. En el método de InstructGPT, primero se aplicó SFT para mostrar al modelo preentrenado cómo seguir instrucciones. Después, las clasificaciones humanas y el aprendizaje por refuerzo perfeccionaron ese comportamiento inicial.

La política es el modelo que decide qué generar. InstructGPT la actualizó mediante optimización proximal de políticas, o PPO, un algoritmo que mejora el comportamiento a partir de recompensas. Su entrenamiento también penalizaba las desviaciones excesivas respecto de un modelo de referencia. Ese objetivo regularizado se puede resumir así:

Objetivo del entrenamiento = recompensa de preferencia predicha menos una penalización por alejarse demasiado.

Es un resumen conceptual, no la ecuación completa del artículo. Esa restricción importa porque un sistema de puntuación aprendido es imperfecto: forzar una puntuación cada vez mayor no mejora indefinidamente la respuesta. Artículo de InstructGPT

Una vez terminado el entrenamiento, el modelo resultante puede atender solicitudes sin ejecutar todo ese ciclo para cada cliente. Un botón para valorar respuestas puede recoger una señal destinada a un entrenamiento futuro; pulsarlo no actualiza, por sí solo, los parámetros.

Un conjunto de datos de RLHF en la práctica: un prompt y dos respuestas

La etiqueta de preferencia debe reflejar la regla de tu empresa, no simplemente qué respuesta suena más amable. Veamos un caso ilustrativo de atención al cliente. Son ejemplos inventados, no resultados de una prueba con un modelo.

El asistente redacta respuestas para un equipo de facturación. No puede acceder a las cuentas ni emitir reembolsos. La política establece que los posibles cobros duplicados deben pasar por una revisión de facturación antes de que se prometa un reembolso.

Respuesta A, preferida:

Lamento el cobro duplicado. Desde este chat no puedo confirmar ni emitir un reembolso. Envía las referencias de las transacciones a través del formulario seguro de soporte para que el equipo de facturación pueda revisarlas y tramitar el reembolso si confirma que hubo un cobro duplicado.

Respuesta B, rechazada:

Lamento el cobro duplicado. Ya he reembolsado el pago adicional, así que no necesitas hacer nada más. Gracias por tu paciencia mientras lo resolvíamos.

El evaluador elige A porque respeta los límites de lo que el asistente puede hacer e indica un siguiente paso concreto. B tranquiliza al cliente, pero afirma haber realizado una transacción que el asistente no podía ejecutar.

El registro de entrenamiento conserva el prompt compartido, A como respuesta preferida y B como respuesta no preferida. En el RLHF clásico, muchas comparaciones de este tipo enseñan al modelo de recompensa qué debe puntuar. Con la optimización directa de preferencias, los pares entrenan de forma más directa al modelo que responde.

El trabajo decisivo está en los ejemplos que acompañan a ese par. Si todas las respuestas preferidas son más largas, habrás confundido el cumplimiento de la política con la extensión. Incluye una respuesta breve que cumpla las reglas frente a una promesa inventada y extensa. Incluye también casos en los que una herramienta autorizada sí haya completado el reembolso, para que el comportamiento deseado cambie según la evidencia. De lo contrario, podrías enseñar «responde siempre con reservas» cuando la regla era «afirma solo lo que respalde el registro».

Redacta una rúbrica que el evaluador pueda aplicar: ninguna acción inventada, ninguna promesa sin fundamento, el siguiente paso correcto y un tono adecuado. Si ambas respuestas incumplen esos criterios, corrige o excluye el par. Si los evaluadores discrepan, aclara la ambigüedad de la política antes de convertir ese desacuerdo en una etiqueta de entrenamiento.

Reserva un conjunto de evaluación independiente y, al dividir los datos, mantén juntas las variantes de un mismo caso de soporte. El modelo debe demostrar el comportamiento en situaciones desconocidas, no limitarse a reconocer un ejemplo de entrenamiento con pequeños cambios de redacción.

Por qué RLHF hizo más útiles los modelos de chat

RLHF ayudó a convertir capacidades lingüísticas latentes en comportamientos que las personas podían solicitar directamente. Predecir un texto plausible y responder de forma útil a una petición son objetivos de entrenamiento distintos. Los ejemplos de instrucciones y la retroalimentación sobre preferencias dieron a los desarrolladores una forma de trabajar sobre esa diferencia.

En el estudio de InstructGPT de 2022 de OpenAI, los evaluadores humanos prefirieron las respuestas de un modelo InstructGPT de 1.3 mil millones de parámetros a las de GPT-3, de 175 mil millones de parámetros, en la distribución de prompts del estudio. Los parámetros son los valores numéricos que un modelo aprende durante el entrenamiento. El resultado mostraba que entrenar para responder a la intención del usuario podía importar más que el tamaño en esa evaluación; no que el modelo más pequeño se hubiera vuelto más capaz en todos los ámbitos. Investigación de OpenAI

El informe técnico de GPT-4 de OpenAI también describe el uso de RLHF después del preentrenamiento para mejorar la alineación con la intención del usuario. Documenta el entrenamiento de un modelo concreto; no revela el método completo de todos los modelos disponibles hoy en ChatGPT. Informe de OpenAI sobre GPT-4

Para quien desarrolla un sistema, la consecuencia es clara: un modelo puede disponer de conocimientos útiles y, aun así, elegir una forma de responder poco útil. El entrenamiento puede mejorar esa elección. No sustituye el acceso al registro correcto del cliente que necesita un asistente de soporte.

DPO, retroalimentación de IA y recompensas verificables

Estos métodos modifican partes distintas del entrenamiento, de modo que pueden ser alternativas o complementarse. Conviene separar tres preguntas: quién aporta la valoración, qué se considera un buen resultado y cómo se utiliza esa señal para actualizar el modelo.

DPO frente a RLHF: cambia cómo se actualiza el modelo

La optimización directa de preferencias, o DPO, puede aprender del mismo tipo de pares sin entrenar un modelo de recompensa independiente. El método original actualiza el modelo para favorecer las respuestas preferidas frente a las rechazadas y respecto de un modelo de referencia. Evita el ciclo clásico de generar nuevas muestras y puntuarlas con un modelo de recompensa entrenado por separado durante el ajuste fino. Artículo original de DPO

Su atractivo práctico es que tiene menos componentes que gestionar. El problema de los datos sigue ahí: DPO no descubrirá que la respuesta B inventó un reembolso si los evaluadores la marcaron como ganadora.

La presentación de Llama 3 de Meta en 2024 enumeró conjuntamente SFT, muestreo por rechazo, PPO y DPO. El muestreo por rechazo consiste en generar candidatos y conservar los seleccionados. Esa combinación publicada sirve de advertencia: el entrenamiento posterior no es una secuencia universal en la que cada sigla sustituye a la anterior. Descripción del entrenamiento de Llama 3 de Meta

RLAIF frente a RLHF: cambia quién evalúa

El aprendizaje por refuerzo con retroalimentación de IA, o RLAIF, utiliza valoraciones generadas por modelos como señal de retroalimentación. Puede reducir el trabajo de etiquetado humano directo, pero las personas siguen siendo responsables de las instrucciones, los principios y los criterios de evaluación.

La publicación de Anthropic sobre Constitutional AI de 2022 describía una fase supervisada que utilizaba críticas del modelo y respuestas revisadas, seguida de otra en la que las comparaciones realizadas por IA entrenaban un modelo de preferencias para el aprendizaje por refuerzo. Su «constitución» era un conjunto de principios que guiaban el proceso. El método iba más allá de insertar un párrafo con normas en un prompt durante la inferencia. Investigación de Anthropic sobre Constitutional AI

El laboratorio también ha publicado cambios posteriores. El 8 de mayo de 2026, Anthropic describió un entrenamiento con documentos alineados con su constitución, ejemplos de chat y entornos diversos, y explicó por qué el entrenamiento de alineación centrado en el chat no había cubierto adecuadamente las situaciones con agentes. La lección para quien desarrolla estos sistemas es evaluar el comportamiento en el entorno donde se usará: una respuesta amable de soporte y un agente de facturación que utiliza herramientas plantean exigencias distintas. Teaching Claude Why

RLVR frente a RLHF: se verifica el resultado

El aprendizaje por refuerzo con recompensas verificables, o RLVR, encaja en tareas donde un verificador puede determinar si un intento ha tenido éxito. Una solución de código se puede ejecutar contra casos de prueba; una respuesta matemática se puede comparar con un resultado conocido. La recompensa no tiene por qué depender de que alguien prefiera la redacción.

En la investigación publicada por el equipo de DeepSeek, DeepSeek-R1-Zero utilizó recompensas basadas en reglas para la exactitud y el formato. DeepSeek-R1 siguió un proceso más amplio y de varias etapas, que combinaba recompensas basadas en reglas para tareas de razonamiento con recompensas basadas en modelos para tareas generales y etapas de entrenamiento supervisado. Son configuraciones distintas. Artículo de DeepSeek sobre R1

El límite lo marca el verificador. Superar las pruebas proporcionadas no demuestra que el código cumpla un requisito que nadie ha especificado. En el ejemplo del reembolso, comprobar si se realizó una transacción autorizada es distinto de valorar si una respuesta parece útil. Decide qué evidencia debe representar la recompensa antes de elegir un método de entrenamiento.

Fine tuning con preferencias: opciones para una empresa pequeña

Una empresa pequeña puede contratar entrenamiento gestionado con preferencias sin construir toda la infraestructura del RLHF clásico. El resultado útil es un modelo que se comporte mejor en las tareas reservadas para evaluación. Que un servicio ofrezca «fine tuning» no significa que admita pares de preferencias, todos los modelos o todas las cuentas.

Together AI: DPO gestionado con pares de preferencias

Together AI ofrece trabajos de DPO mediante training_method="dpo". Su formato JSONL documentado, con un registro de entrenamiento JSON por línea, contiene input.messages, preferred_output y non_preferred_output. Cada salida contiene un mensaje del asistente. El par del ejemplo de soporte encaja directamente en esos campos. Documentación de Together AI sobre ajuste con preferencias

Su documentación recomienda aplicar SFT primero cuando los ejemplos difieren sustancialmente de la distribución de entrenamiento del modelo base. En la práctica, el límite lo ponen tus datos: si solo tienes una respuesta aprobada por prompt, empieza con SFT. El ajuste con preferencias necesita alternativas preferidas y rechazadas cuya comparación sea significativa.

Fireworks AI: trabajos gestionados de entrenamiento con preferencias

Fireworks AI documenta entrenamiento gestionado con DPO a partir de conjuntos de preferencias que se cargan mediante su interfaz, su herramienta de línea de comandos o su API REST. En la interfaz, la ruta documentada es Training → New job → Direct Preference; después se seleccionan el modelo y el conjunto de datos. El modelo base elegido debe ser compatible con DPO. Documentación de Fireworks sobre entrenamiento con preferencias

La guía especifica ejemplos de entrenamiento de un solo turno, con las salidas preferida y rechazada como mensajes finales del asistente. Es un límite relevante para un agente cuyos fallos aparecen a lo largo de una secuencia de llamadas a herramientas. Que se acepte el formato del archivo no demuestra que el planteamiento del entrenamiento recoja el comportamiento que quieres mejorar.

OpenAI: comprueba el acceso y la vida útil del modelo

OpenAI documenta DPO basado en texto, pero está retirando su plataforma de ajuste fino. Según la verificación del 22 de octubre de 2026, ya no admite usuarios nuevos. Los clientes existentes que cumplan los requisitos pueden crear trabajos hasta el 6 de enero de 2027, salvo que su modelo base deje de estar disponible antes. Por tanto, es una vía para clientes actuales, no una recomendación de partida para una empresa nueva. Documentación de OpenAI sobre DPO

Los modelos ajustados a partir de gpt-4.1-nano-2025-04-14 dejarán de estar disponibles el 23 de octubre de 2026, según la documentación. Las versiones gpt-4.1-2025-04-14 y gpt-4.1-mini-2025-04-14, junto con sus modelos ajustados, dejarán de estar disponibles el 14 de enero de 2027. Antes de invertir en un conjunto de datos para esta vía, comprueba si el modelo resultante seguirá disponible durante el despliegue previsto. Calendario de retirada de modelos de OpenAI

¿Qué sigue requiriendo la escala de un laboratorio?

Los algoritmos no están reservados a los laboratorios; lo que cambia es el alcance y la carga operativa. Crear un programa amplio de entrenamiento posterior para un modelo de frontera implica hacerse cargo de la recogida de retroalimentación, el entrenamiento del modelo de recompensa, los ciclos de generación y optimización, y las evaluaciones de numerosas capacidades. Un trabajo de DPO gestionado realiza una actualización más acotada de un modelo existente compatible.

Tampoco todo el aprendizaje por refuerzo queda fuera del alcance de una API. OpenAI documenta el ajuste fino por refuerzo, o RFT, que utiliza un evaluador para puntuar las salidas de o4-mini, sujeto a las mismas restricciones de disponibilidad de la plataforma. Es una opción gestionada de entrenamiento guiado por recompensas, no una prueba de que se pueda reproducir todo el método interno de un laboratorio. Documentación de OpenAI sobre RFT

Para la mayoría de las empresas pequeñas, la inversión inicial debería centrarse en los ejemplos, la rúbrica y la evaluación. Operar un modelo de recompensa propio solo pasa a ser una decisión de ingeniería independiente cuando los métodos gestionados no cubren la tarea.

Qué implica para quienes desarrollan, operan y compran estos sistemas

Desarrollo: clasifica el fallo antes de elegir el método de entrenamiento. Si al asistente le falta la política de reembolsos, proporciónasela. Si dispone de ella, pero sigue inventando reembolsos completados, mejora las instrucciones y los ejemplos; después evalúa si el entrenamiento con preferencias ayuda. La guía general del proceso de ajuste fino de un LLM abarca desde la preparación del conjunto de datos hasta el despliegue.

Operaciones: asume la responsabilidad de definir qué es una respuesta mejor. Los equipos de facturación, soporte y producto deben acordar cuándo escalar un caso y qué puede hacer cada parte. Un proveedor no puede resolver una política interna pendiente a fuerza de optimizar más el modelo.

Compras: pide pruebas con las tareas que necesitas resolver. «Entrenado con RLHF» describe una parte del proceso. Pregunta qué comportamientos se evaluaron, qué fallos persisten y si el sistema probado tenía las mismas herramientas y permisos que tendrá tu despliegue. Si un evaluador de IA genera las etiquetas de preferencia, revisa sus desacuerdos con las personas; la guía de LLM como juez explica cómo hacer útiles esas evaluaciones.

¿Qué se exagera sobre RLHF?

Una puntuación de preferencia más alta no certifica la veracidad, la seguridad ni la capacidad del modelo. El modelo de recompensa aproxima las valoraciones con las que fue entrenado. Los evaluadores pueden pasar por alto un error plausible o favorecer un lenguaje tranquilizador.

La investigación de Anthropic sobre la complacencia encontró que las preferencias humanas pueden premiar respuestas que coinciden con las opiniones del usuario, incluso cuando una respuesta veraz las contradiría. La complacencia consiste en dar la razón indebidamente. Un asistente de soporte que confirme con seguridad que ya se ha realizado un reembolso podría agradar al evaluador y, al mismo tiempo, incumplir el requisito operativo. Estudio de Anthropic sobre la complacencia

También existe la explotación del sistema de recompensas, conocida como reward hacking: aprovechar una debilidad del sistema de puntuación. Un modelo podría aprender las señales superficiales que le gustan al evaluador sin producir el resultado deseado. La investigación de DeepSeek aborda expresamente la dificultad de obtener señales de recompensa fiables en tareas abiertas. Limitaciones publicadas por DeepSeek

La respuesta es medir por separado lo que te importa y la puntuación del entrenamiento. En el ejemplo de soporte, revisa las acciones inventadas, la derivación correcta de los casos y la utilidad de los siguientes pasos. Que una métrica de entrenamiento suba justifica evaluar ese punto de control, no desplegarlo automáticamente.

Qué hacer la próxima semana

Actúa cuando tengas un fallo de comportamiento repetido y medible, y criterios consistentes sobre qué respuestas son mejores. Espera si todavía no puedes definir o evaluar esa diferencia. Una empresa cuyo modelo actual ya supera su evaluación no tiene motivos para aplicar ajuste fino solo porque una presentación comercial mencione RLHF.

1. 1

   Recopila el fallo recurrente

   Reúne prompts representativos del flujo de trabajo previsto. Conserva la política, el contexto recuperado y los resultados de las herramientas que habría visto el asistente. Elimina los datos personales innecesarios.

2. 2

   Elige la evidencia que puede ayudar a corregirlo

   Si faltan datos actuales, conviene recuperar información. Los buenos ejemplos pueden servir para SFT. Las alternativas ordenadas con criterios consistentes pueden servir para DPO. Un verificador fiable de resultados puede servir para un entrenamiento guiado por recompensas. Consulta la guía para decidir entre RAG y ajuste fino cuando el fallo mezcle conocimiento y comportamiento.

3. 3

   Establece el punto de partida y comprueba el acceso

   Primero evalúa el modelo existente con instrucciones mejoradas. Antes de preparar un archivo de entrenamiento, comprueba qué modelo admite el proveedor, el formato de los datos, los requisitos de acceso de la cuenta y cuánto tiempo estará disponible para su uso.

4. 4

   Compara con tareas reservadas para evaluación

   Mantén los ejemplos de evaluación fuera del entrenamiento. Compara el modelo original y el ajustado en las mismas tareas, incluidos casos que exijan acciones distintas. Adopta el cambio solo si mejora el comportamiento previsto sin introducir retrocesos inaceptables.

Un resultado útil para el lunes es un pequeño conjunto revisado de prompts, respuestas candidatas y razones explícitas para cada preferencia. Eso te permitirá saber si tienes una oportunidad de entrenamiento o un problema de políticas y contexto que resolver primero.

Preguntas frecuentes sobre RLHF

¿Cómo funciona el aprendizaje por refuerzo?

Un sistema prueba acciones, recibe recompensas y cambia su comportamiento para obtener mejores recompensas con el tiempo. En el entrenamiento de modelos de lenguaje, las acciones producen texto; un evaluador o verificador aporta la retroalimentación que se utiliza para actualizar el modelo.

¿Qué significa RLHF y para qué sirve?

RLHF es la sigla inglesa de aprendizaje por refuerzo con retroalimentación humana. Su objetivo es que el comportamiento del modelo se ajuste mejor a las valoraciones humanas, por ejemplo, sobre qué respuesta resulta más útil o adecuada para una tarea.

¿Se entrenan los LLM con aprendizaje por refuerzo?

Algunos LLM reciben aprendizaje por refuerzo durante el entrenamiento posterior. Es una parte de un posible método de entrenamiento, junto con el preentrenamiento y el ajuste fino supervisado. No describe todas las etapas ni todos los modelos.

¿Qué es el moldeado de recompensas o reward shaping en el aprendizaje por refuerzo?

El moldeado de recompensas añade recompensas al entrenamiento para orientar el aprendizaje, por ejemplo, al reconocer avances intermedios útiles. Si se eligen mal, esas recompensas pueden cambiar el comportamiento que el sistema acaba favoreciendo. Consulta la investigación de Ng, Harada y Russell.

¿ChatGPT utiliza aprendizaje por refuerzo?

Sí. El informe técnico de GPT-4 de OpenAI describe el uso de RLHF en el entrenamiento posterior. Documenta ese modelo, no el método completo de entrenamiento de todos los modelos que ahora se ofrecen a través de ChatGPT. Informe técnico de OpenAI

¿Cuáles son los cuatro elementos del aprendizaje por refuerzo?

Además del agente y el entorno, Sutton y Barto señalan una política, una función de recompensa, una función de valor y, opcionalmente, un modelo del entorno. Estos elementos definen el comportamiento, la recompensa inmediata, la recompensa futura esperada y las predicciones sobre los resultados. Explicación en su libro de texto

¿Cuál es el ejemplo más sencillo de aprendizaje por refuerzo?

Un ejemplo ilustrativo es un agente simulado que aprende a recorrer un laberinto. Prueba movimientos y recibe una recompensa al llegar a la salida. Tras varios intentos, aprende qué acciones le ayudan a completar el recorrido.

¿Quién es el padre del aprendizaje por refuerzo?

Atribuirlo a un único inventor resulta engañoso. Richard Sutton y Andrew Barto recibieron conjuntamente el reconocimiento de la Association for Computing Machinery por desarrollar las bases conceptuales y algorítmicas de este campo. Noticia de su universidad

¿El aprendizaje por refuerzo es aprendizaje automático o IA?

Ambas cosas: el aprendizaje por refuerzo es una rama del aprendizaje automático, que a su vez forma parte de la inteligencia artificial. Aprende a partir de señales de recompensa, no solo de ejemplos etiquetados de la salida deseada.

Suscríbete al boletín para recibir guías prácticas sobre cómo desarrollar y evaluar sistemas de IA.