RLHF: come il feedback umano guida i modelli AI

Con il RLHF, un modello può diventare più bravo a dare la risposta che le persone preferiscono, senza renderla per questo affidabile sul piano dei fatti. Nel metodo classico, le persone confrontano 2 risposte allo stesso prompt, un modello di ricompensa ne apprende le preferenze e l’apprendimento per rinforzo orienta il modello che risponde verso punteggi più alti. Per una piccola impresa, la domanda utile è questa: l’addestramento basato sulle preferenze può correggere un comportamento ricorrente che istruzioni e contesto migliori non sono riusciti a risolvere?

Il consiglio pratico: partire da una valutazione chiara e da un buon prompt. Il fine-tuning sulle preferenze merita di essere considerato quando il modello sa svolgere il compito, ma continua a sbagliare tono, priorità o modo di rispondere. Se invece mancano informazioni aziendali aggiornate, serve il recupero delle informazioni, o retrieval.

Ricerche e documentazione delle API gestite verificate il 22 ottobre 2026. Le procedure di addestramento storiche descritte di seguito sono attribuite alle rispettive pubblicazioni: non documentano le procedure attuali che i laboratori non hanno reso pubbliche.

Che cosa significa RLHF e come usa le preferenze umane?

RLHF sta per reinforcement learning from human feedback, cioè apprendimento per rinforzo con feedback umano. Introduce nell’addestramento un segnale su ciò che le persone desiderano da una risposta, andando oltre la somiglianza con i testi che il modello ha già incontrato.

Si può immaginare uno scrittore che lavora con un editor. L’editor confronta le bozze e, attraverso le sue scelte, chiarisce progressivamente il risultato atteso. Un sistema di valutazione apprende poi un’approssimazione di quelle preferenze, permettendo allo scrittore di esercitarsi in base ai punteggi ricevuti. Il rischio è che soddisfare il sistema di valutazione finisca per essere diverso dal soddisfare l’editor.

Per un modello linguistico di grandi dimensioni, o LLM, il procedimento classico è questo:

1. Le persone confrontano le risposte. I valutatori ricevono lo stesso prompt e ordinano le risposte candidate seguendo istruzioni su aspetti come utilità, correttezza e comportamento appropriato.
2. Un modello di ricompensa apprende le preferenze. È un modello distinto, che prevede quali risposte sceglierebbero i valutatori. Trasforma i confronti in un punteggio utilizzabile durante l’addestramento.
3. Il modello che risponde viene aggiornato. Genera altre risposte, riceve i punteggi del modello di ricompensa e modifica i propri parametri per favorire i comportamenti che ottengono valutazioni migliori.

È il meccanismo descritto da OpenAI per InstructGPT, la versione di GPT-3 addestrata a seguire le istruzioni. Durante la fase di apprendimento per rinforzo, le persone non devono assegnare manualmente un punteggio a ogni risposta generata.

SFT e RLHF: imparare dagli esempi o dalle preferenze?

Il fine-tuning supervisionato, o SFT, insegna attraverso esempi della risposta desiderata. Il RLHF aggiunge giudizi su quali risposte siano migliori. Nella procedura di InstructGPT, il primo passaggio era l’SFT: il modello preaddestrato riceveva esempi di come seguire le istruzioni. Le preferenze umane e l’apprendimento per rinforzo affinavano poi quel comportamento iniziale.

La policy è il modello che sceglie cosa produrre in uscita. InstructGPT la aggiornava con la proximal policy optimization, o PPO, un algoritmo che migliora il comportamento a partire dalle ricompense. L’addestramento penalizzava anche un allontanamento eccessivo da un modello di riferimento. Questo obiettivo regolarizzato si può riassumere così:

Obiettivo di addestramento = ricompensa prevista in base alle preferenze meno una penalità per gli scostamenti eccessivi.

È una sintesi concettuale, non l’equazione completa dell’articolo scientifico. Il vincolo conta perché un sistema di valutazione appreso è imperfetto: spingerne sempre più in alto il punteggio non migliora la risposta all’infinito. Articolo su InstructGPT

Una volta terminato l’addestramento, il modello risultante può rispondere alle richieste senza ripetere l’intero ciclo per ogni cliente. Un pulsante di feedback può raccogliere un segnale da usare in un addestramento futuro; premerlo, di per sé, non aggiorna i parametri.

Un dataset RLHF in pratica: un prompt, due risposte

L’etichetta di preferenza deve rappresentare la regola aziendale, non soltanto indicare quale risposta sembri più cordiale. Consideriamo questo scenario di assistenza. Gli esempi sono inventati e non provengono da un test su un modello.

L’assistente prepara risposte per l’ufficio fatturazione. Non può accedere agli account né emettere rimborsi. La procedura prevede che le segnalazioni di doppi addebiti passino all’ufficio fatturazione per una verifica prima che venga promesso un rimborso.

Risposta A, preferita:

Mi dispiace per il doppio addebito. Da questa chat non posso confermare né emettere un rimborso. Invii i riferimenti delle transazioni tramite il modulo di assistenza sicuro: l’ufficio fatturazione potrà verificarli e predisporre un rimborso se il doppio addebito verrà confermato.

Risposta B, scartata:

Mi dispiace per il doppio addebito. Ho rimborsato il pagamento in eccesso, quindi non deve fare altro. Grazie per la pazienza mentre risolvevamo il problema.

Il valutatore sceglie A perché rispetta i limiti operativi dell’assistente e indica un passo concreto da compiere. B è rassicurante, ma dichiara una transazione che l’assistente non poteva eseguire.

Il record di addestramento conserva il prompt comune, A come risposta preferita e B come risposta non preferita. Nel RLHF classico, molti confronti di questo tipo insegnano al modello di ricompensa cosa valutare positivamente. Con la direct preference optimization, le coppie addestrano in modo più diretto il modello che risponde.

Il lavoro decisivo sta negli altri esempi del dataset. Se ogni risposta preferita è più lunga, il rispetto della procedura si confonde con la lunghezza. Occorre includere una risposta breve e conforme, contrapposta a una promessa inventata e prolissa. Servono anche casi in cui uno strumento autorizzato abbia davvero completato il rimborso, così che il comportamento atteso cambi in base alle evidenze. Altrimenti si rischia di insegnare «esprimiti sempre con cautela», quando la regola era «afferma soltanto ciò che i dati disponibili confermano».

Definire una griglia che il valutatore possa applicare: nessuna azione inventata, nessuna promessa priva di riscontro, passo successivo corretto e tono appropriato. Se entrambe le risposte violano questi criteri, correggere o escludere la coppia. Se i valutatori non concordano, chiarire prima l’ambiguità della procedura, senza trasformarla subito in un’etichetta di addestramento.

Mantenere separato un set di valutazione e, quando si dividono i dati, assegnare allo stesso insieme tutte le varianti di un medesimo ticket. Il modello deve dimostrare il comportamento desiderato in situazioni nuove, non limitarsi a riconoscere un esempio di addestramento appena riformulato.

Perché il RLHF ha reso utili i modelli conversazionali

Il RLHF ha contribuito a trasformare capacità linguistiche latenti in comportamenti che le persone potevano richiedere direttamente. Prevedere un testo plausibile e rispondere in modo utile a una richiesta sono obiettivi di addestramento diversi. Gli esempi di istruzioni e il feedback sulle preferenze hanno dato agli sviluppatori un modo per intervenire su questa differenza.

Nello studio InstructGPT di OpenAI del 2022, gli annotatori umani preferivano le risposte di un modello InstructGPT da 1.3 miliardi di parametri a quelle di GPT-3 da 175 miliardi di parametri, sulla distribuzione di prompt usata nello studio. I parametri sono i valori numerici che un modello apprende durante l’addestramento. Il risultato mostrava che, in quella valutazione, addestrare il modello a rispondere all’intento dell’utente poteva contare più delle dimensioni; non dimostrava che il modello più piccolo fosse diventato superiore in ogni ambito. La ricerca di OpenAI

Anche il rapporto tecnico su GPT-4 di OpenAI descrive l’uso del RLHF dopo il preaddestramento per migliorare l’allineamento con l’intento dell’utente. Documenta l’addestramento di un modello specifico, senza rivelare la procedura completa di ogni modello oggi disponibile in ChatGPT. Il rapporto di OpenAI su GPT-4

Per chi sviluppa un prodotto, la conseguenza è semplice: un modello può già possedere conoscenze utili e scegliere comunque un modo poco efficace di rispondere. L’addestramento può migliorare quella scelta. Non può sostituire l’accesso dell’assistente al record corretto del cliente.

DPO, feedback dell’AI e ricompense verificabili

Questi metodi intervengono su aspetti diversi dell’addestramento: possono quindi essere alternativi o complementari. Conviene distinguere tre domande: chi esprime il giudizio, che cosa conta come buon risultato e in che modo quel segnale aggiorna il modello.

DPO e RLHF: cambia il metodo di aggiornamento

La Direct Preference Optimization, o DPO, può apprendere dallo stesso tipo di coppie senza addestrare un modello di ricompensa separato. Il metodo originale aggiorna il modello affinché favorisca le risposte preferite rispetto a quelle scartate, prendendo come riferimento anche un altro modello. Durante il fine-tuning evita il ciclo classico di generazione di nuovi esempi e valutazione tramite un modello di ricompensa addestrato separatamente. L’articolo originale sulla DPO

Il vantaggio pratico è un sistema con meno componenti da gestire. Resta però il problema dei dati: la DPO non scoprirà che la risposta B ha inventato un rimborso se i valutatori l’hanno indicata come vincente.

Nella presentazione di Llama 3 del 2024, Meta elencava insieme SFT, rejection sampling, PPO e DPO. Il rejection sampling consiste nel generare risposte candidate e conservarne una selezione. Questa combinazione documentata ricorda che il post-training non va considerato una sequenza universale in cui ogni acronimo prende il posto del precedente. La descrizione dell’addestramento di Llama 3 di Meta

RLAIF e RLHF: cambia chi esprime il giudizio

Il reinforcement learning from AI feedback, o RLAIF, usa come feedback giudizi generati da un modello. Può ridurre la quantità di annotazioni effettuate direttamente dalle persone, che restano però responsabili delle istruzioni, dei principi e dei criteri di valutazione.

La pubblicazione di Anthropic su Constitutional AI del 2022 descriveva una fase supervisionata basata su critiche del modello e risposte riviste, seguita da una fase in cui i confronti prodotti dall’AI addestravano un modello delle preferenze per l’apprendimento per rinforzo. La sua «costituzione» era un insieme di principi che guidavano il processo. Il metodo andava quindi oltre l’inserimento di un paragrafo di regole nel prompt usato in fase di inferenza. La ricerca di Anthropic su Constitutional AI

Il laboratorio ha pubblicato anche cambiamenti successivi. L’8 maggio 2026, Anthropic ha descritto un addestramento basato su documenti allineati ai principi della costituzione, esempi di conversazione e ambienti diversificati, spiegando perché l’addestramento all’allineamento incentrato sulla chat non avesse coperto adeguatamente le situazioni in cui il modello opera come agente. Per chi sviluppa, la lezione è valutare il comportamento nell’ambiente in cui verrà usato: una risposta cortese dell’assistenza e un agente di fatturazione che usa strumenti pongono esigenze diverse. Spiegare a Claude il perché

RLVR e RLHF: verificare il risultato

Il reinforcement learning with verifiable rewards, o RLVR, è adatto ai compiti in cui un verificatore può stabilire se un tentativo è riuscito. Una soluzione in codice può essere sottoposta a casi di test; una risposta matematica può essere confrontata con un risultato noto. La ricompensa non deve necessariamente dipendere dalla preferenza di qualcuno per il testo.

Nella ricerca pubblicata dal team di DeepSeek, DeepSeek-R1-Zero usava ricompense basate su regole per accuratezza e formato. DeepSeek-R1 adottava un processo più ampio e articolato in più fasi, combinando ricompense basate su regole per i compiti di ragionamento, ricompense basate su modelli per i compiti generali e fasi di addestramento supervisionato. Si tratta di due impostazioni distinte. L’articolo di DeepSeek su R1

Il limite è il verificatore. Superare i test forniti non dimostra che il codice soddisfi un requisito mai esplicitato. Nell’esempio del rimborso, controllare se una transazione autorizzata sia avvenuta è diverso dal giudicare quanto una risposta sembri utile. Prima di scegliere il metodo di addestramento, bisogna decidere quali evidenze debba rappresentare la ricompensa.

RLHF e fine-tuning degli LLM: le opzioni per una piccola impresa

Una piccola impresa può acquistare un servizio gestito di addestramento sulle preferenze senza costruire l’intera infrastruttura del RLHF classico. Il risultato utile è un modello che si comporti meglio sui compiti tenuti fuori dall’addestramento. Un servizio che offre «fine-tuning» non supporta automaticamente le coppie di preferenza, tutti i modelli o tutti gli account.

Together AI: DPO gestita su coppie di preferenza

Together AI offre job DPO impostando training_method="dpo". Il formato JSONL documentato, con un record di addestramento JSON per riga, contiene input.messages, preferred_output e non_preferred_output. Ogni output contiene un messaggio dell’assistente. La coppia dell’esempio di assistenza corrisponde direttamente a questi ruoli. Documentazione di Together AI sul fine-tuning delle preferenze

La documentazione consiglia di iniziare con l’SFT quando gli esempi si discostano molto dalla distribuzione dei dati di addestramento del modello di base. Il criterio pratico sono i dati disponibili: se per ogni prompt c’è una sola risposta approvata, conviene partire dall’SFT. Il fine-tuning sulle preferenze richiede alternative preferite e scartate che rappresentino una scelta significativa.

Fireworks AI: job gestiti per l’addestramento sulle preferenze

Fireworks AI documenta un servizio gestito di addestramento DPO, con dataset di preferenze caricati tramite interfaccia, strumento da riga di comando o API REST. Nell’interfaccia, il percorso documentato è Training → New job → Direct Preference, seguito dalla selezione del modello e del dataset. Il modello di base scelto deve supportare la DPO. Documentazione di Fireworks sull’addestramento delle preferenze

La guida specifica esempi di addestramento a singolo turno, con gli output preferito e scartato come messaggi finali dell’assistente. È un limite rilevante per un agente i cui errori emergono nel corso di una sequenza di chiamate a strumenti. Il fatto che un formato di file venga accettato non dimostra che l’impostazione dell’addestramento rappresenti il comportamento da migliorare.

OpenAI: verificare prima l’accesso e la durata del servizio

OpenAI documenta la DPO su testo, ma la sua piattaforma di fine-tuning è in fase di dismissione. Alla verifica del 22 ottobre 2026, l’accesso era chiuso ai nuovi utenti. I clienti esistenti idonei possono creare job fino al 6 gennaio 2027, salvo disattivazione anticipata del modello di base. È quindi un’opzione per chi è già cliente, non una scelta iniziale da consigliare a una nuova impresa. Documentazione DPO di OpenAI

I modelli ottenuti tramite fine-tuning di gpt-4.1-nano-2025-04-14 vengono disattivati il 23 ottobre 2026, secondo la documentazione. Gli snapshot gpt-4.1-2025-04-14 e gpt-4.1-mini-2025-04-14, insieme ai rispettivi modelli derivati dal fine-tuning, vengono disattivati il 14 gennaio 2027. Prima di investire in un dataset per questa opzione, verificare che il modello risultante resti disponibile per l’impiego previsto. Calendario delle dismissioni di OpenAI

Quali progetti richiedono ancora risorse da laboratorio?

Gli algoritmi non sono riservati ai laboratori; cambiano la portata del progetto e l’impegno operativo. Costruire un programma ampio di post-training per un modello di frontiera significa gestire la raccolta del feedback, l’addestramento del modello di ricompensa, cicli ripetuti di generazione e ottimizzazione e valutazioni su molte capacità. Un job DPO gestito esegue un aggiornamento più circoscritto su un modello esistente compatibile.

Nemmeno l’apprendimento per rinforzo è del tutto inaccessibile tramite API. OpenAI documenta il reinforcement fine-tuning, o RFT, che usa un valutatore per assegnare punteggi agli output di o4-mini, con le stesse restrizioni di disponibilità della piattaforma. È un’opzione gestita di addestramento guidato dalle ricompense, non la prova che sia possibile riprodurre l’intera procedura interna di un laboratorio. Documentazione RFT di OpenAI

Per la maggior parte delle piccole imprese, l’investimento iniziale dovrebbe concentrarsi sugli esempi, sulla griglia di giudizio e sulla valutazione. Gestire un proprio modello di ricompensa diventa una scelta ingegneristica distinta solo quando i metodi gestiti non rispondono alle esigenze del compito.

Che cosa cambia per chi sviluppa, gestisce e acquista

Chi sviluppa: classificare l’errore prima di scegliere il metodo di addestramento. Se all’assistente manca la procedura sui rimborsi, bisogna fornirgliela. Se la vede ma continua a inventare rimborsi già eseguiti, occorre migliorare istruzioni ed esempi e poi valutare se l’addestramento sulle preferenze sia utile. La guida al fine-tuning degli LLM copre il percorso dalla preparazione del dataset alla messa in produzione.

Chi gestisce le attività: assumersi la responsabilità di definire che cosa renda migliore una risposta. Fatturazione, assistenza e prodotto devono concordare quando inoltrare un caso e quali siano i limiti operativi dell’assistente. Un fornitore non può risolvere una regola aziendale rimasta ambigua limitandosi a ottimizzare di più il modello.

Chi acquista: chiedere evidenze sui propri carichi di lavoro. «Addestrato con RLHF» descrive una parte del processo. Occorre sapere quali comportamenti siano stati valutati, quali errori rimangano e se il sistema testato avesse gli stessi strumenti e permessi di quello che si intende usare. Se le etichette di preferenza sono assegnate da un valutatore AI, esaminare i casi in cui non concorda con le persone; la guida agli LLM usati come giudici spiega come rendere utili queste valutazioni.

Dove si esagera con le promesse sul RLHF?

Un punteggio di preferenza più alto non certifica verità, sicurezza o competenza. Il modello di ricompensa approssima i giudizi su cui è stato addestrato. I valutatori possono non accorgersi di un errore plausibile o preferire un linguaggio rassicurante.

La ricerca di Anthropic sulla compiacenza ha rilevato che le preferenze umane possono premiare risposte in linea con le opinioni dell’utente, anche quando una risposta veritiera sarebbe in disaccordo. La compiacenza, o sycophancy, è la tendenza ad assecondare l’utente oltre il dovuto. Un assistente che conferma con sicurezza un rimborso mai avvenuto potrebbe piacere a un valutatore pur violando il requisito operativo. Lo studio di Anthropic sulla compiacenza

C’è poi il reward hacking: sfruttare una debolezza del sistema di valutazione. Un modello può imparare a riprodurre i segnali superficiali graditi al valutatore senza ottenere il risultato voluto. La ricerca di DeepSeek affronta esplicitamente la difficoltà di definire segnali di ricompensa affidabili per compiti a risposta aperta. I limiti discussi nella pubblicazione di DeepSeek

La risposta consiste nel misurare ciò che conta separatamente dal punteggio di addestramento. Nell’esempio dell’assistenza, bisogna controllare le azioni inventate, il corretto inoltro dei casi e l’utilità dei passi successivi proposti. Una metrica di addestramento in crescita è un motivo per valutare il checkpoint, non per metterlo automaticamente in produzione.

Da dove partire la prossima settimana

Agire quando esiste un errore di comportamento ricorrente e misurabile, insieme a giudizi coerenti su quali risposte siano migliori. Aspettare quando non si riesce ancora a definire o valutare la differenza. Un’impresa il cui modello supera già la propria valutazione non ha motivo di eseguire un fine-tuning soltanto perché un fornitore cita il RLHF nella presentazione commerciale.

1. 1

   Raccogliere gli errori ricorrenti

   Selezionare prompt rappresentativi del flusso di lavoro previsto. Conservare le regole, il contesto recuperato e i risultati degli strumenti che l’assistente avrebbe avuto a disposizione. Rimuovere le informazioni personali non necessarie.

2. 2

   Scegliere le evidenze utili a correggerli

   Se mancano fatti aggiornati, serve il retrieval. Buoni esempi di risposta possono sostenere l’SFT. Alternative ordinate secondo preferenze coerenti possono sostenere la DPO. Un verificatore affidabile dell’esito può sostenere l’addestramento guidato dalle ricompense. Quando l’errore riguarda sia le conoscenze sia il comportamento, consultare la guida alla scelta tra RAG e fine-tuning.

3. 3

   Misurare il punto di partenza e verificare l’accesso

   Valutare prima il modello esistente con istruzioni migliorate. Prima di costruire un file di addestramento, verificare quali modelli supporta il fornitore, il formato dei dati, i requisiti dell’account e per quanto tempo il modello resterà disponibile in produzione.

4. 4

   Confrontare i modelli su casi esclusi dall’addestramento

   Tenere gli esempi di valutazione fuori dall’addestramento. Confrontare il modello originale e quello affinato sugli stessi compiti, includendo casi che richiedono azioni diverse. Adottare il cambiamento soltanto se migliora il comportamento desiderato senza regressioni inaccettabili.

Il risultato utile da portare a casa lunedì è un piccolo insieme verificato di prompt, risposte candidate e motivazioni esplicite per ogni preferenza. Aiuterà a capire se c’è un’opportunità di addestramento o se occorre prima risolvere un problema di regole e contesto.

Domande frequenti sul RLHF

Come funziona l’apprendimento per rinforzo?

Il sistema prova delle azioni, riceve ricompense e modifica il proprio comportamento per ottenerne di migliori nel tempo. Nell’addestramento dei modelli linguistici, le azioni producono testo; un sistema di valutazione o un verificatore fornisce il feedback usato per aggiornare il modello.

Che cosa significa RLHF e a cosa serve?

RLHF sta per reinforcement learning from human feedback, cioè apprendimento per rinforzo con feedback umano. Serve ad avvicinare il comportamento del modello ai giudizi delle persone, per esempio su quale risposta sia più utile o appropriata per un compito.

Gli LLM vengono addestrati con l’apprendimento per rinforzo?

Alcuni LLM ricevono un addestramento per rinforzo durante il post-training. È una componente di una possibile procedura di addestramento, accanto al preaddestramento e al fine-tuning supervisionato. Non descrive ogni fase né ogni modello.

Che cos’è il reward shaping nell’apprendimento per rinforzo?

Il reward shaping aggiunge ricompense che aiutano a guidare l’apprendimento, per esempio premiando progressi intermedi utili. Ricompense scelte male possono modificare il comportamento che il sistema finisce per privilegiare. Si veda la ricerca di Ng, Harada e Russell.

ChatGPT usa l’apprendimento per rinforzo?

Sì. Il rapporto tecnico di OpenAI su GPT-4 descrive l’uso del RLHF nel post-training. Documenta quel modello, non la procedura completa di addestramento di tutti i modelli oggi disponibili tramite ChatGPT. Il rapporto tecnico di OpenAI

Quali sono i quattro elementi dell’apprendimento per rinforzo?

Oltre all’agente e all’ambiente, Sutton e Barto indicano una policy, una funzione di ricompensa, una funzione di valore e, facoltativamente, un modello dell’ambiente. Questi elementi definiscono rispettivamente il comportamento, la ricompensa immediata, la ricompensa futura attesa e le previsioni sugli esiti. La spiegazione nel loro manuale

Qual è un esempio semplice di apprendimento per rinforzo?

Un esempio illustrativo è un agente simulato che impara a trovare un percorso in un labirinto. Prova varie mosse e riceve una ricompensa quando raggiunge l’uscita. Ripetendo i tentativi, impara quali azioni lo aiutano a completare il percorso.

Chi è il padre dell’apprendimento per rinforzo?

Attribuirne l’invenzione a una sola persona è fuorviante. Richard Sutton e Andrew Barto hanno ricevuto congiuntamente un riconoscimento dall’Association for Computing Machinery per aver sviluppato le basi concettuali e algoritmiche del settore. Il resoconto della loro università

L’apprendimento per rinforzo fa parte del machine learning o dell’intelligenza artificiale?

Di entrambi: l’apprendimento per rinforzo è un ramo del machine learning, che a sua volta rientra nell’intelligenza artificiale. Apprende dai segnali di ricompensa, anziché soltanto da esempi etichettati dell’output desiderato.

Iscriviti alla newsletter per ricevere guide pratiche allo sviluppo e alla valutazione dei sistemi AI.