LLM observability: quanto costa monitorare l’AI nel 2026

Per gli agenti AI ad alto rischio, la LLM observability sta diventando un secondo carico di inferenza, non una dashboard gratuita. OpenAI stima ora che il monitoraggio esteso consumi circa il 20% della capacità di calcolo impiegata per l’inferenza sottoposta a controllo. La sicurezza smette così di essere una promessa invisibile e diventa una voce di budget capace di cambiare l’economia dei modelli, l’architettura dei sistemi e persino la decisione di procedere con il lancio.

Risposta breve: prevedere uno scenario con il 20% di compute in più

Il dato più utile per pianificare il 2026 è 1.2 volte il budget dell’inferenza monitorata. Nell’informativa del 18 agosto, OpenAI quantifica l’attuale overhead del monitoraggio in circa il 20% del compute relativo all’inferenza controllata, precisando però che il costo cambia sensibilmente in base al carico di training e valutazione.

Non è un prezzo universale di mercato. Non è il costo di una licenza software. E non equivale al 20% dell’intero programma AI di un’azienda. È un benchmark diretto del compute aggiuntivo che OpenAI utilizza per monitorare i carichi coperti dai propri sistemi interni.

La conseguenza operativa è semplice: se un agente può scrivere codice, spostare denaro, accedere a dati di produzione o collegarsi a Internet, il business case va verificato includendo un margine del 20% per il monitoraggio, prima di considerare chiusi i conti. Un assistente di sola lettura che prepara testi interni non richiede lo stesso apparato di un agente di sicurezza autonomo.

Che cos’è davvero la LLM observability

In questo contesto, monitorare un modello AI significa osservare il comportamento di un agente mentre lavora, compresa la sequenza di azioni che conduce al risultato. È qualcosa di più della normale osservabilità, che in genere registra latenza, errori, consumo di token e costi dopo una richiesta.

È utile immaginarla come il controllo di sicurezza in aeroporto. Uno scanner rapido verifica tutto. Solo i casi sospetti passano a un esame più lento e sofisticato. Se il sistema non riesce a escludere un rischio serio, viene coinvolta una persona.

La nuova architettura di OpenAI segue proprio questo schema:

1. Un rilevatore controlla ogni token campionato. OpenAI lo definisce activation classifier: un rilevatore che esamina l’attività interna del modello durante la generazione.
2. I potenziali rischi vengono sottoposti a escalation. Investigatori più sofisticati e onerosi in termini di compute analizzano le azioni eseguite con i tool, il ragionamento disponibile e l’intera sequenza delle attività.
3. Il sistema cerca rischi concreti. Gli obiettivi pubblicati comprendono accessi non autorizzati, furto di dati, comportamenti distruttivi e tentativi di aggirare le protezioni.
4. Resta un ciclo di risposta umano. OpenAI punta a generare un avviso entro 30 minuti dall’emersione di un’attività preoccupante. Una probabile violazione critica dei confini operativi allerta i team di safety, sicurezza e ricerca. Se entro 30 minuti non riescono a dimostrare che si tratta di un falso positivo, è prevista la sospensione dell’attività.

La struttura a cascata è importante perché affidare ogni interazione all’investigatore più costoso sprecherebbe capacità di calcolo. Il sistema applica su larga scala un controllo più leggero e concentra poi il ragionamento più oneroso dove il rischio atteso è maggiore.

OpenAI impone questo monitoraggio a tutte le attività di training con reinforcement learning e alle valutazioni che utilizzano tool su modelli con capacità pari o superiori a Sol. Il reinforcement learning è la fase per tentativi ed errori in cui il modello riceve una ricompensa quando migliora il proprio comportamento. Dopo aver stabilito che Astra poteva disporre di capacità cyber critiche, OpenAI ha esteso il monitoraggio a tutta l’inferenza di Astra con tool, non soltanto a training e valutazioni.

È cambiata anche l’ampiezza del perimetro. OpenAI afferma che il monitoraggio precedente si concentrava sui deployment frontier interni e sulle esecuzioni frontier di reinforcement learning, non su ogni attività di inferenza o training che impiegasse tool. La nuova configurazione copre una quota maggiore del lavoro e, di conseguenza, consuma più compute.

I costi del monitoraggio dei modelli AI che spesso sfuggono ai budget

Il 20% è un moltiplicatore applicato all’inferenza monitorata. Se il costo complessivo del compute resta proporzionale, la formula di pianificazione è:

budget dell’inferenza monitorata × 0.20 = accantonamento per il monitoraggio

Si tratta di scenari aritmetici, non dei prezzi di OpenAI. Un’azienda che usa un monitor meno costoso, campiona soltanto una parte del traffico o sottopone a escalation pochi casi potrebbe restare sotto questo rapporto. Un carico che invia lunghe traiettorie a un investigatore potente potrebbe invece superarlo. OpenAI dichiara esplicitamente che il costo varia in misura sostanziale.

La spesa software va calcolata a parte. Datadog Agent Observability propone un piano gratuito fino a 40,000 span LLM e 15 giorni di conservazione, seguito da un piano Pro da $160 al mese fino a 100,000 span con lo stesso periodo di conservazione. Uno span LLM corrisponde a una chiamata a un provider di modelli. Datadog addebita questi span relativi alle chiamate al modello, mentre gli span di tool, workflow, agenti, embedding e retrieval sono gratuiti.

Quei $160 includono tracing, valutazioni, dashboard e monitoraggio della produzione. Non riproducono il sistema di sicurezza interno di OpenAI, che opera a livello delle attivazioni. Un budget realistico deve quindi contenere tre voci:

• Software di osservabilità: raccolta e interrogazione delle tracce.
• Compute del monitor: esecuzione dei rilevatori e degli investigatori più approfonditi.
• Operazioni di risposta: verifica degli avvisi, sospensione delle attività e gestione degli incidenti.

La scelta del modello continua a determinare la voce di base più consistente. Il confronto Cheapest AI API aiuta a ridurla prima di aggiungere il monitoraggio, mentre OpenRouter pricing mostra come la commissione di un gateway e il conto del provider possano affiancarsi al livello di monitoraggio.

Chi ricava più valore dal monitoraggio degli agenti AI

Il ritorno cresce insieme ai permessi dell’agente, alla sua persistenza e all’accesso a sistemi di valore. Questi sette casi d’uso sono ordinati dalla giustificazione economica più forte alla più debole.

1. Team di sicurezza che utilizzano agenti cyber dotati di tool

Un team di sicurezza può consentire a un agente di ispezionare repository, eseguire codice, interrogare l’infrastruttura e mettere alla prova le difese. Il workflow richiede un controllo economico su ogni traiettoria, un esame più approfondito quando l’agente cerca accessi inattesi e una sospensione automatica quando rischia di oltrepassare un confine critico.

Il beneficio è il contenimento. Evitare anche una sola fuga di credenziali o un accesso di rete non autorizzato può valere più del compute destinato al monitoraggio. È il caso più evidente in cui accettare l’intero margine di stress del 20%, perché il rischio non è una risposta scadente, ma un’azione compiuta in un sistema reale.

2. Responsabili engineering che adottano coding agent internamente

Un’organizzazione engineering può dare ai coding agent accesso al codice sorgente, alla CI, ai registri dei pacchetti e agli strumenti di deployment. Un monitor potrebbe confrontare il compito dichiarato dall’agente con le chiamate ai tool, segnalare i tentativi di aggirare comandi bloccati e sottoporre a revisione umana le azioni distruttive o i trasferimenti verso l’esterno.

Il precedente monitor interno di OpenAI per i coding agent utilizzava GPT-5.4 Thinking al massimo livello di reasoning e riesaminava le interazioni entro 30 minuti dal completamento. Copriva la cronologia della conversazione, il ragionamento disponibile, i messaggi, le chiamate ai tool e gli output. Il vantaggio per l’azienda è poter ridurre i divieti generalizzati: gli agenti utili mantengono un accesso ampio, mentre i comportamenti più rischiosi ricevono controlli mirati.

3. Team operations che affidano agli agenti la gestione del denaro

Un agente di assistenza o di commercio può emettere rimborsi, modificare abbonamenti, applicare crediti o effettuare ordini. Un monitor utile non si limita a verificare la validità di ciascuna chiamata API. Controlla se la sequenza continua a corrispondere alla richiesta del cliente, se i tentativi ripetuti stanno moltiplicando i costi e se l’agente si sta orientando verso un risultato finanziario non approvato.

Il beneficio è ridurre le revisioni manuali delle attività ordinarie senza considerare affidabile ogni chiamata API solo perché formalmente valida. Le transazioni di valore elevato possono richiedere un’approvazione, mentre le interazioni a basso rischio restano rapide.

4. Team di piattaforma responsabili della spesa degli agenti

Un agente può trasformare una sola richiesta dell’utente in molte chiamate a modelli e tool, oltre che in numerosi tentativi. I team di piattaforma possono tracciare l’intero lavoro, attribuire i costi per cliente o funzionalità e indirizzare gli aumenti anomali di spesa a un controllo. Il monitor risponde a due domande: «Perché questa attività è costata di più?» e «Il lavoro aggiuntivo era davvero funzionale all’obiettivo dell’utente?».

Il beneficio è migliorare l’economia unitaria. Il costo per attività completata con successo è più indicativo del costo per token, perché comprende cicli, errori e uso dei tool. Il monitoraggio può mostrare dove un modello più economico, un limite più rigido ai tentativi o un contesto più breve ridurrebbero la spesa di base.

5. Team compliance che supervisionano assistenti regolamentati

Un team operativo in ambito finanziario, sanitario o legale può aver bisogno di provare che cosa ha visto un agente, che cosa ha tentato di fare, quali azioni sono state approvate e perché una sessione è stata sospesa. Un registro della traiettoria può riunire messaggi del modello, chiamate ai tool, controlli delle policy, decisioni umane ed esiti finali in un unico resoconto verificabile.

Il vantaggio è disporre di prove riutilizzabili. L’analisi degli incidenti, l’audit interno e l’aggiornamento delle policy possono basarsi sulla stessa cronologia degli eventi, senza dover ricostruire una decisione a partire da log applicativi dispersi.

6. Team di ricerca che eseguono agenti di lunga durata

Gli agenti che lavorano per ore o giorni hanno più occasioni di trovare un percorso attorno a un confine debole. Il lavoro di OpenAI sugli orizzonti lunghi ha rilevato che singoli passaggi accettabili possono sommarsi fino a produrre un risultato che non sarebbe stato approvato. La risposta è stata un monitoraggio a livello di traiettoria capace di sospendere una sessione e avvisare l’utente.

Il beneficio è una persistenza controllata. I team possono lasciare che un agente esplori attività complesse senza presumere che una sequenza di azioni localmente valide sia sicura nel suo insieme.

7. Team di modellazione che valutano il reinforcement learning

Un team che sviluppa modelli può osservare i rollout di training e valutazione alla ricerca di reward hacking, inganni, accessi non autorizzati o tentativi di manipolare l’ambiente. I casi sospetti possono diventare nuovi esempi di valutazione e dati di training per protezioni migliori.

Il vantaggio è un ciclo di apprendimento più stretto tra ciò che emerge dal deployment e il miglioramento del modello. È un’attività di valore strategico, ma anche il caso d’uso più circoscritto, perché poche aziende addestrano autonomamente modelli frontier.

Che cosa si può costruire oggi con la LLM observability

Negli Stati Uniti, il volume di ricerca attuale è ridotto ma ha una forte rilevanza commerciale. DataForSEO stima 210 ricerche mensili per "LLM observability tools", 90 per "AI agent monitoring", 90 per "Datadog LLM observability pricing" e 50 per "AI model monitoring". I termini principali non sovrapposti analizzati in questa ricerca totalizzano almeno 470 ricerche al mese. Ancora più significativo è il dato di "AI agent monitoring": CPC di $50.04 e crescita annua del 100% nei suggerimenti, segnali di utenti con intenzioni d’acquisto più che di semplice curiosità.

1. Action Firewall per agenti AI

Si può realizzare un livello di policy e monitoraggio per le aziende i cui agenti hanno accesso a tool sensibili. Il prodotto osserverebbe l’intera sequenza delle azioni, assegnerebbe un punteggio ai comportamenti rischiosi, imporrebbe un’approvazione per determinate operazioni e conserverebbe una traccia degli incidenti.

Domanda: "AI agent monitoring" registra una stima di 90 ricerche mensili negli Stati Uniti, con una crescita annua del 100% nei dati attuali dei suggerimenti e un CPC di $50.04. "LLM observability tools" aggiunge 210 ricerche al mese, con un CPC di $23.90 e una crescita annua del 24%.

Versione minima vendibile: un SDK o gateway che registri messaggi e chiamate ai tool; un motore di regole per denaro, trasferimento di dati, modifiche dei permessi ed eliminazioni; un classificatore leggero per il primo controllo; un investigatore più potente per le escalation; avvisi su Slack o PagerDuty. All’inizio può funzionare in modalità asincrona, aggiungendo poi il blocco soltanto a un breve elenco di azioni irreversibili.

Il limite: gran parte degli sviluppatori non può ispezionare le attivazioni private o il ragionamento nascosto come può fare un provider di modelli. Il prodotto deve funzionare comunque a partire da messaggi, chiamate ai tool, output, permessi e risultati osservabili. Se i team non possono tarare le policy in base al workflow, i falsi positivi impediranno l’adozione.

È l’opportunità più solida. La crescita delle ricerche è reale, il CPC è il più alto del gruppo analizzato e il problema dell’acquirente riguarda il rischio in produzione, non una preferenza per l’ennesima dashboard.

2. Calcolatore dei costi di monitoraggio AI

Si può creare un calcolatore per i team di piattaforma e finance che trasformi le tracce degli agenti in un budget completo per il monitoraggio. Dovrebbe separare inferenza del provider, inferenza del monitor, costi di osservabilità, storage, conservazione e revisione umana.

Domanda: "Datadog LLM observability pricing" registra una stima di 90 ricerche mensili negli Stati Uniti; i suggerimenti indicano una crescita annua del 240% e un CPC di $17.18. Il prezzo pubblico di Datadog parte da $0 per 40,000 span LLM mensili e arriva a $160 al mese per 100,000 span, prima del conto del modello sottostante e dell’eventuale compute separato per il monitoraggio di sicurezza.

Versione minima vendibile: caricare un mese di utilizzo di token e tracce, scegliere tassi di copertura ed escalation, indicare il modello usato dal monitor e confrontare scenari di overhead del 5%, 10% e 20%. Il risultato dovrebbe mostrare il costo per attività completata con successo e il punto di pareggio tra strumenti gestiti e stack interno.

Il limite: il 20% di OpenAI è un singolo benchmark interno, non un rapporto universale. Il prodotto deve prevedere ipotesi modificabili e intervalli di confidenza, altrimenti si riduce a un generatore di preventivi fuorviante.

3. Registro delle prove per l’audit degli agenti

Si può realizzare un livello append-only per conservare le prove dei workflow regolamentati o di elevato valore. Gli acquirenti sarebbero i team compliance, risk e sicurezza che devono dimostrare che cosa è accaduto senza consegnare a ogni revisore i log applicativi grezzi.

Domanda: "AI model monitoring" registra una stima di 50 ricerche mensili negli Stati Uniti, con KD 6, una AI Overview e un’offerta massima elevata nella parte superiore della pagina pari a $30.33. La query più ampia "LLM observability tools" aggiunge 210 ricerche mensili. L’insieme delle ricerche correlate disponibili comprende anche "LLM observability metrics", esattamente la domanda a cui deve rispondere un prodotto dedicato alle prove.

Versione minima vendibile: raccogliere eventi delle tracce, permessi dei tool, decisioni delle policy, approvazioni umane ed eventi di sospensione; oscurare i contenuti sensibili; generare poi un fascicolo sintetico dell’incidente e un report periodico sui controlli.

Il limite: l’archiviazione delle tracce può trasformarsi in un rischio per la privacy e i requisiti di audit cambiano tra aziende e giurisdizioni. Il prodotto ha bisogno di una rigorosa minimizzazione dei dati e di tempi di conservazione configurabili prima di aver bisogno di altri grafici.

Che cosa non compra quel 20%

Il monitoraggio, da solo, non rende sicuro un agente. OpenAI lo considera esplicitamente uno dei livelli da affiancare all’allineamento e a controlli di sicurezza come isolamento dei carichi, isolamento della rete e test continui.

Cinque limiti sono particolarmente importanti:

• La stima ha un perimetro ristretto. Il 20% riguarda il compute dell’inferenza monitorata nei carichi coperti da OpenAI. Non è il 20% di tutta l’inferenza, di tutto il training o della spesa AI complessiva di un cliente.
• Il monitor può non rilevare tutto. OpenAI afferma che il precedente sistema per i coding agent ha intercettato tutte le escalation dei dipendenti di cui era a conoscenza, ma questo non determina un tasso di falsi negativi per traffico non circoscritto.
• Trenta minuti possono essere troppi. Un avviso asincrono può contenere una sessione di ricerca di lunga durata, ma non può annullare un trasferimento, un’eliminazione o un pagamento. Le azioni irreversibili richiedono comunque controlli dei permessi, isolamento o blocco sincrono.
• L’accesso al ragionamento non è uniforme. L’approccio di OpenAI si basa in parte sull’attività interna e sul ragionamento disponibile. Chi sviluppa un’applicazione usando un modello esterno potrebbe vedere soltanto messaggi, chiamate ai tool e output.
• Le tracce complete contengono dati sensibili. Il monitoraggio può acquisire prompt, dati, credenziali e logica aziendale. Accesso limitato, oscuramento e tempi di conservazione ridotti sono requisiti del prodotto, non rifiniture da compliance.

La regola corretta è commisurare il monitoraggio alle conseguenze. Per gli assistenti di sola lettura bastano tracce di base. Gli agenti dotati di tool richiedono rilevamento basato sulla sequenza. Per le azioni che possono spostare denaro, esporre dati o danneggiare la produzione servono anche confini rigidi dei permessi e approvazione sincrona.

La mossa da fare lunedì

La prossima settimana, scegli un agente in produzione ed elenca tutte le azioni che può compiere. Dividile in tre categorie: sola lettura, scrittura reversibile, azione irreversibile o esterna. Strumenta l’intera traiettoria, definisci regole di approvazione rigide per la terza categoria e applica un monitor asincrono alle altre. Affianca al budget base dell’inferenza del progetto pilota un margine del 20% per il compute; dopo due settimane, sostituiscilo con il costo misurato.

Non partire acquistando la suite di osservabilità più grande. Prima stabilisci quale azione deve essere fermata, chi deve ricevere l’avviso e in quanto tempo l’azienda può permettersi di reagire.

Quali sono i migliori strumenti AI per l’osservabilità?

La categoria migliore dipende dall’obiettivo. Servono l’osservabilità delle tracce per latenza, costo dei token, errori e punteggi di valutazione; un gateway per routing e controlli delle richieste; un monitor comportamentale dedicato per azioni rischiose con i tool e traiettorie complete. Nessuna dashboard tradizionale equivale al monitor interno di OpenAI a livello delle attivazioni.

Che cos’è la LLM observability in Datadog?

Il prodotto Datadog registra gli span delle chiamate ai modelli e li collega a tracce, valutazioni, dashboard e monitoraggio della produzione. La pagina pubblica indica $0 fino a 40,000 span LLM al mese e $160 al mese fino a 100,000, in entrambi i casi con 15 giorni di conservazione.

Quali strumenti di LLM observability sono open source?

Esistono soluzioni open source per tracing, valutazione, gateway e controllo dei costi. La scelta va fatta in base a modello di deployment, copertura delle tracce, supporto alle valutazioni, controlli della privacy e possibilità di esportare i dati. L’open source elimina il costo della licenza, non quelli di storage, inferenza del monitor, operazioni o risposta agli incidenti.

Esistono strumenti gratuiti per la LLM observability?

Sì. Datadog offre un piano gratuito fino a 40,000 span LLM al mese con 15 giorni di conservazione, mentre gli strumenti open source possono essere installati sui propri sistemi. Il software gratuito lascia comunque a carico dell’azienda le chiamate ai modelli, l’infrastruttura, lo storage e il personale addetto alla risposta.

Quali metriche di LLM observability contano davvero?

Vanno monitorati costo per attività completata con successo, latenza, errori, qualità delle valutazioni, tentativi ripetuti, volume delle chiamate ai tool, violazioni dei permessi, tasso di escalation, precisione degli avvisi, tempo necessario per la sospensione e gravità degli incidenti. Il solo costo dei token non dice se un agente ha completato correttamente e in sicurezza il lavoro richiesto.

Per realizzare un livello di monitoraggio e controllo costruito attorno al workflow reale dei tuoi agenti, AI production systems è il punto di partenza giusto.