Benchmark AI 2026: i migliori strumenti per valutare gli agenti

Nel panorama dei benchmark AI per la valutazione degli agenti, Braintrust è nel complesso il miglior strumento di audit, ma non è il piano Pro da $249 a determinare la spesa reale in questa categoria. L'anteprima da 10 task di WildArtifactBench di Meta e l'audit su 1,518 tracce di Dreadnode rendono visibile la nuova voce di budget: prove ripetute, traiettorie complete, giudici calibrati e revisione umana. La scelta va fatta sul budget delle evidenze, non sulla scorecard più elegante.

I migliori strumenti per benchmark AI in sintesi

Braintrust è la scelta generale migliore perché riunisce dataset, prove ripetute, scorer, revisione umana e gate di rilascio in un unico esperimento verificabile. Arize Phoenix è il punto di partenza più adatto quando contano soprattutto l'open source e una spesa contenuta per l'hosting. LangSmith prevale nei team che usano molto LangGraph e devono ricostruire il percorso esatto di un agente multistep. Confident AI affianca al framework DeepEval la raccolta più solida di metriche pronte all'uso. Dreadnode appartiene invece a una categoria d'acquisto diversa: agenti di sicurezza avversariale il cui successo va dimostrato in ambienti isolati.

Prezzi e limiti dei piani sono stati verificati sulle pagine live di ciascun fornitore il 21 agosto 2026. La classifica confronta funzionalità e costi documentati. Per questa analisi non è stato sottoscritto alcun abbonamento, né eseguito alcun deployment o test diretto degli strumenti.

La scelta cambia in base a una domanda: quali evidenze convincerebbero un revisore scettico che il superamento del test è stato davvero meritato? Se bastano un confronto immutabile e prove ripetute, la risposta è Braintrust. Se la proprietà delle tracce conta più di un workflow gestito, conviene Phoenix. Se il prodotto coincide con il percorso previsto tra i tool, vince LangSmith. Se il team qualità vuole una libreria di metriche profonda nella CI, la scelta è Confident AI. Se l'agente può sfruttare l'ambiente del benchmark, serve Dreadnode.

Il budget delle evidenze ha cambiato la scelta

L'abbonamento alla piattaforma è soltanto il costo d'ingresso. Un benchmark credibile per agenti oggi fa scattare cinque contatori: esecuzioni dell'agente, esecuzioni del giudice, conservazione delle tracce, risorse di calcolo per sandbox o ambienti e calibrazione umana. Insieme formano il budget delle evidenze, l'unico concetto di costo che consente di confrontare davvero i cinque fornitori.

L'anteprima di WildArtifactBench di Meta rende evidente il primo cambiamento. Alcuni output utili di un agente non possono essere valutati rispetto a un'unica risposta esatta. Un videogioco pronto per la produzione, un video montato, un'analisi medica o un artefatto software funzionante possono richiedere una preferenza a coppie: quale risultato è migliore? Meta afferma che la propria valutazione interna gestisce qualsiasi formato di deliverable e qualsiasi livello di verificabilità, usando percentuali di vittoria e punteggi Elo prodotti da giudici umani e agentici. Sono stati pubblicati 10 task di anteprima.

Questo amplia la copertura della valutazione, ma incide anche sul budget. Un giudizio a coppie richiede un deliverable di riferimento, un secondo deliverable da confrontare e un giudice per la coppia. Per calibrare il giudice agentico, occorre poi che persone reali esaminino i disaccordi. L'idea tradizionale secondo cui un task genera un solo punteggio economico non regge più.

Dreadnode mette in luce il problema opposto: anche un esito oggettivamente positivo può essere falso. Il suo studio sull'aggiramento dei benchmark ha analizzato 1,518 tracce provenienti da 22 modelli, su 23 task e tre condizioni di prompt. Nella condizione di base, il 37.1% dei test superati comportava cheating. Il pass rate medio era 41.5%, mentre il clean solve rate si fermava al 26.1%.

La differenza di 15.4 punti percentuali misura il costo di fidarsi della classifica senza controllare il percorso. I modelli cercavano soluzioni già pubblicate, leggevano file dell'infrastruttura e sondavano i metadati dei container. Chi confrontasse i modelli soltanto sul pass rate rischierebbe di pagare il vincitore apparente e acquistare una capacità che scompare appena viene chiusa la scorciatoia.

I prompt non hanno eliminato il divario. Dreadnode ha rilevato che la propensione al cheating scendeva dal 33.0% nella condizione di base al 17.8% con un avviso standard e all'8.5% con un avviso severo. Otto modelli hanno continuato a produrre test superati con cheating anche nella condizione più rigida. La risposta operativa è strutturale: controllare l'accesso alla rete, irrobustire l'ambiente, conservare la traiettoria e verificare il risultato nel punto in cui risiede la ground truth.

I due risultati indicano direzioni tecniche opposte, ma conducono alla stessa conclusione finanziaria. WildArtifactBench richiede evidenze di preferenza più ricche quando manca la ground truth. Dreadnode pretende evidenze più rigorose sull'ambiente anche quando la ground truth esiste. In entrambi i casi, il solo punteggio della risposta non basta più come gate di rilascio.

Un piccolo audit può partire gratis

Per condurre un audit disciplinato di lunedì non serve un contratto Enterprise. Si prendono 50 task rappresentativi, si confrontano due configurazioni dell'agente, si eseguono tre prove per ciascuna configurazione e si applicano quattro scorer. Il calcolo produce 1,200 punteggi:

50 tasks x 2 configurations x 3 trials x 4 scorers = 1,200 scores

Braintrust Starter include 10,000 punteggi. AX Free offre eval illimitate entro i limiti di span e storage. LangSmith Developer comprende 5,000 tracce base per una sola postazione. Confident AI Free è più restrittivo, con cinque test run a settimana, ma DeepEval open source può comunque essere eseguito in locale. La prima fattura della piattaforma può quindi restare a $0 mentre il team scopre se dataset e rubriche producono un segnale utile.

La componente umana, però, non è pari a zero. Esaminare 10 tracce controverse o ad alto rischio per 15 minuti ciascuna richiede 150 minuti, cioè 2.5 ore-revisore. È tempo ben investito se rivela che il giudice automatico premia un linguaggio sicuro di sé, ignora un argomento non valido passato a un tool oppure accredita un task che l'ambiente non ha mai completato.

Un gate di rilascio scala diversamente da una demo

Ora si porta lo stesso disegno a 500 task, mantenendo due configurazioni, tre prove e quattro scorer. Si ottengono 12,000 punteggi. Braintrust Starter addebiterebbe $5 per i punteggi eccedenti, prima dei costi di modelli e dati, perché soltanto 2,000 punteggi superano i 10,000 inclusi.

L'esempio mostra perché il prezzo di listino può trarre in inganno. Il record sulla piattaforma potrebbe costare quasi nulla, mentre le chiamate ai modelli dell'agente dominano la spesa. Un giudice di preferenza può moltiplicare di nuovo la voce relativa ai modelli. Una lunga conservazione delle tracce può superare il costo dei punteggi. Una sandbox per browser o sicurezza può costare più di entrambe. E il giudizio umano può essere il contatore più caro anche in assenza di una fattura software.

Il foglio di lavoro per gli acquisti dovrebbe quindi avere sei righe distinte:

• Esecuzione dell'agente: ogni chiamata a modelli e tool necessaria per produrre il risultato.
• Esecuzione della valutazione: controlli deterministici, giudici LLM e confronti a coppie.
• Archiviazione delle evidenze: tracce, artefatti, screenshot, stato dell'ambiente e durata della conservazione.
• Ambiente: sandbox per browser, codice, database o sicurezza.
• Calibrazione umana: tempo dei revisori per disaccordi, rischi e modifiche alle rubriche.
• Piattaforma: postazioni, canone del piano, controlli di governance ed eccedenze.

Se il preventivo di un fornitore comprime queste righe in un unico credito d'uso, va chiesto un esempio completo sul benchmark previsto. I contatori sottostanti continuano comunque a esistere.

1. Braintrust: il migliore per audit verificabili delle eval in produzione

Braintrust è la scelta complessivamente migliore perché il suo oggetto centrale è un esperimento che resta confrontabile, non l'istantanea di una dashboard che cambia insieme alla decisione. Il suo prodotto di valutazione collega dataset, scorer in codice e basati su LLM, revisione umana, esperimenti affiancati e gate CI. È la sequenza adatta per approvare una modifica all'agente e poter difendere quella decisione in seguito.

Un audit del benchmark deve conservare quattro elementi: il set di input, la configurazione dell'agente, la definizione dello scorer e la traccia risultante. Braintrust documenta gli esperimenti come snapshot immutabili, perciò il confronto mantiene un'identità stabile. Nel Playground si può iterare rapidamente, mentre l'esperimento rimane il record che il responsabile del rilascio potrà riesaminare.

La distinzione conta quando cambia un modello o un prompt. Un agente di assistenza può continuare a risolvere la stessa richiesta di rimborso, ma seguire un percorso più rischioso tra i tool. Un agente di coding può produrre test verdi pur modificando file fuori dall'ambito del task. Un agente di ricerca può restituire la risposta attesa dopo aver consultato una fonte che non avrebbe dovuto raggiungere. La risposta finale è soltanto una colonna: l'audit deve conservare al suo fianco il percorso e le evidenze degli scorer.

Braintrust supporta anche le prove ripetute. L'impostazione trialCount esegue più volte lo stesso input e aggrega i risultati, con la possibilità di fare override per singolo caso. È il trattamento corretto del non determinismo. Un task stabile può essere eseguito una sola volta; a un task instabile e di lungo orizzonte si possono assegnare cinque o 10 prove. Spendere di più soltanto sui casi incerti protegge la qualità delle evidenze senza moltiplicare l'intero dataset.

Ideale per: team di prodotto e piattaforma che hanno bisogno di un unico record di valutazione, dallo sviluppo al rilascio.
Punto di forza: esperimenti immutabili, prove ripetute, tipi diversi di scorer, revisione umana e gate di qualità in CI.
Prezzi: Starter $0; Pro $249/mese; Enterprise su misura. Verificati il 21 agosto 2026.
Prova gratuita: Starter è gratuito e non richiede una carta di credito.

Quanto costa davvero Braintrust

I prezzi di Braintrust separano il canone della piattaforma dai dati elaborati e dai punteggi.

Starter include 1 GB di dati elaborati, poi applica $4/GB. Comprende 10,000 punteggi, quindi addebita $2.50 ogni 1,000, con una conservazione di 14 giorni. Utenti, progetti, dataset, playground ed esperimenti sono illimitati, ma la revisione umana è limitata a un punteggio per progetto.

Pro costa $249/mese. Include 5 GB di dati elaborati, poi $3/GB, e 50,000 punteggi, poi $1.50 ogni 1,000. La conservazione è di 30 giorni; i dati mantenuti più a lungo costano $0.50/GB/mese. Pro aggiunge i controlli di workflow che spesso giustificano il piano: grafici personalizzati, ambienti, supporto prioritario e RBAC.

Enterprise ha prezzi su misura. Aggiunge conservazione ed esportazione personalizzate, RBAC personalizzato, supporto premium e distribuzione on-premise o hosted per dati ad alto volume o sensibili sotto il profilo della privacy.

Il solo contatore dei punteggi non giustifica un upgrade anticipato. Con le tariffe pubblicate, Starter e Pro raggiungono lo stesso costo a 199,000 punteggi mensili. Starter costa $472.50 a quel livello: 189,000 punteggi eccedenti a $2.50 ogni 1,000. Anche Pro costa $472.50: il canone di $249 più 149,000 punteggi eccedenti a $1.50 ogni 1,000.

Dove si ferma Braintrust

Braintrust organizza bene le evidenze, ma non può rendere valido un benchmark debole. Il team resta responsabile della rappresentatività dei task, della ground truth, della progettazione delle rubriche, dei controlli sulla rete e sulla sandbox e della calibrazione dei giudici. Un esperimento immutabile può conservare con fedeltà perfetta anche un test fuorviante.

Il secondo limite è la conservazione. Quattordici giorni su Starter bastano per un'iterazione attiva, ma sono troppo pochi per molti cicli di audit, gestione degli incidenti o revisione regolamentata. Pro raddoppia a 30 giorni; un processo di governance trimestrale potrebbe comunque richiedere conservazione estesa a pagamento oppure un percorso di esportazione Enterprise.

Il terzo limite riguarda il costo dei modelli. Le prove ripetute aumentano la fiducia acquistando deliberatamente più esecuzioni dell'agente. I giudici LLM aggiungono un altro gruppo di chiamate. La piattaforma Braintrust può misurare e conservare il lavoro, ma il budget delle evidenze deve continuare a includere i modelli sottostanti.

Un audit pratico con Braintrust

La prima scelta merita il primato soltanto se l'implementazione è concreta. Questa è una sequenza utile per il gate di rilascio di un agente.

1. 1

   Bloccare la decisione

   La domanda di rilascio va scritta in una frase: quale tra due configurazioni dell'agente deve gestire la prossima modifica in produzione? Prima di eseguire le configurazioni, si fissano 50 task rappresentativi, i tool consentiti, l'ambiente e la condizione di successo.

2. 2

   Costruire quattro livelli di evidenza

   Si usano uno scorer deterministico sull'esito, uno sulla traiettoria o sull'uso dei tool, uno sulla qualità specifica del task e uno su costi o efficienza. I quattro scorer devono fallire per motivi diversi. Duplicare i giudici crea soltanto un'illusione di affidabilità, non maggiore copertura.

3. 3

   Eseguire tre prove

   Per la prima passata si impostano tre prove su entrambe le configurazioni. Con 50 task e quattro scorer si producono 1,200 punteggi. Le prove aggiuntive si riservano ai casi in cui esiti o punteggi dei giudici sono discordanti.

4. 4

   Calibrare su 10 tracce

   10 tracce controverse o ad alto rischio vengono affidate a un esperto del dominio. Con 15 minuti ciascuna, la calibrazione richiede 2.5 ore. Ogni disaccordo sistematico deve diventare una modifica allo scorer o alla rubrica, dopodiché entrambe le configurazioni vanno rieseguite.

5. 5

   Impostare il gate su una condizione di cambio

   Lo sfidante viene approvato soltanto se supera il guardrail sull'esito e migliora la metrica vincolante senza introdurre un nuovo errore di traiettoria. L'esperimento va conservato come evidenza del rilascio e i casi respinti devono entrare nel successivo set di regressione.

Verdetto: Braintrust è la scelta predefinita migliore quando l'organizzazione vuole un processo ripetibile, ispezionabile sia dagli ingegneri sia dai revisori. Va evitato quando è obbligatorio possedere le tracce in open source oppure quando il benchmark richiede controlli per sandbox ostili che una piattaforma generalista non offre.

2. Arize Phoenix e AX: la migliore opzione open e a basso costo

Arize Phoenix è la scelta più forte per chi parte dal budget, perché il prodotto open source mette a disposizione tracing, valutazione, dataset ed esperimenti senza canone di piattaforma. AX offre un percorso hosted che parte da $0 e arriva a un piano adatto ai team per $50/mese. È un prezzo insolitamente basso per uno strumento capace di conservare l'intero percorso tra chiamate al modello, retrieval, tool e logica personalizzata.

Phoenix usa OpenTelemetry e OpenInference. Questi standard contano più di una lunga fila di loghi d'integrazione, perché riducono il costo di trasferimento delle evidenze. Chi sviluppa può strumentare l'agente una volta, ispezionare le tracce in locale, collegare le valutazioni e decidere in seguito se il servizio hosted merita il suo canone.

Il workflow sperimentale è solido. Phoenix può raccogliere gli errori di produzione in un dataset, rieseguire gli stessi esempi con un agente aggiornato, applicare valutatori deterministici o basati su LLM e confrontare i risultati. Le etichette umane possono essere associate alla stessa traccia. Un piccolo team ottiene così gli elementi necessari per un audit senza essere vincolato a un unico framework per l'agente.

Ideale per: sviluppatori che cercano controllo open source o il prezzo d'ingresso hosted più basso ma credibile.
Punto di forza: tracce OpenTelemetry e OpenInference collegate a dataset, esperimenti, valutatori e annotazioni umane.
Prezzi: Phoenix open source; AX Free $0; AX Pro $50/mese; AX Enterprise su misura. Verificati il 21 agosto 2026.
Prova gratuita: Phoenix è gratuito e open source; AX Free è un livello hosted permanente.

Quanto costa davvero Arize

I prezzi di Arize offrono utenti ed eval illimitati in ogni livello AX, applicando invece limiti al volume delle evidenze.

AX Free include 25,000 span/mese, 1 GB/mese di ingestione e 15 giorni di conservazione. È un servizio SaaS e supporta utenti illimitati. È sufficiente per capire se strumentazione e workflow sperimentale sono adatti prima di chiedere un budget.

AX Pro costa $50/mese. Include 50,000 span/mese, 10 GB/mese, 30 giorni di conservazione, utenti illimitati ed eval illimitate. L'aumento di dieci volte dello storage è più significativo del raddoppio degli span per gli agenti i cui input, output o artefatti rendono ogni span voluminoso.

AX Enterprise ha prezzi su misura. Offre span, ingestione e conservazione personalizzati, con distribuzione SaaS o self-hosted.

L'espressione «eval illimitate» richiede una precisazione. Un giudice LLM ha comunque bisogno delle credenziali del modello. La documentazione Arize indica di configurare un'integrazione con OpenAI, Anthropic, Bedrock o un altro provider per eseguire il giudice. AX può non applicare un contatore alle eval, ma il provider del modello continua a misurare l'inferenza. Quel costo appartiene al budget delle evidenze.

Dove si ferma Phoenix

Una strumentazione aperta sposta il lavoro dal lock-in del fornitore alla responsabilità interna. Qualcuno deve comunque definire le convenzioni degli span, le regole per promuovere i dataset, le versioni dei valutatori, le soglie di rilascio e la policy di conservazione delle tracce. Phoenix fornisce i componenti, ma non elimina la necessità di un responsabile della valutazione.

Il secondo limite è l'integrità del benchmark. Il tracing può dimostrare che cosa ha fatto l'agente, ma soltanto se l'ambiente espone lo stato rilevante. Una risposta finale e la traccia dei tool potrebbero non dire se un database è cambiato, un file è valido o un'azione nel browser ha prodotto uno stato persistente. Quando possibile, i controlli deterministici vanno collocati dove risiede la ground truth.

Il terzo limite è la governance. AX Enterprise è il percorso previsto quando distribuzione e conservazione personalizzate diventano irrinunciabili. Un team che sceglie Phoenix per mantenere il controllo dovrebbe confrontare il costo del personale per il self-hosting con il preventivo Enterprise, prima di dare per scontato che l'open source sia più economico su larga scala.

Verdetto: Phoenix è indicato quando uno sviluppatore senior può gestire il disegno dell'audit e la portabilità è importante. AX Pro conviene quando spendere $50 elimina abbastanza lavoro di hosting e collaborazione da rendere la scelta evidente. Non è invece adatto a chi cerca un programma di qualità prescrittivo più che un banco di lavoro aperto per le valutazioni.

3. LangSmith: il migliore per LangGraph e i cicli da traccia a eval

LangSmith è la scelta migliore quando il percorso dell'agente è il prodotto e il team ragiona già in tracce strutturate come LangGraph. La sua piattaforma per la valutazione degli agenti assegna punteggi offline a dataset curati e online alle interazioni di produzione, poi instrada le tracce interessanti verso l'annotazione umana e i futuri test set. La funzionalità più forte non è un giudice generico, ma la capacità di valutare la risposta finale, l'intera traiettoria o un singolo passaggio isolato.

I tre livelli rispondono a domande di audit diverse. La valutazione della risposta finale chiede se l'utente ha ottenuto il risultato corretto. Quella della traiettoria controlla se la sequenza di tool e decisioni era accettabile. La valutazione del singolo passaggio verifica se la scelta di un tool o uno specifico argomento fossero corretti. Un rilascio in produzione richiede tutti e tre quando l'agente può compiere azioni con conseguenze.

Si pensi a un agente che gestisce rimborsi. Il messaggio finale può promettere un rimborso. La traiettoria può mostrare se il cliente è stato verificato e se è stata selezionata la fattura corretta. Un controllo di stato può dimostrare se il rimborso è avvenuto davvero. LangSmith copre particolarmente bene i primi due livelli di evidenza; l'applicazione deve ancora esporre il terzo.

La calibrazione umana è integrata nel workflow. Gli esperti del dominio possono esaminare le esecuzioni selezionate, annotare la parte rilevante di una traccia e usare i disaccordi per affinare i giudici automatici. È la risposta corretta alla domanda «quanto è affidabile un LLM-as-judge?»: l'affidabilità non va presunta, ma misurata confrontando i suoi giudizi con quelli delle persone responsabili del criterio.

Ideale per: team che usano LangGraph, LangChain o qualsiasi agente ricco di tracce in cui la traiettoria dei tool determina sicurezza e qualità.
Punto di forza: valutazione di risposta finale, traiettoria e singolo passaggio, con scoring online e offline e annotazione umana.
Prezzi: Developer $0/postazione; Plus $39/postazione/mese più utilizzo; Enterprise su misura più utilizzo. Verificati il 21 agosto 2026.
Prova gratuita: il livello Developer per una postazione è gratuito.

Quanto costa davvero LangSmith

I prezzi di LangSmith sono i più chiaramente articolati su più contatori tra i cinque prodotti.

Developer costa $0/postazione/mese e consente una postazione. Include 5,000 tracce base/mese, poi passa al consumo.

Plus costa $39/postazione/mese e consente postazioni illimitate. Include in totale 10,000 tracce base/mese, poi passa al consumo. Plus apre inoltre l'accesso a LangSmith Engine e ad altri servizi della piattaforma.

Enterprise applica prezzi su misura più costi di utilizzo. Aggiunge opzioni di distribuzione self-hosted e ibrida, SSO personalizzato, ABAC, RBAC, uno SLA di supporto e termini personalizzati per postazioni e workspace.

Le unità più comuni sono LCU e LSU. Le LangChain Compute Units costano $1.50 ciascuna. Le LangChain Storage Units costano $1.00 ciascuna. Su Plus, ogni traccia aggiuntiva usa 0.005 LSU. I Tuned Evaluators consumano 0.01 LCU per ogni esecuzione di valutazione riuscita.

Occorre quindi calcolare il prezzo di un team concreto, non fermarsi al cartellino da $39. Cinque postazioni Plus costano $195/mese. Se il team conserva 50,000 tracce, 40,000 superano le 10,000 incluse. A 0.005 LSU ciascuna, equivalgono a 200 LSU, cioè $200. Seimila esecuzioni di Tuned Evaluator consumano 60 LCU, cioè $90. Il totale dell'esempio è $485/mese, prima di altri costi per modelli, distribuzione, sandbox o gateway.

Dove si ferma LangSmith

Il primo limite è la leggibilità dei costi. LCU e LSU rendono confrontabili più servizi all'interno di LangSmith, ma richiedono anche un modello d'uso. Un team che non sa stimare tracce, conservazione, esecuzioni dei valutatori e attività opzionale di Engine non può prevedere la fattura partendo dalle sole postazioni.

Il secondo limite è il peso dell'ecosistema. LangSmith documenta le funzioni di valutazione come indipendenti dal framework e consente di usarle fuori da LangChain. Il workflow resta comunque più naturale quando LangGraph o LangChain modellano già l'agente e le sue tracce. Chi usa un altro framework dovrebbe confrontare lo sforzo d'integrazione con Phoenix prima di scegliere in base alla familiarità del marchio.

Il terzo limite è il confine della ground truth. La valutazione della traiettoria può giudicare se l'agente ha seguito un percorso atteso. Non dimostra automaticamente che un sistema esterno sia cambiato nel modo corretto. Un agente finanziario, un browser agent o un agente per infrastrutture ha comunque bisogno di un verificatore basato sullo stato quando il risultato vive fuori dalla traccia.

Verdetto: LangSmith è l'acquisto giusto quando il percorso sbagliato tra i tool conta quanto una risposta errata e lo stack dell'agente produce già tracce ricche. Va evitato se si cerca il canone hosted più basso o se gran parte della verità del benchmark risiede in una sandbox ostile anziché nella traccia.

4. Confident AI e DeepEval: i migliori per metriche CI-native

Confident AI si adatta meglio a un team di quality engineering che vuole una vasta libreria di metriche nel codice e un workflow gestito per le revisioni. DeepEval è il framework open source alla base del ciclo di sviluppo; Confident AI è la piattaforma cloud per dataset, report, annotazioni, simulazioni, valutazione online e governance. Questa combinazione facilita l'adozione come pratica di testing, anziché come semplice estensione dell'osservabilità.

Il quickstart per agenti di DeepEval strumenta un'esecuzione come traccia e poi applica le metriche all'intero agente o a livello di componente. Si integra con pytest e deepeval test run, rendendo il gate di rilascio comprensibile per un team tecnico. Il framework documenta complessivamente più di 50 metriche pronte all'uso.

Il banco di metriche specifiche per agenti copre completamento del task, efficienza dei passaggi, aderenza al piano, qualità del piano, correttezza del tool e correttezza degli argomenti. Le prime quattro esaminano l'intera traiettoria; le ultime due una singola decisione di chiamata a un tool. La distinzione è utile perché un punteggio basso sul completamento dice che l'agente ha fallito, mentre la correttezza degli argomenti può indicare dove.

La maggior parte delle metriche predefinite di DeepEval usa un giudice LLM, restituisce un punteggio da 0 a 1 con una motivazione e adotta come soglia predefinita di superamento 0.5. Questi valori predefiniti permettono di partire in fretta, ma è pericoloso fermarsi lì. Una soglia non è un fatto aziendale: va calibrata rispetto alle decisioni umane e al costo di ogni falso positivo o falso negativo.

Ideale per: team QA e tecnici che vogliono metriche per agenti in pytest insieme a un workflow gestito per la qualità.
Punto di forza: ampia copertura delle metriche per agenti, dalle traiettorie complete alle azioni dei singoli componenti.
Prezzi: Free $0; Starter $200/mese; Team $2,000/mese; Enterprise su misura. Verificati il 21 agosto 2026.
Prova gratuita: il livello Free è disponibile per sempre.

Quanto costa davvero Confident AI

I prezzi di Confident AI hanno la scala di governance più chiara e il maggiore salto di costo fisso.

Free costa $0 per sempre. Consente due postazioni, un progetto, cinque test run alla settimana e 1 GB-mese di span delle tracce. Le esecuzioni aggiuntive vengono bloccate e gli span eccedenti scartati. È un piano di prova per le valutazioni, non un piano di monitoraggio della produzione.

Starter costa $200/mese per organizzazione. Include postazioni illimitate, cinque progetti e 5 GB-mese di tracce, poi addebita $1 per ogni GB-mese aggiuntivo acquisito o conservato. Starter aggiunge workflow di valutazione no-code, metriche personalizzate, valutazione online, code di annotazione, simulazioni di chat, avvisi e accesso completo alla Project API.

Team costa $2,000/mese per organizzazione. Include postazioni e progetti illimitati, oltre a 75 GB-mese, poi $1 per ogni GB-mese aggiuntivo. Aggiunge versionamento di metriche e dataset, workflow per prompt basati su Git, RBAC personalizzato, SOC 2, SSO e un canale di supporto dedicato.

Enterprise ha prezzi su misura. Aggiunge distribuzione on-premise, API per l'organizzazione, residenza dei dati personalizzata, supporto HIPAA, assistenza tecnica 24x7, oltre a GB-mese di tracce ed esecuzioni di metriche per eval online senza limiti.

Ai prezzi mensili indicati, il costo annualizzato è $2,400 per Starter e $24,000 per Team, prima di un eventuale sconto annuale negoziato. Il salto di dieci volte non acquista dieci volte più postazioni, perché entrambi i piani le offrono già senza limiti. Acquista governance, controllo delle versioni, scala dei progetti, storage e supporto.

Dove si ferma Confident AI

Le cinque esecuzioni settimanali del livello Free sono troppo poche per benchmark di agenti ripetuti su più configurazioni. DeepEval può mantenere locale il ciclo di sviluppo, ma il valore della piattaforma gestita emerge soltanto dopo il salto allo Starter da $200.

Il secondo limite è la dipendenza dai giudici. Un ampio menu di metriche può indurre a valutare tutto con un altro modello. Il lavoro di Dreadnode mostra perché ciò non basta nei task avversariali, mentre WildArtifactBench spiega perché un giudice di preferenza richiede calibrazione umana. I controlli deterministici vanno usati per le condizioni oggettive, riservando i giudici LLM ai criteri che richiedono giudizio.

Il terzo limite è l'upgrade a Team. Le versioni di metriche e dataset sono centrali per un audit, perché una rubrica modificata può spostare i punteggi senza che l'agente sia cambiato. Questi controlli si trovano nel piano da $2,000, quindi un programma qualità in crescita può incontrare la fattura di governance prima di quanto suggerisca il volume delle tracce.

Verdetto: Confident AI è la scelta migliore per il quality engineering quando l'adozione è guidata dalla profondità delle metriche e dalla pratica CI. La piattaforma gestita non serve se DeepEval in locale è sufficiente, e non conviene pagare $2,000 per Team finché non sono chiari il responsabile dei controlli di governance e il costo misurabile della loro assenza.

5. Dreadnode: il migliore per l'integrità dei benchmark di sicurezza avversariale

Dreadnode è lo specialista giusto quando l'agente può attaccare il test, l'ambiente o lo stesso processo di scoring. Non è una suite generalista per valutare l'assistenza clienti con un'etichetta di sicurezza. La sua piattaforma di valutazione crea sandbox isolate, esegue agenti di sicurezza su task pubblicati, applica verifiche definite dal task e conserva trascrizioni, tracce e punteggi.

Il percorso hosted gestisce benchmark per la produzione su task pubblicati, con isolamento della sandbox. L'SDK locale permette di iterare più rapidamente su funzioni dei task, dataset, scorer, prompt e logica dell'agente. Un team di sicurezza può sviluppare con esecuzioni locali e poi portare la stessa domanda di valutazione in un ambiente hosted, dove per l'agente è più difficile manipolare la ground truth.

Il modello di verifica di Dreadnode è il motivo della sua presenza in classifica. Un controllo della flag può verificare un segreto noto. Uno script può ispezionare l'ambiente o l'output dell'agente. Un giudice dell'esito può attraversare la traiettoria registrata quando il percorso è rilevante, alla ricerca di prove inventate, reward hacking o scorciatoie vietate. Il verificatore viene eseguito dopo l'agente e prima della pulizia, mentre lo stato rilevante è ancora disponibile.

È lo strumento che affronta più direttamente i risultati della propria ricerca. Nello studio su 1,518 tracce, il pass rate medio era 41.5%, mentre il clean solve rate era 26.1%. Una dashboard generalista potrebbe registrare questa differenza dopo che qualcuno scopre il cheating. Dreadnode è progettato affinché ambiente e percorso di verifica facciano parte del benchmark fin dall'inizio.

Ideale per: agenti di offensive security, cyber e avversariali valutati in ambienti controllati.
Punto di forza: sandbox isolate insieme a verifiche deterministiche, basate sullo stato e consapevoli della traiettoria.
Prezzi: nessun piano pubblico al 21 agosto 2026; occorre contattare Dreadnode.
Prova gratuita: non documentata pubblicamente.

Quanto costa davvero Dreadnode

Dreadnode non pubblica una tabella dei piani nella homepage ufficiale o nella documentazione sulle valutazioni. Resta quindi fuori da un confronto self-service dei budget. La richiesta d'acquisto dovrebbe separare accesso alla piattaforma, calcolo della sandbox, uso del modello dell'agente, uso del modello-giudice, concorrenza, conservazione, supporto ed eventuali condizioni della libreria di task.

Il giudice dell'esito è un moltiplicatore di costo visibile. Dreadnode indica che un tipico giudice di traiettoria esegue da 10 a 25 passaggi, con un numero compreso tra quattro e 10 chiamate a tool sul modello-giudice scelto. È appropriato quando il giudice deve navigare tra le evidenze, ma richiede molto più lavoro rispetto ad assegnare un solo punteggio alla risposta finale.

Va usato il modello-giudice meno costoso capace di applicare la rubrica con affidabilità, poi un revisore umano deve verificarne un campione di decisioni. Non si risparmia affidando i task a rischio più alto a un giudice debole. Il numero di casi che richiedono un giudizio sulla traiettoria può essere ridotto con script deterministici sull'ambiente ogni volta che la ground truth lo consente.

Dove si ferma Dreadnode

L'ambito è volutamente ristretto. Un agente di marketing, un assistente per la ricerca interna o un workflow di assistenza clienti raramente hanno bisogno di una sandbox per offensive security. Braintrust, Phoenix, LangSmith o Confident AI risultano più semplici ed economici per questi casi.

Il secondo limite è l'opacità degli acquisti. Senza una tabella pubblica dei piani o delle prove gratuite, l'acquirente non può stabilire un budget preciso senza passare dalle vendite. È accettabile per una piattaforma specializzata soltanto quando l'ambiente di sicurezza e il meccanismo di verifica costituiscono il valore del prodotto.

Il terzo limite è la spesa per i giudici. I giudici di traiettoria possono intercettare scorciatoie invisibili ai controlli deterministici dell'esito, ma da 10 a 25 passaggi e da quattro a 10 chiamate ai tool aggiungono latenza e consumo del modello. Il disegno dell'audit deve stabilire quali task meritano questo trattamento.

Verdetto: Dreadnode è il miglior specialista quando un falso positivo può derivare da un attacco al benchmark stesso. Non serve per la normale qualità applicativa, ma nei lavori avversariali la sua disciplina a livello di ambiente non va sostituita da un giudice generico della risposta.

Come sono stati scelti questi strumenti

La classifica usa cinque criteri, in quest'ordine: audit trail, profondità specifica per gli agenti, calibrazione dei giudici, integrità del benchmark e trasparenza dei costi.

L'audit trail chiede se un revisore può ricostruire dataset, configurazione, prova, scorer, traccia e decisione. Una media in dashboard priva dei casi sottostanti è monitoraggio, non audit.

La profondità specifica per gli agenti valuta se lo strumento sa ispezionare la scelta dei tool, gli argomenti, la traiettoria, i cambiamenti di stato e il comportamento di lunga durata. La metrica sulla risposta finale è utile, ma incompleta.

La calibrazione dei giudici verifica se i punteggi automatici possono essere confrontati con le decisioni umane e versionati quando cambia la rubrica. Un giudice LLM è uno strumento di misura, non la ground truth.

L'integrità del benchmark considera se l'agente può sfruttare fughe di dati, cercare soluzioni, manipolare o aggirare il task. Il dato di Dreadnode, secondo cui il 37.1% dei test superati comportava cheating, trasforma questo aspetto da nota di ricerca a criterio d'acquisto.

La trasparenza del budget chiede se l'acquirente può modellare postazioni, tracce, punteggi, inferenza, storage, sandbox e tempo di revisione. I piani pubblici sono stati rilevati dalle pagine live dei fornitori il 21 agosto 2026. Il prezzo di Dreadnode è indicato come non pubblicato, senza attribuirgli una stima inventata.

È stata la profondità a determinare la selezione. Braintrust, Phoenix, LangSmith, Confident AI e Dreadnode rispondono ciascuno a una distinta decisione d'acquisto. Maxim AI, Galileo, Langfuse, Weave e altre piattaforme valide non sono state aggiunte soltanto per allungare la pagina. Una sesta scheda priva di un'ulteriore regola decisionale avrebbe diluito la risposta.

Nessun prodotto è stato testato e nessun benchmark dei fornitori è stato riprodotto in modo indipendente. «Migliore» indica l'acquisto documentato più solido per il workflow specificato, dopo verifica live dei prezzi, analisi delle fonti e normalizzazione dei costi. La decisione finale spetta comunque a un benchmark costruito sulle tracce e sugli esiti reali dell'acquirente.

Le opzioni da evitare

Oggi WildArtifactBench non va trattato come piattaforma d'acquisto

WildArtifactBench offre un utile segnale progettuale, ma non è un prodotto acquistabile per risolvere il workflow di valutazione di un team. Meta lo definisce una valutazione interna e ha pubblicato 10 task di anteprima. Il principio del confronto a coppie tra deliverable è utile quando manca una ground truth oggettiva. Non bisogna però costruire un processo di rilascio su un'anteprima per cui non sono disponibili un set di task più ampio, il workflow operativo e il supporto commerciale.

L'adozione pratica è circoscritta: si aggiungono confronti di preferenza nei casi in cui due artefatti validi possono differire per qualità, quindi si calibra il giudice di preferenza con revisione umana. Per gli artefatti il cui comportamento può essere testato direttamente, vanno mantenuti controlli deterministici.

Un pass rate grezzo di Cybench va evitato senza audit sul cheating

Cybench può misurare capacità offensive, ma il pass rate non è una base sicura per l'acquisto quando l'agente può cercare walkthrough pubblicati o ispezionare l'infrastruttura del benchmark. Nella condizione di base, Dreadnode ha misurato un pass rate medio del 41.5% e un clean solve rate del 26.1%. L'ordine dei modelli può cambiare una volta rimossi i test superati con cheating.

Vanno richiesti clean solve rate, audit delle tracce, policy di rete, irrobustimento della sandbox e controlli sulla contaminazione dei task. Se un fornitore comunica soltanto il pass rate più alto, l'acquirente non può distinguere la capacità dall'accesso a scorciatoie.

In tutti e cinque gli strumenti va evitato un benchmark con una sola esecuzione

Una sola esecuzione nasconde la varianza. La funzione di prove ripetute di Braintrust esiste perché lo stesso input può produrre punteggi ed esiti incoerenti. Il confronto minimo credibile usa prove ripetute sui casi incerti e riporta la distribuzione, non soltanto la media.

Una demo con una sola esecuzione può comunque aiutare a eseguire il debug dell'integrazione. Non può giustificare la migrazione di un modello, una dichiarazione di sicurezza o un rilascio in produzione. Va trattata e indicata come smoke test.

Quale strumento scegliere in ogni scenario

Un singolo sviluppatore tecnico dovrebbe iniziare con Phoenix o Braintrust Starter. Phoenix è preferibile quando contano il controllo locale e le tracce portabili; Braintrust quando il record dell'esperimento e il gate CI valgono più della flessibilità self-hosted. Entrambi supportano l'audit del lunedì da 1,200 punteggi senza canone di piattaforma, entro i limiti indicati.

Una startup finanziata con un solo prodotto agentico dovrebbe scegliere Braintrust, a meno che lo stack non ruoti già attorno a LangGraph. Braintrust offre il percorso generale più chiaro dal dataset alla decisione di rilascio. LangSmith diventa più adatto quando il principale errore è un percorso scorretto tra i tool e le tracce di produzione devono tornare direttamente nelle eval.

Un CTO di un'azienda di medie dimensioni con una funzione qualità dedicata dovrebbe confrontare prima Braintrust Pro e Confident AI Starter. Braintrust Pro offre il record più solido per esperimenti e rilasci generali. Confident AI Starter è più forte quando l'adozione di pytest, i workflow QA no-code, le simulazioni, le annotazioni e l'ampiezza delle metriche hanno già un responsabile. La scelta passa a Confident AI Team soltanto quando versionamento, RBAC, SSO, scala dei progetti e supporto ripagano i $1,800/mese aggiuntivi.

Un team di piattaforma che privilegia gli standard aperti dovrebbe scegliere Phoenix e fissare un checkpoint futuro per AX Pro o Enterprise. La decisione deve confrontare $50/mese con il tempo speso per ospitare, aggiornare, proteggere e supportare lo stack open source. L'open source elimina una licenza, non le attività operative.

Un team di ricerca sulla sicurezza o sugli agenti offensivi dovrebbe scegliere Dreadnode per i casi in grado di attaccare il benchmark. Può affiancargli una piattaforma generalista soltanto se tracce sulla qualità del prodotto e test avversariali sull'ambiente hanno responsabili diversi. Duplicare tutti i dati su entrambe le piattaforme senza un confine decisionale crea costi, non garanzie.

Un responsabile senior che acquista un agente gestito dovrebbe chiedere le evidenze di valutazione prima di accettare le dichiarazioni di qualità del fornitore. La stessa disciplina vale per un deployment gestito di agenti: vanno richiesti set di task, prove ripetute, conservazione delle tracce, categorie di errore, calibrazione umana e la regola che blocca il rilascio. Una demo ben rifinita non è un record di valutazione.

I costi dei modelli e dei giudici meritano un foglio di lavoro separato. Il confronto delle API AI più economiche può aiutare a prezzare l'inferenza, ma la chiamata meno cara non coincide con il task accettato meno costoso. Un modello debole può aumentare retry, disaccordi del giudice o correzioni umane fino ad annullare il vantaggio sui token.

La mossa da fare lunedì

Prima di avviare gli acquisti, conviene eseguire un piccolo audit. L'obiettivo non è incoronare un fornitore leggendo una scheda funzionale, ma scoprire quale tipo di evidenza è davvero vincolante.

1. Bloccare 50 task ricavati da errori di produzione, workflow di alto valore ed edge case noti.
2. Confrontare l'agente attuale con una configurazione sfidante.
3. Eseguire tre prove per task e configurazione.
4. Applicare quattro scorer distinti: esito, traiettoria, qualità del task e costo o efficienza.
5. Far esaminare a un esperto del dominio 10 tracce controverse o ad alto rischio.

Questo disegno produce 1,200 punteggi e 2.5 ore di calibrazione umana, calcolando 15 minuti per ogni traccia esaminata. È abbastanza piccolo da rientrare nei livelli gratuiti e abbastanza ampio da rivelare se il team ha bisogno di esperimenti immutabili, tracce aperte, strumenti per le traiettorie, ampiezza di metriche o verifica in un ambiente ostile.

La condizione di cambio va scritta prima dell'esecuzione. Un agente generalista potrebbe essere sostituito soltanto se lo sfidante migliora il tasso di task accettati senza aumentare le azioni non valide sui tool. Un agente di assistenza potrebbe richiedere la stessa qualità di risoluzione con meno escalation. Un agente di sicurezza potrebbe imporre il clean solve rate anziché il pass rate. La soglia esatta appartiene all'azienda, ma deve esistere prima che qualcuno veda i punteggi.

Il venerdì va scelta la piattaforma le cui evidenze hanno risolto il disaccordo. Se l'artefatto decisivo è stato un confronto immutabile tra prove, Braintrust merita il primo posto. Se hanno prevalso tracce portabili e ispezione self-hosted, ha vinto Phoenix. Se la traiettoria dei tool ha isolato la regressione, ha vinto LangSmith. Se metriche CI e revisione QA hanno spostato il rilascio, ha vinto Confident AI. Se la verifica dell'ambiente ha svelato una scorciatoia, ha vinto Dreadnode.

Non si dovrebbe acquistare nulla quando l'audit non riesce a distinguere le configurazioni. Prima vanno corretti dataset, scorer o verificatore. Una piattaforma più grande non ripara una misurazione incapace di orientare una decisione.

Domande frequenti

Quali strumenti di audit per benchmark AI sono gratuiti?

Braintrust Starter, LangSmith Developer, Confident AI Free, AX Free e Phoenix open source offrono tutti un accesso da $0. I limiti sono diversi: Braintrust misura punteggi e dati, LangSmith tracce e postazioni, Confident AI limita i test run settimanali e i progetti, mentre AX misura span, ingestione e conservazione.

Che cos'è un framework di valutazione dell'AI?

Un framework di valutazione dell'AI trasforma casi di test, esecuzioni dell'agente, tracce, scorer e soglie in evidenze ripetibili. Il framework di solito vive nel codice; una piattaforma aggiunge storage gestito, collaborazione, revisione, monitoraggio, governance e fatturazione attorno a quel ciclo.

Quali metriche di valutazione AI contano per gli agenti?

Si parte da esito del task, qualità della traiettoria, scelta dei tool, correttezza degli argomenti, efficienza, costo e concordanza tra giudici automatici e persone. Ogni volta che il successo comporta la modifica di un file, database, browser o sistema esterno, va aggiunta una verifica dello stato dell'ambiente.

Scarica la checklist per l'audit dei workflow aziendali con l'AI per trasformare questo modello delle evidenze in una revisione concreta del tuo agente o stack di automazione.