Promptfoo: recensione, test LLM, prezzi e limiti

Prezzi e documentazione verificati il 13 ottobre 2026. L’esempio pratico è stato eseguito in locale su risposte preparate appositamente per i test. La valutazione delle funzionalità ospitate si basa sulla documentazione pubblica, senza una prova del prodotto con accesso a un account. Piani attuali di Promptfoo.

Che cos’è Promptfoo?

Promptfoo è uno strumento da riga di comando e una libreria open source: invia input di test a un modello AI o a un’applicazione, ne verifica le risposte e presenta i risultati per confrontarli. Un eval è un test ripetibile che verifica se una risposta rispetta i requisiti; il red teaming cerca deliberatamente di indurre l’applicazione a violarli. Si definiscono prompt, sistemi da testare, esempi e regole di valutazione, poi si esaminano i risultati in un’interfaccia locale oppure li si usa nel processo di build. Il vantaggio è poter rispondere in modo riproducibile alla domanda: «Questa modifica ha compromesso il nostro bot di assistenza?». La documentazione introduttiva descrive sia la valutazione della qualità sia i test di sicurezza.

A chi conviene e quando scegliere altro?

Promptfoo si adatta a chi sviluppa software e può gestire una configurazione di test, collegandola alla stessa applicazione usata dai clienti. Un bot di assistenza che recupera articoli della guida, legge i dati degli ordini o richiama uno strumento per i rimborsi è un buon candidato: l’utilità delle risposte e la sicurezza delle azioni richiedono verifiche distinte.

È una scelta indicata per chi vuole test verificabili insieme al codice, confronti tra provider e controlli avversariali specifici per l’applicazione. Qualcuno deve comunque stabilire che cosa rende corretta una risposta. È il lavoro necessario per ottenere valutazioni significative, qualunque strumento si scelga.

Fonti: Promptfoo, Braintrust, LangSmith. I modelli di fatturazione sono diversi: i pacchetti non sono equivalenti.

Se il problema immediato è analizzare insieme i dati di produzione, anziché definire test prima del rilascio, Promptfoo non è il primo acquisto da fare. Braintrust merita una valutazione quando il lavoro ruota attorno alla revisione degli esperimenti e a un dataset comune. LangSmith è da considerare quando serve ricostruire la sequenza di chiamate a modelli e strumenti compiuta da un agente per capire l’origine di un risultato sbagliato. Più avanti vedremo prezzi e compromessi specifici.

La scelta dipende da quattro criteri: quanto il sistema testato rispecchia la produzione, quanto è possibile esaminare i criteri di valutazione, quali test di sicurezza rispettano i vincoli sui dati e quanto costa l’intero flusso di lavoro. Un lungo elenco di integrazioni non compensa un test eseguito sul sistema sbagliato. Il nostro confronto degli strumenti per l’audit dei benchmark AI presenta una selezione più ampia.

Che cosa cambia con l’acquisizione da parte di OpenAI?

Il repository ufficiale di Promptfoo indica attualmente che il progetto fa parte di OpenAI e mantiene la licenza MIT. Gli annunci aziendali datati chiariscono la direzione prevista, ma non riportano né una data di perfezionamento dell’acquisizione né il prezzo. Repository di Promptfoo.

Il 9 marzo 2026, Promptfoo ha annunciato di aver raggiunto un accordo per essere acquisita da OpenAI, subordinato alle consuete condizioni di chiusura. Secondo l’azienda, l’operazione avrebbe consentito di migliorare e integrare la tecnologia di base nei livelli dei modelli e dell’infrastruttura. Lo stesso annuncio prometteva continuità del servizio e dell’assistenza, manutenzione della suite open source e supporto a un’ampia gamma di modelli e provider. Annuncio di Promptfoo.

Questi sono gli impegni dichiarati dall’azienda. La documentazione attuale sui provider include ancora fornitori concorrenti e runtime locali. Le dichiarazioni sull’integrazione indicano una direzione: non dimostrano che una determinata funzionalità enterprise sia già disponibile nella CLI.

Per decidere se adottarlo, occorre distinguere il cambio di proprietà dai requisiti tecnici. Quelle dichiarazioni non giustificano l’idea che Promptfoo possa valutare solo modelli OpenAI. Allo stesso modo, un’integrazione enterprise prospettata non è un motivo per acquistare funzionalità di cui non si è verificata l’utilità nel proprio flusso di lavoro. Vanno valutati il pacchetto disponibile oggi, le opzioni di distribuzione attuali e il contratto proposto.

Configurazione e provider supportati

In Promptfoo, la configurazione dei test diventa il riferimento condiviso per ciò che si intende misurare. Il formato YAML prevede prompts, providers e tests; i singoli test specificano vars ed eventuali regole assert. Un provider è l’adattatore che richiama un modello o l’applicazione. Variabili come {{question}} inseriscono l’input del test nel prompt. Guida alla configurazione.

Per un bot di assistenza, il prompt attuale e la nuova versione proposta devono essere valutati con le stesse domande e le stesse regole. Altrimenti, un punteggio più alto potrebbe dipendere soltanto da domande più facili nella seconda esecuzione. Conviene modificare una scelta alla volta: formulazione del prompt, comportamento del recupero delle informazioni, modello o permessi degli strumenti.

La matrice dei risultati locale permette di esaminare la risposta il cui punteggio è cambiato. Serve a individuare la regressione concreta: magari il prompt più breve non chiede più l’identificativo dell’ordine mancante, oppure il modello più economico presenta come certa una data di consegna incerta. Una media può nascondere entrambi i problemi.

Quali provider sono supportati?

L’indice dei provider di Promptfoo documenta un’ampia copertura. Tra gli esempi rilevanti figurano:

• API dei modelli: OpenAI, Anthropic, Google AI Studio, Google Vertex AI, Azure OpenAI, Amazon Web Services Bedrock, Cohere, Mistral AI, DeepSeek, Alibaba Cloud Qwen, AI21 Labs, Meta Model API, MiniMax, Moonshot Kimi, xAI e IBM WatsonX.
• Servizi di hosting e inferenza: Amazon SageMaker, Groq, Cerebras, Fireworks AI, Together AI, Hugging Face, OpenRouter, Replicate, Perplexity AI, NVIDIA NIM, Databricks, Snowflake Cortex e Cloudflare AI.
• Runtime locali: Ollama, llama.cpp, llamafile, LocalAI, Docker Model Runner, vLLM e Transformers.js.
• Adattatori per applicazioni: HTTP, WebSocket, Python, JavaScript, comandi shell, server Model Context Protocol e integrazioni documentate con SDK per agenti.

È un elenco rappresentativo: l’indice collegato comprende altri gateway e provider specializzati. Per autenticazione e opzioni supportate va consultato il singolo adattatore. Il supporto a un provider non dà automaticamente al proprio account accesso a tutti i suoi modelli.

Mettere alla prova l’applicazione di assistenza, non solo il modello

L’adattatore HTTP di Promptfoo può costruire una richiesta ed estrarre la risposta con transformResponse, per esempio usando json.output. Un provider Python personalizzato può invece richiamare il codice applicativo esistente. Queste possibilità contano quando il comportamento del bot dipende dal recupero delle informazioni, dallo stato della sessione, dalle autorizzazioni o dall’esecuzione di strumenti. Documentazione del provider HTTP.

Si invia una domanda realistica di un cliente attraverso quel punto di accesso e se ne valuta la risposta. Il test deve includere la stessa identità con permessi limitati e gli stessi record di prova che l’applicazione dovrebbe usare. Se si aggira il livello di recupero delle informazioni per testare il solo modello, si scopre ben poco sulla possibilità che un cliente ottenga l’ordine di un altro.

L’adattatore richiede quindi un lavoro di implementazione, non una semplice spunta in una checklist. Occorre mantenere il contesto che determina i permessi, estrarre il campo che vede il cliente ed esaminare separatamente le azioni eseguite. Un rifiuto cortese nella risposta finale non annulla un rimborso non autorizzato già effettuato.

Promptfoo e test LLM: un esempio con un bot di assistenza

Promptfoo può valutare risposte già disponibili: è un buon modo per iniziare prima di spendere in chiamate ripetute ai modelli. Il provider echo restituisce il testo fornito senza modificarlo, così le asserzioni verificano direttamente la risposta. Echo non invia richieste a un modello; aggiungere un LLM come valutatore cambierebbe questo aspetto. Documentazione del provider Echo.

L’esempio seguente usa risposte preparate appositamente come fixture di test: non sono log di clienti né output attribuiti a un modello. Supponiamo che la procedura di assistenza preveda di indirizzare le richieste di rimborso attraverso Settings, Billing e Request refund. Quando lo stato dell’ordine non è disponibile, il bot deve rinviare la richiesta all’assistenza senza affermare che l’ordine è stato spedito.

Salvare il contenuto in promptfooconfig.yaml:

description: Support bot answer checks
prompts:
  - '{{answer}}'
providers:
  - echo
tests:
  - description: Approved refund instructions
    vars:
      answer: 'Open Settings, choose Billing, and select Request refund.'
    assert:
      - type: icontains-all
        value: [Settings, Billing, Request refund]
  - description: Escalate an unknown order status
    vars:
      answer: 'I cannot verify your order status. Please contact support.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped
  - description: Reject an invented order status
    vars:
      answer: 'Your order has shipped. Please contact support if needed.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped

Le asserzioni usano tipi documentati: icontains verifica il testo senza distinguere maiuscole e minuscole, icontains-all richiede la presenza di tutte le espressioni indicate e il prefisso not- nega il controllo. Riferimento delle asserzioni.

Con una versione di Node.js che soddisfi il requisito documentato, >=22.22.0, eseguire:

npx promptfoo@latest eval -c promptfooconfig.yaml -o support-results.json
npx promptfoo@latest view

La guida introduttiva documenta i comandi per l’eval e il visualizzatore; la guida rapida al red teaming specifica il requisito di Node. Il visualizzatore va avviato con un comando separato, dopo la conclusione dell’eval.

L’esecuzione locale svolta per questa recensione ha prodotto il risultato previsto: la risposta sul rimborso ha superato il test, quella che riconosceva l’incertezza lo ha superato e quella che inventava la spedizione è stata bocciata. Quest’ultima conteneva l’invito a contattare l’assistenza, ma ciò non ha compensato l’affermazione vietata. Il risultato verifica il funzionamento dell’esempio e delle asserzioni; non dice nulla sull’affidabilità di un modello in uso reale.

La distinzione è utile. Prima di fidarsi di un valutatore, bisogna sottoporgli una risposta che deve superare il test e una che deve fallirlo. Se passano entrambe, occorre correggere il test prima di confrontare i modelli. Il modello da valutare non dovrebbe diventare il primo strumento con cui fare debug del sistema di test.

Dalle frasi esatte alla qualità dell’assistenza

Le asserzioni di Promptfoo valutate da un modello consentono di applicare criteri che il semplice confronto di stringhe non coglie. llm-rubric valuta in base a una griglia scritta, mentre factuality confronta una risposta con un’affermazione di riferimento. È possibile scegliere esplicitamente il provider che effettua la valutazione. Asserzioni valutate da modelli.

Per questo bot, una griglia utile dovrebbe richiedere che la risposta usi soltanto i fatti forniti sull’ordine, riconosca le informazioni mancanti e proponga un’azione successiva consentita. Al valutatore vanno fornite la procedura pertinente e le informazioni di riferimento; altrimenti gli si chiede di indovinare se un’affermazione sulla spedizione è vera.

Conviene mantenere controlli deterministici per i requisiti esatti e ricorrere a una valutazione interpretativa quando la formulazione può variare. L’esempio non intercetterebbe una frase come «il pacco è in viaggio» e potrebbe respingere una risposta altrimenti corretta che cita la frase vietata per smentirla. Sono limiti dei controlli scelti, non prove della sicurezza o dell’insicurezza del bot.

Il passo successivo è sostituire le fixture con risposte raccolte oppure collegare il provider dell’applicazione. La fixture deliberatamente errata va conservata per verificare la logica di valutazione. Una modifica al prompt non deve ridefinire di nascosto che cosa conta come successo.

Red teaming AI con Promptfoo: verificare il perimetro dell’applicazione

Il flusso di red teaming di Promptfoo genera input avversariali, li esegue contro un sistema e mette in evidenza i fallimenti da esaminare. I plugin selezionano il comportamento da sondare; le strategie modificano il modo in cui viene condotto l’attacco. Tra i sistemi testabili documentati figurano endpoint HTTP, interazioni nel browser e collegamenti diretti a modelli o codice personalizzato. Guida rapida al red teaming.

Per un bot di assistenza, gli eval ordinari verificano se un cliente che ne ha diritto riceve istruzioni corrette per il rimborso. Il red teaming verifica invece se un cliente può manipolare il bot per accedere ai dati di un’altra persona, aggirare una regola o usare impropriamente uno strumento collegato. Promptfoo documenta minacce a livello applicativo, tra cui prompt injection indiretta, fuga di dati, accessi non autorizzati e abuso degli strumenti. Guida al red teaming.

Per un agente con accesso in scrittura, usare un ambiente di test controllato e verificare sia i record risultanti sia la trascrizione della chat. Un test limitato alla risposta potrebbe non rilevare un’azione non autorizzata compiuta tramite uno strumento. Viceversa, un rifiuto può essere corretto anche se sembra meno utile di quanto si aspetti il valutatore.

Una volta corretto, un problema rilevato dovrebbe diventare un caso di regressione. L’esplorazione, che cerca nuovi errori, va tenuta distinta dalla riesecuzione dei test, che verifica se sono tornati errori già noti. La nostra guida su come eseguire valutazioni di sicurezza degli agenti AI approfondisce questo processo di rilascio.

CI e report: fare in modo che gli errori blocchino il rilascio

Promptfoo si integra nella continuous integration, cioè nei controlli automatici eseguiti quando cambia il codice. La documentazione copre eval ordinari, scansioni di red teaming, riesecuzione di probe salvati ed esportazioni in formati tra cui JSON, HTML e JUnit. Guida CI/CD.

Quando uno sviluppatore modifica il prompt di sistema o il recupero delle informazioni, serve una suite di regressione stabile. La generazione di attacchi più ampia va eseguita separatamente, quando si vogliono scoprire nuovi casi. Inserire attacchi nuovi in ogni confronto rende difficile attribuire una variazione del punteggio: è peggiorata l’applicazione o è diventato più difficile il test?

Per impostazione predefinita documentata, la CLI restituisce il codice di uscita 100 quando un test fallisce o non viene raggiunta la soglia di superamento; per gli altri errori usa 1. La soglia predefinita è 100% e queste impostazioni sono configurabili. Il job di CI deve mantenere lo stato di errore: la corretta scrittura di un report non equivale al superamento del test. Riferimento della CLI.

Nei criteri di rilascio, gli errori catastrofici vanno distinti dalle normali carenze qualitative. Un accesso non autorizzato non deve scomparire nella media di risposte per il resto utili. Per ogni caso che blocca il rilascio occorre assegnare un responsabile, conservare le prove e rieseguire lo stesso test dopo la modifica.

I report hanno valore perché permettono a un’altra persona di mettere in discussione la conclusione. Insieme al risultato vanno conservati la revisione dell’applicazione, la configurazione, i dati di test e il valutatore scelto. Senza questo contesto, un report positivo può diventare impossibile da riprodurre alla successiva modifica del modello o del prompt.

Prezzi di Promptfoo: Community, Enterprise e On-Premise

Promptfoo presenta tre piani. Quelli a pagamento richiedono un preventivo: per nessuno dei due la pagina pubblica indica un prezzo di partenza in dollari. Verifica effettuata il 13 ottobre 2026 sulla pagina prezzi di Promptfoo.

Che cosa copre il numero di probe incluso?

Promptfoo conta un probe quando invia una richiesta al sistema sottoposto a valutazione durante il red teaming. Le chiamate interne di generazione e valutazione non vengono conteggiate come probe. Secondo la documentazione sull’inferenza, i limiti continuano ad applicarsi anche quando l’inferenza viene gestita in autonomia, compreso l’uso di modelli locali. Inferenza e limiti.

Il numero di probe incluso non va interpretato come un numero di scenari di sicurezza distinti. Una strategia che invia richieste ripetute al sistema consuma la quota in modo diverso da un caso con un solo turno. La copertura dipende dall’applicazione, dalla scelta degli attacchi e dalle richieste effettuate durante l’esecuzione. Una volta collegato il sistema, il budget va stimato sulle richieste osservate.

Costo mensile e costo per risposta

La licenza gratuita di Promptfoo lascia diversi costi da considerare: inferenza del modello testato, generazione degli attacchi, valutazione tramite modelli, infrastruttura e analisi degli errori. Il totale mensile dipende da quali servizi si gestiscono in proprio e quali si acquistano. Un test runner gratuito non paga la fattura del provider.

Nell’esempio pratico, il costo di inferenza del modello per ogni risposta di fixture valutata è $0, perché Echo non richiama alcun modello e i controlli sono deterministici. Questo risultato non si estende a una suite valutata da un LLM. Quando un modello valutatore legge ogni risposta, il suo utilizzo entra nel budget della valutazione. Comportamento documentato di Echo.

Per confronto, la tariffa pubblicata da Braintrust per i punteggi oltre la quota Starter, $2.50 ogni 1,000 punteggi, equivale a $0.0025 per ogni punteggio aggiuntivo. È una tariffa di scoring, non il costo complessivo di una risposta di assistenza accettata: uso dei modelli ed elaborazione dei dati vengono conteggiati separatamente. Prezzi di Braintrust.

Il denominatore utile è una risposta accettata in base alle regole di assistenza. La spesa attribuibile alla valutazione va divisa per le risposte accettate, mantenendo visibile anche il lavoro di analisi degli errori. Un’esecuzione più economica che accetta informazioni inventate sugli ordini ottimizza il risultato sbagliato.

I limiti che incidono sulla scelta

Il limite più rilevante di Promptfoo è che eseguire uno scanner in locale non rende locale l’intero flusso di sicurezza. La documentazione sulla gestione dei dati distingue le chiamate al sistema testato dalla generazione e dalla valutazione. La valutazione ospitata può ricevere il prompt del test, la risposta del sistema e i criteri da applicare.

Alcuni test importanti richiedono inferenza ospitata. La stessa documentazione elenca plugin disponibili solo da remoto, tra cui bola, bfla e indirect-prompt-injection. Riguardano l’accesso alle risorse, i permessi sulle funzioni e le istruzioni provenienti da contenuti esterni. Disattivare la generazione remota riduce la copertura disponibile; il relativo flag non garantisce l’isolamento dalla rete. Se il dataset di assistenza è soggetto a restrizioni, questo aspetto va chiarito prima di promettere un piano di test interamente locale.

Gestire l’inferenza in proprio non elimina il limite dei probe. È un vincolo distinto dalla destinazione dei dati. La documentazione sull’inferenza mantiene esplicitamente il conteggio dell’utilizzo anche con una configurazione di inferenza propria. «Open source» non va interpretato come disponibilità illimitata dei servizi ospitati per gli attacchi.

Un valutatore può premiare il comportamento sbagliato. L’esempio pratico rileva una frase letterale sulla spedizione, non tutte le affermazioni infondate sulla consegna. Un LLM valutatore aggiunge flessibilità, ma introduce anche l’interpretazione di un altro modello. La griglia va calibrata con esempi che il personale responsabile dell’assistenza concorda nel considerare accettabili o inaccettabili.

Un test sulla risposta può non rilevare un’azione errata. Se l’adattatore del sistema espone solo il testo finale, la suite non può stabilire da quel testo se l’agente ha usato l’account giusto o modificato il record corretto. Quando il successo di un’operazione coinvolge uno strumento, servono anche prove delle azioni o verifiche dello stato dell’applicazione.

Il lavoro operativo resta a carico del team. Qualcuno deve mantenere i casi, indagare sui problemi e decidere che cosa impedisce il lancio. Una dashboard gestita può semplificare il coordinamento, ma non può definire la politica dei rimborsi o le regole di accesso ai dati dei clienti che i test devono far rispettare.

Alternative a Promptfoo

Braintrust: quando conta soprattutto valutare insieme

Braintrust riunisce tracing, esperimenti, dataset e scoring in una piattaforma condivisa. È indicato quando il lavoro ricorrente consiste nel rivedere le modifiche con i colleghi e trasformare i comportamenti osservati in dati per la valutazione. Per questo tipo di attività, l’ampiezza delle sue funzioni lo rende un candidato iniziale più adatto rispetto a un processo basato soprattutto su file di configurazione.

Starter costa $0/mese e include 1 GB di dati elaborati, 10,000 punteggi e 14 giorni di conservazione. Pro costa $249/mese e include 5 GB, 50,000 punteggi e 30 giorni di conservazione; Enterprise ha un prezzo personalizzato. Su Starter, i dati oltre la quota costano $4/GB e i punteggi aggiuntivi $2.50/1,000. Per Pro sono indicati $3/GB e $1.50/1,000, con la conservazione prolungata fatturata a parte. Piani attuali di Braintrust.

Il limite sta nelle diverse voci della fattura: per punteggi, dati elaborati, conservazione e uso dei modelli serve una stima del carico di lavoro. Promptfoo è preferibile quando l’esigenza immediata è una piccola suite di test facile da verificare, insieme a test avversariali dell’applicazione. Non conviene acquistare una piattaforma condivisa solo per evitare di definire il comportamento atteso.

LangSmith: quando il problema è capire l’esecuzione dell’agente

LangSmith offre tracing, raccolta di dataset, annotazione e valutazioni online e offline. È indicato quando il lavoro si concentra sull’indagine della catena di eventi che ha prodotto una risposta. Un agente di assistenza può restituire una frase plausibile dopo aver recuperato il record sbagliato: una traccia di esecuzione fornisce elementi preziosi per ricostruire l’accaduto.

Developer costa $0/posto/mese, è limitato a un solo posto e include 5,000 tracce base al mese prima dell’applicazione delle tariffe a consumo. Plus costa $39/posto/mese, include 10,000 tracce base al mese e consente di aggiungere posti. La quota pubblicata è complessiva: non va moltiplicata per il numero di posti. Enterprise ha un prezzo personalizzato. Prezzi di LangSmith.

Per un gruppo di revisione in crescita, il limite è che ogni posto aggiunge un costo mentre l’utilizzo resta a consumo. Promptfoo è preferibile quando l’obiettivo immediato è un controllo automatico prima del rilascio con una copertura avversariale esplicita. Una traccia di LangSmith, un punteggio di Braintrust e un probe di Promptfoo rappresentano eventi diversi: confrontare le rispettive quote come se fossero esecuzioni di test equivalenti porta a un budget fuorviante.

Il verdetto: conviene se si possono gestire i test

Promptfoo trova spazio in un progetto di bot di assistenza o di agente quando servono controlli di qualità espliciti e test avversariali che gli sviluppatori possano esaminare e rieseguire. Community è il punto di partenza se flussi di dati, copertura e modalità operative sono adatti al progetto. Le funzionalità gestite diventano un acquisto sensato quando collaborazione, controlli o requisiti di distribuzione creano un’esigenza concreta.

La scelta cambia quando cambia il collo di bottiglia. Se non si riesce a definire una risposta sicura e corretta, bisogna prima sistemare le regole e gli esempi. Se la si sa definire ma non si riescono a riprodurre gli errori, Promptfoo è un passo successivo ragionevole. Se gli errori sono già riproducibili e il problema è l’analisi collaborativa o il tracing dell’esecuzione, vale la pena valutare anche Braintrust o LangSmith.

Il prossimo passo è salvare domande di assistenza rappresentative, definire risposte accettabili e azioni vietate, quindi verificare che una risposta deliberatamente sbagliata fallisca il test. Poi si collega l’applicazione reale, si esamina il suo perimetro di accesso ai dati e si aggiungono i casi di sicurezza che farebbero bloccare un rilascio. I criteri di rilascio vanno resi espliciti prima di guardare i punteggi.

Le domande da chiarire prima di adottarlo

Iscriviti alla newsletter per resoconti pratici di sviluppo e appunti dal lavoro sul campo con i sistemi AI.