Promptfoo: testes de LLM, red teaming e custos na prática

Preços e documentação verificados em 13 de outubro de 2026. O exemplo apresentado abaixo foi executado localmente com respostas preparadas para o teste. A análise dos recursos hospedados se baseia na documentação pública, sem teste do produto em uma conta autenticada. Planos atuais do Promptfoo.

O que é o Promptfoo?

Promptfoo é uma ferramenta de linha de comando e uma biblioteca de código aberto que envia entradas de teste a um modelo ou aplicação de IA, verifica as respostas e apresenta os resultados para comparação. Uma avaliação, ou eval, é um teste repetível para verificar se uma resposta atende aos seus requisitos; red teaming tenta deliberadamente levar a aplicação a violá-los. Você define prompts, alvos, exemplos e regras de pontuação. Depois, consulta os resultados em uma interface local ou os incorpora ao processo de build. O valor está em conseguir responder de forma reproduzível à pergunta: “essa mudança quebrou nosso bot de atendimento?”. A documentação introdutória aborda tanto a avaliação de qualidade quanto os testes de segurança.

Para quem vale a pena — e quem deve procurar outra opção?

Promptfoo faz sentido para desenvolvedores que podem assumir a manutenção de uma configuração de testes e conectá-la à mesma aplicação usada pelos clientes. Um bot de atendimento que consulta artigos de ajuda, lê registros de pedidos ou aciona uma ferramenta de reembolso é um bom candidato: a utilidade das respostas e a segurança das ações precisam de testes separados.

Escolha a ferramenta se você quer testes que possam ser revisados junto ao código, comparações entre provedores e verificações adversariais específicas da aplicação. Alguém ainda precisa definir o que é uma resposta correta. Esse trabalho faz parte de qualquer avaliação que traga resultados úteis, independentemente da ferramenta.

Fontes: Promptfoo, Braintrust, LangSmith. Os modelos de cobrança são diferentes; os pacotes não são equivalentes.

Se a urgência é analisar o comportamento em produção com a equipe, em vez de definir testes antes do lançamento, não comece sua compra pelo Promptfoo. Inclua Braintrust na seleção quando a revisão de experimentos e um conjunto de dados compartilhado forem o centro do trabalho. Considere LangSmith quando precisar acompanhar a sequência de chamadas de um agente a modelos e ferramentas para entender um resultado ruim. Os preços e as limitações de cada opção aparecem mais adiante.

A decisão depende de quatro critérios: o quanto o alvo se aproxima da produção, a facilidade de inspecionar a pontuação, quais testes de segurança respeitam suas restrições de dados e o custo do fluxo completo. Uma lista extensa de integrações não compensa testar o alvo errado. Nosso comparativo de ferramentas de auditoria de benchmarks de IA apresenta uma seleção mais ampla.

O que mudou com a aquisição pela OpenAI?

O repositório oficial atual do Promptfoo informa que o projeto faz parte da OpenAI e continua sob licença MIT. Os comunicados datados da empresa indicam a direção pretendida, mas não informam a data de conclusão nem o valor da aquisição. Repositório do Promptfoo.

Em 9 de março de 2026, o Promptfoo anunciou um acordo para ser adquirido pela OpenAI, com conclusão sujeita às condições usuais. Segundo a empresa, a mudança permitiria aprimorar e integrar sua tecnologia central às camadas de modelos e infraestrutura. O mesmo comunicado prometeu a continuidade do serviço e do suporte, a manutenção do conjunto de ferramentas de código aberto e o suporte a uma ampla variedade de modelos e provedores. Comunicado do Promptfoo.

Esses são os compromissos declarados pela empresa. A documentação atual de provedores ainda inclui concorrentes e ambientes de execução locais. A proposta de integração sinaliza uma direção; não comprova que determinado recurso corporativo já esteja disponível na CLI.

Na hora de comprar, vale separar a mudança de controle da empresa dos requisitos técnicos. Esses comunicados não dão fundamento para tratar o Promptfoo como um avaliador exclusivo de modelos da OpenAI. Da mesma forma, a perspectiva de uma integração corporativa não justifica comprar recursos que você ainda não validou no próprio fluxo de trabalho. Avalie o pacote, as opções de implantação e o contrato disponíveis hoje.

Configuração e suporte a provedores

No Promptfoo, a configuração de testes é o registro compartilhado do que se pretende medir. O formato YAML usa prompts, providers e tests; cada teste fornece vars e, opcionalmente, regras assert. Um provedor é o adaptador que chama um modelo ou a sua aplicação. Variáveis como {{question}} inserem a entrada do teste em um prompt. Guia de configuração.

Para um bot de atendimento, compare o prompt atual com a versão proposta usando as mesmas perguntas e regras de pontuação. Caso contrário, uma nota maior pode significar apenas que a segunda execução recebeu perguntas mais fáceis. Mude uma decisão por vez: a redação do prompt, o comportamento de recuperação de informações, o modelo ou as permissões das ferramentas.

A matriz local permite examinar a resposta cujo resultado mudou. Use essa inspeção para identificar a regressão concreta: talvez o prompt mais curto tenha deixado de pedir o identificador de um pedido, ou o modelo mais barato tenha apresentado como certa uma data de entrega incerta. Uma média pode esconder qualquer um desses problemas.

Quais provedores são compatíveis?

O índice de provedores do Promptfoo documenta uma cobertura ampla. Entre os exemplos relevantes estão:

• APIs de modelos: OpenAI, Anthropic, Google AI Studio, Google Vertex AI, Azure OpenAI, Amazon Web Services Bedrock, Cohere, Mistral AI, DeepSeek, Alibaba Cloud Qwen, AI21 Labs, Meta Model API, MiniMax, Moonshot Kimi, xAI e IBM WatsonX.
• Serviços de hospedagem e inferência: Amazon SageMaker, Groq, Cerebras, Fireworks AI, Together AI, Hugging Face, OpenRouter, Replicate, Perplexity AI, NVIDIA NIM, Databricks, Snowflake Cortex e Cloudflare AI.
• Ambientes de execução locais: Ollama, llama.cpp, llamafile, LocalAI, Docker Model Runner, vLLM e Transformers.js.
• Adaptadores de aplicações: HTTP, WebSocket, Python, JavaScript, comandos de shell, servidores Model Context Protocol e integrações documentadas com SDKs de agentes.

A lista é representativa; o índice inclui outros gateways e provedores especializados. Confira os requisitos de autenticação e as opções compatíveis de cada adaptador. O suporte a um provedor não dá à sua conta acesso a todos os modelos dele.

Teste a aplicação de atendimento, não apenas o modelo

O adaptador HTTP do Promptfoo pode montar uma requisição e extrair a resposta com transformResponse, usando, por exemplo, json.output. Outra opção é usar um provedor Python personalizado para chamar o código existente da aplicação. Esses caminhos são importantes quando o comportamento do bot depende de recuperação de informações, estado da sessão, autorização ou execução de ferramentas. Documentação do provedor HTTP.

Envie uma pergunta realista de cliente por essa interface e avalie a resposta. Inclua a mesma identidade com permissões restritas e os registros de teste que a aplicação deve usar. Se você ignorar a camada de recuperação e testar apenas o modelo, descobrirá pouco sobre a possibilidade de um cliente acessar o pedido de outro.

Por isso, preparar o adaptador é um trabalho de engenharia. Preserve o contexto que determina as permissões, extraia o campo que o cliente vê e inspecione separadamente as ações executadas. Uma recusa educada na resposta final não desfaz um reembolso não autorizado que já aconteceu.

Como avaliar respostas com o Promptfoo: exemplo de um bot de atendimento

O Promptfoo consegue avaliar respostas já existentes, um bom começo antes de gastar com chamadas repetidas a modelos. O provedor echo devolve o texto recebido sem alterações, permitindo que as asserções verifiquem a resposta diretamente. Echo não faz requisições a modelos; acrescentar um LLM como avaliador mudaria isso. Documentação do provedor Echo.

O exemplo a seguir usa respostas preparadas para o teste, e não registros de clientes ou saídas atribuídas a um modelo. Suponha que a política de atendimento determine que os pedidos de reembolso sigam o caminho Settings, Billing e Request refund. Quando o status do pedido não estiver disponível, o bot deve encaminhar o caso ao suporte sem afirmar que o pedido foi enviado.

Salve o conteúdo abaixo como promptfooconfig.yaml:

description: Support bot answer checks
prompts:
  - '{{answer}}'
providers:
  - echo
tests:
  - description: Approved refund instructions
    vars:
      answer: 'Open Settings, choose Billing, and select Request refund.'
    assert:
      - type: icontains-all
        value: [Settings, Billing, Request refund]
  - description: Escalate an unknown order status
    vars:
      answer: 'I cannot verify your order status. Please contact support.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped
  - description: Reject an invented order status
    vars:
      answer: 'Your order has shipped. Please contact support if needed.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped

As asserções usam tipos documentados: icontains verifica o texto sem diferenciar maiúsculas de minúsculas, icontains-all exige a presença de cada expressão fornecida, e o prefixo not- nega uma verificação. Referência de asserções.

Com o pré-requisito documentado de Node.js, >=22.22.0, execute:

npx promptfoo@latest eval -c promptfooconfig.yaml -o support-results.json
npx promptfoo@latest view

O guia de primeiros passos documenta os comandos de avaliação e visualização; o guia rápido de red teaming informa o requisito de Node.js. Execute o visualizador em um comando separado, depois que a avaliação terminar.

A execução local feita para esta análise produziu o resultado esperado: a resposta sobre reembolso passou, a resposta que reconhecia a incerteza passou e a resposta que inventava o envio do pedido falhou. A última resposta continha a expressão de encaminhamento ao suporte, mas isso não compensou a afirmação proibida. O resultado verifica a montagem do exemplo e suas asserções; não diz nada sobre a confiabilidade de um modelo em operação.

Essa distinção é útil. Antes de confiar em um avaliador, forneça uma resposta que precisa passar e outra que precisa falhar. Se ambas passarem, corrija o teste antes de comparar modelos. O modelo avaliado não deve ser sua primeira ferramenta para depurar a estrutura de testes.

Vá além das expressões exatas para avaliar a qualidade do atendimento

As asserções avaliadas por modelos do Promptfoo permitem verificar critérios que a comparação de texto não capta. llm-rubric avalia segundo uma rubrica escrita, enquanto factuality compara a resposta com uma afirmação de referência. Você pode escolher explicitamente o provedor usado na avaliação. Asserções avaliadas por modelos.

Para esse bot, uma rubrica útil exigiria que a resposta usasse apenas os fatos fornecidos sobre o pedido, reconhecesse a falta de informação e oferecesse uma próxima ação permitida. Dê ao avaliador a política relevante e os fatos de referência; sem isso, você estará pedindo que ele adivinhe se uma afirmação sobre envio é verdadeira.

Mantenha verificações determinísticas para os requisitos exatos e recorra ao julgamento quando a redação puder variar. O exemplo deixaria passar uma expressão equivalente a “sua encomenda está a caminho” e poderia rejeitar uma frase válida que citasse a expressão proibida para corrigi-la. Essas são limitações das verificações escolhidas, não evidências de que o bot é seguro ou inseguro.

Depois, substitua as respostas preparadas por respostas capturadas ou conecte o provedor da aplicação. Mantenha o exemplo sabidamente incorreto para testar a lógica de pontuação. Uma mudança de prompt não deve redefinir silenciosamente o que conta como sucesso.

Red teaming com Promptfoo: teste os limites da aplicação

O fluxo de red teaming do Promptfoo gera entradas adversariais, executa-as contra um alvo e apresenta as falhas para revisão. Os plugins selecionam o comportamento a investigar; as estratégias mudam a forma de aplicar o ataque. Os alvos documentados incluem endpoints HTTP, interações no navegador e conexões diretas com modelos ou código personalizado. Guia rápido de red teaming.

Em um bot de atendimento, as avaliações comuns verificam se um cliente elegível recebe as instruções corretas de reembolso. O red teaming investiga se um cliente consegue manipular o bot para expor o registro de outra pessoa, contornar uma política ou usar indevidamente uma ferramenta conectada. O Promptfoo documenta ameaças no nível da aplicação, como injeção indireta de prompt, vazamento de dados, acesso não autorizado e abuso de ferramentas. Guia de red teaming.

Para um agente com permissão de escrita, use um ambiente de testes controlado e verifique os registros resultantes, além da transcrição da conversa. Um teste restrito à resposta pode deixar passar uma ação não autorizada de ferramenta. Por outro lado, uma recusa pode estar correta mesmo que pareça menos prestativa do que o avaliador espera.

Depois de corrigido, um achado deve virar um caso de regressão. Separe a exploração, que busca novas falhas, da reexecução, que verifica se falhas conhecidas voltaram a ocorrer. Nosso guia sobre como executar avaliações de segurança de agentes de IA aprofunda esse processo de lançamento.

CI e relatórios: faça as falhas bloquearem o lançamento

O Promptfoo se encaixa na integração contínua, o conjunto de verificações automatizadas executadas quando o código muda. Sua documentação cobre avaliações comuns, varreduras de red team, reexecução de probes salvos e exportações em formatos como JSON, HTML e JUnit. Guia de CI/CD.

Use uma suíte estável de regressão quando um desenvolvedor alterar o prompt de sistema ou o comportamento de recuperação de informações. Execute a geração mais ampla de ataques separadamente, quando quiser descobrir novos casos. Misturar ataques inéditos em cada comparação dificulta entender a mudança de pontuação: a aplicação regrediu ou o teste ficou mais difícil?

O padrão documentado da CLI é retornar o código de saída 100 quando um teste falha ou a taxa mínima de aprovação não é atingida; outros erros usam 1. A taxa mínima padrão é 100%, e essas configurações podem ser alteradas. Um job de CI precisa preservar o status de falha: gerar um relatório com sucesso não significa que o teste passou. Referência da CLI.

Na regra de liberação, separe os erros catastróficos das falhas comuns de qualidade. Um acesso não autorizado não pode desaparecer na média de respostas que, no restante, foram úteis. Defina um responsável para cada caso que bloqueia o lançamento, preserve as evidências e execute o mesmo caso novamente após a alteração.

Os relatórios têm valor porque permitem que outra pessoa questione a conclusão. Guarde a revisão da aplicação, a configuração, os dados de teste e a escolha do avaliador junto ao resultado. Sem esse contexto, pode se tornar impossível reproduzir um relatório aprovado quando chegar a próxima mudança de modelo ou prompt.

Preços do Promptfoo: Community, Enterprise e On-Premise

O Promptfoo apresenta três planos. Os planos pagos dependem de orçamento; a página atual não publica um preço inicial em dólares para nenhum deles. Informações verificadas em 13 de outubro de 2026 na página de preços do Promptfoo.

O que a franquia de probes cobre?

O Promptfoo contabiliza um probe quando envia uma requisição ao alvo durante uma avaliação de red team. Chamadas internas de geração e avaliação não contam como probes. A documentação de inferência informa que os limites continuam valendo quando você gerencia a própria inferência, inclusive com modelos locais. Inferência e limites.

Não trate a franquia como uma quantidade de cenários únicos de segurança. Uma estratégia que faz várias requisições ao alvo consome a capacidade de forma diferente de um caso com uma única interação. A cobertura depende da aplicação, dos ataques selecionados e das requisições feitas durante a execução. Depois de conectar o alvo, use as requisições observadas para planejar o orçamento.

Custo mensal e custo por resposta

A licença gratuita do Promptfoo ainda deixa vários custos na conta: inferência do modelo testado, geração de ataques, avaliação por modelos, infraestrutura e análise de falhas. O total mensal depende de quais desses serviços você opera ou contrata. Um executor de testes gratuito não paga a fatura do provedor.

O exemplo apresentado tem custo de inferência de modelos de $0 por resposta de teste avaliada, porque Echo não chama nenhum modelo e as verificações são determinísticas. Esse resultado não se aplica a uma suíte avaliada por LLM. Quando um avaliador passa a ler todas as respostas, seu consumo entra no orçamento da avaliação. Comportamento documentado do Echo.

Para comparação, a tarifa publicada do Braintrust Starter de $2.50 por 1,000 pontuações excedentes equivale a $0.0025 por pontuação adicional. Trata-se de uma cobrança pela pontuação, não do custo total de uma resposta de atendimento aprovada; uso de modelos e processamento de dados são medidos separadamente. Preços do Braintrust.

O denominador útil é uma resposta aprovada segundo a política de atendimento. Divida o gasto atribuível à avaliação pela quantidade de respostas aprovadas e mantenha visível o trabalho de investigação de falhas. Uma execução mais barata que aceita fatos inventados sobre pedidos otimizou o resultado errado.

Limitações que pesam na decisão

A principal limitação do Promptfoo é que executar um scanner localmente não torna local todo o fluxo de segurança. A documentação de tratamento de dados separa chamadas ao alvo, geração e avaliação. A avaliação hospedada pode receber o prompt de teste, a resposta do alvo e os critérios.

Alguns testes importantes exigem inferência hospedada. A mesma documentação identifica plugins que só funcionam remotamente, como bola, bfla e indirect-prompt-injection. Eles tratam de acesso a recursos, permissões de funções e instruções recebidas por conteúdo externo. Desativar a geração remota reduz a cobertura disponível; a flag de desativação não garante isolamento de rede. Se o conjunto de dados de atendimento tiver restrições de uso, resolva essa questão antes de prometer um plano de testes totalmente local.

Gerenciar a própria inferência não elimina o limite de probes. Essa é uma limitação distinta do destino dos dados. A documentação de inferência mantém explicitamente a contagem de uso mesmo com uma configuração própria de inferência. “Código aberto” não deve virar sinônimo presumido de serviços hospedados de ataque ilimitados.

Um avaliador pode premiar o comportamento errado. O exemplo identifica uma expressão literal sobre envio, não toda afirmação de entrega sem respaldo. Um LLM como avaliador traz flexibilidade, mas também introduz a interpretação de outro modelo. Calibre a rubrica com exemplos que os profissionais responsáveis pelo atendimento concordem serem aceitáveis ou inaceitáveis.

Um teste da resposta pode deixar passar uma falha na ação. Se o adaptador do alvo expuser apenas o texto final, a suíte não consegue determinar só com esse texto se o agente usou a conta certa ou alterou o registro correto. Acrescente evidências das ações ou verificação do estado da aplicação sempre que o sucesso depender de uma ferramenta.

O trabalho operacional continua sendo seu. Alguém precisa manter os casos, investigar os achados e decidir o que impede um lançamento. Contratar um painel gerenciado pode facilitar a coordenação desse trabalho, mas não fornece a política de reembolso nem as regras de acesso dos clientes que os testes precisam fazer cumprir.

Alternativas ao Promptfoo

Braintrust: quando a prioridade é avaliar em equipe

Braintrust reúne rastreamento de execuções, experimentos, conjuntos de dados e pontuação em uma plataforma compartilhada. Faz sentido quando o trabalho recorrente é revisar mudanças com colegas e transformar o comportamento observado em dados de avaliação. Para esse fluxo, seu escopo o torna um candidato inicial mais forte do que um processo centrado principalmente em arquivos de configuração.

O Starter custa $0/mês e inclui 1 GB de dados processados, 10,000 pontuações e retenção de 14 dias. O Pro custa $249/mês, com 5 GB, 50,000 pontuações e retenção de 30 dias; o Enterprise tem preço sob consulta. No Starter, dados excedentes custam $4/GB e pontuações excedentes, $2.50/1,000. No Pro, os valores publicados são $3/GB e $1.50/1,000, com retenção estendida cobrada à parte. Planos atuais do Braintrust.

A limitação está nas várias dimensões da cobrança: pontuações, dados processados, retenção e uso de modelos exigem uma estimativa da carga de trabalho. Prefira Promptfoo quando a necessidade imediata for uma suíte pequena, fácil de revisar, com testes adversariais da aplicação. Não contrate uma plataforma compartilhada apenas para evitar descrever o comportamento esperado.

LangSmith: quando o problema está no caminho percorrido pelo agente

LangSmith oferece rastreamento de execuções, coleta de conjuntos de dados, anotação e avaliações online e offline. Faz sentido quando investigar a sequência de eventos por trás de uma resposta é central para o trabalho. Um agente de atendimento pode entregar uma frase plausível depois de consultar o registro errado; um rastro de execução é uma evidência valiosa nessa investigação.

O Developer custa $0/usuário/mês, é limitado a um usuário e inclui 5,000 rastros básicos por mês antes das cobranças por consumo. O Plus custa $39/usuário/mês, com 10,000 rastros básicos por mês e possibilidade de acrescentar usuários. A franquia publicada é total, não multiplicada pelo número de usuários. O Enterprise tem preço sob consulta. Preços do LangSmith.

Para uma equipe de revisão em crescimento, a limitação é que cada usuário acrescenta custo, enquanto o consumo continua sendo medido. Prefira Promptfoo quando o objetivo imediato for uma verificação automatizada de liberação com cobertura adversarial explícita. Um rastro do LangSmith, uma pontuação do Braintrust e um probe do Promptfoo representam eventos diferentes; comparar essas franquias como se fossem execuções de teste equivalentes produz um orçamento enganoso.

Veredito: adote se você puder assumir os testes

O Promptfoo merece espaço em um projeto de bot de atendimento ou de agentes quando você precisa de verificações explícitas de qualidade e de testes adversariais que os desenvolvedores possam revisar e repetir. Comece pelo Community se os fluxos de dados, a cobertura e o modelo operacional atenderem às suas necessidades. Contrate recursos gerenciados quando colaboração, controles ou exigências de implantação criarem uma necessidade concreta.

A decisão muda quando o gargalo muda. Se você não consegue descrever uma resposta segura e correta, ajuste primeiro a política e os exemplos. Se consegue descrevê-la, mas não consegue reproduzir as falhas, Promptfoo é um próximo passo sensato. Se já reproduz as falhas e o problema é a análise em equipe ou o rastreamento da execução, avalie Braintrust ou LangSmith junto com ele.

O próximo passo é salvar perguntas representativas do atendimento, definir respostas aceitáveis e ações proibidas e confirmar que uma resposta deliberadamente ruim falha no teste. Depois, conecte a aplicação real, inspecione seus limites de acesso aos dados e acrescente os casos de segurança que fariam você interromper um lançamento. Publique a regra de liberação antes de olhar as pontuações.

Dúvidas antes de adotar o Promptfoo

Assine a newsletter para acompanhar relatos práticos de desenvolvimento e experiências na operação de sistemas de IA.