Promptfoo: análisis, pruebas de LLM y red teaming de IA

Precios y documentación verificados el 13 de octubre de 2026. El ejemplo de este análisis se ejecutó localmente con respuestas redactadas como datos de prueba. La valoración de las funciones alojadas se basa en documentación pública, sin haberlas probado dentro de una cuenta del producto. Planes actuales de Promptfoo.

¿Qué es Promptfoo?

Promptfoo es una herramienta de línea de comandos y una biblioteca de código abierto que envía entradas de prueba a un modelo o una aplicación de IA, comprueba las respuestas y presenta los resultados para compararlos. Una evaluación, o eval, es una prueba reproducible que determina si una respuesta cumple tus requisitos; el red teaming intenta provocar incumplimientos de forma deliberada. Defines los prompts, los sistemas que vas a evaluar, los ejemplos y las reglas de puntuación; después revisas los resultados en un visor local o los incorporas al proceso de compilación. Su valor está en poder responder de forma reproducible a una pregunta: «¿Este cambio rompió nuestro bot de atención al cliente?». La documentación introductoria abarca tanto la evaluación de calidad como las pruebas de seguridad.

¿Para quién tiene sentido y quién debería buscar otra opción?

Promptfoo encaja con un desarrollador que pueda hacerse cargo de la configuración de pruebas y conectarla a la misma aplicación que utilizan los clientes. Un bot de atención al cliente que consulta artículos de ayuda, accede a registros de pedidos o invoca una herramienta de reembolsos es un buen candidato: la utilidad de las respuestas y la seguridad de las acciones necesitan pruebas independientes.

Elígelo si buscas pruebas que se puedan revisar junto al código, comparaciones entre proveedores y comprobaciones adversarias adaptadas a tu aplicación. Alguien tendrá que definir qué se considera una respuesta correcta. Ese trabajo es el precio de una evaluación útil, sea cual sea la herramienta.

Fuentes: Promptfoo, Braintrust, LangSmith. Los modelos de facturación son distintos; los paquetes no son equivalentes.

Si lo urgente es analizar la producción en equipo, y no definir pruebas previas al lanzamiento, Promptfoo no debería ser tu primera compra. Considera Braintrust cuando el trabajo se centre en revisar experimentos y compartir un conjunto de datos. Considera LangSmith cuando necesites seguir la secuencia de llamadas de un agente a modelos y herramientas para entender un mal resultado. Más adelante se detallan sus precios y las ventajas y limitaciones de cada opción.

La decisión depende de cuatro criterios: cuánto se parece a producción el sistema que evalúas, hasta qué punto puedes revisar la puntuación, qué pruebas de seguridad son compatibles con tus restricciones de datos y cuánto cuesta el flujo de trabajo completo. Una lista larga de integraciones no compensa evaluar el sistema equivocado. Nuestra comparativa de herramientas de auditoría de benchmarks de IA amplía la selección de opciones.

¿Qué cambió con la adquisición por OpenAI?

El repositorio oficial actual de Promptfoo indica que forma parte de OpenAI y que mantiene la licencia MIT. Los anuncios fechados de la empresa explican la dirección prevista, pero no aportan una fecha de cierre ni el importe de la adquisición. Repositorio de Promptfoo.

El 9 de marzo de 2026, Promptfoo anunció que había acordado su adquisición por OpenAI, con el cierre sujeto a las condiciones habituales. Según el anuncio, la operación permitiría mejorar e integrar su tecnología central en las capas de modelos e infraestructura. La empresa también se comprometió a seguir prestando servicio y soporte, mantener el conjunto de herramientas de código abierto y dar soporte a una amplia variedad de modelos y proveedores. Anuncio de Promptfoo.

Esos son los compromisos declarados por la empresa. Su documentación actual de proveedores sigue incluyendo competidores y entornos de ejecución locales. Las referencias a la integración describen una dirección; no demuestran que una función concreta de la oferta empresarial ya esté disponible en la CLI.

Para decidir una compra, conviene distinguir entre un cambio de propietario y un requisito técnico. Esas declaraciones no permiten concluir que Promptfoo solo evalúe modelos de OpenAI. Tampoco debería comprarse una capacidad por una integración empresarial prevista sin comprobar antes que funciona en el flujo de trabajo propio. Evalúa el paquete, las opciones de despliegue y el contrato que están disponibles hoy.

Configuración y proveedores compatibles

En Promptfoo, la configuración de pruebas deja constancia compartida de lo que se pretende medir. Su formato YAML incluye prompts, providers y tests; cada prueba aporta vars y, de forma opcional, reglas assert. Un proveedor es el adaptador que llama a un modelo o a tu aplicación. Variables como {{question}} insertan la entrada de prueba en un prompt. Guía de configuración.

Para un bot de atención al cliente, compara el prompt actual y la versión propuesta con las mismas preguntas y reglas de puntuación. De lo contrario, una puntuación más alta podría deberse simplemente a que la segunda ejecución recibió preguntas más fáciles. Cambia una sola decisión cada vez: la redacción del prompt, el comportamiento de recuperación de información, el modelo o los permisos de las herramientas.

La matriz local permite examinar la respuesta cuya puntuación cambió. Úsala para localizar la regresión concreta: quizá el prompt más corto dejó de pedir el identificador de pedido que faltaba, o el modelo más barato presentó como cierta una fecha de entrega incierta. Un promedio puede ocultar cualquiera de los dos problemas.

¿Qué proveedores admite?

El índice de proveedores de Promptfoo documenta una cobertura amplia. Algunos ejemplos relevantes son:

• API de modelos: OpenAI, Anthropic, Google AI Studio, Google Vertex AI, Azure OpenAI, Amazon Web Services Bedrock, Cohere, Mistral AI, DeepSeek, Alibaba Cloud Qwen, AI21 Labs, Meta Model API, MiniMax, Moonshot Kimi, xAI e IBM WatsonX.
• Servicios de alojamiento e inferencia: Amazon SageMaker, Groq, Cerebras, Fireworks AI, Together AI, Hugging Face, OpenRouter, Replicate, Perplexity AI, NVIDIA NIM, Databricks, Snowflake Cortex y Cloudflare AI.
• Entornos de ejecución locales: Ollama, llama.cpp, llamafile, LocalAI, Docker Model Runner, vLLM y Transformers.js.
• Adaptadores de aplicaciones: HTTP, WebSocket, Python, JavaScript, comandos de shell, servidores de Model Context Protocol e integraciones documentadas con SDK de agentes.

Esta lista es representativa; el índice enlazado incluye otras pasarelas y proveedores especializados. Revisa en cada adaptador la autenticación y las opciones compatibles. Que un proveedor sea compatible no significa que tu cuenta tenga acceso a todos sus modelos.

Pon a prueba la aplicación de atención al cliente completa

El adaptador HTTP de Promptfoo permite construir una solicitud y extraer la respuesta con transformResponse, por ejemplo, mediante json.output. Otra posibilidad es usar un proveedor personalizado de Python que llame al código existente de la aplicación. Estas vías son importantes cuando el comportamiento del bot depende de la recuperación de información, el estado de la sesión, la autorización o la ejecución de herramientas. Documentación del proveedor HTTP.

Envía una consulta realista de un cliente a través de esa interfaz y evalúa la respuesta. Incluye la misma identidad con permisos restringidos y los mismos registros de prueba que debería usar la aplicación. Si omites la capa de recuperación y pruebas el modelo aislado, apenas habrás averiguado si un cliente puede obtener el pedido de otro.

Por eso, el adaptador exige trabajo de ingeniería. Conserva el contexto que determina los permisos, extrae el campo que ve el cliente y revisa por separado las acciones realizadas. Una negativa cortés en la respuesta final no puede deshacer un reembolso no autorizado que ya se haya ejecutado.

Evaluación de LLM con Promptfoo: ejemplo de un bot de atención al cliente

Promptfoo puede evaluar respuestas ya existentes, un punto de partida útil antes de gastar en llamadas repetidas a modelos. Su proveedor echo devuelve el texto recibido sin modificarlo, de modo que las aserciones comprueban directamente la respuesta. Echo no hace ninguna solicitud a un modelo; añadir un LLM como juez cambiaría eso. Documentación del proveedor Echo.

El siguiente ejemplo usa respuestas redactadas como datos de prueba, no registros de clientes ni supuestas salidas de un modelo. Imagina que la política de atención al cliente exige tramitar las solicitudes de reembolso desde Settings, Billing y Request refund. Si no se conoce el estado del pedido, el bot debe derivar la consulta sin afirmar que el pedido se ha enviado.

Guarda lo siguiente como promptfooconfig.yaml:

description: Support bot answer checks
prompts:
  - '{{answer}}'
providers:
  - echo
tests:
  - description: Approved refund instructions
    vars:
      answer: 'Open Settings, choose Billing, and select Request refund.'
    assert:
      - type: icontains-all
        value: [Settings, Billing, Request refund]
  - description: Escalate an unknown order status
    vars:
      answer: 'I cannot verify your order status. Please contact support.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped
  - description: Reject an invented order status
    vars:
      answer: 'Your order has shipped. Please contact support if needed.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped

Las aserciones son de tipos documentados: icontains comprueba el texto sin distinguir mayúsculas y minúsculas, icontains-all exige que aparezcan todas las frases indicadas y el prefijo not- niega una comprobación. Referencia de aserciones.

Con la versión de Node.js requerida por la documentación, >=22.22.0, ejecuta:

npx promptfoo@latest eval -c promptfooconfig.yaml -o support-results.json
npx promptfoo@latest view

La guía de primeros pasos documenta los comandos de evaluación y del visor; la guía rápida de red teaming especifica el requisito de Node. Ejecuta el visor como un comando independiente cuando termine la evaluación.

La ejecución local realizada para este análisis produjo el resultado previsto: la respuesta sobre el reembolso pasó, la respuesta que reconocía la incertidumbre pasó y la respuesta que inventaba el envío falló. La última respuesta incluía la frase de derivación a soporte, pero eso no compensó la afirmación prohibida. La prueba verifica la conexión de los elementos del ejemplo y sus aserciones; no dice nada sobre la fiabilidad de un modelo real.

Esta distinción es útil. Antes de confiar en un evaluador, pásale una respuesta que deba aprobar y otra que deba fallar. Si ambas pasan, corrige la prueba antes de comparar modelos. El modelo que quieres evaluar no debería ser tu primera herramienta para depurar el sistema de pruebas.

Evalúa la calidad de la atención más allá de las frases exactas

Las aserciones de Promptfoo calificadas por modelos permiten evaluar criterios que no capta una coincidencia de texto. llm-rubric puntúa según una rúbrica escrita, mientras que factuality compara la respuesta con una afirmación de referencia. Puedes elegir explícitamente el proveedor que hace la evaluación. Aserciones calificadas por modelos.

Para este bot, una rúbrica útil exigiría usar únicamente los datos del pedido proporcionados, reconocer la información que falta y ofrecer una siguiente acción permitida. Facilita al juez la política pertinente y los hechos de referencia; de lo contrario, le estarás pidiendo que adivine si la afirmación sobre el envío es cierta.

Mantén comprobaciones deterministas para los requisitos exactos y recurre al juicio de un modelo cuando la redacción pueda variar. El ejemplo no detectaría una frase equivalente a «tu paquete está en camino» y podría rechazar una oración válida que citara la frase prohibida para corregirla. Son limitaciones de las comprobaciones elegidas, no pruebas de que el bot sea seguro o inseguro.

Después, sustituye las respuestas de prueba por respuestas capturadas o conecta el proveedor de la aplicación. Conserva la respuesta deliberadamente incorrecta para comprobar la lógica de puntuación. Un cambio de prompt no debería redefinir sin avisar qué se considera un resultado correcto.

Red teaming de IA con Promptfoo: comprueba los límites de la aplicación

El flujo de red teaming de Promptfoo genera entradas adversarias, las ejecuta contra un sistema objetivo y muestra los fallos para su revisión. Los plugins seleccionan el comportamiento que se quiere poner a prueba; las estrategias modifican la forma de lanzar el ataque. Entre los objetivos documentados hay endpoints HTTP, interacciones mediante navegador y conexiones directas a modelos o código personalizado. Guía rápida de red teaming.

En un bot de atención al cliente, las evaluaciones habituales comprueban si un cliente que cumple los requisitos recibe instrucciones correctas para solicitar un reembolso. El red teaming comprueba si ese cliente puede manipular al bot para que revele el registro de otra persona, eluda una política o use indebidamente una herramienta conectada. Promptfoo documenta amenazas a nivel de aplicación, como la inyección indirecta de prompts, la filtración de datos, el acceso no autorizado y el uso abusivo de herramientas. Guía de red teaming.

Si el agente tiene permisos de escritura, usa un entorno de pruebas controlado y comprueba tanto los registros resultantes como la transcripción del chat. Una prueba centrada únicamente en la respuesta puede pasar por alto una acción no autorizada de una herramienta. Del mismo modo, una negativa puede ser correcta aunque al juez le parezca menos útil de lo esperado.

Tras corregir un hallazgo, conviértelo en un caso de regresión. Separa la exploración, que busca fallos nuevos, de la repetición de casos, que comprueba si han reaparecido fallos conocidos. Nuestra guía para realizar evaluaciones de seguridad de agentes de IA desarrolla ese proceso de lanzamiento.

Integración continua e informes: bloquea los lanzamientos cuando fallen las pruebas

Promptfoo encaja en la integración continua, es decir, en las comprobaciones automáticas que se ejecutan cuando cambia el código. Su documentación cubre evaluaciones habituales, análisis de red teaming, repetición de pruebas de ataque guardadas y exportaciones en formatos como JSON, HTML y JUnit. Guía de CI/CD.

Usa un conjunto estable de pruebas de regresión cuando un desarrollador cambie el prompt del sistema o el comportamiento de recuperación de información. Ejecuta por separado la generación de ataques más amplios cuando quieras descubrir casos nuevos. Mezclar ataques inéditos en cada comparación dificulta explicar un cambio de puntuación: ¿empeoró la aplicación o se volvió más exigente la prueba?

Según la documentación, la CLI devuelve por defecto el código de salida 100 cuando una prueba falla o no se alcanza el porcentaje mínimo de aprobación; los demás errores usan 1. El umbral de aprobación predeterminado es 100% y estos valores se pueden configurar. El proceso de CI debe conservar el estado de fallo: que se haya generado un informe correctamente no significa que la prueba haya pasado. Referencia de la CLI.

Al definir la regla de lanzamiento, distingue los errores catastróficos de los fallos habituales de calidad. Un acceso no autorizado no debería diluirse en el promedio de respuestas útiles. Asigna un responsable a cada caso que bloquee el lanzamiento, conserva las pruebas y vuelve a ejecutar el mismo caso después del cambio.

Los informes son valiosos porque permiten que otra persona cuestione la conclusión. Guarda junto al resultado la revisión de la aplicación, la configuración, los datos de prueba y el juez elegido. Sin ese contexto, puede resultar imposible reproducir un informe favorable cuando llegue el siguiente cambio de modelo o de prompt.

Precios de Promptfoo: Community, Enterprise y On-Premise

Promptfoo publica tres planes. Los planes de pago requieren presupuesto; la página actual no publica un precio inicial en dólares para ninguno de ellos. Verificado el 13 de octubre de 2026 en la página de precios de Promptfoo.

¿Qué cubre la cuota de pruebas de ataque?

Promptfoo cuenta una prueba de ataque, o probe, cuando envía una solicitud al sistema objetivo durante la evaluación de red teaming. Las llamadas internas de generación y puntuación no cuentan como probes. Su documentación de inferencia indica que los límites siguen aplicándose cuando gestionas la inferencia por tu cuenta, incluso con modelos locales. Inferencia y límites.

No interpretes esa cuota como una cantidad de escenarios de seguridad únicos. Una estrategia que envía solicitudes repetidas al sistema objetivo consume capacidad de forma distinta a un caso de un solo turno. La cobertura depende de la aplicación, de los ataques elegidos y de las solicitudes que haga la ejecución. Una vez conectado el sistema objetivo, calcula el presupuesto a partir de las solicitudes observadas.

El costo mensual y el costo por respuesta

Aunque la licencia de Promptfoo es gratuita, hay varios costos que debes contemplar: la inferencia del modelo evaluado, la generación de ataques, la evaluación mediante modelos, la infraestructura y la revisión de fallos. El total mensual depende de cuáles de esos servicios operas o contratas. Un ejecutor de pruebas gratuito no paga la factura del proveedor.

El ejemplo tiene un costo de inferencia de modelos de $0 por cada respuesta de prueba evaluada, porque Echo no llama a ningún modelo y las comprobaciones son deterministas. Ese resultado no se puede extrapolar a un conjunto de pruebas calificado por un LLM. En cuanto un juez lee cada respuesta, su consumo pasa a formar parte del presupuesto de evaluación. Comportamiento documentado de Echo.

Como referencia, el cargo publicado por Braintrust para el exceso de uso de Starter, de $2.50 por 1,000 puntuaciones, equivale a $0.0025 por puntuación adicional. Es un cargo por puntuación, no el precio total de una respuesta de atención al cliente aceptada; el uso de modelos y el procesamiento de datos se contabilizan por separado. Precios de Braintrust.

El denominador útil es una respuesta aceptada según la política de atención al cliente. Divide el gasto atribuible a la evaluación entre las respuestas aceptadas y deja visible, por separado, el trabajo de investigación de fallos. Una ejecución más barata que acepta datos de pedidos inventados ha optimizado el resultado equivocado.

Limitaciones que pueden cambiar la decisión

La limitación más importante de Promptfoo es que ejecutar el analizador en local no convierte en local todo el flujo de seguridad. La documentación sobre el tratamiento de datos distingue las llamadas al sistema objetivo, la generación y la puntuación. La evaluación alojada puede recibir el prompt de prueba, la respuesta del sistema objetivo y los criterios.

Algunas pruebas importantes requieren inferencia alojada. Esa misma documentación identifica plugins que solo funcionan de forma remota, entre ellos bola, bfla e indirect-prompt-injection. Comprueban cuestiones de acceso a recursos, permisos de funciones e instrucciones que llegan a través de contenido externo. Desactivar la generación remota reduce la cobertura disponible; la opción que la desactiva no garantiza el aislamiento de red. Si los datos de atención al cliente tienen restricciones, resuelve este punto antes de prometer un plan de pruebas totalmente local.

Gestionar tu propia inferencia no elimina el límite de pruebas de ataque. Es una limitación independiente del destino de los datos. La documentación de inferencia mantiene explícitamente el cómputo de uso incluso con una configuración de inferencia propia. Que sea «código abierto» no permite dar por hecho que los servicios alojados de ataques sean ilimitados.

Un evaluador puede premiar el comportamiento equivocado. El ejemplo detecta una frase literal sobre el envío, no todas las afirmaciones de entrega sin fundamento. Un LLM como juez aporta flexibilidad, pero también introduce la interpretación de otro modelo. Calibra la rúbrica con ejemplos que el personal responsable de atención al cliente considere aceptables e inaceptables.

Una prueba de respuestas puede pasar por alto un fallo en las acciones. Si el adaptador del sistema objetivo solo expone el texto final, el conjunto de pruebas no puede determinar, a partir de ese texto, si el agente usó la cuenta adecuada o modificó el registro correcto. Añade pruebas de las acciones realizadas o comprobaciones del estado de la aplicación siempre que el resultado dependa de una herramienta.

El trabajo operativo sigue siendo tu responsabilidad. Alguien debe mantener los casos, investigar los hallazgos y decidir qué bloquea el lanzamiento. Comprar un panel gestionado puede facilitar la coordinación de ese trabajo; no puede aportar la política de reembolsos ni las reglas de acceso a datos de clientes que las pruebas deben hacer cumplir.

Alternativas a Promptfoo

Braintrust: cuando la prioridad es evaluar en equipo

Braintrust reúne trazas, experimentos, conjuntos de datos y puntuación en una plataforma compartida. Elígelo cuando la tarea habitual sea revisar cambios con colegas y convertir el comportamiento observado en datos de evaluación. Por su alcance, merece estar antes en la lista de opciones para ese trabajo que un proceso centrado principalmente en archivos de configuración.

Starter cuesta $0/mes e incluye 1 GB de datos procesados, 10,000 puntuaciones y 14 días de retención. Pro cuesta $249/mes, con 5 GB, 50,000 puntuaciones y 30 días de retención; Enterprise tiene precio personalizado. En Starter, los datos adicionales cuestan $4/GB y las puntuaciones adicionales, $2.50/1,000. Pro publica tarifas de $3/GB y $1.50/1,000, con un cargo aparte por ampliar la retención. Planes actuales de Braintrust.

Su limitación está en las distintas dimensiones de la factura: hay que estimar el volumen de trabajo para las puntuaciones, los datos procesados, la retención y el uso de modelos. Prefiere Promptfoo si lo que necesitas ahora es un conjunto pequeño de pruebas que puedas revisar y pruebas adversarias de la aplicación. No compres una plataforma compartida solo para evitar definir por escrito el comportamiento esperado.

LangSmith: cuando el problema está en la secuencia de ejecución del agente

LangSmith ofrece trazas, recopilación de conjuntos de datos, anotación y evaluaciones en línea y fuera de línea. Elígelo cuando investigar la cadena de eventos que explica una respuesta sea una parte central del trabajo. Un agente de atención al cliente puede devolver una frase convincente después de recuperar el registro equivocado; una traza de ejecución aporta pruebas valiosas para investigar lo ocurrido.

Developer cuesta $0/usuario/mes, está limitado a un usuario e incluye 5,000 trazas base al mes antes de aplicar cargos por uso. Plus cuesta $39/usuario/mes, con 10,000 trazas base al mes y la posibilidad de añadir usuarios. La cuota publicada es total: no se multiplica por el número de usuarios. Enterprise tiene precio personalizado. Precios de LangSmith.

Para un equipo de revisión que crece, la limitación es que cada usuario añade costo mientras el consumo se sigue cobrando por uso. Prefiere Promptfoo si tu objetivo inmediato es una comprobación automatizada previa al lanzamiento con cobertura adversaria explícita. Una traza de LangSmith, una puntuación de Braintrust y una prueba de ataque de Promptfoo representan eventos distintos; comparar sus cuotas como si fueran ejecuciones de pruebas equivalentes distorsiona el presupuesto.

Veredicto: adóptalo si puedes hacerte cargo de las pruebas

Promptfoo merece un lugar en un proyecto de bot de atención al cliente o de agentes cuando necesitas comprobaciones explícitas de calidad y pruebas adversarias que los desarrolladores puedan revisar y repetir. Empieza por Community si sus flujos de datos, cobertura y modelo operativo encajan con tus necesidades. Contrata funciones gestionadas cuando la colaboración, los controles o los requisitos de despliegue creen una necesidad concreta.

La decisión cambia cuando cambia el cuello de botella. Si no puedes definir cómo es una respuesta segura y correcta, aclara primero la política y los ejemplos. Si puedes definirla pero no reproducir los fallos, Promptfoo es un siguiente paso razonable. Si ya reproduces los fallos y el problema está en el análisis colaborativo o en seguir la ejecución, evalúa también Braintrust o LangSmith.

El siguiente paso es guardar preguntas representativas de atención al cliente, definir las respuestas aceptables y las acciones prohibidas, y comprobar que una respuesta deliberadamente incorrecta falle. Después conecta la aplicación real, revisa sus límites de acceso a datos y añade los casos de seguridad que te harían detener un lanzamiento. Publica la regla de lanzamiento antes de mirar las puntuaciones.

Preguntas antes de adoptar Promptfoo

Suscríbete al boletín para recibir diarios de desarrollo prácticos y notas de campo sobre la operación de sistemas de IA.