Promptfoo : notre avis sur les tests LLM et le red teaming

Tarifs et documentation vérifiés le 13 octobre 2026. L’exemple ci-dessous a été exécuté localement sur des réponses rédigées pour le test. L’analyse des fonctionnalités hébergées s’appuie sur la documentation publique, sans essai dans un compte connecté. Offres actuelles de Promptfoo.

Qu’est-ce que Promptfoo ?

Promptfoo est un outil en ligne de commande et une bibliothèque open source. Il envoie des entrées de test à un modèle d’IA ou à une application, vérifie les réponses et présente les résultats pour les comparer. Une évaluation, ou eval, est un test reproductible qui vérifie qu’une réponse respecte vos exigences ; le red teaming cherche délibérément à pousser l’application à les enfreindre. Vous définissez les prompts, les cibles, les exemples et les règles de notation, puis consultez les résultats localement ou les exploitez dans votre processus de build. L’intérêt : pouvoir répondre de façon reproductible à la question « cette modification a-t-elle cassé notre bot de support ? ». La documentation de présentation couvre à la fois l’évaluation de la qualité et les tests de sécurité.

À qui s’adresse Promptfoo, et quand choisir autre chose ?

Promptfoo convient aux développeurs capables de prendre en charge une configuration de test et de la relier à l’application réellement utilisée par les clients. Un bot de support qui recherche des articles d’aide, consulte des commandes ou appelle un outil de remboursement est un bon candidat : la pertinence des réponses et la sûreté des actions doivent être testées séparément.

Choisissez-le si vous voulez des tests que l’équipe peut relire avec le code, comparer plusieurs fournisseurs et mener des tests adversariaux propres à votre application. Il reste toutefois à définir ce qu’est une réponse correcte. Quel que soit l’outil, ce travail est indispensable pour obtenir une évaluation utile.

Sources : Promptfoo, Braintrust, LangSmith. Ces modèles de facturation diffèrent ; les offres ne sont pas équivalentes.

Ne faites pas de Promptfoo votre premier choix si votre besoin immédiat est d’analyser la production en équipe plutôt que de définir des tests avant la mise en production. Retenez Braintrust dans votre sélection si le travail repose surtout sur la revue des expériences et un jeu de données commun. Envisagez LangSmith si vous devez suivre la succession d’appels aux modèles et aux outils d’un agent pour comprendre un mauvais résultat. Leurs tarifs et leurs compromis respectifs sont détaillés plus bas.

La décision repose sur quatre critères : la fidélité de la cible à la production, la possibilité d’examiner la notation, la compatibilité des tests de sécurité avec vos contraintes sur les données et le coût du workflow complet. Une longue liste d’intégrations ne compense pas le choix d’une mauvaise cible de test. Notre comparatif des outils d’audit de benchmarks d’IA élargit la sélection.

Qu’est-ce que le rachat par OpenAI a changé ?

Le dépôt officiel actuel de Promptfoo indique que le projet fait partie d’OpenAI et reste sous licence MIT. Les annonces datées des entreprises précisent l’orientation envisagée, sans donner de date de finalisation ni de montant pour l’acquisition. Dépôt de Promptfoo.

Le 9 mars 2026, Promptfoo a annoncé avoir conclu un accord en vue de son acquisition par OpenAI, sous réserve des conditions habituelles de finalisation. L’entreprise expliquait que ce rapprochement lui permettrait d’améliorer sa technologie centrale et de l’intégrer aux couches des modèles et de l’infrastructure. La même annonce promettait la continuité du service et de l’assistance, la maintenance de la suite open source et la prise en charge d’un large éventail de modèles et de fournisseurs. Annonce de Promptfoo.

Ce sont les engagements déclarés de l’entreprise. La documentation actuelle sur les fournisseurs inclut toujours des acteurs concurrents et des moteurs d’exécution locaux. Les propos sur l’intégration indiquent une direction ; ils ne prouvent pas qu’une fonctionnalité Enterprise donnée est déjà disponible dans l’interface en ligne de commande.

Pour choisir, distinguez le changement de propriétaire des exigences techniques. Rien dans ces déclarations ne permet de considérer Promptfoo comme un outil d’évaluation réservé aux modèles OpenAI. Une intégration Enterprise annoncée ne justifie pas non plus l’achat de fonctionnalités dont vous n’avez pas confirmé l’utilité dans votre propre workflow. Évaluez le logiciel, les options de déploiement et le contrat disponibles aujourd’hui.

Configuration et fournisseurs pris en charge

Dans Promptfoo, la configuration de test sert de référence commune sur ce que vous cherchez à mesurer. Le format YAML contient prompts, providers et tests ; chaque test fournit des vars et, éventuellement, des règles assert. Un provider est l’adaptateur qui appelle un modèle ou votre application. Des variables comme {{question}} insèrent l’entrée du test dans un prompt. Guide de configuration.

Pour un bot de support, comparez le prompt actuel à sa nouvelle version sur les mêmes questions et avec les mêmes règles de notation. Sinon, un meilleur score peut simplement venir de questions plus faciles lors de la seconde exécution. Ne modifiez qu’un élément à la fois : la formulation du prompt, le comportement de recherche documentaire, le modèle ou les autorisations des outils.

La matrice de résultats locale permet d’examiner la réponse associée à un changement de score. Servez-vous-en pour identifier la régression concrète : le prompt raccourci ne demande peut-être plus l’identifiant de commande manquant, ou le modèle moins cher présente comme certaine une date de livraison incertaine. Une moyenne peut masquer ces deux problèmes.

Quels fournisseurs peut-on utiliser ?

L’index des fournisseurs de Promptfoo documente une large couverture. On y trouve notamment :

• API de modèles : OpenAI, Anthropic, Google AI Studio, Google Vertex AI, Azure OpenAI, Amazon Web Services Bedrock, Cohere, Mistral AI, DeepSeek, Alibaba Cloud Qwen, AI21 Labs, Meta Model API, MiniMax, Moonshot Kimi, xAI et IBM WatsonX.
• Services d’hébergement et d’inférence : Amazon SageMaker, Groq, Cerebras, Fireworks AI, Together AI, Hugging Face, OpenRouter, Replicate, Perplexity AI, NVIDIA NIM, Databricks, Snowflake Cortex et Cloudflare AI.
• Moteurs d’exécution locaux : Ollama, llama.cpp, llamafile, LocalAI, Docker Model Runner, vLLM et Transformers.js.
• Adaptateurs applicatifs : HTTP, WebSocket, Python, JavaScript, commandes shell, serveurs Model Context Protocol et intégrations documentées de SDK d’agents.

Cette liste est représentative ; l’index contient d’autres passerelles et fournisseurs spécialisés. Consultez la fiche de chaque adaptateur pour connaître les modalités d’authentification et les options disponibles. La prise en charge d’un fournisseur ne donne pas à votre compte accès à tous ses modèles.

Testez l’application de support, pas seulement son modèle

L’adaptateur HTTP de Promptfoo peut construire une requête et en extraire la réponse avec transformResponse, par exemple json.output. Un provider Python personnalisé peut, lui, appeler le code applicatif existant. Ces approches sont essentielles lorsque le comportement du bot dépend de la recherche documentaire, de l’état de session, des autorisations ou de l’exécution d’outils. Documentation du provider HTTP.

Faites passer une question client réaliste par ce point d’entrée, puis évaluez la réponse. Reprenez la même identité aux droits restreints et les mêmes données de test que l’application doit utiliser. Si vous contournez la couche de recherche pour tester le modèle seul, le résultat vous dira peu de choses sur la possibilité pour un client d’obtenir la commande d’un autre.

L’adaptateur demande donc un véritable travail d’ingénierie. Conservez le contexte qui détermine les autorisations, analysez le champ affiché aux clients et examinez séparément les actions effectuées. Un refus poli dans la réponse finale n’annule pas un remboursement non autorisé déjà exécuté.

Évaluation LLM avec Promptfoo : l’exemple d’un bot de support

Promptfoo peut évaluer des réponses déjà disponibles. C’est un bon point de départ avant de payer des appels répétés aux modèles. Son provider echo restitue le texte fourni sans le modifier : les assertions vérifient donc directement la réponse. Echo n’envoie aucune requête à un modèle ; l’ajout d’un LLM chargé de la notation changerait la donne. Documentation du provider Echo.

L’exemple suivant utilise des réponses rédigées pour servir de données de test, et non des journaux clients ou des sorties présentées comme celles d’un modèle. Supposons que votre politique de support demande d’orienter les demandes de remboursement vers les rubriques Settings, Billing, puis Request refund. Lorsque le statut d’une commande est indisponible, le bot doit passer le relais au support sans affirmer que la commande a été expédiée.

Enregistrez cette configuration dans promptfooconfig.yaml :

description: Support bot answer checks
prompts:
  - '{{answer}}'
providers:
  - echo
tests:
  - description: Approved refund instructions
    vars:
      answer: 'Open Settings, choose Billing, and select Request refund.'
    assert:
      - type: icontains-all
        value: [Settings, Billing, Request refund]
  - description: Escalate an unknown order status
    vars:
      answer: 'I cannot verify your order status. Please contact support.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped
  - description: Reject an invented order status
    vars:
      answer: 'Your order has shipped. Please contact support if needed.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped

Ces types d’assertions sont documentés : icontains recherche du texte sans tenir compte de la casse, icontains-all exige la présence de chaque expression fournie et le préfixe not- inverse le résultat du contrôle. Référence des assertions.

Avec la version de Node.js requise par la documentation, >=22.22.0, exécutez :

npx promptfoo@latest eval -c promptfooconfig.yaml -o support-results.json
npx promptfoo@latest view

Le guide de démarrage documente les commandes d’évaluation et de visualisation ; le guide de démarrage du red teaming précise la version de Node requise. Lancez la visualisation dans une commande distincte, une fois l’évaluation terminée.

L’exécution locale réalisée pour cet article a donné le résultat attendu : la réponse sur le remboursement a réussi le test, celle qui reconnaissait l’incertitude l’a réussi également, et celle qui inventait une expédition a échoué. Cette dernière contenait bien l’expression invitant à contacter le support, mais cela n’a pas compensé l’affirmation interdite. Ce résultat vérifie le montage de l’exemple et ses assertions ; il ne dit rien de la fiabilité d’un modèle en conditions réelles.

Cette distinction compte. Avant de faire confiance à un système de notation, soumettez-lui une réponse qui doit réussir et une autre qui doit échouer. Si les deux passent, corrigez le test avant de comparer les modèles. Le modèle cible ne doit pas devenir votre premier outil de débogage de l’infrastructure de test.

Aller au-delà des expressions exactes pour évaluer la qualité du support

Les assertions notées par un modèle permettent à Promptfoo d’évaluer des critères que la recherche de texte ne couvre pas. llm-rubric note la réponse selon une grille écrite, tandis que factuality la compare à un énoncé de référence. Vous pouvez choisir explicitement le fournisseur chargé de la notation. Assertions évaluées par un modèle.

Pour ce bot, une grille utile imposerait de s’en tenir aux informations fournies sur la commande, de reconnaître les informations manquantes et de proposer une prochaine action autorisée. Donnez au modèle juge la politique applicable et les faits de référence ; sans cela, vous lui demandez de deviner si une affirmation sur l’expédition est vraie.

Gardez des contrôles déterministes pour les exigences exactes et réservez le jugement aux critères dont la formulation peut varier. L’exemple laisserait passer une phrase comme « votre colis est en route ». Il pourrait aussi rejeter une réponse pourtant correcte qui cite l’expression interdite pour la rectifier. Ce sont les limites des contrôles choisis, pas une preuve que le bot est sûr ou dangereux.

Remplacez ensuite les réponses de test par des réponses collectées, ou connectez le provider de l’application. Conservez la réponse volontairement incorrecte pour tester votre logique de notation. Une modification de prompt ne doit pas redéfinir silencieusement les critères de réussite.

Red teaming avec Promptfoo : tester les limites de l’application

Le workflow de red teaming de Promptfoo génère des entrées adversariales, les exécute contre une cible et présente les échecs pour analyse. Les plugins déterminent les comportements à tester ; les stratégies modifient la façon de mener l’attaque. Les cibles documentées comprennent des points de terminaison HTTP, des interactions dans un navigateur et des connexions directes à un modèle ou à du code personnalisé. Guide de démarrage du red teaming.

Pour un bot de support, les évaluations classiques vérifient qu’un client éligible reçoit les bonnes instructions de remboursement. Le red teaming cherche à savoir si un client peut manipuler le bot pour obtenir le dossier d’une autre personne, contourner une règle ou détourner un outil connecté. Promptfoo documente des menaces au niveau applicatif : injection indirecte de prompt, fuite de données, accès non autorisé et détournement d’outils. Guide du red teaming.

Pour un agent disposant de droits d’écriture, utilisez un environnement de test contrôlé et vérifiez les enregistrements obtenus autant que la transcription de la conversation. Un test limité aux réponses peut manquer une action non autorisée d’un outil. À l’inverse, un refus peut être correct même s’il paraît moins serviable que ce qu’attend le modèle juge.

Une fois le problème corrigé, transformez-le en cas de non-régression. Distinguez l’exploration, qui cherche de nouvelles défaillances, du rejeu, qui vérifie que les défaillances connues ne sont pas réapparues. Notre guide pour mener des évaluations de sécurité d’agents IA détaille davantage ce processus de mise en production.

Intégration continue et rapports : bloquer une livraison en cas d’échec

Promptfoo s’intègre à l’intégration continue, c’est-à-dire aux contrôles automatisés déclenchés lors des modifications du code. Sa documentation couvre les évaluations classiques, les scans de red teaming, le rejeu de requêtes de test enregistrées et les exports, notamment en JSON, HTML et JUnit. Guide CI/CD.

Utilisez une suite de non-régression stable lorsqu’un développeur modifie le prompt système ou le comportement de recherche documentaire. Lancez séparément une génération d’attaques plus large pour découvrir de nouveaux cas. Introduire de nouvelles attaques dans chaque comparaison complique l’interprétation d’un changement de score : l’application a-t-elle régressé, ou le test est-il devenu plus difficile ?

Par défaut, la documentation de l’interface en ligne de commande prévoit le code de sortie 100 lorsqu’un test échoue ou que le seuil de réussite n’est pas atteint ; les autres erreurs utilisent 1. Le seuil de réussite par défaut est de 100%, et ces paramètres sont configurables. Le job CI doit conserver le statut d’échec : la création d’un rapport ne signifie pas que les tests ont réussi. Référence de l’interface en ligne de commande.

Dans vos règles de livraison, séparez les erreurs catastrophiques des défauts de qualité ordinaires. Un accès non autorisé ne doit pas se fondre dans une moyenne de réponses par ailleurs utiles. Attribuez un responsable à chaque cas bloquant, conservez les preuves et rejouez le même cas après la modification.

L’intérêt d’un rapport est de permettre à une autre personne de remettre la conclusion en question. Conservez avec le résultat la révision de l’application, la configuration, les données de test et le choix du modèle juge. Sans ce contexte, un rapport au vert peut devenir impossible à reproduire dès le prochain changement de modèle ou de prompt.

Tarifs de Promptfoo : Community, Enterprise et On-Premise

Promptfoo affiche trois offres. Les offres payantes sont sur devis ; la page en ligne n’indique aucun tarif de départ en dollars pour l’une ou l’autre. Informations vérifiées le 13 octobre 2026 sur la page des tarifs de Promptfoo.

Que couvre le quota de requêtes de test ?

Promptfoo comptabilise une sonde, ou probe, chaque fois qu’il envoie une requête à la cible pendant une évaluation de red teaming. Les appels internes de génération et de notation ne comptent pas comme des sondes. Selon sa documentation sur l’inférence, les limites s’appliquent aussi lorsque vous gérez vous-même l’inférence, y compris avec des modèles locaux. Inférence et limites.

Ne présentez pas ce quota comme un nombre de scénarios de sécurité distincts. Une stratégie qui sollicite plusieurs fois la cible consomme le quota autrement qu’un cas à un seul échange. La couverture dépend de l’application, des attaques choisies et des requêtes effectivement envoyées. Une fois la cible connectée, établissez votre budget à partir des requêtes observées.

Coût mensuel et coût par réponse

La licence gratuite de Promptfoo laisse plusieurs postes à budgéter : l’inférence du modèle cible, la génération d’attaques, la notation par un modèle, l’infrastructure et l’analyse des échecs. Le total mensuel dépend des services que vous exploitez vous-même et de ceux que vous achetez. Un moteur de test gratuit ne règle pas la facture du fournisseur.

L’exemple présenté entraîne $0 de coût d’inférence de modèle par réponse de test évaluée, car Echo n’appelle aucun modèle et les contrôles sont déterministes. Ce résultat ne vaut pas pour une suite notée par un LLM. Dès qu’un modèle juge lit chaque réponse, son utilisation entre dans le budget d’évaluation. Comportement documenté d’Echo.

À titre de comparaison, le dépassement du quota de l’offre Starter de Braintrust, affiché à $2.50 pour 1,000 scores, revient à $0.0025 par score supplémentaire. Il s’agit d’un coût de notation, pas d’un prix tout compris par réponse de support acceptée : l’utilisation des modèles et le traitement des données sont comptabilisés séparément. Tarifs de Braintrust.

Le dénominateur utile est une réponse acceptée au regard de la politique de support. Divisez les dépenses d’évaluation attribuables par le nombre de réponses acceptées, en gardant visible le travail d’analyse des échecs. Une exécution moins chère qui valide des informations de commande inventées optimise le mauvais résultat.

Les limites à connaître avant de choisir

La limite la plus déterminante de Promptfoo est la suivante : exécuter le scanner localement ne rend pas tous les workflows de sécurité locaux. La documentation sur le traitement des données distingue les appels à la cible, la génération et la notation. Un service de notation hébergé peut recevoir le prompt de test, la réponse de la cible et les critères.

Certains tests importants exigent une inférence hébergée. La même documentation identifie des plugins disponibles uniquement à distance, notamment bola, bfla et indirect-prompt-injection. Ils concernent l’accès aux ressources, les autorisations sur les fonctions et les instructions provenant de contenus externes. Désactiver la génération distante réduit la couverture disponible ; l’option de désactivation ne garantit pas l’isolation réseau. Pour un jeu de données de support soumis à des restrictions, clarifiez ce point avant de promettre un plan de test entièrement local.

Gérer soi-même l’inférence ne supprime pas la limite de sondes. Cette contrainte est distincte de la destination des données. La documentation sur l’inférence maintient explicitement le comptage de l’usage avec votre propre configuration d’inférence. « Open source » ne signifie pas que les services hébergés de génération d’attaques sont illimités.

Un système de notation peut récompenser le mauvais comportement. L’exemple détecte une expression littérale sur l’expédition, pas toutes les affirmations non étayées sur la livraison. Un LLM juge apporte de la souplesse, mais aussi l’interprétation d’un autre modèle. Calibrez la grille avec des exemples que des membres du support compétents jugent, d’un commun accord, acceptables ou inacceptables.

Un test de réponse peut manquer une erreur dans une action. Si l’adaptateur de la cible n’expose que le texte final, la suite ne peut pas déduire de ce seul texte si l’agent a utilisé le bon compte ou modifié le bon enregistrement. Ajoutez des preuves des actions ou une vérification de l’état applicatif dès que la réussite implique un outil.

Le travail opérationnel reste à votre charge. Il faut maintenir les cas, examiner les résultats et décider de ce qui bloque le lancement. Un tableau de bord géré peut faciliter la coordination ; il ne fournit pas la politique de remboursement ni les règles d’accès aux données clients que vos tests doivent faire respecter.

Quelles alternatives à Promptfoo ?

Braintrust : pour évaluer en équipe

Braintrust réunit le suivi d’exécution, les expériences, les jeux de données et la notation dans une plateforme partagée. Choisissez-le si votre travail récurrent consiste à examiner les changements avec des collègues et à transformer les comportements observés en données d’évaluation. Pour ce workflow, son périmètre en fait un candidat plus pertinent au premier examen qu’une démarche essentiellement pilotée par des fichiers de configuration.

Starter coûte $0/mois et comprend 1 GB de données traitées, 10,000 scores et 14 jours de conservation. Pro coûte $249/mois, avec 5 GB, 50,000 scores et 30 jours de conservation ; Enterprise est sur devis. Les dépassements de Starter coûtent $4/GB pour les données et $2.50/1,000 pour les scores. Pro affiche $3/GB et $1.50/1,000, avec une facturation distincte pour la prolongation de la conservation. Offres actuelles de Braintrust.

La limite tient aux différentes dimensions de la facture : scores, données traitées, durée de conservation et usage des modèles exigent une estimation de la charge. Préférez Promptfoo si votre besoin immédiat est une petite suite de tests facile à relire et des tests adversariaux de l’application. N’achetez pas une plateforme partagée simplement pour éviter de formaliser le comportement attendu.

LangSmith : pour comprendre le parcours d’exécution de l’agent

LangSmith propose le suivi d’exécution, la collecte de jeux de données, l’annotation et les évaluations en ligne et hors ligne. Choisissez-le si votre priorité est d’enquêter sur l’enchaînement d’événements qui mène à une réponse. Un agent de support peut produire une phrase plausible après avoir récupéré le mauvais dossier ; une trace d’exécution apporte alors un élément de preuve précieux.

Developer coûte $0/siège/mois, se limite à un siège et comprend 5,000 traces de base par mois avant facturation de l’usage. Plus coûte $39/siège/mois, avec 10,000 traces de base par mois et la possibilité d’ajouter des sièges. Le quota publié est global : il n’est pas multiplié par le nombre de sièges. Enterprise est sur devis. Tarifs de LangSmith.

Pour une équipe de revue qui s’agrandit, la limite est que les sièges augmentent le coût tandis que l’usage reste facturé à la consommation. Préférez Promptfoo si votre objectif immédiat est un contrôle automatisé avant livraison qui couvre explicitement les tests adversariaux. Une trace LangSmith, un score Braintrust et une sonde Promptfoo correspondent à des événements différents ; comparer leurs quotas comme s’il s’agissait du même nombre de tests fausse le budget.

Notre avis : adoptez Promptfoo si vous pouvez prendre en charge les tests

Promptfoo a sa place dans un projet de bot de support ou d’agent lorsque vous avez besoin de contrôles qualité explicites et de tests adversariaux que les développeurs peuvent relire et rejouer. Commencez par Community si ses flux de données, sa couverture et son mode de fonctionnement vous conviennent. Passez à des fonctionnalités gérées lorsque la collaboration, les contrôles ou les exigences de déploiement créent un besoin concret.

Le choix change quand le principal obstacle change. Si vous ne savez pas décrire une réponse sûre et correcte, commencez par clarifier la politique et les exemples. Si vous savez le faire mais ne parvenez pas à reproduire les échecs, Promptfoo est une prochaine étape raisonnable. Si vous reproduisez déjà les échecs et que la difficulté porte sur l’analyse en équipe ou le suivi d’exécution, évaluez aussi Braintrust ou LangSmith.

Pour commencer, enregistrez des questions de support représentatives, définissez les réponses acceptables et les actions interdites, puis vérifiez qu’une réponse volontairement incorrecte échoue. Connectez ensuite l’application réelle, examinez le périmètre d’accès à ses données et ajoutez les cas de sécurité qui vous feraient bloquer une mise en production. Publiez les règles de validation de la livraison avant de consulter les scores.

Les questions à se poser avant de l’adopter

Abonnez-vous à la newsletter pour des carnets de développement concrets et des retours de terrain sur l’exploitation des systèmes d’IA.