Promptfoo: обзор инструмента для тестирования LLM

Цены и документация проверены 13 октября 2026 года. Пример ниже выполнен локально на заранее составленных тестовых ответах. Оценка облачных возможностей основана на открытой документации, без тестирования продукта в личном кабинете. Актуальные тарифы Promptfoo.

Что такое Promptfoo?

Promptfoo — инструмент командной строки и библиотека с открытым исходным кодом. Он отправляет тестовые входные данные модели ИИ или приложению, проверяет ответы и показывает результаты для сравнения. Оценочный тест, или eval, — это воспроизводимая проверка того, отвечает ли результат вашим требованиям; red teaming — намеренные попытки заставить приложение эти требования нарушить. Вы задаёте промпты, объекты проверки, примеры и правила оценки, а затем изучаете результаты в локальном интерфейсе или используете их при сборке. Главная польза — возможность воспроизводимо ответить на вопрос: «Не сломало ли это изменение нашего бота поддержки?» Во вводной документации описаны и оценка качества, и тестирование безопасности.

Кому подойдёт Promptfoo, а кому лучше выбрать другой инструмент?

Promptfoo подходит разработчику, который готов поддерживать конфигурацию тестов и подключить её к тому же приложению, которым пользуются клиенты. Хороший пример — бот поддержки, который ищет статьи справки, читает записи о заказах или вызывает инструмент возврата средств: полезность ответов и безопасность действий нужно проверять отдельно.

Выбирайте Promptfoo, если хотите хранить проверяемые тесты рядом с кодом, сравнивать провайдеров и испытывать приложение атаками с учётом его особенностей. При этом кто-то всё равно должен определить, какой ответ считать правильным. Без этой работы содержательной оценки не даст ни один инструмент.

Источники: Promptfoo, Braintrust, LangSmith. Это разные модели оплаты, а не сопоставимые по составу пакеты.

Не начинайте с покупки Promptfoo, если сейчас вам важнее совместно анализировать работу приложения в продакшене, чем определять проверки перед релизом. Рассмотрите Braintrust, если основная работа строится вокруг обсуждения экспериментов и общего набора данных. Рассмотрите LangSmith, если для разбора неудачного результата нужно проследить цепочку вызовов моделей и инструментов агента. Ниже разберём их цены и конкретные компромиссы.

Решение опирается на четыре критерия: насколько объект проверки близок к рабочему приложению, насколько прозрачны правила оценки, какие проверки безопасности допустимы при ваших ограничениях на данные и сколько стоит весь процесс. Длинный список интеграций не поможет, если вы тестируете не тот объект. Более широкий выбор разобран в нашем сравнении инструментов аудита бенчмарков ИИ.

Что изменилось после покупки Promptfoo компанией OpenAI?

В официальном репозитории Promptfoo сейчас указано, что проект входит в OpenAI и по-прежнему распространяется по лицензии MIT. Объявления компании с датами описывают намеченное направление, но не сообщают ни дату закрытия сделки, ни её стоимость. Репозиторий Promptfoo.

9 марта 2026 года Promptfoo объявила о соглашении о покупке компанией OpenAI. Закрытие сделки зависело от выполнения стандартных условий. По заявлению Promptfoo, этот шаг позволит развивать её основную технологию и интегрировать её на уровне моделей и инфраструктуры. В том же объявлении компания пообещала продолжать обслуживание и поддержку, развивать набор инструментов с открытым исходным кодом и сохранять поддержку широкого круга моделей и провайдеров. Объявление Promptfoo.

Это заявленные обязательства компании. В текущей документации по провайдерам по-прежнему есть конкурирующие поставщики и локальные среды запуска. Формулировки об интеграции стоит воспринимать как направление развития, а не как доказательство того, что конкретная корпоративная функция уже доступна в CLI.

При выборе продукта полезно отделять смену владельца от технических требований. В этих заявлениях нет оснований считать Promptfoo инструментом оценки только для моделей OpenAI. Обещанная корпоративная интеграция тоже не повод платить за возможности, пользу которых вы ещё не подтвердили в своей работе. Оценивайте текущий продукт, доступные варианты развёртывания и действующие условия договора.

Конфигурация и поддержка провайдеров

В Promptfoo конфигурация тестов служит общим описанием того, что именно вы собирались измерить. В YAML есть разделы prompts, providers и tests; отдельные тесты задают vars и, при необходимости, правила assert. Провайдер здесь — адаптер, который вызывает модель или ваше приложение. Переменные вроде {{question}} подставляют тестовые данные в промпт. Руководство по конфигурации.

Для бота поддержки проверяйте текущий промпт и его предложенную редакцию на одинаковых вопросах и по одним правилам. Иначе рост оценки может означать лишь то, что во втором прогоне вопросы были проще. Меняйте что-то одно: формулировку промпта, логику поиска данных, модель или права на использование инструментов.

Локальная таблица результатов позволяет рассмотреть ответ, оценка которого изменилась. Так можно найти конкретную регрессию: например, после сокращения промпта бот перестал запрашивать недостающий номер заказа, а более дешёвая модель начала выдавать неподтверждённую дату доставки за факт. Среднее значение может скрыть любую из этих проблем.

Какие провайдеры поддерживаются?

В каталоге провайдеров Promptfoo описан широкий набор интеграций. Среди них:

• API моделей: OpenAI, Anthropic, Google AI Studio, Google Vertex AI, Azure OpenAI, Amazon Web Services Bedrock, Cohere, Mistral AI, DeepSeek, Alibaba Cloud Qwen, AI21 Labs, Meta Model API, MiniMax, Moonshot Kimi, xAI и IBM WatsonX.
• Сервисы размещения моделей и инференса: Amazon SageMaker, Groq, Cerebras, Fireworks AI, Together AI, Hugging Face, OpenRouter, Replicate, Perplexity AI, NVIDIA NIM, Databricks, Snowflake Cortex и Cloudflare AI.
• Локальные среды запуска: Ollama, llama.cpp, llamafile, LocalAI, Docker Model Runner, vLLM и Transformers.js.
• Адаптеры приложений: HTTP, WebSocket, Python, JavaScript, команды оболочки, серверы Model Context Protocol и описанные в документации интеграции с SDK для агентов.

Это лишь основные примеры: по ссылке есть и другие шлюзы и специализированные провайдеры. Требования к аутентификации и доступные параметры проверяйте в документации конкретного адаптера. Поддержка провайдера не означает, что вашему аккаунту доступны все его модели.

Проверяйте приложение поддержки целиком, а не только модель

HTTP-адаптер Promptfoo умеет формировать запрос и извлекать ответ через transformResponse, например с помощью json.output. Вместо этого собственный провайдер на Python может вызывать уже существующий код приложения. Эти варианты важны, когда поведение бота поддержки зависит от поиска данных, состояния сессии, авторизации или выполнения инструментов. Документация HTTP-провайдера.

Отправьте реалистичный вопрос клиента через этот интерфейс и оцените ответ. Используйте ту же учётную запись с ограниченными правами и те же тестовые записи, с которыми должно работать приложение. Если обойти слой поиска данных и проверить голую модель, такой тест почти ничего не скажет о том, может ли один клиент получить чужой заказ.

Поэтому подключение адаптера — инженерная задача, а не формальность. Сохраняйте контекст, от которого зависят права, извлекайте именно то поле, которое видят клиенты, и отдельно проверяйте выполненные действия. Вежливый отказ в финальном ответе не отменит возврат средств без разрешения, если он уже произошёл.

Тестирование LLM в Promptfoo: пример с ботом поддержки

Promptfoo умеет оценивать уже готовые ответы. С этого удобно начать, прежде чем тратить деньги на повторные вызовы моделей. Провайдер echo возвращает переданный текст без изменений, поэтому проверки оценивают сам ответ. Echo не обращается к модели; добавление LLM в роли оценщика это изменит. Документация провайдера Echo.

В примере ниже используются заранее составленные тестовые ответы. Это не логи клиентов и не результаты, выдаваемые за ответы модели. Допустим, правила поддержки требуют направлять пользователя для возврата средств по пути Settings → Billing → Request refund. Если статус заказа недоступен, бот должен передать вопрос в поддержку, не утверждая, что заказ отправлен.

Сохраните следующий код в promptfooconfig.yaml:

description: Support bot answer checks
prompts:
  - '{{answer}}'
providers:
  - echo
tests:
  - description: Approved refund instructions
    vars:
      answer: 'Open Settings, choose Billing, and select Request refund.'
    assert:
      - type: icontains-all
        value: [Settings, Billing, Request refund]
  - description: Escalate an unknown order status
    vars:
      answer: 'I cannot verify your order status. Please contact support.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped
  - description: Reject an invented order status
    vars:
      answer: 'Your order has shipped. Please contact support if needed.'
    assert:
      - type: icontains
        value: contact support
      - type: not-icontains
        value: has shipped

Здесь используются типы проверок из документации: icontains ищет текст без учёта регистра, icontains-all требует наличия каждой из переданных фраз, а префикс not- инвертирует проверку. Справочник проверок.

Установив Node.js требуемой по документации версии >=22.22.0, выполните:

npx promptfoo@latest eval -c promptfooconfig.yaml -o support-results.json
npx promptfoo@latest view

В руководстве для начала работы описаны команды запуска тестов и просмотра результатов; в кратком руководстве по red teaming указано требование к Node.js. Запускайте просмотр результатов отдельной командой после завершения проверки.

Локальный прогон для этого обзора дал ожидаемый результат: ответ с инструкцией по возврату прошёл проверку, ответ с признанием неопределённости тоже прошёл, а ответ с выдуманной отправкой заказа — нет. Последний содержал фразу с предложением обратиться в поддержку, но она не компенсировала запрещённое утверждение. Это подтверждает корректность настройки примера и его проверок, но ничего не говорит о надёжности реальной модели.

Разницу важно понимать. Прежде чем доверять оценщику, дайте ему ответ, который обязан пройти проверку, и ответ, который обязан её провалить. Если проходят оба, сначала исправьте тест и только потом сравнивайте модели. Не стоит начинать отладку тестовой системы с вызовов проверяемой модели.

От поиска точных фраз к оценке качества поддержки

Проверки Promptfoo с оценкой через модель позволяют учитывать то, чего не замечает поиск по строкам. llm-rubric оценивает ответ по письменным критериям, а factuality сравнивает его с эталонным утверждением. Провайдера для оценки можно выбрать явно. Проверки с оценкой через модель.

Для такого бота полезны критерии, которые требуют опираться только на предоставленные факты о заказе, признавать нехватку информации и предлагать допустимое следующее действие. Передавайте оценщику нужные правила и эталонные факты, иначе ему придётся угадывать, правдиво ли утверждение об отправке.

Точные требования проверяйте детерминированно, а там, где формулировки могут различаться, используйте содержательную оценку. Наш пример пропустит фразу «ваша посылка уже в пути» и может отклонить корректное предложение, в котором запрещённую фразу цитируют, чтобы её опровергнуть. Это ограничения выбранных проверок, а не доказательство безопасности или опасности бота.

Затем замените заготовки записанными ответами или подключите провайдер приложения. Заведомо неверный ответ оставьте для проверки самой логики оценки. Изменение промпта не должно незаметно менять определение успеха.

Red teaming в Promptfoo: проверка границ доступа приложения

В процессе red teaming Promptfoo генерирует атакующие запросы, отправляет их объекту проверки и показывает нарушения для разбора. Плагины определяют, какое поведение проверять; стратегии меняют способ проведения атаки. Среди описанных в документации объектов проверки — HTTP-эндпоинты, взаимодействия через браузер, прямые подключения к моделям и вызовы собственного кода. Краткое руководство по red teaming.

В случае бота поддержки обычный оценочный тест проверяет, получит ли клиент, имеющий право на возврат, правильную инструкцию. Red teaming выясняет, сможет ли клиент вынудить бота раскрыть чужую запись, обойти правила или неправомерно использовать подключённый инструмент. В документации Promptfoo описаны угрозы на уровне приложения: косвенная инъекция промпта, утечка данных, несанкционированный доступ и злоупотребление инструментами. Руководство по red teaming.

Если у агента есть права на запись, используйте контролируемую тестовую среду и проверяйте не только переписку, но и состояние записей после выполнения. Тест, оценивающий лишь ответ, может пропустить несанкционированное действие инструмента. И наоборот: отказ может быть правильным, даже если оценщику он кажется недостаточно полезным.

После исправления найденная проблема должна стать регрессионным тестом. Разделяйте поиск новых сбоев и повторный запуск известных сценариев, который показывает, не вернулась ли ошибка. Подробнее этот процесс подготовки релиза разобран в нашем руководстве по тестированию безопасности ИИ-агентов.

CI и отчёты: как блокировать релиз при провале тестов

Promptfoo подходит для непрерывной интеграции — автоматических проверок, которые запускаются при изменении кода. Документация описывает обычные оценочные тесты, проверки red teaming, повторный запуск сохранённых атакующих запросов и экспорт результатов, в том числе в JSON, HTML и JUnit. Руководство по CI/CD.

Когда разработчик меняет системный промпт или логику поиска данных, используйте стабильный набор регрессионных тестов. Более широкий поиск новых атак запускайте отдельно. Если в каждое сравнение подмешивать новые атаки, причину изменения оценки будет трудно понять: приложение стало хуже или тест усложнился?

Согласно документации, по умолчанию CLI возвращает код завершения 100, если тест провален или доля успешных проверок ниже заданного порога; для других ошибок используется 1. Порог успешного прохождения по умолчанию — 100%, эти настройки можно изменить. Задача CI должна сохранять статус ошибки: успешно записанный отчёт ещё не означает, что тест пройден. Справочник CLI.

В правилах выпуска отделяйте критические ошибки от обычных недочётов качества. Несанкционированный доступ не должен теряться в средней оценке на фоне в целом полезных ответов. Назначайте ответственного за каждый блокирующий сценарий, сохраняйте доказательства и после изменений запускайте тот же тест снова.

Отчёт ценен тем, что позволяет другому человеку проверить и оспорить вывод. Вместе с результатом сохраняйте версию приложения, конфигурацию, тестовые данные и выбранного оценщика. Без этого контекста успешный отчёт может оказаться невоспроизводимым уже после следующей замены модели или изменения промпта.

Тарифы Promptfoo: Community, Enterprise и On-Premise

Promptfoo предлагает три тарифа. Для платных нужно запросить стоимость: на действующей странице ни для одного из них не указана начальная цена в долларах. Проверено 13 октября 2026 года по странице тарифов Promptfoo.

Что входит в лимит тестовых запросов

В Promptfoo единица probe засчитывается, когда во время red teaming инструмент отправляет запрос объекту проверки. Внутренние вызовы для генерации атак и оценки результатов в этот счётчик не входят. В документации по инференсу указано, что лимиты действуют и при самостоятельном запуске инференса, в том числе на локальных моделях. Инференс и лимиты.

Не приравнивайте этот лимит к числу уникальных сценариев безопасности. Стратегия с повторными запросами к объекту проверки расходует лимит иначе, чем сценарий с одним обращением. Охват зависит от приложения, выбранных атак и запросов, сделанных во время прогона. После подключения приложения планируйте бюджет по фактическому числу запросов.

Месячный бюджет и стоимость проверки одного ответа

Бесплатная лицензия Promptfoo не отменяет другие статьи расходов: инференс проверяемой модели, генерацию атак, оценку с помощью моделей, инфраструктуру и разбор ошибок. Общая сумма за месяц зависит от того, какие из этих сервисов вы поддерживаете сами, а какие оплачиваете. Бесплатный запуск тестов не покрывает счёт провайдера.

В приведённом примере стоимость инференса на каждый проверенный тестовый ответ составляет $0: Echo не вызывает модель, а проверки детерминированы. Этот результат нельзя переносить на набор тестов с LLM-оценщиком. Как только оценщик читает каждый ответ, расходы на него становятся частью бюджета тестирования. Поведение Echo по документации.

Для сравнения: в опубликованном тарифе Braintrust Starter превышение лимита стоит $2.50 за 1,000 оценок, то есть $0.0025 за каждую дополнительную оценку. Это плата за оценку, а не полная стоимость одного принятого ответа поддержки: использование моделей и обработка данных оплачиваются отдельно. Цены Braintrust.

Полезная единица расчёта — ответ, принятый по правилам поддержки. Разделите относящиеся к оценке расходы на число принятых ответов, а затраты на разбор ошибок учитывайте рядом. Если более дешёвый прогон принимает выдуманные факты о заказах, вы оптимизировали не тот результат.

Ограничения, которые влияют на выбор

Главное ограничение Promptfoo: локальный запуск сканера не делает весь процесс тестирования безопасности локальным. Документация по обработке данных отдельно описывает обращения к объекту проверки, генерацию и оценку. При облачной оценке на удалённый сервис могут передаваться тестовый промпт, ответ приложения и критерии.

Некоторые важные проверки требуют облачного инференса. В той же документации перечислены плагины, работающие только удалённо, в том числе bola, bfla и indirect-prompt-injection. Они проверяют доступ к ресурсам, права на выполнение функций и инструкции, поступающие через внешний контент. Отключение удалённой генерации сокращает доступный охват; сам флаг отключения не гарантирует сетевой изоляции. Если данные поддержки имеют ограничения доступа, разберитесь с этим до того, как обещать полностью локальный план тестирования.

Собственный инференс не отменяет лимит тестовых запросов. Это отдельное ограничение, не связанное с тем, куда уходят данные. Документация по инференсу прямо указывает, что учёт использования сохраняется и при собственной конфигурации инференса. Открытый исходный код не стоит воспринимать как обещание безлимитного доступа к облачным сервисам атак.

Оценщик может поощрять неправильное поведение. Пример из статьи выявляет конкретную фразу об отправке, а не любые неподтверждённые утверждения о доставке. LLM-оценщик добавляет гибкости, но вместе с ней — интерпретацию ещё одной модели. Настройте критерии на примерах ответов, которые ответственные сотрудники поддержки согласны считать приемлемыми или неприемлемыми.

Проверка ответа может пропустить ошибку в действии. Если адаптер возвращает только итоговый текст, набор тестов не сможет по одному этому тексту установить, использовал ли агент нужный аккаунт и изменил ли правильную запись. Везде, где успех зависит от инструмента, добавляйте подтверждение действий или проверку состояния приложения.

Организация работы остаётся вашей задачей. Кто-то должен поддерживать сценарии, разбирать находки и решать, какие ошибки блокируют запуск. Управляемая панель может упростить координацию, но не определит за вас правила возврата средств или доступа клиентов, которые должны обеспечивать тесты.

Альтернативы Promptfoo

Braintrust: когда важнее совместная работа над оценкой качества

Braintrust объединяет трассировку, эксперименты, наборы данных и оценку результатов на общей платформе. Выбирайте его, если вам регулярно нужно обсуждать изменения с коллегами и превращать наблюдаемое поведение в данные для тестирования. Для такой работы его стоит включить в список кандидатов раньше, чем инструмент, построенный прежде всего вокруг конфигурационных файлов.

Starter стоит $0/мес. и включает 1 GB обработанных данных, 10,000 оценок и хранение в течение 14 дней. Pro стоит $249/мес. и включает 5 GB, 50,000 оценок и хранение в течение 30 дней; цена Enterprise определяется индивидуально. На Starter данные сверх лимита стоят $4/GB, а дополнительные оценки — $2.50/1,000. Для Pro указаны $3/GB и $1.50/1,000; увеличение срока хранения оплачивается отдельно. Актуальные тарифы Braintrust.

Ограничение — несколько независимых составляющих счёта: для оценок, обработанных данных, хранения и использования моделей нужно заранее прикинуть нагрузку. Предпочтите Promptfoo, если ближайшая задача — небольшой набор тестов, который удобно проверять, и проверка устойчивости приложения к атакам. Не покупайте общую платформу только ради того, чтобы не описывать ожидаемое поведение.

LangSmith: когда нужно разобраться в цепочке действий агента

LangSmith предлагает трассировку, сбор наборов данных, разметку и оценку в рабочей среде и на тестовых наборах. Выбирайте его, если основная задача — расследовать цепочку событий, которая привела к ответу. Агент поддержки может выдать правдоподобную фразу, предварительно получив чужую запись; трасса выполнения даст ценные материалы для разбора.

Developer стоит $0 за место/мес., ограничен одним местом и включает 5,000 базовых трасс в месяц, после чего начисляется плата за использование. Plus стоит $39 за место/мес., включает 10,000 базовых трасс в месяц и позволяет добавлять места. Опубликованный лимит общий и не умножается на число мест. Цена Enterprise определяется индивидуально. Цены LangSmith.

Для растущей команды, которая разбирает результаты, ограничение в том, что дополнительные места увеличивают стоимость, а использование продолжает тарифицироваться отдельно. Предпочтите Promptfoo, если сейчас нужна автоматическая проверка перед релизом с явно заданным набором атак. Трасса LangSmith, оценка Braintrust и тестовый запрос Promptfoo — разные события. Если сравнивать их лимиты как одинаковые прогоны тестов, бюджет получится недостоверным.

Вывод: выбирайте Promptfoo, если готовы отвечать за тесты

Promptfoo полезен в проекте бота поддержки или агента, когда нужны явные проверки качества и устойчивости к атакам, которые разработчики могут изучать и запускать повторно. Начните с Community, если вам подходят потоки данных, охват проверок и организация работы. Платите за управляемые возможности, когда для этого появляется конкретная потребность в совместной работе, контроле или определённом варианте развёртывания.

Выбор меняется вместе с основной проблемой. Если вы не можете описать безопасный и правильный ответ, сначала уточните правила и примеры. Если можете, но не умеете воспроизводить сбои, Promptfoo — разумный следующий шаг. Если сбои уже воспроизводятся, а сложности связаны с совместным анализом или трассировкой выполнения, рассмотрите вместе с ним Braintrust или LangSmith.

Следующий шаг — сохранить характерные вопросы в поддержку, определить допустимые ответы и запрещённые действия, а затем убедиться, что заведомо плохой ответ проваливает проверку. После этого подключите реальное приложение, разберитесь, куда передаются его данные, и добавьте сценарии безопасности, при провале которых вы остановили бы выпуск. Опубликуйте правило допуска к релизу до того, как смотреть оценки.

Частые вопросы перед внедрением

Подпишитесь на рассылку, чтобы получать практические разборы разработки и заметки об эксплуатации систем ИИ.