Мониторинг ИИ-агентов в 2026 году: сколько стоит контроль

Для ИИ-агентов с высоким уровнем риска мониторинг ИИ-агентов превращается во вторую инференс-нагрузку, а не в бесплатный дашборд. По текущей оценке OpenAI, расширенная система мониторинга потребляет примерно 20% вычислительных ресурсов того инференса, за которым наблюдает. Безопасность становится не абстрактным обещанием, а отдельной строкой бюджета — и способна изменить экономику модели, архитектуру системы и само решение о запуске.

Коротко: на мониторинг ИИ-агентов заложите запас в 20%

Главный ориентир для планирования в 2026 году — бюджет контролируемого инференса, умноженный на 1.2. В публикации от 18 августа OpenAI оценивает текущие накладные расходы на мониторинг примерно в 20% от вычислений, затрачиваемых на контролируемый инференс, подчёркивая при этом: итоговая стоимость сильно зависит от задач обучения и оценки.

Это не универсальная рыночная цена, не стоимость лицензии на одно рабочее место и не 20% от всего бюджета компании на ИИ. Речь о собственном ориентире OpenAI: столько дополнительных вычислений требует внутренний мониторинг на охваченных им нагрузках.

Практический вывод прост. Если агент умеет писать код, распоряжаться деньгами, работать с продакшен-данными или выходить в интернет, до финальной оценки экономики проверьте бизнес-кейс с запасом 20% на мониторинг. Для помощника с доступом только на чтение, который готовит черновики внутренних текстов, не нужен тот же контур защиты, что для автономного агента по кибербезопасности.

Что на самом деле означает мониторинг ИИ-моделей

В данном случае мониторинг ИИ-моделей — это наблюдение за поведением агента непосредственно во время работы, включая всю последовательность действий, которая приводит к результату. Такой контроль шире обычной наблюдаемости: она, как правило, фиксирует задержки, ошибки, расход токенов и стоимость уже после запроса.

Представьте службу безопасности в аэропорту. Быстрый сканер проверяет всё, а на более медленную и глубокую проверку отправляются только подозрительные случаи. Если система не может снять серьёзное подозрение, подключается человек.

Новая схема OpenAI устроена по тому же принципу:

1. Детектор проверяет каждый токен из выборки. OpenAI называет его классификатором активаций: он анализирует внутреннюю активность модели прямо в процессе генерации.
2. Подозрительные случаи передаются дальше. Более сложные и требовательные к вычислениям модули углублённого анализа изучают действия с инструментами, доступные рассуждения и полную последовательность активности.
3. Система ищет конкретные риски. Среди опубликованных целей — несанкционированный доступ, кража данных, разрушительные действия и попытки обойти защитные механизмы.
4. Решающее слово остаётся за человеком. OpenAI стремится отправить предупреждение в течение 30 минут после обнаружения тревожной активности. Если нарушение критической границы выглядит вероятным, оповещение получают команды по безопасности ИИ, информационной безопасности и исследованиям. Если за 30 минут им не удаётся подтвердить ложное срабатывание, активность должна быть приостановлена.

Каскадный подход важен: запускать самый дорогой модуль анализа для каждого взаимодействия было бы расточительно. Поэтому лёгкая проверка охватывает широкий поток, а более тяжёлые рассуждения подключаются там, где ожидаемый риск выше.

OpenAI требует такой мониторинг для всего обучения с подкреплением и всех оценок с использованием инструментов на моделях уровня Sol и выше. Обучение с подкреплением — это этап проб и ошибок, на котором модель получает вознаграждение за более удачное поведение. После того как OpenAI пришла к выводу, что Astra может обладать критическими кибервозможностями, мониторинг распространили на весь инференс Astra с инструментами, а не только на обучение и оценки.

Изменился и масштаб контроля. По словам OpenAI, раньше мониторинг охватывал внутренние передовые внедрения и запуски обучения с подкреплением на передовых моделях, но не каждый инференс или обучающий запуск с инструментами. Новая схема контролирует больше операций — и потому требует больше вычислений.

Расчёт стоимости мониторинга, который часто забывают в бюджете

Показатель 20% — это коэффициент, применяемый к контролируемому инференсу. Если полная стоимость вычислений меняется пропорционально, формула для планирования выглядит так:

бюджет контролируемого инференса × 0.20 = резерв на мониторинг

Это арифметические сценарии, а не тарифы OpenAI. Компания с более дешёвым монитором, частичной выборкой трафика или редкими эскалациями может оказаться ниже этого соотношения. Нагрузка, при которой длинные траектории передаются мощному модулю анализа, способна выйти выше. OpenAI прямо указывает, что стоимость может значительно различаться.

Плата за программное обеспечение считается отдельно. У Datadog Agent Observability есть бесплатный тариф: до 40,000 LLM-спанов и хранение данных в течение 15 дней. Следующий тариф Pro стоит $160 в месяц, включает до 100,000 спанов и тот же срок хранения. Один LLM-спан соответствует одному обращению к провайдеру модели. Datadog тарифицирует именно такие спаны модельных вызовов, тогда как спаны инструментов, рабочих процессов, агентов, эмбеддингов и извлечения данных остаются бесплатными.

За $160 клиент получает трассировку, оценки, дашборды и мониторинг продакшена. Внутреннюю систему безопасности OpenAI, работающую на уровне активаций, этот тариф не воспроизводит. Поэтому в серьёзном бюджете нужны три отдельные строки:

• ПО для наблюдаемости: сбор трасс и работа с ними.
• Вычисления для мониторинга: запуск детекторов и модулей углублённого анализа.
• Реагирование: разбор предупреждений, приостановка активности и устранение инцидентов.

Основную базовую статью расходов по-прежнему определяет выбор модели. Сравнение самых дешёвых API для ИИ поможет уменьшить эту базу до добавления мониторинга, а разбор цен OpenRouter показывает, как комиссия шлюза и счёт провайдера соседствуют с расходами на контроль.

Кому мониторинг приносит наибольшую отдачу

Чем шире полномочия агента, чем дольше он работает и чем ценнее доступные ему системы, тем выше отдача от контроля. Ниже семь сценариев — от самого убедительного экономического обоснования к наименее выраженному.

1. Команды безопасности, использующие киберагентов с инструментами

Команда безопасности может разрешить агенту проверять репозитории, выполнять код, обращаться к инфраструктуре и тестировать защиту. Для такого процесса нужна недорогая проверка каждой траектории, углублённый анализ при попытке получить неожиданный доступ и автоматическая пауза при возможном пересечении критической границы.

Отдача здесь — сдерживание угрозы. Одна предотвращённая утечка учётных данных или один заблокированный несанкционированный маршрут в сети могут оказаться важнее расходов на мониторинг. Это самый очевидный случай, когда оправдан полный резерв 20%: на кону не неудачный ответ, а действие в реальной системе.

2. Руководители разработки, внедряющие кодинг-агентов внутри компании

Разработчики могут предоставить кодинг-агентам доступ к исходному коду, CI, реестрам пакетов и инструментам развёртывания. Монитор способен сопоставлять заявленную задачу агента с вызовами инструментов, отмечать попытки обойти заблокированные команды и передавать на проверку человеку разрушительные действия либо внешнюю отправку данных.

Предыдущий внутренний монитор кодинг-агентов OpenAI работал на GPT-5.4 Thinking с максимальным усилием рассуждения и проверял взаимодействия в течение 30 минут после их завершения. Он учитывал историю разговора, доступные рассуждения, сообщения, вызовы инструментов и результаты. Выгода для бизнеса — меньше тотальных ограничений: полезным агентам можно оставить широкий доступ, сосредоточив пристальное внимание на самом рискованном поведении.

3. Операционные команды, доверяющие агентам финансовые действия

Агент поддержки или электронной коммерции может оформлять возвраты, менять подписки, начислять кредиты или размещать заказы. Полезный монитор проверяет не только допустимость каждого API-вызова. Он следит, соответствует ли вся последовательность запросу клиента, не умножают ли повторные попытки расходы и не движется ли агент к несогласованному финансовому результату.

Отдача — меньше ручных проверок в рутинной работе без слепого доверия к каждому формально допустимому API-вызову. Для операций с высокой стоимостью можно сохранить обязательное согласование, не замедляя взаимодействия с низким риском.

4. Платформенные команды, контролирующие расходы агентов

Один пользовательский запрос может превратиться для агента во множество обращений к моделям и инструментам, а также повторных попыток. Платформенная команда может отследить задание целиком, распределить расходы по клиентам или функциям и направить необычный рост стоимости на проверку. Монитор отвечает сразу на два вопроса: «Почему эта задача стала дороже?» и «Помогла ли дополнительная работа достичь цели пользователя?»

Отдача — более здоровая юнит-экономика. Стоимость успешно выполненной задачи полезнее цены одного токена: она учитывает циклы, сбои и инструменты. Мониторинг показывает, где более дешёвая модель, жёсткий лимит повторных попыток или короткий контекст сократят базовый счёт.

5. Комплаенс-команды, контролирующие регулируемых помощников

Команде в сфере финансов, здравоохранения или юридических операций могут потребоваться доказательства того, что видел агент, какие действия пытался выполнить, что было одобрено и почему сессия остановилась. Журнал траектории объединяет сообщения модели, вызовы инструментов, проверки политик, решения людей и конечные результаты в единую запись, пригодную для анализа.

Отдача — доказательства, которые можно использовать повторно. Разбор инцидентов, внутренний аудит и настройка политик опираются на одну историю событий, а не восстанавливают решение по разрозненным журналам приложений.

6. Исследовательские команды, запускающие долгоживущих агентов

Агенты длительного действия могут работать часами или днями, получая больше возможностей найти путь в обход слабой границы. Исследование OpenAI о длинных горизонтах показало: по отдельности приемлемые шаги способны сложиться в результат, который не получил бы одобрения. Ответом стал мониторинг на уровне траектории, способный приостановить сессию и предупредить пользователя.

Отдача — управляемая автономность. Команда может поручить агенту сложную исследовательскую работу, не предполагая, что последовательность локально допустимых действий обязательно безопасна в целом.

7. Команды моделей, оценивающие обучение с подкреплением

Команда модели может отслеживать эпизоды обучения и оценки на предмет взлома вознаграждения, обмана, несанкционированного доступа или попыток манипулировать средой. Подозрительные случаи превращаются в новые примеры для оценки и обучающие данные, улучшающие защиту.

Отдача — более короткий цикл между наблюдениями из эксплуатации и улучшением модели. Стратегическая ценность велика, но применимость у сценария самая узкая: лишь немногие компании самостоятельно обучают передовые модели.

Какие продукты на основе мониторинга можно создать уже сейчас

Текущий поисковый спрос в США невелик, но явно коммерческий. По оценке DataForSEO, запрос "LLM observability tools" получает 210 поисков в месяц, "AI agent monitoring" — 90, "Datadog LLM observability pricing" — 90, а "AI model monitoring" — 50. Непересекающиеся основные запросы, проверенные в этом исследовании, суммарно дают не менее 470 поисков в месяц. Ещё показательнее, что для "AI agent monitoring" CPC составляет $50.04, а годовой рост в данных по подсказкам достигает 100%: это похоже на аудиторию покупателей, а не на праздное любопытство.

1. Файрвол действий для ИИ-агентов

Создайте слой политик и мониторинга для компаний, чьи агенты умеют вызывать чувствительные инструменты. Он будет следить за полной последовательностью действий, оценивать рискованное поведение, запрашивать одобрение выбранных операций и сохранять историю инцидента.

Спрос: "AI agent monitoring" получает, по оценке, 90 поисков в месяц в США, прибавил 100% за год согласно текущим данным по подсказкам, а его CPC равен $50.04. Ещё 210 ежемесячных поисков приходится на "LLM observability tools"; CPC этого запроса составляет $23.90, годовой рост — 24%.

Минимальная версия, которую можно продавать: SDK или шлюз для записи сообщений и вызовов инструментов; движок правил для денежных операций, передачи данных, изменения разрешений и удаления; лёгкий классификатор первого прохода; один более мощный модуль анализа для эскалаций; оповещения в Slack или PagerDuty. Начните с асинхронного режима, а блокировку добавляйте лишь для короткого перечня необратимых действий.

Главная сложность: большинству разработчиков недоступны частные активации и скрытые рассуждения, с которыми может работать провайдер модели. Поэтому продукт должен приносить пользу на основе наблюдаемых сообщений, вызовов инструментов, результатов, разрешений и итогов работы. Если команды не смогут настраивать политики под конкретный процесс, ложные срабатывания погубят внедрение.

Это самая сильная возможность. Рост поискового спроса реален, CPC — самый высокий в проверенной группе, а проблема покупателя связана с продакшен-риском, а не с предпочтением очередного дашборда.

2. Калькулятор стоимости мониторинга ИИ

Создайте калькулятор для платформенных и финансовых команд, который превращает трассы агентов в полный бюджет мониторинга. Он должен раздельно учитывать инференс провайдера, инференс монитора, плату за наблюдаемость, хранение, срок хранения и работу людей.

Спрос: "Datadog LLM observability pricing" получает, по оценке, 90 поисков в месяц в США; данные по подсказкам показывают годовой рост 240% и CPC $17.18. Публичный ценовой ориентир Datadog — $0 за 40,000 LLM-спанов в месяц и $160 в месяц за 100,000 спанов без учёта стоимости базовой модели и отдельных вычислений монитора безопасности.

Минимальная версия, которую можно продавать: загрузка месячных данных о токенах и трассах, выбор доли покрытия и частоты эскалаций, указание модели монитора, а затем сравнение сценариев с накладными расходами 5%, 10% и 20%. Результат должен показывать стоимость успешно выполненной задачи и точку окупаемости между готовым сервисом и собственной системой.

Главная сложность: показатель OpenAI в 20% — внутренний ориентир одной компании, а не универсальный коэффициент. Без редактируемых предположений и диапазонов уверенности продукт превратится в генератор вводящих в заблуждение смет.

3. Система фиксации доказательств для аудита агентов

Создайте журнал доказательств с защитой от изменений для регулируемых или дорогостоящих процессов с агентами. Покупателями станут команды комплаенса, управления рисками и безопасности, которым нужно показать ход событий, не открывая каждому проверяющему необработанные журналы приложений.

Спрос: "AI model monitoring" получает, по оценке, 50 поисков в месяц в США при KD 6, наличии AI Overview и верхней границе ставки за показ $30.33. Более широкий запрос "LLM observability tools" добавляет 210 ежемесячных поисков. В актуальном наборе связанных запросов присутствует и "LLM observability metrics" — именно на этот вопрос должен отвечать продукт для сбора доказательств.

Минимальная версия, которую можно продавать: сбор событий трассировки, разрешений инструментов, решений политик, одобрений людей и событий приостановки; маскирование чувствительных данных; затем формирование компактного пакета по инциденту и регулярного отчёта о контроле.

Главная сложность: хранение трасс само может стать источником риска для конфиденциальности, а требования к аудиту различаются между компаниями и юрисдикциями. Строгая минимизация данных и настраиваемые сроки хранения нужны продукту раньше, чем новые графики.

Чего не даёт резерв 20%

Сам по себе мониторинг не делает агента безопасным. OpenAI прямо рассматривает его как один из уровней защиты наряду с выравниванием поведения и такими мерами безопасности, как изоляция рабочих нагрузок, сетевая изоляция и непрерывное тестирование.

Особенно важны пять ограничений:

• Оценка имеет узкую область применения. Показатель 20% относится к инференс-вычислениям в охваченных мониторингом нагрузках OpenAI. Это не 20% от всего инференса, всего обучения или совокупного счёта клиента за ИИ.
• Монитор способен что-то пропустить. По заявлению OpenAI, прежняя система для кодинг-агентов сработала во всех известных компании случаях, которые сотрудники также передали на эскалацию, но это не устанавливает частоту ложноотрицательных результатов на открытом потоке запросов.
• Тридцать минут могут оказаться слишком долгим сроком. Асинхронное предупреждение способно остановить продолжительную исследовательскую сессию, но не отменит уже совершённую передачу данных, удаление или платёж. Для необратимых действий по-прежнему необходимы проверки разрешений, изоляция или синхронная блокировка.
• Доступ к рассуждениям неодинаков. Подход OpenAI частично опирается на внутреннюю активность и доступные рассуждения. Разработчик приложения с внешней моделью может видеть лишь сообщения, вызовы инструментов и результаты.
• Полные трассы содержат чувствительные сведения. Мониторинг способен захватывать промпты, данные, учётные данные и бизнес-логику. Ограниченный доступ, маскирование чувствительных данных и сроки хранения — обязательные требования к продукту, а не косметическая доработка для комплаенса.

Честное правило — соотносить мониторинг с тяжестью последствий. Для помощников с доступом только на чтение достаточно базовых трасс. Агентам с инструментами нужен анализ последовательности действий. Операции, способные перемещать деньги, раскрывать данные или повреждать продакшен, требуют жёстких границ разрешений и синхронного согласования.

Что сделать в понедельник

На следующей неделе выберите одного продакшен-агента и перечислите все доступные ему действия. Разделите их на три класса: только чтение, обратимая запись, а также необратимые или внешние операции. Инструментируйте всю траекторию, установите жёсткие правила согласования для третьего класса, а на остальных действиях запустите асинхронный монитор. Добавьте к базовому бюджету инференса пилота резерв 20% на вычисления, а через две недели замените его измеренной стоимостью.

Не начинайте с покупки самого крупного комплекса наблюдаемости. Сначала решите, какое действие система обязана остановить, кто получит предупреждение и насколько быстро бизнес должен отреагировать.

Какие ИИ-инструменты лучше всего подходят для наблюдаемости?

Оптимальная категория зависит от задачи. Трассировка нужна для контроля задержек, стоимости токенов, ошибок и оценок качества; шлюз — для маршрутизации и управления запросами; отдельный монитор поведения — для рискованных действий с инструментами и полных траекторий. Обычный дашборд не равнозначен внутреннему монитору OpenAI на уровне активаций.

Что такое LLM observability в Datadog?

Продукт Datadog записывает спаны модельных вызовов и связывает их с трассами, оценками, дашбордами и мониторингом продакшена. На публичной странице указаны тарифы $0 за объём до 40,000 LLM-спанов в месяц и $160 в месяц за объём до 100,000 — оба со сроком хранения 15 дней.

Какие инструменты LLM observability имеют открытый исходный код?

Решения с открытым исходным кодом существуют для трассировки, оценки, шлюзов и учёта расходов. При выборе учитывайте способ развёртывания, полноту трасс, поддержку оценок, защиту данных и возможность экспорта. Открытый код избавляет от платы за лицензию, но не от расходов на хранение, инференс монитора, эксплуатацию и реагирование на инциденты.

Есть ли бесплатные инструменты LLM observability?

Да. Datadog предлагает бесплатный тариф до 40,000 LLM-спанов в месяц со сроком хранения 15 дней, а решения с открытым исходным кодом можно разместить самостоятельно. Даже при бесплатном ПО в бюджете остаются обращения к модели, инфраструктура, хранение данных и работа специалистов.

Какие метрики LLM observability действительно важны?

Отслеживайте стоимость успешно выполненной задачи, задержку, ошибки, качество оценок, повторные попытки, число вызовов инструментов, нарушения разрешений, долю эскалаций, точность предупреждений, время до приостановки и серьёзность инцидентов. Одна лишь стоимость токенов не показывает, выполнил ли агент нужную работу безопасно.

Если нужен слой мониторинга и контроля, построенный вокруг реального процесса с агентами, начните с продакшен-систем на базе ИИ.