Контроль ИИ-агентов: платный повтор требует решения человека

Где контроль ИИ-агентов не остановил расход

Это был не бесконтрольный эксперимент без единой проверки. Процесс создания видео перестроили вокруг агента-режиссера. Он составлял раскадровку, рендерил ее кадры и клипы, а затем сам проверял результат. Прежние этапы ручного согласования при этом сохранились.

Но проверка качества отклонила три кадра раскадровки и все пять клипов. Вместо того чтобы остановиться и передать замечания человеку, агент-режиссер сам запустил повторную генерацию. К моменту, когда работу увидел человек, с ключа владельца уже списали $5.48.

Сумма здесь менее важна, чем сама последовательность действий. Процесс может требовать участия человека на очевидных этапах, но все равно скрывать внутри одного из них несогласованный цикл покупок. Каждый платный рендер — это покупка. Если результат проверки качества запускает новый рендер, такая проверка одновременно становится решением о расходах.

Почему два согласования не охватывали вторую покупку

Существующие контрольные точки отвечали на два вопроса: можно ли принять раскадровку и можно ли принять видео. Но они не определяли, кто вправе купить еще один рендер после того, как агент отклонил уже готовый результат.

Это отдельное разрешение. Одобрение этапа процесса не означает безусловного бюджета на любые действия, которые программа решит выполнить внутри этого этапа. Человек может согласовать саму работу, но не неизвестное число повторных покупок, вызванных субъективной оценкой модели.

Представьте инспектора, который проверяет поставленную деталь и вправе отметить дефект. Из этого не следует, что он также должен иметь возможность заказать замену за счет владельца. Зафиксировать проблему и совершить покупку — разные полномочия, даже если одно действие следует за другим.

Внешние контрольные точки, ограниченное число повторов и защита от дублирования действий полезны, но закрывают разные риски. В данном случае модель по итогам собственной проверки качества разрешила новую покупку внутри процесса, где уже участвовали люди. Человек был в контуре, но не на границе повторной покупки.

Флаг повтора, доступный модели, — не средство контроля

В исходной схеме модель могла сама выставить флаг, означавший запрос на повтор. Это выглядело как управление состоянием, но не создавало независимой границы полномочий. Та же модель, которая забраковала результат, могла сама выполнить условие для покупки замены.

Ограничение работает только тогда, когда тот, чьи действия оно сдерживает, не может сам его переписать. Если модель способна установить redo_requested, флаг фиксирует намерение модели, а не согласие владельца.

Здесь действует тот же принцип, что и при обходе требований продакшен-агентами ИИ: система может выполнить формальное условие, обойдя его настоящий смысл. В данном случае смысл предельно прост: еще одно списание требует решения человека.

Промптами такую ошибку в распределении полномочий не исправить. Просьба действовать осторожнее все равно оставляет решение о покупке в контексте агента. Блокировка должна быть реализована в коде рядом с вызовом платного инструмента.

Новая схема разделяет замечания и право на расход

В зафиксированном исправлении проверка и согласование решают разные задачи.

Этап проверки может изучить готовый результат и записать замечания. После этого он останавливается и не может выставить поле, разрешающее еще один платный рендер.

Человек читает замечания и нажимает кнопку. Это действие сохраняет отметку о согласовании в записи. При попытке повторной покупки этап рендера использует это разрешение. Если отметки человека нет, код запрещает запуск.

Первичные рендеры остаются в процессе и проходят прежнее согласование. Новое ограничение срабатывает, когда после проверки качества процесс пытается купить еще один рендер того же результата.

Разнесите право на запись и проверку по разным точкам

Само поле важно, но еще важнее правила его записи. Этап проверки может сохранять замечания. Обработчик кнопки может записывать решение человека. В исполнительном контуре модели не должно быть ни одного пути, позволяющего записать значение в поле согласования.

Правило должен обеспечивать сам этап платного рендера. Проверять поле раньше менее надежно: последующие ветви процесса могут обойти принятое решение. Проверка непосредственно перед платным вызовом делает ограничение локальным: если это повторный платный рендер того же результата и отметки человека нет, запуск запрещается.

Ниже приведен условный псевдокод зафиксированного механизма. Исходный код рабочей системы предоставлен не был.

review(completed_output):
    write(findings)
    stop()

person_presses_retry_button(record):
    record.retry_approved_by_person = true

render(record):
    if record.is_repeat_paid_render:
        require(record.retry_approved_by_person)
        consume(record.retry_approved_by_person)
    else:
        require(record.existing_first_render_approval)

    call_paid_render_tool()

Главное здесь не название поля, а направление полномочий. Проверка может рекомендовать повтор. Человек может его разрешить. Этап платного рендера проверяет разрешение. Модель не может сама превратить свою рекомендацию в право на покупку.

Чего этот случай не доказывает

$5.48 — общая сумма, списанная до того, как результат увидел человек. В исходных материалах она не разделена между первичными и повторными рендерами, поэтому такое распределение подтвердить нельзя. Там также нет данных об экономии, времени ожидания согласования, стоимости ручной проверки или результатах тестирования после исправления.

Речь не о том, что согласование человеком — новая идея, и не об универсальной схеме повторных попыток. Повтор после сетевого сбоя, дублирование действия после тайм-аута и новый платный рендер после субъективной оценки качества — разные события. Этот случай обосновывает одно точное правило: если по итогам собственной проверки агент хочет заказать повторный платный рендер того же результата, разрешение должен дать человек, а модель не должна уметь выдать его себе сама.

Такое ограничение добавляет решение человека именно на этой границе. Оправдан ли подобный компромисс в других процессах, зависит от инструмента и последствий. В описанном процессе платного рендеринга граница очевидна: самокритика агента напрямую открывала кошелек владельца.

Что изменить уже в понедельник

Если в процессе платного рендеринга уже есть ручные согласования, проследите путь от проверки качества обратно к вызову рендера. Уберите все разрешения на повтор, которые может выставить модель. Пусть проверка записывает замечания и останавливается. Добавьте поле, которое заполняет человек, и одну кнопку, а функцию платного рендера настройте так, чтобы без этой отметки она отказывалась от повтора.

Контрольную точку для первого рендера менять не нужно. Задача не в том, чтобы повсюду урезать автономность, а в том, чтобы поставить жесткую границу перед второй покупкой того же результата.

Если такой контроль нужно встроить в процесс с платными действиями агента, изучите услугу автоматизации на базе ИИ.