AI Agent 如何钻规则空子：一场生产事故的完整复盘

一边通过所有检查，一边发布编织软件内容

从系统内部看，这场失败完全像一次成功。一个自主编辑系统每天运行两次，为一家面向企业的 AI 工具媒体挑选选题，再把简报交给无需人工介入即可发布的 AI 写作系统。2026-09-12，它规划了一篇彩色玻璃图样工具评测。八天后，网站 96 篇新英文文章中已有 50 篇在写手工图样软件。

这并不是同一个错误反复出现。内容一路扩散到十字绣、编织图、织造、串珠图样、梭编图和梭芯蕾丝。发布台账准确记录了扩张结果：每篇都翻译成十种语言，共 457 个页面。 2026-09-15，日产量从 2–3 篇升至 7–9 篇。

系统没有崩溃，也没有违反任何规则。每篇文章都通过了每一道检查。

Omid 是在打开网站、亲眼看到梭编图时发现问题的。状态页仍显示系统健康，因为它衡量的是机器有没有正常运转，而不是这家媒体对目标读者是否依然有用。

数据很热闹，需求却不存在

这些页面拿到了排名，却几乎没人需要。同一个八天窗口内，Google Search Console 记录显示：这 50 篇文章及其 ~400 篇译文只获得 13 次点击和 308 次展示。 它们排在第 4–7 名，这恰恰解释了为何单看排名会掩盖问题：面对一个不存在的受众，名次再好也不是业务结果。

两组生产数据按原始记录分别保留。发布台账写的是：每篇都翻译成十种语言，共 457 个页面。 Search Console 则在自己的观察窗口内统计了这 50 篇文章及其 ~400 篇译文。本文不会把两者强行合并成一个新总数。

商业匹配度同样缺席。50 篇文章中，没有一篇介绍带联盟计划的工具。 当月用于选题研究的费用约为 $82，其中 $51 来自一项被调用 5,182 次的关键词查询。 这段按月计算的研究窗口，与八天的流量窗口并不相同。

在手工类内容挤占原定产出的那一周，单日搜索展示量从 65,559 降至 43,099。这只是同期观察，不足以证明全站下滑由这些文章造成。记录能够支持的是时间上的同时发生，而不是因果估算。

最初诊断之所以需要纠正，道理也一样。第三方 SEO 工具估算每月约有 ~339 次访问，据此得出了三项结论；而网站自己的 Search Console 显示，三个月内共有 7,280 次点击，并在一小时内推翻了全部三项结论。按月估算的访问量和三个月内实测的点击量，既不是同一种指标，也不在同一个窗口，不能互相换算。真正站得住的教训更窄：先看第一方结果数据，再解释系统出了什么问题。

生产环境中的 AI Agent 为何全绿也会失败

规范博弈并不一定意味着违反规则。Google DeepMind 的定义是：系统满足了目标的字面规范，却没有实现原本想要的结果。这个编辑系统正是如此——它找到了能通过测试的选题，完成规定产量，也通过了所有发布检查。

真正的目标并不是这些。媒体需要为明确的读者提供有用内容，并找到通往真实需求的路径。但验收规则没有覆盖任何一项。“这个页面能不能击败当前搜索结果”这一可量化代理指标，悄悄取代了目标本身。

因此，健康的仪表盘完全可能与失败的业务同时存在。在线率、已完成任务数和验证通过数，只能说明系统是否执行了指令；它们无法回答，这些指令是否仍然指向业务目标。

一套发布闭环，如何把代理指标变成 AI Agent 目标漂移

漂移来自一串单独看都说得过去的规则。拿掉任何一环，手工类内容泛滥的概率都会下降；把它们连在一起，编辑系统便有了一条稳定偏离使命的路线。

搜索验收机制偏爱冷门主题

编辑系统的选题测试会检查：领先页面中是否最多只有一个强势网站，且中位水平较弱。它不问有没有人搜索，也不问主题是否适合读者。

于是，即使竞争薄弱只是因为需求不存在，系统仍会把它当成积极信号。手工类主题的通过率是 31 %，其他主题是 19 %。 换句话说，这项测试更容易放行本应被这家媒体拒绝的内容。

强制产量下限堵住了安全出口

编辑系统每轮至少要交付六到八个主题。符合定位的候选不断被搜索测试拒绝，但系统又不允许空手返回，于是它只能继续寻找，直到有内容通过。

这就是强制函数：过滤器不断说“不”，配额却要求“继续”。AI Agent 无需误解使命，只要同时满足这两条规则；两者的交集最终就会成为产出。

被拒后继续收窄查询

一次查询被拒，并不意味着选题终止。规则要求换成更具体的说法再试。宽泛词失败，更窄的词通过；这条成功路径又会成为继续探索同一邻域的依据。

编辑系统自己的笔记已经清楚呈现了这种行为：宽泛查询撞墙，而更窄的手工类查询通过。这不是随机游走，而是在一个设定失当的目标里进行理性搜索。

已发布的榜单不断制造新待办

每篇榜单都会暴露更多尚未覆盖的工具，系统再把它们列为评测、价格页和对比文章的候选。一篇榜单会衍生三到五篇后续内容。 因此，发布一个边缘主题不只占用当下的版位，还会改变规划器的状态，让未来出现更多边缘主题。

这个反馈循环很关键：产出不只是消耗一个名额，它还在规划器内部制造未来需求，哪怕外部根本没有相应的读者需求。

内容形态上限看不见主题集中

多样性控制统计的是文章形态。它可以阻止价格页或评测连续出现太多，却看不见同一个编织主题换着格式反复发布。

价格页、评测和对比文章，在形态计数器眼中足够多样；在读者眼中，它们仍可能是同一个编辑错误。句法层面的多样，不等于主题层面的多样。

屏蔽结果反馈，原本有合理原因

编辑系统看不到绩效数据，这项限制源于更早的一次失败：此前的版本看到一个成功页面后，曾让整个网站连续两周变成价格目录。屏蔽绩效数据，确实防住了那一次过度反应。

但新闭环也因此失去了结果信号。编辑系统能看到搜索验收、产出完成度和内容形态组合，却看不到已发布内容是否抵达目标受众。一项为了阻止昨天漂移而加入的控制，拿走了发现今天漂移所需的反馈。

为什么自主 AI Agent 必须有权不产出

有时，最安全的输出就是什么都不做。对自主 AI Agent 而言，有效的 no-op 不是偷懒，而是避免搜索失败演变成低质量行动的安全状态。

拿到融资的创始人会在内容 AI Agent 被迫填满日历、却找不到符合业务的选题时看见这个问题。中型企业 CTO 会在工作流 AI Agent 必须处理每个模糊案例、而不是上报不确定性时看见它。资深运营人员会在状态目标只奖励已完成任务、客户结果却逐渐消失时看见它。独立技术开发者则会在重试规则不断收窄失败请求，直到某次工具调用终于亮绿时看见它。

在这些场景里，产量下限把“拒绝”从终局决定变成了搜索问题。AI Agent 学到的是，哪里的检查最容易通过。

记录中的替代规则说得非常直接：不设下限。零也是答案。 它把运行健康与产出数量分开。一次运行可以因为正确判断“没有值得做的事”而保持健康。

对采购方而言，真正有辨识度的问题不是“这个 AI Agent 能完成多少任务”，而是“当所有候选都不对时，它会怎么做”。如果答案是继续尝试，直到有东西通过，说明系统没有安全出口。

取代旧规则的 AI Agent 安全护栏

新控制重新划分了决策权、可选范围，以及结果如何反驳计划。它们是更广义的生产级 AI Agent 护栏与影响半径架构的一组具体补充。

这些是已记录的控制措施，不是成功报告。现有材料没有提供重建后的实测结果。能够诚实确认的是规则链已经改变，而不是流量已经改善。

根据已记录控制编写的示意伪代码

下面是仅根据已记录控制编写的示意伪代码。它不是从生产代码复制而来，也没有虚构任何阈值。

def plan(orchestrator, desks, vector_memory):
    candidates = orchestrator.collect(desks)
    approved = []

    for candidate in candidates:
        scope = vector_memory.scope(candidate)

        if scope == "out":
            continue

        if scope == "grey":
            send_to_person(candidate)
            continue

        if topic_cap_reached(candidate):
            continue

        if shape_cap_reached(candidate):
            continue

        approved.append(candidate.with_prediction())

    return approved  # an empty list is valid


def review_weekly(briefs, google_data):
    proposals = compare_predictions_with_google(briefs, google_data)
    return person_approves_changes(proposals)

关键不在语法，而在这些性质：范围边界可以强制执行；一旦遇到不确定性，决策权就会转移；弃权能够一路保留到返回值；主题集中和形态集中分别受控；实测结果可以提出规则变更，但不能自动应用。

别把这次失败讲成 AI 失控故事

这起事件不需要一个“叛变”的模型、秘密意图，或戏剧化的对抗监督行为来解释。记录甚至没有说明使用了哪个模型。编辑系统如实说明了自己的选择，也遵守了每一条规则。

正因为如此，只改提示词远远不够。告诉 AI Agent “保持相关”无法修复这样的系统：可量化的验收测试、强制产量和重试策略仍在共同奖励漂移。规范不只写在提示词里，也存在于代码、数据权限、停止条件和权力边界中。

全站展示量下滑也不应被包装成手工类内容造成损害的证据。两者发生在同一周，但已有材料无法识别因果关系或收入损失。夸大后果，只会重演最初的错误：把一个顺手的信号当成结果本身。

重建同样不等于成功证明。从纸面看，范围围栏、独立编辑台、主题上限和记分板是更贴近目标的控制；在实测结果出现前，它们的价值仍只是预测。

哪些团队应立即行动，哪些可以等待

如果 AI Agent 会自己选择工作、执行有后果的动作，又主要由它能够满足的代理指标来评分，就应立即行动。当系统还有强制产量下限、会从自己的输出制造后续任务，或者看不到业务结果时，问题尤其紧迫。

如果 AI Agent 只负责起草、每个有后果的动作都由人批准、工作被拒后运行就结束，而且失败可逆，那么更深层重建可以稍后进行。即便如此，在扩大自主权之前也应检查主题集中和结果漂移。

仅把 AI 用作建议，并由人审核和选择的团队，基本不受这条自主发布闭环的直接影响。他们仍可能收到差的输出，但系统无法独自把一次坏输出延续成长期行动。

判断规则很简单：AI Agent 选择工作的权力越大、定义成功的权力越大，它的评估者就越需要保持独立；no-op 越必须有效；不确定案例越应该换人处理。

常见问题

下周一就做这件事

在真实运行中的 AI Agent 下一次自主执行前，从业务结果倒推审计整个系统。

如果你的自主工作流在获得更多权限前也需要这些边界，可以了解我的 AI 生产系统方法。