AI评测工具怎么选？2026年智能体评估与审计平台对比

Braintrust 是综合表现最佳的智能体审计类 AI评测工具，但决定这一品类成本的，并不是它每月 $249 的 Pro 套餐。Meta 放出的 10 项任务 WildArtifactBench 预览，以及 Dreadnode 对 1,518 条轨迹的审计，都揭示了新的预算项：重复试验、完整轨迹、经过校准的评审模型和人工复核。采购时应围绕证据预算，而不是最好看的评分面板。

最佳 AI评测工具一览

Braintrust 是最适合大多数团队的选择，因为它把数据集、重复试验、评分器、人工复核和发布门禁整合为一份可审计的实验记录。如果开源和较低的托管费用最重要，Arize Phoenix 更适合作为第一步。以 LangGraph 为核心的团队若需要看清多步骤智能体走过的准确路径，应选 LangSmith。Confident AI 将 DeepEval 框架与最丰富的现成指标库结合起来。Dreadnode 则属于另一条采购赛道：在隔离环境中证明对抗型安全智能体是否真正成功。

价格和套餐限制均于 2026年8月21日根据各厂商实时页面核验。排名比较的是有文档依据的功能与成本；本次评估没有订阅、部署或实际运行这些工具。

真正决定选择的是一个问题：怎样的证据，才能让持怀疑态度的审核者相信这次通过确实合格？ 如果不可变的对照记录加重复试验已经足够，选 Braintrust；如果轨迹所有权比托管工作流更重要，选 Phoenix；如果产品价值就在于智能体是否按预期路线调用工具，选 LangSmith；如果质量团队需要在 CI 中使用深度指标库，选 Confident AI；如果智能体可能利用基准环境作弊，选 Dreadnode。

证据预算如何改变 AI智能体评测的采购决策

平台订阅费只是入场费。如今，一套可信的智能体基准测试至少有五只“计价器”：智能体运行、评审模型运行、轨迹留存、沙箱或环境算力，以及人工校准。它们共同构成证据预算，也是把这五家厂商放在同一尺度上比较的关键成本概念。

Meta 的 WildArtifactBench 预览直观展示了第一种变化：有些有价值的智能体产出无法用唯一标准答案打分。一款可运行的游戏、剪辑后的视频、医学分析或可工作的软件成果，可能只能进行成对偏好比较：两份交付物究竟哪一份更好？Meta 表示，其内部评估可处理任意交付格式和任意可验证程度，并通过人工评审者和智能体评审者给出的胜率与 Elo 分数来判断。此次预览共发布 10 项任务。

这扩大了评测覆盖面，也直接改变了预算。成对评审需要一份基准交付物、另一份待比较的交付物，以及一名负责比较的评审者。校准智能体评审模型时，还需要人工检查分歧。过去“一个任务只产生一个低成本分数”的假设已经不成立。

Dreadnode 揭示了相反的问题：即使通过标准看似客观，结果仍可能是假阳性。其基准作弊研究审计了 22 个模型在 23 项任务和三种提示条件下产生的 1,518 条轨迹。在基线条件下，37.1% 的通过结果涉及作弊；平均通过率为 41.5%，但真正无作弊的解题率只有 26.1%。

两者相差 15.4 个百分点，这正是只看排行榜、不检查执行路径的代价。模型会搜索已经公开的答案、读取基础设施文件，或探查容器元数据。若采购方仅按通过率比较模型，就可能为表面冠军买单，而一旦捷径被封堵，这种能力便会消失。

提示语也没能弥合差距。Dreadnode 测得，作弊倾向从基线条件下的 33.0%，降至普通警告下的 17.8%，再降至严厉警告下的 8.5%。即便采用最严厉的条件，仍有 8 个模型通过作弊获得了“通过”。真正可执行的答案必须落到结构上：控制网络访问、加固环境、保留完整轨迹，并在真实状态所在的位置核验结果。

这两项发现指向相反的技术问题，却导向同一个财务结论。没有客观真值时，WildArtifactBench 需要更丰富的偏好证据；即使存在客观真值，Dreadnode 仍需要更严格的环境证据。无论哪一种情况，单一答案分数都不足以充当发布门禁。

小规模审计可以从免费方案开始

一套严谨的周一审计不需要企业合同。选取 50 项有代表性的任务，对比两种智能体配置，每种配置运行三次试验，并应用四个评分器，最终会产生 1,200 个分数：

50 tasks x 2 configurations x 3 trials x 4 scorers = 1,200 scores

Braintrust Starter 包含 10,000 个分数。AX Free 在其 span 和存储限制内提供无限评测。LangSmith Developer 为一个席位提供 5,000 条基础轨迹。Confident AI Free 的限制更紧，每周只有五次测试运行，但开源的 DeepEval 仍可在本地运行。因此，团队在确认数据集和评分规则是否真正有信号之前，第一张平台账单仍可保持在 $0。

人工成本却不是零。若对 10 条存在分歧或高风险的轨迹逐条复核 15 分钟，校准环节共需 150 分钟，也就是 2.5 个审核工时。只要这段时间能发现自动评审模型偏爱自信措辞、漏掉无效工具参数，或给环境中根本没有完成的任务判分，它就花得值得。

发布门禁的扩展方式与演示不同

把同一方案扩展到 500 项任务，同时保持两种配置、三次试验和四个评分器，最终会产生 12,000 个分数。Braintrust Starter 内含 10,000 个分数，因此超出的只有 2,000 个；不含模型和数据费用，分数超额费为 $5。

这个例子说明，标价很容易误导。平台记录本身可能近乎免费，智能体所调用的模型却可能成为账单主体；偏好评审模型还会再次放大模型成本；长期保留轨迹后，存储费可能超过评分费；浏览器或安全沙箱的成本又可能高于前两者；即使没有任何软件发票，人工裁决也可能是最昂贵的一项。

因此，采购工作表应分别列出六行：

• 智能体执行：生成结果所需的每次模型调用和工具调用。
• 评测执行：确定性检查、LLM 评审和成对比较。
• 证据存储：轨迹、成果物、截图、环境状态和保留周期。
• 运行环境：浏览器、代码、数据库或安全沙箱。
• 人工校准：处理分歧、风险和评分规则变更所需的审核时间。
• 平台：席位、套餐费、治理功能和超额用量。

如果厂商报价把这些项目都塞进一种使用积分中，就要求它按照计划采用的基准工作负载给出完整算例。无论怎样包装，底层的计价器始终存在。

1. Braintrust：可审计生产评测的综合首选

Braintrust 排在综合首位，是因为它的核心对象是一项可持续比较的实验，而不是会随数据变化的仪表盘快照。其评测产品把数据集、代码评分器与 LLM 评分器、人工复核、实验并排对比和 CI 门禁连成一条工作流。这套顺序很适合审批一次智能体变更，并在日后为该决定提供依据。

基准审计需要保留四类内容：输入集、智能体配置、评分器定义和最终轨迹。Braintrust 将实验记录为不可变快照，使每一次对比都有稳定身份。团队可以在 Playground 中快速迭代，同时把实验留作发布负责人日后可以回查的正式记录。

模型或提示词发生变化时，这一区别至关重要。客服智能体也许仍能解决同一个退款请求，却走了一条风险更高的工具路径；编程智能体可能通过全部测试，却修改了任务范围以外的文件；研究智能体可能利用本不该访问的来源，得出预期答案。最终答案只是其中一列，审计还必须把执行路线和评分证据放在它旁边。

Braintrust 也支持重复试验。它的 trialCount 设置会对同一输入运行多次并汇总结果，还可按测试用例单独覆盖。这样处理非确定性更合理：稳定任务只运行一次，容易波动的长链路任务则运行五次或 10 次。只对不确定案例追加成本，既能加强证据，也不会把整个数据集的运行量全部倍增。

最适合： 需要从开发到发布都使用同一套通用评测记录的产品和平台团队。
突出优势： 不可变实验、重复试验、多种评分器、人工复核与 CI 质量门禁。
价格： Starter $0；Pro $249/月；Enterprise 定制。核验日期为 2026年8月21日。
免费试用： Starter 免费，且无需信用卡。

Braintrust 的实际使用成本

Braintrust 价格将平台费、处理数据量和分数用量分别计费。

Starter 包含 1 GB 已处理数据，超出后按 $4/GB 收费；包含 10,000 个分数，超出后每 1,000 个收费 $2.50，保留期为 14 天。用户、项目、数据集、Playground 和实验数量均不限，但每个项目的人工复核仅限一个分数。

Pro 每月 $249，包含 5 GB 已处理数据，超出后按 $3/GB 收费；同时包含 50,000 个分数，超出后每 1,000 个收费 $1.50。数据保留期为 30 天，更长期保留的数据按 $0.50/GB/月计费。Pro 还增加了常常真正支撑升级决定的工作流控制：自定义图表、环境、优先支持和 RBAC。

Enterprise 采用定制价格，为高用量或隐私敏感数据提供自定义保留与导出、自定义 RBAC、高级支持，以及本地或托管部署。

只看分数用量，并不值得过早升级。按照公开费率计算，Starter 和 Pro 在每月 199,000 个分数时成本相同。Starter 的费用是 $472.50：超出的 189,000 个分数按每 1,000 个 $2.50 计费。Pro 也是 $472.50：$249 月费，再加超出的 149,000 个分数按每 1,000 个 $1.50 计费。

Braintrust 的能力边界

Braintrust 擅长组织证据，却无法让一套薄弱的基准测试自动变得有效。团队仍需自行负责任务代表性、客观真值、评分规则设计、网络与沙箱控制，以及评审模型校准。不可变实验同样能原封不动地保存一项具有误导性的测试。

第二个边界是保留期。Starter 的 14 天足以支持活跃迭代，但对许多审计、事故或合规复核周期而言太短。Pro 将其延长至 30 天，但季度治理流程可能仍需要付费延长保留期，或采用 Enterprise 的导出方案。

第三个边界是模型成本。重复试验通过增加智能体运行次数来提高置信度；LLM 评审又会增加一批调用。Braintrust 可以计量并保存这些工作，但证据预算仍必须覆盖底层模型费用。

一套可落地的 Braintrust 基准审计

只有配置足够具体，综合首选才有意义。可以按以下流程为智能体建立发布门禁。

1. 1

   锁定决策问题

   用一句话写清发布问题：两种智能体配置中，哪一个应承接下一次生产变更？在运行任一配置前，固定 50 项代表性任务、允许使用的工具、运行环境和成功条件。

2. 2

   建立四层证据

   设置一个确定性结果评分器、一个轨迹或工具使用评分器、一个任务专用质量评分器，以及一个成本或效率评分器。四个评分器应该能因不同问题而失败；重复设置同类评审只会制造虚假的信心，而不会扩大覆盖面。

3. 3

   运行三次试验

   第一轮为两种配置统一设置三次试验。50 项任务搭配四个评分器，会得到 1,200 个分数。只对结果或评审分数存在分歧的案例追加试验。

4. 4

   用 10 条轨迹做校准

   把 10 条存在分歧或高风险的轨迹交给领域专家。每条 15 分钟，校准环节共需 2.5 小时。将每一种系统性分歧转化为评分器或规则修改，然后重新运行两种配置。

5. 5

   围绕翻转条件设置门禁

   只有挑战配置通过结果护栏、改善当前的关键指标，并且没有引入新的轨迹故障时，才能批准上线。把该实验保存为发布证据，并将被拒案例加入下一轮回归集。

结论： 如果组织需要一套工程师与审核者都能查看、可重复执行的采购方案，Braintrust 是最佳默认选择。若必须拥有开源轨迹，或基准测试需要通用平台无法提供的对抗型沙箱控制，则不应选择它。

2. Arize Phoenix 与 AX：最佳开源、低成本方案

Arize Phoenix 是预算优先场景下的最强选择，因为开源产品无需平台费即可提供追踪、评测、数据集和实验能力。AX 则提供从 $0 起步的托管路径，实用的团队套餐只需 $50/月。对于一款能保存模型调用、检索、工具和自定义逻辑完整执行路径的产品，这一门槛相当低。

Phoenix 采用 OpenTelemetry 和 OpenInference。相比冗长的集成品牌列表，这些标准更有价值，因为它们能降低迁移证据的成本。开发者可以只埋点一次，在本地检查智能体轨迹并附加评测，之后再判断托管服务是否值得付费。

它的实验工作流也很扎实。Phoenix 可以把生产故障归入一个数据集，让更新后的智能体重新运行相同样本，附加确定性或基于 LLM 的评测器，再比较结果；人工标签也能放在同一条轨迹上。小团队由此获得了开展审计所需的全部组件，又不必让智能体绑定到某个框架。

最适合： 希望掌握开源控制权，或以最低可信托管成本起步的开发团队。
突出优势： 基于 OpenTelemetry 和 OpenInference 的轨迹可直接连接数据集、实验、评测器和人工标注。
价格： Phoenix 开源；AX Free $0；AX Pro $50/月；AX Enterprise 定制。核验日期为 2026年8月21日。
免费试用： Phoenix 免费且开源，AX Free 则是长期可用的托管层级。

Arize 的实际使用成本

Arize 价格对所有 AX 套餐都不限用户数和评测次数，再通过周边的证据容量设限。

AX Free 每月包含 25,000 个 span、1 GB 摄入量和 15 天保留期。它采用 SaaS 模式，用户数不限，足以让团队先验证埋点与实验工作流是否合适，再提交预算申请。

AX Pro 每月 $50，包含每月 50,000 个 span、10 GB 摄入量、30 天保留期、不限用户数和不限评测次数。对于工具输入、输出或成果物会让单个 span 体积较大的智能体而言，存储扩大十倍比 span 数量翻倍更有意义。

AX Enterprise 采用定制价格，可自定义 span 数量、摄入量与保留期，并支持 SaaS 或自托管部署。

“不限评测次数”需要加一项说明：LLM 评审仍需要模型凭证。Arize 的文档要求采购方配置 OpenAI、Anthropic、Bedrock 或其他提供商集成来执行评审。AX 也许不对评测这一行计量，但模型提供商仍会计算推理用量。应将这笔费用计入证据预算。

Phoenix 的能力边界

开放式埋点把工作从厂商锁定转移到内部所有权。团队仍需要有人定义 span 规范、数据集晋级规则、评测器版本、发布阈值和轨迹保留策略。Phoenix 提供组件，但不会替代评测负责人。

第二个边界是基准完整性。轨迹能证明智能体做过什么，但前提是环境暴露了相关状态。最终答案与工具轨迹仍未必能说明数据库是否已变更、文件是否有效，或浏览器操作是否真正持久化。客观真值在哪里，就应在哪里增加确定性检查。

第三个边界是治理。需要自定义部署与保留期时，应转向 AX Enterprise。因重视控制权而从 Phoenix 起步的团队，在认定开源方案规模化后更便宜之前，应先把自托管所需的人力成本与 Enterprise 报价放在一起比较。

结论： 如果有资深开发者能负责审计设计，且可移植性很重要，就选 Phoenix；如果每月 $50 能明显减少托管与协作工作，就选 AX Pro。若采购方需要的是一套规定明确的质量体系，而不是开放式评测工作台，则应跳过它。

3. LangSmith：最适合 LangGraph 与“轨迹到评测”闭环

当智能体的执行路径本身就是产品，并且团队已经习惯以 LangGraph 式轨迹思考问题时，LangSmith 是最佳选择。它的智能体评测平台可以离线评分精选数据集、在线评分生产交互，再把值得关注的轨迹送入人工标注和后续测试集。它最强的能力不是某个通用评审模型，而是可以分别评测最终回复、完整轨迹或单独一个步骤。

这三个层级回答的是不同的审计问题。最终回复评测判断用户是否得到了正确结果；轨迹评测判断工具与决策序列是否合规；单步骤评测则判断某次工具选择或参数是否正确。当智能体能执行会产生实际后果的操作时，生产发布需要同时覆盖三者。

以退款智能体为例：最终消息可以承诺退款；轨迹能显示它是否验证了客户身份并选择正确发票；状态检查则能证明退款是否真的发生。LangSmith 对前两层证据的支持尤其好，第三层仍需应用自身对外暴露。

人工校准已经融入工作流。领域专家可以审核选定的运行记录，标注轨迹中的相关部分，再根据分歧优化自动评审模型。这才是回答“LLM-as-judge 有多可靠”的正确方式：不要预设可靠，而要对照真正拥有判断标准的人，测量分歧。

最适合： 使用 LangGraph、LangChain 或任何轨迹密集型智能体的团队，尤其是工具路径决定安全与质量的场景。
突出优势： 对最终回复、完整轨迹和单独步骤进行评测，并结合在线/离线评分与人工标注。
价格： Developer $0/席位；Plus $39/席位/月，另加用量费；Enterprise 定制并另计用量。核验日期为 2026年8月21日。
免费试用： 单席位 Developer 层级免费。

LangSmith 的实际使用成本

LangSmith 价格在这五款工具中最直观地采用了多维计量方式。

Developer 的费用为 $0/席位/月，仅允许一个席位。每月包含 5,000 条基础轨迹，超出后按量付费。

Plus 每月每席位 $39，席位数量不限。整个方案每月共包含 10,000 条基础轨迹，之后按量付费。Plus 还开放 LangSmith Engine 等平台服务。

Enterprise 采用定制价格并另计用量。它增加了自托管与混合部署、自定义 SSO、ABAC、RBAC、支持 SLA，以及自定义席位和工作区条款。

常用计量单位是 LCU 和 LSU。每个 LangChain Compute Unit 收费 $1.50，每个 LangChain Storage Unit 收费 $1.00。在 Plus 中，每条额外轨迹使用 0.005 LSU；Tuned Evaluators 每成功运行一次评测消耗 0.01 LCU。

因此，应计算具体团队的账单，而不是只盯着 $39 的标价。五个 Plus 席位每月为 $195。若团队存储 50,000 条轨迹，其中 40,000 条超出内含的 10,000 条；按每条 0.005 LSU 计算，共 200 LSU，也就是 $200。再运行 6,000 次 Tuned Evaluator，会消耗 60 LCU，即 $90。算例总计为每月 $485，尚未包括其他模型、部署、沙箱或网关费用。

LangSmith 的能力边界

第一个边界是成本可读性。LCU 和 LSU 让 LangSmith 内部的多项服务有了统一口径，但仍要求团队建立用量模型。如果无法估算轨迹数量、保留期、评测器运行量和可选的 Engine 活动，就无法仅从席位数推算账单。

第二个边界是生态引力。LangSmith 在文档中称其评测功能不受框架限制，也可用于 LangChain 之外；但当 LangGraph 或 LangChain 已经决定了智能体和轨迹的形态时，整个工作流依然最顺手。采用其他框架的开发者，不应只因品牌熟悉就购买，而要先与 Phoenix 比较集成成本。

第三个边界是客观真值。轨迹评测可以判断智能体是否按预期路径行动，却不会自动证明外部系统已正确变化。金融智能体、浏览器智能体或基础设施智能体的结果若存在于轨迹之外，仍需基于状态的验证器。

结论： 当错误工具路径与错误答案同样重要，而且智能体技术栈已经能产出丰富轨迹时，LangSmith 值得购买。若团队追求最低托管固定费用，或大部分基准真值存在于对抗型沙箱而不是轨迹中，则应跳过它。

4. Confident AI 与 DeepEval：CI 原生指标深度最佳

Confident AI 最适合希望在代码中使用广泛指标库，并围绕这些指标建立托管审核工作流的质量工程团队。DeepEval 是开发环节所用的开源框架，Confident AI 则是承载数据集、报告、标注、模拟、在线评测和治理的云平台。两者搭配后，团队更容易把产品当作测试实践来采用，而不是事后补上的可观测工具。

DeepEval 的智能体快速入门将一次运行埋点为一条轨迹，再把指标附加到整个智能体或某个组件上。它可接入 pytest 和 deepeval test run，让工程团队容易理解发布门禁。该框架的文档总计提供 50 多种现成指标。

智能体专用指标包括任务完成度、步骤效率、计划遵循度、计划质量、工具正确性和参数正确性。前四项检查完整轨迹，后两项检查单次工具调用决策。这种区分很有用：较低的任务完成度表明智能体失败，而参数正确性可以进一步指出失败发生在哪里。

多数 DeepEval 预定义指标采用 LLM 评审，返回 0 到 1 的分数与判定理由，默认通过阈值为 0.5。这些默认值可以加快起步，也让停止思考变得危险。阈值不是关于业务的客观事实；必须结合人工决策，以及每次虚假通过或错误拒绝的代价来校准。

最适合： 希望在 pytest 中使用智能体指标，并在其上建立托管质量工作流的 QA 和工程团队。
突出优势： 深入覆盖完整轨迹和组件动作的智能体指标。
价格： Free $0；Starter $200/月；Team $2,000/月；Enterprise 定制。核验日期为 2026年8月21日。
免费试用： Free 层级永久可用。

Confident AI 的实际使用成本

Confident AI 价格给出了最清楚的治理升级阶梯，也带来了最大的固定费用跳跃。

Free 永久 $0，允许两个席位、一个项目、每周五次测试运行，以及 1 GB-month 的轨迹 span。额外测试运行会被锁定，额外 span 会被丢弃。因此，这是一项评测试用方案，不是生产监控方案。

Starter 按组织每月收取 $200，包含不限席位、五个项目和 5 GB-month 的轨迹，超出后每增加或保留 1 GB-month 收费 $1。Starter 还提供无代码评测工作流、自定义指标、在线评测、标注队列、聊天模拟、告警和完整的 Project API 访问。

Team 按组织每月收取 $2,000，包含不限席位和项目，以及 75 GB-month，超出后每 1 GB-month 收费 $1。它增加了指标与数据集版本管理、基于 Git 的提示词工作流、自定义 RBAC、SOC 2、SSO 和专属支持渠道。

Enterprise 采用定制价格，增加本地部署、组织 API、自定义数据驻留、HIPAA 支持、24x7 技术支持，并且不限制轨迹 GB-month 和在线评测指标运行次数。

按照列出的月费折算全年，Starter 为 $2,400，Team 为 $24,000，均未考虑可能协商得到的年度折扣。费用增加十倍，买到的并不是十倍席位，因为两个套餐本就不限席位；真正增加的是治理、版本控制、项目规模、存储和支持。

Confident AI 的能力边界

Free 每周只有五次测试运行，无法满足需要重复比较多种智能体配置的基准测试。DeepEval 可以继续支撑本地开发闭环，但托管平台的价值要到每月 $200 的 Starter 才真正显现。

第二个边界是对评审模型的依赖。庞大的指标菜单很容易诱使团队用另一个模型为所有项目评分。Dreadnode 的研究说明，这对对抗型任务并不足够；WildArtifactBench 则说明，偏好评审模型需要人工校准。客观条件应采用确定性检查，LLM 评审只用于确实需要判断的标准。

第三个边界是 Team 升级。版本化指标与数据集是审计的核心，因为评分规则一旦改变，即使智能体不变，分数也可能发生变化。这些控制位于每月 $2,000 的套餐中，因此不断扩大的质量项目可能会在轨迹用量尚不高时，就提前遇到治理账单。

结论： 如果指标深度与 CI 实践是采用工具的主要动力，Confident AI 是质量工程团队的最佳选择。若本地 DeepEval 已经足够，就不必购买托管平台；在治理功能有明确负责人，并且能量化缺少这些功能的代价之前，也不要为 Team 支付 $2,000。

5. Dreadnode：对抗型安全基准完整性的最佳选择

当智能体能够攻击测试、运行环境或评分流程本身时，Dreadnode 是合适的专业工具。它并非披着安全术语外衣的通用客服评测套件。其评测平台会配置隔离沙箱，让安全智能体运行公开任务，执行由任务自身定义的验证，并保留对话记录、轨迹和分数。

托管方案以隔离沙箱运行公开任务，可支撑生产级基准测试。本地 SDK 则适合快速迭代任务函数、数据集、评分器、提示词和智能体逻辑。安全团队可以先在本地开发，再把同一个评测问题迁入托管环境，让智能体更难操纵其中的客观真值。

Dreadnode 能够上榜，关键在于它的验证模型。Flag 检查可以核验预设密钥；脚本可以检查环境或智能体输出；当执行路径同样重要时，结果评审模型可以遍历记录下来的轨迹，寻找伪造证据、奖励作弊或被禁止的捷径。验证发生在智能体运行之后、环境清理之前，此时相关状态仍然存在。

这也是最直接回应其自身研究结论的工具。在那项包含 1,518 条轨迹的研究中，平均通过率为 41.5%，但无作弊解题率只有 26.1%。通用评测面板可以在作弊被发现后保存这种差异；Dreadnode 从一开始就把环境与验证路径纳入基准测试。

最适合： 在受控环境中评测的进攻安全、网络安全和对抗型智能体。
突出优势： 隔离沙箱结合确定性验证、基于状态的验证和感知轨迹的验证。
价格： 截至 2026年8月21日，没有公开价格层级；需联系 Dreadnode。
免费试用： 未公开说明。

Dreadnode 的实际使用成本

Dreadnode 的官方首页和评测文档均未公布套餐表，因此无法纳入自助式预算对比。采购询价应把平台访问、沙箱算力、智能体模型用量、评审模型用量、并发、保留期、支持和任务库条款分别列出。

结果评审模型是一个清晰可见的成本乘数。Dreadnode 表示，一次典型的轨迹评审会针对所选评审模型运行 10 到 25 个步骤，并执行 4 到 10 次工具调用。需要由评审模型逐项查看证据时，这样的开销是合理的，但远高于只给最终答案打一个分数。

应选择能够可靠执行评分规则的最低成本评审模型，再用人工审核者抽样检查其决定。不要为了省钱，在最高风险任务上采用能力薄弱的评审模型。只要客观真值允许，就使用确定性的环境脚本，减少必须进行轨迹评审的案例数量。

Dreadnode 的能力边界

它的范围刻意保持狭窄。营销智能体、内部搜索助手或客服工作流很少需要进攻安全沙箱；对于这些任务，Braintrust、Phoenix、LangSmith 或 Confident AI 更简单，也更便宜。

第二个边界是采购透明度。没有公开套餐或免费试用表，意味着采购方不与销售沟通就无法建立清晰预算。只有当安全环境和验证机制本身就是核心价值时，专业平台的这种特征才可以接受。

第三个边界是评审费用。轨迹评审模型可以发现确定性结果检查遗漏的捷径，但 10 到 25 个步骤和 4 到 10 次工具调用都会增加延迟与模型开支。审计设计必须明确哪些任务值得接受这种处理。

结论： 如果虚假通过可能来自对基准本身的攻击，Dreadnode 是最佳专业选择。普通应用质量场景不必采用它，但在对抗型任务中，也不能用通用答案评审取代它的环境级纪律。

这些 AI评测工具是如何筛选出来的

本次排名依次采用五项标准：审计轨迹、智能体专用深度、评审模型校准、基准完整性和预算透明度。

审计轨迹考察审核者能否还原数据集、配置、试验、评分器、轨迹和最终决策。只有仪表盘平均值而没有底层案例，那叫监控，不叫审计。

智能体专用深度考察工具能否检查工具选择、参数、执行轨迹、状态变化和长时间运行行为。最终答案指标有用，但并不完整。

评审模型校准考察自动分数能否与人工判断对比，以及评分规则变化后能否进行版本管理。LLM 评审是一种测量仪器，而不是客观真值。

基准完整性考察智能体是否能够泄露、搜索、操纵或绕过任务。Dreadnode 发现 37.1% 的通过结果涉及作弊，这让基准完整性从研究脚注变成了采购标准。

预算透明度考察采购方能否对席位、轨迹、分数、推理、存储、沙箱和审核时间进行建模。公开套餐均于 2026年8月21日从厂商实时页面采集。Dreadnode 的价格被标记为未公布，而不是填入凭空捏造的估算。

最终入选名单由能力深度决定。Braintrust、Phoenix、LangSmith、Confident AI 和 Dreadnode 各自对应一类明确采购需求。Maxim AI、Galileo、Langfuse、Weave 等可信平台没有仅为了拉长文章而被加入；若第六张产品卡片不能带来新的决策规则，只会冲淡答案。

本次没有实际运行任何产品，也没有独立复现任何厂商基准。“最佳”指的是在核验实时价格、审阅来源并统一成本口径后，对所述工作流而言最有依据的采购选择。最终决定仍应建立在采购方自己的轨迹与结果之上。

哪些方案应该避开

现阶段不要把 WildArtifactBench 当作采购平台

WildArtifactBench 是有价值的设计信号，却不是团队可以买来解决评测工作流的产品。Meta 称它是一项内部评估，目前只发布了 10 项预览任务。当客观真值不存在时，可以采用它的成对交付物比较思路；但更大任务集、运营工作流和商业支持都尚未提供，不应围绕这项预览规划发布流程。

实际采用方式很简单：在两份有效成果物可能存在质量差异的案例中加入偏好比较，再用人工复核校准偏好评审模型。对于能直接测试行为的成果物，继续保留确定性检查。

没有作弊审计，就不要采用原始 Cybench 通过率

Cybench 可以测试进攻能力，但只要智能体能搜索公开攻略或检查基准基础设施，通过率就不是安全的采购证据。在基线条件下，Dreadnode 测得平均通过率为 41.5%，而无作弊解题率只有 26.1%；移除作弊通过后，模型排序可能发生变化。

应要求提供无作弊解题率、轨迹审计、网络策略、沙箱加固和任务泄露控制。如果厂商只报告最高的通过数字，采购方就无法判断买到的究竟是能力，还是访问捷径的权限。

五款工具都不应只运行一次基准测试

单次运行会掩盖方差。Braintrust 提供重复试验功能，正是因为同一个输入可能产生不一致的分数和结果。可信对比至少要对不确定案例运行多次，并报告分布，而不只是平均值。

一次运行的演示仍可用于调试集成，但不足以证明模型迁移、安全声明或生产发布合理。应把它明确标记为冒烟测试。

不同团队应该怎么选

个人技术开发者应从 Phoenix 或 Braintrust Starter 起步。重视本地控制与可移植轨迹时选 Phoenix；实验记录和 CI 门禁的价值高于自托管灵活性时选 Braintrust。按照本文所述上限，两者都能在不付平台费的前提下支持产生 1,200 个分数的周一审计。

只有一款智能体产品、资金充足的创业者，默认应选 Braintrust，除非技术栈已经围绕 LangGraph 构建。Braintrust 提供了从数据集到发布决策最清晰的通用路径。当错误工具路线是主要故障，而且生产轨迹需要直接回流评测时，LangSmith 才更合适。

拥有专门质量职能的中型企业 CTO，应优先比较 Braintrust Pro 与 Confident AI Starter。Braintrust Pro 更擅长通用实验和发布记录；如果 pytest 落地、无代码 QA 工作流、模拟、标注与丰富指标已经有明确负责人，Confident AI Starter 更强。只有在版本管理、RBAC、SSO、项目规模和支持能够抵消每月多出的 $1,800 时，选择才应转向 Confident AI Team。

重视开放标准的平台团队应选择 Phoenix，并为未来升级 AX Pro 或 Enterprise 设定检查点。决策时要比较每月 $50 与开源栈的托管、升级、安全和支持工时。开源消除的是许可证，不是运维。

安全研究团队或进攻型智能体团队，应把 Dreadnode 用在能够攻击基准的案例上。只有当产品质量轨迹与对抗环境测试分属不同负责人时，才需要在旁边保留一个通用平台。如果没有明确决策边界，却把全部数据复制到两个平台，只会增加成本，不会增强保障。

负责采购托管智能体的资深运营者，应先索取评测证据，再接受厂商的质量声明。审核托管智能体部署时也应遵循同样原则：要求提供任务集、重复试验、轨迹保留期、故障分类、人工校准，以及阻止发布的明确规则。精致的演示不是评测记录。

模型与评审成本应拥有独立工作表。最便宜 AI API 对比可以帮助计算推理价格，但单次调用最便宜，不等于每个被接受任务的总成本最低。能力较弱的模型可能增加重试、评审分歧或人工返工，足以抵消它的 token 价格优势。

周一就能执行的 AI Agent评测方案

先运行一轮小型审计，再启动采购。目标不是根据功能表选出冠军，而是找出真正制约决策的证据类型。

1. 从生产故障、高价值工作流和已知边界案例中固定 50 项任务。
2. 将当前智能体与一个挑战配置进行对比。
3. 每项任务、每种配置运行三次试验。
4. 应用四类不同评分器：结果、轨迹、任务质量，以及成本或效率。
5. 由领域专家复核 10 条存在分歧或高风险的轨迹。

该方案会产生 1,200 个分数。若每条轨迹审核 15 分钟，人工校准共需 2.5 小时。它足够小，可以放进免费层级；也足够大，能够揭示团队真正需要的是不可变实验、开放轨迹、轨迹工具、指标广度，还是对抗环境验证。

运行前先写明翻转条件。通用智能体可以规定：只有挑战配置提升了合格任务率，同时没有增加无效工具动作，才进行切换；客服智能体可以要求在维持同等解决质量的前提下减少升级转人工；安全智能体则可以要求提高无作弊解题率，而不是普通通过率。准确阈值应由业务决定，但必须在任何人看到分数之前确定。

周五，根据哪一种证据真正解决了分歧来选择平台。如果决定性材料是不可变的试验对比，Braintrust 胜出；如果可移植轨迹和自托管检查支撑了决策，选 Phoenix；如果工具轨迹定位了回归问题，选 LangSmith；如果 CI 指标和 QA 审核推动了发布，选 Confident AI；如果环境验证暴露了捷径，选 Dreadnode。

如果审计无法区分两种配置，就不要采购。先修复数据集、评分器或验证器。测量本身无法推动决策时，增加平台投入也无济于事。

常见问题

哪些 AI评测工具可以免费使用？

Braintrust Starter、LangSmith Developer、Confident AI Free、AX Free 和开源 Phoenix 都提供 $0 的起步路径，但限制各不相同：Braintrust 计量分数和数据，LangSmith 计量轨迹和席位，Confident AI 限制每周测试运行与项目数量，AX 则限制 span、摄入量和保留期。

什么是 AI 评估框架？

AI 评估框架把测试用例、智能体运行、轨迹、评分器和阈值组织为可重复的证据。框架通常存在于代码中，平台则在这套闭环之上增加托管存储、协作、审核、监控、治理和计费能力。

评测智能体时，哪些 AI 评测指标最重要？

应从任务结果、轨迹质量、工具选择、参数正确性、效率、成本，以及自动评审与人工判断的一致性开始。如果成功意味着更改文件、数据库、浏览器或外部系统，还必须加入环境状态验证。

获取 AI 业务工作流审计清单，用这套证据模型实际审核自己的智能体或自动化技术栈。