双盲 AI 模型评测如何在不泄露 Prompt 的前提下进行 2026

是的，现在确实可以在不向模型所有者交出机密测试 Prompt、也不向评测方公开专有模型权重的前提下，完成一次真实的 AI model 评测。Google DeepMind 在一个经过密码学远程证明的 GPU 机密环境中，同时载入了 Gemini 2.5 Flash Lite 与私有基准测试 Prompt，并仅允许通过策略审核的汇总结果流出。在当前 Iowa 的 Spot 竞价实例下，底层安全算力成本仅约每小时 $7.08。真正昂贵的成本在于人力：DeepMind 的技术报告明确指出，法务协调和代码审查才是目前主要的落地瓶颈，而非硬件开销。这标志着机密评测正从单纯的“商业信任协商”转变为可明确规划范围与预算的安全保证工程。

是的，但这只是试点，不是现成的产品功能

准确的结论是：在特定边界内可行。Google DeepMind's August 27 pilot 表明，外部机构可以在严格隔离两项核心资产的前提下，对闭源模型进行基准测试：

• 评测方对模型所有者完全保密基准测试 Prompt、评分规则和失败用例。
• 模型所有者对评测方完全保密模型权重与推理代码这一核心数字资产。

模型权重是编码模型行为能力的参数集合。私有基准测试则是未公开的考卷。泄露任何一方都会造成严重价值损失。基准测试一旦泄露，极易被抓取为训练数据，导致后续评分虚高而模型实际能力并未提升；公开权重则会暴露模型所有者必须极力保护的核心知识产权。

可以将该试点形象地比作一间带有两扇门且完全密封的考场。模型从一扇门进入，考卷从另一扇门送入。在开启任何一扇门前，双方都会验证一份数字签名证书，以确认考场的硬件配置、门锁完整性与运行规则。测试在密封考场内部执行，考场最终仅输出一份预先约定的成绩单，随后即刻销毁。

该试点采用了 Google Cloud Confidential Space、a3-highgpu-1g 机密虚拟机、Intel TDX 内存隔离保护、一块 NVIDIA H100 80GB 机密 GPU，以及 OpenMined 的 PySyft 开源框架。所谓安全飞地（Enclave），本质上就是通过硬件机制落地的密闭房间：任务运行时内存被全程加密，双方在释放任何数据前，都可以通过远程证明（Remote Attestation）校验内部加载的软件环境。

但这并非意味着商业化正式可用。官方公告和技术报告中展示的仅是一次初步试点，既非自助式评测服务，也未公布商业定价或上线日期。

双盲评测的具体运作流程

背后的密码学细节固然关键，但从工程落地上看，这套双盲流程可拆解为五个审批阶段：

1. 1

   协商测试接口

   模型所有者先发布一个模拟接口（Mock Interface）。评测方根据该外壳编写测试代码，无需接触真实模型。双方在此阶段同时敲定允许计算的指标范围以及最终可导出的数据策略。

2. 2

   启动密闭环境

   其中一方启动配置了合规操作系统、运行时与 PySyft 容器的机密 GPU 环境。运行该实例的一方仅拥有停止运行的权限，没有任何窥探对方明文数据的能力。

3. 3

   校验环境可信度

   双方通过远程证明来比对软硬件技术栈的哈希指纹。只有当实测度量值与预期完全相符、且具有本次会话的时效随机数时，才会批准释放密钥。

4. 4

   加载资产并授权

   模型所有者通过安全通道将加密后的权重与推理代码传入飞地；评测方则通过独立通道注入加密的 Prompt 和评测代码。双方核验允许执行的代码路径并批准运行。

5. 5

   执行、导出与销毁

   飞地在隔离环境中执行测试，严格依据输出策略导出合规结果，随后立即释放。虚拟机停止后，临时的内存加密密钥即刻失效并被抹除。

在 DeepMind 的试点中，共完成了两组私有评测：一组使用了来自 MLCommons AILuminate 的未公开保留测试集，覆盖网络攻击、CBRNE 危害、仇恨言论、自残以及暴力犯罪诱导等领域；另一组则使用了 Singapore AISI 专门针对新加坡本地语境的有害内容测试集。由 AVERI 负责 Prompt 与生成结果的加解密，并组织专业人员对这些输出展开评估。

这一执行细节至关重要：双盲并不意味着全流程完全无人可见。评测方清楚知晓自己的考卷内容，并可能接收到模型的生成输出。其核心保证更加明确且务实：模型所有者拿不到机密测试集，评测方拿不到底层权重，而底层云环境受限于硬件加密与策略管控。

正在被重构的预算结构

机密评测不应被简单归入常规模型可观测性工具的采购预算中，它本质上属于供应商尽调、模型风险控制、安全合规保证或强监管采购流程。

常规评测工具代表了传统的软件订阅预算：Braintrust Pro 版标注价格为每月 $249；LangSmith Plus 版标注为每席位每月 $39，5 个席位在计入调用用量前即达每月 $195。这类产品旨在辅助团队管理日常研发评测，适合作为成本参考坐标，但无法替代双盲安全审计。

相比之下，机密硬件基础设施的账面价格十分明确。Google Cloud 官方声明 Confidential Space 不收取额外软件服务费。在 Iowa 节点，该试点选用的 a3-highgpu-1g 规格 Spot 竞价实例基准价格为每小时 $6.636703068，机密计算附加费为每小时 $0.4391592。二者合计约为每小时 $7.08；在不计存储与网络出方向流量的前提下，一次 10 小时的评测周期硬件支出约为 $70.76。

技术报告指出，飞地架构带来的额外计算损耗不足 5%，主要的实施成本实际上来自流程协同与人工审核。这是关键的商业洞察：算力开销已足够低廉且易于核算，但信任体系的设计与履约成本依然高昂。

一份科学的机密评测预算表应清晰拆分为五项：独立评测方费用、模型方工程适配、机密飞地基础架构开销、跨机构法务协议，以及代码与输出数据泄露策略审查。如果一份方案只列举了 GPU 机时费用，它就不是一份合格的审计方案；反之，如果方案全篇只有咨询工时，就必须审查其为何缺失了底层的机密执行层。

七大应用场景：按商业回报排序

1. 强监管行业采购闭源模型

银行、保险与医疗集团拥有最迫切的落地场景。企业采购部门可以提供基于真实内控条例与业务流沉淀的专属失败用例，模型厂商提供待选型的闭源候选模型。由中立评测机构在飞地中运行测试，在双方都不暴露底层核心资产的前提下产出合规报告。

直接收益是在签订多年大额模型合同前获得精准证据。企业能够直接测试与其核心业务强相关的边缘极端场景，不必再依赖公开的通用榜单；模型厂商也无需交付原始权重，亦不必担心被动留存客户的敏感业务 Prompt。

2. 国家级 AI 安全与防务研究所

政府监管评估机构能够在完全不对模型实验室泄露网络攻防、生物威胁、认知操纵或特定监管用例的前提下，对前沿专有大模型进行深度压力测试。这与 DeepMind 试点场景高度吻合，Singapore AISI 便在其中引入了本地有害内容测试集。

直接收益是延长核心测试集的生命周期并强化监管力度。由于机密测试集不会被反向注入到模型的下一代预训练集中，它在跨版本横向测试中能持续维持度量有效性。

3. 独立权威 Benchmark 运营方

基准测试机构可以保留最核心的高难度挑战集，对外仅暴露规范化的模拟接口，要求模型厂商统一在受证明的机密环境中受测。机构对外仅发布综合能力评分，而试卷明文全程锁定。

直接收益是确保基准测试数据的稀缺性与权威度。机构可以在不消耗核心测试资产的前提下承接更多闭源模型的测评业务。难点在于精细设计结果输出策略，避免输出粒度过细导致试题被间接逆向推断。

4. 寻求公信力背书的模型研发机构

大模型研发团队可以在无需将模型 Checkpoint 文件导出交付的前提下，引入声誉卓著的第三方机构测试其内部候选版本。评测方携带挑战用例进入已批准的环境中运行，产出的背书报告能直接辅助企业级销售或安全性证明。

直接收益是在不交出原始权重的情况下建立商业信任。相比传统的仅开放 API 测试，这种方式彻底打消了评测方由于常规网关日志导致敏感测试集外泄的顾虑。

5. 关键基础设施的网络安全防御团队

关键基础设施运营商需要评估某款大模型是否具备挖掘、编排或解释敏感攻击路径的能力，而用于测试的 Exploit 与攻击链绝不能流入外部厂商的训练库中。模型保持闭源，测试用例全程留在安全防线内。

直接收益是在有效杜绝输入泄露风险的同时，为前沿模型能否引入生产网提供真实评判。但这类任务仍需严格沙箱与精密的防外溢策略，因为机密执行本身无法确保有害输出文本对外呈现时的物理安全性。

6. 验证专业诊疗行为的医疗机构

医院科研团队可以基于内部已脱敏的高难度真实病历构建私有测试集，并在无需向公有 API 传输数据的情况下对专业模型进行能力验证。评测重点可以明确放在拒答边界、转诊升级建议以及证据溯源上，而非让模型自由发散。

直接收益是使评测结果完全对齐医院的临床规程，同时合规保护病例数据与厂商专有资产。由于飞地仅是一项技术控制措施而非合规免责证明，相关医疗数据合规、临床同行审查机制仍需同步执行。

7. 战略投资与并购（M&A）中的技术尽调

投资方在对 AI 标的进行技术审计时，可携带交易室核心业务流模拟数据，标的企业则接入其专有模型。中立评测方运行约定测试，仅将受控的度量结果呈现给审批决策层。

直接收益是大幅减少交易交割前的信息过度披露，避免仅凭经过包装的 Demo 进行盲目决策。鉴于较高的前期配置成本，此方式更适用于重磅战略交易或平台级合作，而非泛泛的初步供应商接触。

三个值得探索的产品方向

1. 私有化模型采购评测实验室（确定性最高的商机）

打造一项托管服务：由受监管行业的买方提供保密验收测试集，模型供应商提供闭源模型，实验室负责输出经过密码学证明的审计证据包。核心目标客群为首席风险官、模型风控团队、安全负责人以及选型战略大模型的企业采购团队。

这一需求的市场搜索信号明确：ai governance platform 在美国每月搜索量达 1,600 次，头部广告竞价在 $27.92 到 $71.51 之间，且下拉联想词展示出 307% 的年同比增长。采购方在积极寻找 AI 治理基础设施。采购实验室能将这种模糊的治理诉求具象化为一个附带可信签名的采购决策结果。

其最小可行产品（MVP）定义为：支持 1 个模型，1 套私有测试用例，1 组预置度量指标，1 次可验证的受控运行，并产出一份面向董事会汇报的合规证据文件。初期可以采用“专家服务 + 进件与凭证自动化工具”的形态切入。核心门槛在于公信力，这需要扎实的企业安全信誉、行业认可的评测专家、云架构积累、完善的法律模版，以及无法通过套壳 UI 伪造的信任资产。

2. 面向 AI 评测的远程证明控制平面

开发一套专用的控制台软件，负责将哈希值、时效随机数（Nonce）、镜像标识、策略授权及运行凭据自动转化为结构化的审计台账。目标客户是具备基础机密计算能力、但不希望将每次项目都做成定制化密码学集成工程的独立评测方或模型供应商。

confidential computing 在美国月均搜索量为 880 次，点击成本达 $30.80。虽然受众体量小于泛治理概念，但用户群体技术精准度极高且客单价充裕。DeepMind 报告指出的长期愿景，正是建立一种能够屏蔽底层复杂依赖哈希与密钥细节的极简信任信号。

其 MVP 可以围绕 Google Cloud Confidential Space 架构进行验证，支持记录双方授权动作，将其与受度量的软件镜像绑定，并导出防篡改的签名运行清单。技术难点在于对云厂商与底层硬件的高度依赖：适配新的 Enclave 架构绝非开发一个简单连接器那么简单，它意味着整套信任根、证据格式和故障模式的全量重构。

3. 密封式基准测试撮合交易所

搭建一个专业撮合平台：基准测试所有者只列出自身测试维度的能力定义与评价范围，无需公开实际用例；模型所有者付费发起证明运行，且最终仅接收核准后的得分指标。基准测试方在不出让核心数据资产的前提下实现了高额商业变现；模型厂商则获得了权威的中立评测。

ai model evaluation 在美月搜索量为 140 次，难度系数为 KD 0，年均搜索增幅达 200%。这不是一个面向大众的流量赛道，但足以支撑一个切口极深的企业级高价值业务，因为平台销售的是高信任准入能力而非廉价坐席。

该业务的 MVP 需要 1 家核心基准测试合作伙伴、1 家大模型厂商、1 个标准的飞地镜像配置以及 1 套严格的数据输出策略。核心隐患在于高频次重复查询带来的信息逆向泄露：过多的指标粒度或连续测试极易将试题内容重构推断出来。因此，查询频率限制、结果汇总粒度控制以及数据资产风控才是该产品的底层核心护城河。

在商业优先级上，采购实验室是最佳的破局点，因为它直接绑定了企业的既有预算路径：决定一款核心模型的采购、淘汰或价格再谈判。后两者属于高价值基础设施，需要等待生态更加成熟后才能发挥出网络效应。

该技术目前尚未解决的局限

这一试点验证了互不信任双方在保持资产机密的前提下协同的可行性，但这并不等于 AI 模型评测已实现全自动化、低综合成本或完全摆脱对中心化实体的信任依赖。

• 它绝非开箱即用的自助服务。 DeepMind 官方并未披露任何商用时间表或试用价格。
• 目前仅在单张 H100 上跑通了单一闭源模型。 报告明确将适配更大参数模型所需的多节点 H100 或 B200 机密集群列为了后续演进路线。
• 它并非零信任系统（Not trustless）。 该架构仍基于云服务商与芯片硬件制造商不会合谋违规的前提假设，芯片底层的专有固件依然是信任链的根基。
• Google 依然处于校验链的核心路径中。 试点依赖 Google 官方的签名与验证服务，由于构建过程中引入了专有私有签名密钥，使得虚拟机镜像外部无法做到完全独立的确定性重构复现。
• 部分模型代码依然属于黑盒。 评测团队当时无法将模型内部的所有专有方法完全白名单化或提供完备源码审计，AVERI 在该试点中接受了这一工程妥协。
• 在密闭飞地中跑烂测试，结果依然是烂测试。 飞地解决的只是 Prompt 的保密性与执行过程的防篡改。它无法保证基准测试本身的科学性，亦无法证明该分数能准确映射到生产环境的表现。
• 输出结果需要极其严密的数据防外溢规则。 过于详尽的结果展示同样会逆向泄露测试用例或模型特性。双方必须在运行启动前就导出数据的粒度达成法务级约定。
• 高昂的人工协作成本依然存在。 报告坦言，多方之间的法律协议制定、代码审查与人工协同才是导致交付周期拉长的核心阻碍。

对于正在规划评测工具选型的团队而言，benchmark audit tools guide 梳理了常规软件层的技术生态。而双盲评测是凌驾于常规工具之上的高安全架构，专门应对那些测试题或模型权重极度敏感、无法使用常规 API 调用的特殊场景。

我的评估十分明确：这是一种高度可信的新型安全审计范式，但它短期内还不会变成可以直接在定价页面刷卡购买的标准化 SaaS。它的首批落地买家，注定是那些正在面临重大模型决策、且“获得确定性结论的业务价值”远超“跨机构协调成本”的大型机构。

下周即可落地的执行动作

如果你负责企业内部的 AI 采购、模型风控或网络安全，建议挑选未来 30 天内必须推进的一项关键模型决策。起草一份单页纸的机密评测简报，列清待选模型、一个核心失败场景定义、Prompt 所有权归属方、权重所有权归属方、允许最终导出的指标范围，以及该结果将直接影响的业务决策。

随后，要求你的独立评测方与模型厂商分别对以下五项成本独立拆分报价：接口工程适配费、评测机构专家服务费、跨方商业法律协议成本、代码与导出策略联合审计成本，以及底层机密计算基础设施。仅将约每小时 $7.08 的单卡 GPU 算力作为底层基准锚点。这样做的目的是让团队看清真正的安全审计全貌，而不是误以为采购一个 10 小时仅需 $71 的虚拟机就算完成了项目落地。

不要一上来就尝试搭建大而全的平台。先验证一次密闭评测能否切实改变一次大额采购、模型发布或业务上线决策。只要跑通一次，你便拥有了将其沉淀为标准业务流程的完整立项依据。

How to evaluate the performance of an AI model?

首先应明确评测旨在支撑的实际业务决策，随后构建代表真实业务场景的未公开保留测试集。在运行模型前敲定各项指标的失败容忍阈值，使研发训练集与测试集完全物理隔离，并完整记录模型版本、运行环境、Prompt、评分脚本与输出安全策略。当测试集或模型自身具备高商业敏感度时，应引入双盲架构进行测试。

What is an AI model evaluator?

它可以指代负责按照既定测试用例和打分规则评估模型表现的专业人员、独立第三方测试机构或自动化软件系统。在 DeepMind 的试点中，外部独立机构负责输入私有基准测试并对生成内容展开专业审查，而专有模型则全程在受到加密证明的隔离环境中受控运行。

What does model evaluation measure in AI?

它可以度量任务准确度、安全对齐行为、恶意指令拒答质量、鲁棒性、事实性、偏见倾向、响应延迟或推理成本等与部署决策强相关的各类指标。机密计算飞地仅改变了测试集与模型资产的可见性权限，并不会自行决定哪些度量指标具备统计有效性。

What is a prompt for testing AI models?

它是指在受控环境下旨在触发模型特定能力表现或暴露潜在失效模式的输入文本。高质量的测试 Prompt 必须具备明确的预期输出基准或可执行的评分规则，且应当属于模型从未学习过的隔离测试集。在关键安全评测中，这类 Prompt 还往往包含企业内部私有规则、威胁利用链或专有领域知识，绝对不可对模型研发方泄漏。

如果你希望构建一套围绕实际决策、合规证据与信任边界深度定制的私有化模型评测工作流，欢迎了解我们所构建的 AI production systems。