知识蒸馏落地指南：让小模型接手稳定任务

当一个小型专用模型足以应对反复出现的任务时，就值得考虑知识蒸馏；超出它能力范围的请求，继续交给前沿大模型。如今，训练服务能否继续使用，和选哪个模型同样重要：OpenAI 符合条件的现有微调客户，创建新训练任务的截止日期为 2027 年 1 月 6 日；如果基础模型更早下线，可用时间还会缩短。OpenAI 服务可用时间表

最适合蒸馏的，是输入输出要求稳定的大语言模型（LLM）功能：给请求分类、提取指定字段、选择处理路径，或严格按指定格式返回结果。先测试未经训练的小模型。只有当大模型能处理一些重要场景，而小模型基线做不到，并且你能把这种差距转化为可靠的训练样本时，蒸馏才有价值。

服务商文档及输出训练条款已于 2026 年 10 月 26 日核验。 下文讨论的是生产环境 API 和具体模型的许可协议；消费级聊天机器人订阅或其他托管合同，适用规则可能不同。

知识蒸馏如何把教师模型的能力传给学生模型？

大型教师模型先生成标签或示范答案，再让较小的学生模型通过这些样本学习任务。训练完成后，学生模型就能独立处理常规请求，无须每次都调用教师模型。监督微调是用输入样本和期望输出继续训练已有模型；托管式蒸馏流程则可以让教师模型提供这些输出。蒸馏流程文档

可以把它想象成攀岩教练教一条短路线。学员练会的是这条路线所需的动作，并不会因此获得教练攀登所有山峰的本领。生产环境中的学生模型也有同样的边界：学会给退款请求分类，并不意味着它能全面替代教师模型。

例如，一个客服功能需要把消息分到 billing、technical、cancellation 或 needs_review。教师模型阅读有代表性的消息，给出建议标签；审核人员处理有歧义的案例。学生模型用审核通过的消息与标签配对数据训练，随后再接受未见过的消息测试，而这些测试消息的答案要经过独立核验。

最后一步不可省，因为与教师模型意见一致，不等于答案正确。如果教师模型总把取消请求误判为账单问题，学生模型学得再像，也只是把错误继承下来。

LLM 知识蒸馏：从输出样本开始

对应用开发者来说，最实用的起点通常是基于输出的蒸馏：保存输入及合格的教师回答，再用这些配对样本训练学生模型。按照文档中的这套流程，你不需要拿到教师模型的权重，也就是模型内部学到的数值参数。但你必须有权复用其输出，并找到支持目标任务的学生模型训练途径。OpenAI 监督微调指南

蒸馏并不只是模仿文本。奠基性研究还讨论了如何把集成模型，也就是一组模型的知识，迁移到更容易部署的单个模型中。不过，对一个范围明确的生产功能来说，关键是学生模型能否学会你需要的决策，而不是能否复现教师模型的全部能力。《Distilling the Knowledge in a Neural Network》

这些方法可以组合使用。LLM 量化可以在训练后进行，但量化后要再次评估。RAG 与微调对比解释了为什么学会一种回答模式，不能替代对不断变化的企业信息进行检索。

AI 模型蒸馏在什么情况下划算？

当任务边界清楚、请求反复出现，而且部署学生模型能改善某个可衡量的约束时，蒸馏最有吸引力。请求量越大，训练与审核投入就越容易被摊薄。即便成本不是主要问题，延迟要求也可能让这项投入值得做。

如果文档接收服务总是从熟悉的几类文档中提取相同字段，它就可能适合蒸馏。反过来，一个需要回答任意问题、操作陌生工具、跨新领域推理的助手，任务范围要宽得多。把整个助手缩小，远比专门训练它的意图分类器困难。

对开发者： 收集数据前，先固定输入、输出和失败时的处理方式。如果发票没有采购订单号，正确结果可能是 null，而不是一个看似合理的猜测。训练样本必须让模型学会这个区别。

对运维团队： 比较完整的线上处理流程，把重试、校验失败、人工审核、升级到教师模型的请求、持续评估和重新训练都算进去。只有这些额外负担没有抵消收益，推理资源消耗下降才有意义。不存在一个适用于所有业务的请求量门槛，过了它蒸馏就必然划算。

对采购方： 确认所需的教师模型、学生模型、训练方法和部署区域能够配套使用。服务商同时支持两个模型的常规推理，不代表它支持把其中一个蒸馏到另一个。

隐私需求可能促使你采用更小、托管位置更合适的学生模型，但模型小不等于隐私有保障。要梳理原始输入、教师调用、训练文件、日志和部署后模型分别位于哪里。学生模型即便在本地运行，也无法收回构建数据集时已经发给远程教师模型的敏感数据。

如果任务定义频繁变化、样本缺乏代表性、教师标签不可靠，或训练使用权尚未明确，就先别急着蒸馏。如果未经微调的小模型已经通过验收，则无须训练。Google 明确指出，当学生模型在目标任务上的表现已接近教师模型时，蒸馏带来的提升会更小。Google 蒸馏适用场景指南

目前有哪些托管式蒸馏途径？

选择托管服务时，先看当前支持的训练能力和服务生命周期，再核对这条路径的适用条款。以下比较依据的是 2026 年 10 月 26 日核验的文档。

OpenAI 模型蒸馏：仅面向现有用户，且已有结束日期

OpenAI 文档中的流程是：改进教师提示词，收集符合要求的回答，构建数据集，再微调较小的模型。这套描述仍然有助于理解蒸馏机制，但已不适合作为普遍的新项目接入建议：当前指南明确表示，微调平台不向新用户开放。OpenAI 监督微调文档

符合条件的活跃客户创建训练任务的截止日期为 2027 年 1 月 6 日；如果模型更早下线，则以更早的日期为准。GPT-4.1 和 GPT-4.1 mini，包括它们的微调版本，将于 2027 年 1 月 14 日下线。文档所列 GPT-4.1 nano 和 o4-mini 的下线日期为 2026 年 10 月 23 日，现已过去。即使你的账户仍有权限，这些期限也让新增长期依赖难以成立。OpenAI 弃用公告

实际决策很明确：现有用户应规划迁移，并保留评估数据。新项目应选择仍然可用的训练途径，而不是围绕早期蒸馏发布时的方案搭建系统。

Google Vertex AI：区分 Gemini 微调与开放模型蒸馏

Google Vertex AI 的生成模型文档现已转到 Gemini Enterprise Agent Platform 下。其 Gemini 调优指南介绍了利用带标签样本训练的监督微调，并列出 Gemini 3.5 Flash、Gemini 3.5 Flash-Lite 等支持模型。指南建议将这种方法用于分类、情感分析和实体提取。Google 当前调优概览

Google 另有文档介绍通过 GenAI SDK 使用的托管式开放模型蒸馏。教师模型列表包括 DeepSeek R1 0528、DeepSeek V3.2；学生模型包括 Qwen 3 8B、Gemma 3 4B IT。开放模型的监督调优还提供全量微调，以及只更新较少参数的 LoRA。它支持的模型列表，与蒸馏支持列表并不相同。开放模型调优文档

真正的限制在于训练方法、模型和区域的组合。除了训练配额，还要确保教师推理有足够配额。全球端点会选择一个受支持的区域，因此有数据驻留要求时，必须明确配置区域。对于简单分类，应先测试小模型，再决定是否采用 Google 侧重推理能力的蒸馏方案。

Amazon Bedrock 模型蒸馏：流程托管，模型组合固定

Amazon Bedrock Model Distillation 将教师回答生成、数据合成和学生微调整合到同一个流程中。你可以直接提供提示词，也可以使用保存在 Amazon Simple Storage Service（Amazon S3）中的既有模型调用日志，即此前的请求与响应记录。Bedrock 还把监督微调和强化微调作为独立的定制方法提供。蒸馏流程、定制方法

当前支持表列出的组合包括美国东部（弗吉尼亚北部）的 Amazon Nova Pro → Nova Lite 或 Nova Micro，以及美国西部（俄勒冈）Llama 选项中的 Meta Llama 3.3 70B → Llama 3.1 8B。文档明确指出，目前不支持 Anthropic 模型蒸馏，恢复时间也尚未确定。支持的模型组合与区域

Bedrock 数据准备指南规定，提交的输入最多为 15K 条提示词或提示词与响应配对样本。这是单次任务的上限，不代表你的任务需要这么多样本。选数据时，应优先覆盖真实决策和失败场景。数据集准备限制

只要目标组合受支持，且满足部署要求，这就是一条可行路径。但它不支持任意教师与任意学生的自由组合。

条款中的陷阱：拥有输出，不等于有权拿它训练模型

用模型输出训练另一个模型之前，先核对生成这些数据所用端点的合同。输出所有权、服务商承诺不拿你的数据训练，以及你有权训练学生模型，是不同的条款。

下面只摘取了简短条文。引文的适用范围与措辞本身同样重要；实际使用应以你签署的协议、订单文件和适用的产品条款为准。

OpenAI：限制竞争用途，同时列明例外

OpenAI《服务协议》限制使用输出开发**“与 OpenAI 的产品和服务竞争”**的模型，除非属于协议定义的“获准例外”。例外包括主要用于数据归类、分类或整理的内部模型，但这些模型不得分发给第三方，也不得向第三方提供商业使用。例外还包括对指定 OpenAI 服务提供的模型进行微调或定制。《服务协议》中的限制与定义

因此，内部分类器与面向客户提供的通用生成模型，适用情况有实质区别。不要默认所有提取功能、托管分类器或私有通用模型都符合例外条件；应由合同负责人确认具体用途。

这里还有生效时间的区别。OpenAI 已公布一项于 2026 年 11 月 20 日生效的政策更新，晚于本文核验日期。它涉及利用模型或输出，为替代或代用方案提供训练信号，包括标签、反馈和筛选，同时保留适用协议明确允许的用途。应把它视为即将生效的变化，而非核验当日已经生效的规则。已公布的《使用政策》更新

Anthropic：训练竞争模型须获得明确批准

Anthropic《商业条款》禁止为构建竞争产品或服务而访问其服务，包括**“训练竞争性 AI 模型”**，除非获得明确批准。条款另行赋予的输出权利，并不会取消这一限制。Anthropic《商业条款》D.4

因此，把 Claude 输出用作其他模型的训练集之前，需要具体分析适用合同。过去发布过云端蒸馏功能，并不足以证明如今仍可使用，也不足以证明已获得授权。

Google：Cloud 与 Gemini 开发者 API 适用不同合同

Google Cloud 的模型限制禁止利用服务输出**“替代、取代或绕过对 Google Model 的使用”，或“创建或改进与 Google Model 类似的模型”**。但当服务本身提供微调或蒸馏时，有一项明确例外：可以使用其输出修改并使用 Modified Google Models，以替代 Google Pre-Trained Models。不同服务适用不同条款。Google Cloud 服务专用条款

Gemini 开发者 API 的措辞不同：不得使用其服务**“开发与这些服务竞争的模型”**。该附加条款明确区分了直接使用 Google Cloud Platform 的情况。托管式 Cloud 流程中的许可，不能直接套用到另一项通过 Gemini API 生成训练数据的计划中。Gemini API 附加条款

Amazon：只有服务明确允许，才构成例外

AWS《服务条款》的相关限制以**“除非 AI 服务允许”开头，其余情况下禁止“以训练 AI 模型或服务为明确目的”**生成内容，也禁止开发实质上类似的模型或服务。Bedrock 还纳入了适用的第三方模型条款。AWS《服务条款》中的 AI Services 与 Bedrock 条款

具体评估时，应从文档列明的托管流程及其支持的模型组合入手。不能因为存在这项服务，就认定可以把所有 Bedrock 模型的响应导出，用于任何外部训练任务。

Meta Llama：注意模型命名与再分发条件

Meta 的 Llama 3.3 许可协议明确涉及使用 Llama 材料或输出训练其他模型的情形。如果将所得模型分发或提供给他人，协议要求把 Llama 放在**“任何此类 AI 模型名称的开头”**。许可、署名及其他适用条件也必须遵守。Llama 3.3 社区许可协议

这是针对特定模型的许可协议，不能据此概括所有 Meta 模型或所有托管端点。应在数据集记录中保存准确的模型版本及托管条款。

Mistral AI：区分文本输出与图像专属限制

Mistral AI 当前商业条款中的输出限制，明确针对用**“图像输出”来“开发或训练任何与之竞争的图像生成产品”**。该条款专门针对图像，若将其描述为全面禁止用文本训练，就扩大了它的范围。同一份条款还单独禁止利用输出对 Mistral AI 产品进行逆向工程，此外也可能适用额外的产品或部署条款。Mistral AI 商业条款

准备 LLM 数据集时，应根据适用合同审查文本的使用方式，既不能直接套用图像限制，也不能默认文本使用毫无限制。

Grok：用企业版输出训练，需要订单文件明确豁免

Grok 在 x.ai 公布的企业条款禁止使用**“任何输出来训练任何基础模型、大语言模型或其他人工智能系统”**，除非订单文件明确允许。页面将签约服务商列为 SpaceXAI LLC，并使用 SpaceXSI 这一名称。Grok 企业条款：输入与输出权利

这一措辞比仅限制竞争模型的条款更广。不能因为学生模型只在公司内部使用，就认定它不受限制。

DeepSeek-R1：明确允许蒸馏，但许可针对具体版本

DeepSeek-R1 官方代码仓库声明，代码和权重采用 MIT License，并明确允许**“通过蒸馏训练其他 LLM”**。仓库还标明了已发布蒸馏模型所沿用的 Qwen 和 Llama 原始许可协议。DeepSeek-R1 许可说明

这项许可有实际价值，但它与特定版本绑定，不能用来判断未来所有 DeepSeek 模型、托管服务或学生基础模型的条款。发布记录中应同时保留教师使用许可和学生模型许可。

切换生产流量前，先完成评估

只有当学生模型在未见过、接近生产环境的输入上满足功能验收标准，并通过受控上线验证，才算准备就绪。训练损失，也就是训练过程中衡量的误差，即使持续下降，也不能证明上述任何一个条件已经满足。

下面是一套建议的发布流程，并非基准测试结果报告。

1. 1

   固定任务要求与基线

   写清输入约定、允许的输出值、必填字段，以及模型何时应放弃作答。在有代表性的样本上，保存当前教师模型的结果，以及仅调整提示词的小模型基线结果。查看训练后学生模型的得分之前，就应先定义可接受的质量与延迟。

2. 2

   分开训练集、验证集与最终测试集

   训练数据用于更新权重，验证数据用于选择提示词或模型检查点。在这些选择完成之前，最终测试集应保持封存。将相关客户对话、文档模板和近似重复样本归为同组，避免同一内容的副本跨数据集泄漏。样本应涵盖近期真实流量、少见类别和难例。

3. 3

   筛选并审核教师示范

   让已获使用授权的教师模型为训练输入标注。校验格式，审核歧义，纠正重要错误。保留正确做法是放弃作答或返回缺失值的样本。记录教师模型、提示词、来源授权和数据集版本。合成数据生成指南更深入地讨论了这一数据环节。

4. 4

   评估业务任务完成情况，而非模仿程度

   分类任务要衡量各类别的错误，尤其关注漏判代价高的类别召回率：真实的取消请求中，有多少被识别出来？提取任务要核对所需字段的精确值，以及缺失字段的处理。固定格式生成要检查 schema 有效性，也就是输出是否符合规定结构，并将其与事实正确性分开评估。路由任务要衡量所选下游路径能否解决请求。教师与学生判断不一致时，应以独立核验的答案为依据审查。

5. 5

   先跑影子流量，再做灰度发布

   影子模式下，把线上输入复制给学生模型，但仍由现有系统向用户返回结果。在真实负载下衡量回答质量、慢请求、超时和升级处理需求。通过后，再以灰度方式只向学生模型开放受控比例的流量，同时明确停止条件，并确保可以回滚。

6. 6

   保留回退路径，监测数据漂移

   将不支持的输入、校验失败和事先定义的高风险场景交回教师模型或人工审核。监测输入构成变化、各类别错误，以及需要回退的请求占比。提示词、schema、学生模型检查点、量化方式或上游数据发生变化后，都要重新评估。如果频繁触发回退，就说明需要重新审视设计。

一个实用的提取功能发布门槛，可以要求学生模型在每个重要文档类别上保持必填字段准确率，满足现有服务的延迟目标，并在信息缺失时正确放弃作答。阈值应由负责人根据出错后果设定，不能拿服务商的通用基准测试代替。

可以参考模型路由指南，设计学生模型流量与前沿大模型兜底之间的边界。不要只依赖学生模型自报的置信度。输入准入规则、输出校验，以及实际测得的失败模式，才能给路由器提供明确的决策依据。

关于模型蒸馏，哪些说法被夸大了？

“小模型会变成大模型。” 它学到什么，取决于你提供的监督信号和样本覆盖范围。在熟悉的提取模式上成功，并不能说明它也能处理陌生语言、新文档类型，或更广泛的推理任务。

“生成数据就不用解决标注问题了。” 它只是把一部分工作从写标签转移到查标签。教师模型完全可能生成一大批错得很一致的样本。人工裁定和独立核验的测试答案仍然有价值。

“模型越小，就一定越省钱。” 上线功能的成本还包括回退、审核、托管、监控和重新训练。应评估整体结果；延迟改善也必须通过测量确认，不能仅凭模型变小就作出承诺。

“用了托管式蒸馏，授权问题就解决了。” 它提供的是有明确边界、载于文档的流程，不会把所有模型输出都变成可随意使用的训练材料。

“JSON 格式合法，功能就没问题。” 账号 ID 即便格式完美，值错了仍然是错。格式校验只是发布门槛之一，并不等于完整评估。

模型蒸馏常见问题

模型蒸馏真的有效吗？

它能够把有用的任务行为从教师模型迁移到学生模型。对你的功能而言，关键证据是模型在未见过、答案经过独立核验的输入上的表现，以及随后受控生产发布的结果。蒸馏并不保证学生模型获得与教师相当的通用能力。

模型蒸馏和微调有什么区别？

蒸馏描述的是从另一个模型提供的监督信号中学习；微调描述的是用任务数据更新已经训练好的模型。当教师回答成为学生的监督学习样本时，同一次训练既属于蒸馏，也属于微调。

如何对大语言模型进行蒸馏？

先定义一个范围明确的任务，确认教师输出与学生模型的使用权，筛选有代表性的教师示范，通过受支持的途径训练，再将学生模型与教师模型、未经微调的小模型基线比较。扩大流量切换之前，先完成留出集评估、影子流量测试和灰度发布。

什么是蒸馏模型？

蒸馏模型是利用另一个模型的监督信号训练得到的模型，通常是为了让较小的模型胜任某项特定任务。它的实际能力仍取决于学生模型本身、训练数据，以及你评估了哪些内容。

什么是模型蒸馏？

模型蒸馏通过训练，把教师模型学到的行为迁移到学生模型。在常见的 LLM 流程中，教师生成标签或答案，学生再从审核通过的输入输出配对样本中学习。

模型蒸馏有四种类型吗？

LLM 模型蒸馏并没有统一的四类划分。使用这种表述的清单，往往讨论的是分离液体的蒸馏，含义不同。构建 LLM 功能时，应明确实际使用的监督信号和训练方法，而不是从化学分类中选一种。

模型蒸馏有哪些应用？能举 5 个例子吗？

对 LLM 应用而言，可以考虑的任务包括客服工单路由、意图标注、发票字段提取、记录标准化，以及固定格式响应生成。这些是值得评估的候选用途，不代表蒸馏模型天然就能做好这五项任务。

模型蒸馏有哪些缺点？

它可能继承教师模型的错误，漏掉罕见输入，产生较高的数据审核成本，并随着任务变化而需要重新训练。服务商的产品生命周期、教师输出使用限制，以及学生模型的许可协议，也可能约束部署。

有什么简单的模型蒸馏方法？

对于 LLM，可以让获得使用授权的教师模型针对有代表性的输入生成回答，审核这些回答，再用通过审核的配对样本对学生模型进行监督微调。最后，用另外一批真实案例测试。这里说的模型蒸馏，与实验室里的简单蒸馏并不是一回事。

下一步：先为一个重复任务建立基线

下周，为一个反复使用的功能确定负责人。让他写清输出要求，从真实请求中整理一份留出样本，再比较当前教师模型与仅调整提示词的小模型。如果仍存在有意义的质量差距，就确认一条可用且已获授权的教师到学生训练路径，并围绕失败案例构建训练集。

如果小模型基线已经达标，就直接采用这个更简单的方案。如果连教师模型和审核人员都无法对难例给出一致标签，应先厘清任务定义，再开始训练。

订阅邮件通讯，获取构建与运营 AI 功能的实用决策建议。