小语言模型还是大模型？LLM 与 SLM 的选型指南

任务范围明确、结果可以核验，先考虑小语言模型；工作涉及模糊判断和多步推理，则从前沿大语言模型入手。语言模型选型要从任务出发：Microsoft Phi-4-mini-instruct 的参数量为 3.8B，但仅凭大小，无法判断它能否达到产品功能的质量要求。如果一个工作流包含多种任务，就应逐步决定用 SLM 还是 LLM。

小语言模型还是大模型，该怎么选？

开发分类、信息提取或简短改写功能，先试小模型。 限定输入范围，明确允许的输出，再把它的错误与现有基线对照。给客服工单打标签，比让一个智能体处理所有客户纠纷，更适合作为起点。

开发调查分析、规划或开放式写作功能，先用前沿模型。 这里的“前沿”，指厂商通用模型中能力最强的一档。先弄清楚什么样的输出才算好，再尝试用更小的模型复现。

功能必须离线运行或满足隐私要求，先划清部署边界。 云端 API 再高效，也不能满足端侧运行的要求。可下载的小模型要真正发挥作用，应用本身、工具和日志也必须把数据留在规定的位置。

这些是选型起点，并非模型横向实测的结果。厂商页面已于 2026 年 10 月 26 日核验。 本文依据文档记载的能力、部署约束和具体任务的验收标准进行比较，没有开展模型性能测试。

小语言模型的“小”，到底指什么？

“小”描述的是模型的相对规模，并不代表另一种智能。参数是模型学习得到的数值权重；B 代表十亿。大小模型之间没有严格界线：Meta 也把 1B 和 3B 的 Llama 3.2 称为大语言模型。

小模型也可能接受过广泛训练。它不会因为体积小，就天然懂得你的退款政策。要把任务收窄，需要靠指令、提供给模型的证据、允许的输出，以及必要时的额外训练。

SLM 参数量怎么看，才不会误判？

要分清三个问题：模型总共有多少权重，每个 token 需要多少计算，以及模型在哪里运行。token 是模型处理的文本片段。

Google 的 Gemma 命名方式把这种区别体现得很清楚。E2B 和 E4B 表示有效参数量，额外的嵌入权重仍会占用内存。26B A4B 则表示混合专家模型：处理每个 token 时，只选用网络中的一部分。Google 表示，它会激活 4B 参数，同时为快速推理加载全部 26B 参数。因此，不能按 4B 模型来估算内存占用。Google 的内存指南解释了这一区别。

量化是用较低的数值精度存储权重，可以减小占用，但不会消除上下文内存和配套软件的需求。KV 缓存保存生成过程中的上下文中间信息，请求和回复越长，它的占用可能越大。应先依据具体模型权重版本和运行时的要求做规划，再到目标设备上测量。

API 档位所说的“快速”或“高效”，回答的是另一个问题。它可能有助于缩短响应时间、降低运行费用，但不一定公开参数量，也不一定提供可下载的权重。

有哪些小语言模型值得评估？

以下列出厂商明确命名的模型版本，可作为具体任务的候选。只看模型家族名称，无法确定它支持哪些输入、需要多少内存，也无法判断可靠性。

Microsoft Phi：适合范围明确的文本任务，但知识容量有限

Microsoft Phi-4-mini-instruct 是一个开放文本模型，拥有 3.8B 参数和 128K-token 上下文窗口。模型卡介绍了指令遵循、函数调用格式和本地部署能力。需要从给定文本中提取字段，或把简短回复改写为指定格式时，可以考虑评估它。参见 Microsoft 模型卡。

它的主要限制是事实知识容量。Microsoft 提醒，该模型无法存储大量事实知识，可能给出错误事实。开发客服助手时，应提供相关政策，不要指望模型权重里已经包含你的业务规则。

同系列的 Phi-4-mini-reasoning 也是 3.8B，但 Microsoft 表示，它是为数学推理设计并测试的。擅长数学，并不能证明它能胜任开放式客服智能体。参见 Phi-4-mini-reasoning 模型卡。

Google Gemma：面向移动端，参数命名有明确含义

Google Gemma 4 包含 E2B 和 E4B，分别是面向移动端和边缘部署、拥有 2B 和 4B 有效参数的模型。Google 文档列出了这两个规格的文本、图像和原生音频输入能力，以及 128K 上下文窗口、可配置的思考模式和函数调用能力。如果功能需要在本地处理多模态输入，也就是不只处理文本，可以从这里开始评估。参见 Gemma 4 概览。

部署是否合适，仍需验证：有效参数量不等于总权重数，使用完整上下文窗口也需要额外内存。一个模型即使能在手机上运行，也仍然需要兼容的运行时，并且必须在实际手机上持续运行时达到可接受的性能。

Alibaba Qwen：规格梯度丰富，极小模型需留意限制

Alibaba Qwen3.5 的官方模型集合列出了 0.8B、2B、4B 和 9B 等小模型版本。Qwen3.5-4B 模型卡将语言模型部分标为 4B，并另外包含视觉编码器。做资源预算时，要计算完整模型，而不只是看名称后缀。

Qwen3.5-4B 文档列出了文本、图像和视频输入能力，以及原生 262,144-token 上下文。这些规格使它值得在文档类功能中评估，但窗口大小只是容量指标，不能证明它能可靠地对长文档进行推理。

尤其需要留意 Qwen3.5-0.8B。厂商将它定位于原型开发、特定任务微调以及研究或开发用途，并警告：开启思考模式后，它更容易陷入循环，可能导致生成无法结束。没有测试终止行为、设置强制限制之前，不要把它放入无人值守的推理循环。参见 Qwen 的警告。

Meta Llama：小型文本模型，有明确的模态边界

Meta Llama 3.2 提供 1B 和 3B 的文本输入、文本输出模型。Meta 为指令微调版本列出的用途包括对话、检索、摘要和移动端写作辅助。如果应用不需要查看图像，可以把它们作为本地文本功能的候选。参见 Meta 模型卡。

这些小型模型版本仅支持文本。它们还受 Meta 的 Llama 3.2 社区许可协议和可接受使用政策约束，因此部署时需要单独检查许可条件。

如果想按自己的设备配置筛选模型，可以继续阅读 2026 年最佳本地 LLM。本文要解决的，是让模型承担什么角色。

高效型 API 模型，应单独列入候选

如果想少花精力管理基础设施，托管的高效型模型最容易着手评估。下面这些页面没有公布参数量，因此不能把每个档位都直接称为 SLM；否则就等于给它们加上了文档并未证实的规模判断。

OpenAI：GPT-6 Luna 面向范围明确的任务

OpenAI GPT-6 Luna 定位于目标明确、调用量大的任务。OpenAI 的选型指南将 Luna 对应到范围明确的工作和分流判断，将 GPT-6 Astra 对应到模糊问题和深度分析。这种分工有助于区分哪些步骤适合轻量处理、哪些需要前沿模型，无须猜测两者的参数量。

Luna 的工具调用约束因端点而异：模型页面说明，在 Chat Completions 中使用函数调用，需要把 reasoning_effort 设为 none；Responses API 则支持内置工具和函数调用。替换智能体使用的模型前，要先核对端点要求。

Anthropic：Claude Haiku 5.5 处理智能体中的重复步骤

Anthropic Claude Haiku 5.5 的文档用途包括分类、提取、路由和子智能体任务，并列出自适应思考能力及 1M-token 上下文窗口。对于大型智能体中重复执行、范围明确的环节，可以考虑它。参见 Haiku 5.5 文档。

迁移前先检查请求兼容性：Anthropic 要求省略 temperature、top_p 和 top_k。共用的 API 封装层必须适配不同模型的设置。它的上下文窗口很大，也不意味着每项长上下文任务都适合交给轻量档位。

Google：Gemini 3.5 Flash-Lite 处理多模态材料

Google Gemini 3.5 Flash-Lite 的文档用途包括高吞吐量子智能体任务和文档解析。它接受文本、图像、视频、音频和 PDF，输出文本，并支持结构化输出和函数调用。需要把收到的材料转换成格式和范围明确的记录时，可以考虑评估它。参见 Gemini 3.5 Flash-Lite 文档。

做语音功能时，要分清输入能力和交互方式：支持音频输入不等于支持音频生成，而且这个模型不支持 Live API。文档解析与实时语音对话的需求并不相同。

LLM vs SLM：按任务选模型

先看必须核验什么输出，再选第一个模型。下列建议都以所选模型版本支持对应输入和部署环境为前提。

改变选择的关键标准： 只有当较小的候选模型达到同样的验收标准，并改善了你真正关心的约束时，才保留它。如果需要频繁纠错，调用便宜并不代表结果便宜。

大模型和小模型的区别，体现在哪些任务上？

范围明确的任务、延迟与调用成本：先评估小模型

重复执行、范围明确的任务，应优先评估小模型。 简短的分类或提取任务，输出容易判断，也通常没有必要为每次请求都投入大量推理。

但模型大小不是延迟指标。本地执行省去了远程推理的一次网络往返，可设备一旦过载，仍可能比托管模型更晚完成。要测量的是得到合格结果的总用时，包括输入处理、生成、校验和重试。

成本也应按每个合格结果来比较。采用小模型级联时，先要支付初次调用和校验的成本；每次升级处理，还要再支付大模型调用成本。自托管还会带来硬件、闲置容量和运维开销。只有实测的达标吞吐量提高了，才保留小模型路径；明显困难的工作，直接交给能力更强的模型。

小模型本地部署：满足端侧与隐私要求

功能必须脱离远程推理服务运行时，本地小模型更合适。 例如，外勤人员断网时给笔记分类，或桌面应用要求源文档始终留在本机。

隐私取决于执行路径，不取决于“小”这个形容词。需要检查遥测、日志、检索服务、工具和回退目标。先在本地尝试、失败后自动到云端重试，与直接调用云端一样，都跨过了数据边界。端侧 AI 指南进一步讨论了设备层面的选择。

多步推理：从前沿模型入手

面对陌生任务的规划和含糊的例外情况，前沿模型是更稳妥的起点。 处理退款争议，可能需要综合核对运输记录、政策例外和客户此前达成的约定。把每个字段提取正确，只是解决问题的一部分。

小型推理模型的存在，足以反驳“小模型不会推理”的说法。真正要问的是，它的专长是否匹配当前步骤。Phi 面向数学的评估，并不能证明其智能体能力普遍可靠。可以把能够独立核验的子问题交给小模型；如果结果取决于如何解读相互冲突的证据，就保留前沿模型。

长上下文综合分析：先用前沿模型，替代方案须经验证

要综合核对长案例中的证据，先用前沿模型；要从给定段落里找出一个字段，先评估小模型。 两类任务都会使用上下文，但推理要求不同。

Qwen3.5-4B 的 262,144-token 窗口和 Haiku 5.5 的 1M-token 窗口，说明不能笼统地认为小模型或高效档位都只有短上下文。它们也不能证明模型能正确串联所有相关段落。参见 Qwen 模型卡和 Haiku 文档。

测试时，应加入相互冲突的条款、接近文末的更正，以及必须综合不同章节证据才能回答的问题。模型能够接收输入，不代表已经通过这些测试。检索，也就是在生成前先选出相关证据，可以减轻大小模型双方的负担。

开放式写作：先交给前沿模型

如果质量取决于判断力、表达风格和贯穿全文的结构，最初应交给前沿模型。 OpenAI 的选型指南明确区分了范围有限的编辑任务，与讲究细微表达的写作和高要求交付物。参见模型选型指南。

按已审核模板改写一小段文字，非常适合尝试小模型；在证据不完整的情况下撰写产品战略，则是另一回事。审核两类输出时，都应检查必要事实、限定条件、目标读者和表达风格。篇幅和流畅度本身不能证明质量，大小模型也都不能保证事实准确或完全没有偏见。

一个功能里，如何让大小模型分工？

先根据每个步骤的输入输出要求来路由，再考虑是否需要另一个模型包办所有判断。路由器负责选择由哪个模型处理请求；级联则先尝试较便宜的路径，校验失败后再升级处理。模型路由指南进一步介绍了这些设计。

假设有一个客服助手。客户说：“我的包裹送到时已经损坏，我想退还运费。”这个功能需要判断问题类别、查询订单、解读政策，再提出回复建议。这些工作并不需要相同等级的模型能力。

1. 1

   先落实数据边界

   在把工单发给任何模型前，先检查应用的账户政策和允许的数据去向。如果禁止远程处理，所有分支都只能使用获准的本地服务，或转入人工队列。不能因为任务难，就悄悄越过这条规则。

2. 2

   给小模型明确的提取任务

   要求模型提取问题类别、工单中出现的订单编号，以及原文中准确对应的支持文本。缺失的信息就保持缺失。应用代码检查类别是否在允许范围内、必填字段是否齐全、引文是否来自原文，以及订单编号是否存在。这些检查可以捕捉特定错误，但不能证明整体解读正确。

3. 3

   遇到歧义，携原始证据升级处理

   政策解读存在争议、请求混杂或校验失败时，将任务交给获准的前沿模型或人工。传递原始工单、检索到的政策和未通过的校验项，而不只是小模型的摘要。模型自己报告的置信度，不能替代经过评估验证的路由信号。

4. 4

   行动权限由生成过程之外的系统控制

   让模型提出回复或工具调用建议。账户权限、允许的操作和必要的人工审批，由应用代码执行。回复看起来正确，不代表系统已经授权退款。

记录每次请求为何升级、最终答案是否合格，以及整个操作耗时多久。还要抽查已经通过校验的小模型输出，因为校验器也会漏掉看似合理的错误。如果某类任务几乎总要升级，就直接把它路由给前沿模型。

这也是混合生产工作负载适合同时使用两类模型的原因：一个功能里，既有成本较低、容易核验的步骤，也有需要复杂判断的步骤。路由让每一步分别满足自己的质量和响应时间要求。

更换 LLM 或 SLM，要付出哪些成本？

先替换一个步骤，再考虑整个功能。保留该步骤的输入、输出结构、证据引用和失败时的处理方式，再为新模型调整提示词和 API 设置。HTTP 接口不变，并不能保证工具调用或回答也相同。

转向本地模型权重，还意味着模型服务、内存管理、版本更新和容量规划都由你承担。在托管模型之间迁移，也可能改变请求参数和可用工具。应保留适配层来处理这些差异，并记录评估中使用的具体模型权重版本或模型版本。

如果现有模型已经满足要求，而你又没有测得延迟、运行成本或数据存放位置方面的迁移动机，就不必更换。模型足够小，本身并不算架构成就。

如果一个稳定、范围明确的任务仍然需要更好的表现，可以在确认训练方式被允许后，考虑模型蒸馏，也就是用教师模型提供的示例训练学生模型。先从提示词和提供证据做起；与调整路由相比，修改模型权重需要更大的投入。

常见问题

ChatGPT 是 LLM 还是 SLM？

ChatGPT 是由语言模型驱动的应用，并不对应某个固定的参数规模。OpenAI 的 chat-latest 文档区分了应用使用的模型和固定模型快照。比较时应看底层模型，而不是应用名称。

DeepSeek 是小模型还是大模型？

要先明确具体模型版本。以一个历史实例来看，DeepSeek-R1 的总参数量为 671B，而 DeepSeek-R1-Distill-Qwen-1.5B 是小得多的蒸馏模型。两者都列在 DeepSeek 的 R1 模型卡中；仅凭品牌无法判断规模。

我应该用大语言模型还是小语言模型？

任务范围明确、结果可验证，先试小模型；涉及不熟悉的推理、相互冲突的证据或开放式写作，先用前沿模型。如果必须本地执行，那么在比较质量之前，可选模型的范围就已经受到了限制。

AI 中的 SLM 是什么意思？

SLM 指小语言模型，是对计算资源占用较小的语言模型的一种相对称呼。它并不天然意味着专用、私密、离线或准确。

SLM 和 LLM 有什么区别？

主要区别在于相对规模，并由此影响部署和能力。不存在通用的参数量分界线，两种称呼也会重叠：Meta 就把小型 Llama 3.2 模型称为 LLM。应评估具体模型和具体任务。

LLM 可以分为哪四种类型？

并不存在唯一通用的“四类”划分。架构、训练方法、输入模态和参数规模，都是描述模型的不同维度。按某个维度列出的分类，无法判断另一个模型是否小到能在你的设备上运行。

排名前 5 的 LLM 是哪些？

固定的前五名会掩盖任务和部署约束。就本文讨论的选型而言，应先选出一个能力足够强的基线模型，再选一个支持所需输入和工具的高效候选，用有代表性的工作来比较。通用排行榜无法决定哪个模型最适合你的功能。

LLM 和 GPT 有什么区别？

LLM 是更大的类别。GPT 是 Generative Pre-trained Transformer（生成式预训练 Transformer）的缩写，指其中一个 OpenAI 模型家族。Google 的语言模型术语表解释了这些术语。

5 大 AI 模型指什么？

并不存在通用的“五大模型”名单。这种说法可能指学习方法、架构，也可能指商业模型家族。开发语言类功能时，先明确输入、输出、部署边界和质量要求，再选具体模型。

SLM vs LLM 是什么意思？

它只是把小模型与大模型的比较顺序调换了。应选择能够通过任务验收、资源需求最低的候选；对于超出已验收范围的工作，保留更强模型或人工处理的路径。

LLM、SLM 和 MLM 有什么区别？

MLM 的含义并不唯一：它可以指预测被遮蔽文本的掩码语言模型，也有人非正式地用它指多模态语言模型。无论哪种含义，都不是介于小模型和大模型之间的第三档参数规模。Google 术语表区分了掩码建模和多模态输入。

LLM、SLM 和 RAG 有什么区别？

检索增强生成，简称 RAG，是把检索到的证据提供给生成模型的方法。它既可以搭配小语言模型，也可以搭配大语言模型。它能弥补信息缺失，但不能保证模型正确解读证据。

下一步：选一个重复步骤，先写验收规则

下周选一个反复执行的步骤，在比较模型之前，先写出验收规则。使用留出样本，也就是没有用于调试提示词的案例，覆盖常规请求、模糊情况、证据缺失和范围外输入。

让小模型候选与现有基线并行运行，但不要允许它修改线上记录。比较正确性、被拒绝的输出、漏掉的例外、端到端延迟和运维投入。只把通过验收的任务类别交给它，保留回退路径，并持续检查已通过验收的结果。

使用 AI 业务工作流审查清单，选出第一个值得优化的步骤。