SLM 小语言模型怎么选？从适用场景到本地部署

小语言模型（SLM）值得尝试的前提是：任务能说清楚，结果能核验，异常有处理办法。对于范围明确的任务，可以先评估一个 1B 到 4B 的候选模型；如果数据政策允许，再保留前沿模型 API，用来处理需要更广泛知识或更可靠推理的工作。

从业务角度看，关键是较小的模型能否在你的硬件上达到验收标准。如果它只是快速给出一个看似合理的答案，却又多出一批等人审核的结果，问题就没有解决。

SLM 小语言模型是什么？

小语言模型，简称 SLM，是以部分通用能力换取更低计算资源需求的语言模型。做实际规划时，可以把 1 亿到 100 亿个参数作为大致范围，也有超过这一范围的边界案例。业界并没有统一的分界线：IBM 的描述是数百万到几十亿参数，Mistral 则明确把 14B 模型纳入了自己的小模型家族。这条界线会随硬件、训练方法和最大模型的能力而变化。IBM 的定义与 Mistral 的模型家族就体现了这种分歧。

参数是模型通过学习得到的数值权重，影响模型如何作答。Token 是模型处理的文本片段。生成式对话模型根据给定的上下文，依次预测后续 token，生成答案。小模型使用的权重更少，但能力不只取决于参数数量，架构和训练质量也很重要。Google 的语言模型入门介绍解释了这一机制。

可以把它想成一间只做固定菜单的小型烘焙厨房。每天处理同样的常规订单，这样的配置可能很合适；如果要求它做出顾客随口提出的任何菜品，那就是另一种需求了。小模型并不天然擅长某个专业领域，但范围明确的工作流能把有限的能力用在关键环节。

小模型可以直接训练，也可以通过蒸馏获得，即用大模型的输出来训练较小的模型。量化则是用较低精度存储数值权重，以减少资源占用。两者并不是一回事：把大模型量化，并不会减少它的参数数量，也不会让它等同于一个参数少得多的模型。IBM 对这两类技术分别作了解释。

小语言模型和大语言模型，该怎么选？

先看任务完成质量，再看部署需求。前沿模型 API 通过互联网提供厂商的高能力模型服务，省去了自行运维推理硬件的工作。小模型则提供了更多部署选择，包括让整项任务都在设备上完成。

**模型大小与部署位置是两个独立的选择。**小模型可以通过 API 托管，一些较大的开放模型也能运行在自有基础设施上。厂商在名称中使用“mini”，既不能说明参数量，也不代表权重可以下载。

这些是部署上的取舍，不是基准测试结果。Microsoft 的 SLM 概述介绍了资源优势与能力限制。真正有用的比较，应当基于你的实际工作负载，并覆盖难处理的输入。

企业为什么选择小模型？

**单次调用成本：**小模型推理可能消耗更少资源，但本地运行并不免费。硬件、电费、支持、闲置容量和重试都要计入成本。应比较每个合格结果的总成本，把审核和转交处理也算进去，而不是看到 API 账单消失就认为省了钱。对于使用量很低的服务，购买服务可能比自行运维更省事。

**延迟：**本地运行省去了远程推理的往返过程，却不保证回答更快。加载模型、处理长提示词、内存速度不足和并发请求，都可能成为主要耗时。对于等待表单自动填写完成的操作人员，应测量从发起请求到完整、有效的表单出现所需的时间。

**隐私：**本地推理可以让提示词留在设备上。但如果联网搜索工具、远程兜底服务或应用日志又把同样的文本发往别处，这项优势就不存在了。在声称保护隐私之前，要检查完整的数据路径，包括文件同步和遥测。

**离线使用：**应用、模型及必要资源下载完成后，本地工作流可以在没有网络的情况下继续运行。对在地下室撰写维修记录的现场技术人员来说，这很有价值。不过，实时查询库存仍然需要联网，除非你也准备了本地数据副本。LM Studio 的离线文档明确区分了下载后即可运行的推理与需要联网的操作。

对已获融资的创业者，先用托管服务建立基线，往往最快能看出功能是否有用。对中型企业 CTO，当重复性工作负载或数据边界足以支撑自行运维时，本地部署才更有吸引力。对资深业务运营人员，决定性指标是多少工作无需修改就能得到可用结果。对独立开发者，先用笔记本做试点，就能在购买硬件前验证可行性。

小模型适合做的五类工作

最值得尝试的任务，通常输出范围有限，而且有明确的办法拒绝错误结果。以下是建议的工作流模式，并不意味着后面列出的每个模型都已经能通过你的任务验收。

1. 分类

用模型把文本归入一组固定类别。例如，客服人员可以把工单分成 billing、access、bug 或 other。应提供各类别的定义和边界案例，再分别统计每个类别的错误。

合理的任务边界是“选一个处理队列”，而不是“解决客户的账户问题”。对于分类体系之外的消息，要保留 other 去向。如果简单规则已经能可靠地完成分类，就继续用规则。

2. 信息抽取

把提供的文本转成固定结构的记录，例如发票号码、供应商、到期日和币种。每个抽取字段都应附带对应的原文片段；原文没有的信息，允许返回 null。Schema 定义了输出允许的结构和类型，能检查格式，却不能证明内容正确。

处理扫描文档时，除非所选模型及运行时支持图像输入，否则文字识别仍是独立步骤。记录进入会计系统之前，应先用代码校验日期、总额和标识符。绝不要让模型猜出缺失的发票号码。

3. 请求路由

让小模型建议一条请求应交给哪个专门工作流。例如，内部服务台可以区分“查找制度”“重置访问权限”和“转人工”，再由应用检查所选去向是否允许。

路由模型不应兼任权限系统。应把它选出的去向视为建议，用允许列表实施约束，并把含糊请求转交处理。模型自报的置信度，并不是经过校准的正确概率。

4. 端侧助手

助手可以改写技术人员的记录、总结本地保存的操作说明，或准备搜索查询，而不把原文发送给远程模型。任务范围应说清楚，例如“协助使用这些已下载的手册”，而不是“回答任何维修问题”。

发起请求时，要一并提供相关段落。应用把新流程下载到了某个位置，并不意味着模型就知道了流程内容。应保留清晰可见的原文入口，并在实际使用的手机上测试，包括电池和发热方面的限制。

5. 按模板起草

根据已核准的字段和固定格式生成初稿。例如，客户经理可以把已核实的会议记录整理成跟进邮件，按决策、负责人和后续行动分栏。

承诺、价格和日期都应来自经过校验的源字段。缺少某个值时，就省略它或要求补充。由应用提供事实、模型只调整措辞，是较容易控制的小模型写作方式。

开源小语言模型：参数规模与许可证

以下是截至 2026 年 10 月 14 日已核实的、厂商公布的开放权重候选模型，并非基于亲自测试得出的排名。这里的“开源”常被宽泛使用：权重能下载，不代表使用权利相同。应核对最终部署的具体检查点所适用的许可证，包括衍生版本或量化包。

下表沿用厂商的规模命名，并标明重要的参数统计差异。运行时是加载权重并执行模型的软件；兼容性和可用内存仍需单独确认。

Google Gemma 4 值得用于评估需要在文本之外处理图像或音频输入的本地助手。E2B 和 E4B 标签描述的是有效参数量，不能只根据名称估算内存。Google 提供了涵盖本地与移动端选项的部署格式和内存指南。

Microsoft Phi-4-mini-instruct 是文本模型，模型卡提供了本地服务部署说明，也明确提醒其事实知识有限。因此，它适合列入依赖给定上下文的任务候选，但需要针对实际语言和文档认真评估；它不能代替保持更新的知识来源。

Alibaba Qwen3.5 提供了多个小模型规模，便于比较同一任务在不同硬件资源占用下的表现。4B 模型卡列出了服务部署方式，检查点许可证则给出了使用条款。应检查运行时支持情况和完整的多模态包，不能假定每个本地应用都支持所有变体。

Meta Llama 3.2 提供的纯文本模型足够小，适合开展端侧评估，Meta 也提供了移动端量化文档。它采用的自定义许可证，与 MIT 或 Apache 2.0 是不同的协议。可将其用于范围明确的文本工作流；如果需要理解图像，就要另选模型。

Mistral AI Ministral 3 在各个小模型规模下提供基础、指令和推理变体，并具备图像理解能力。对于常规任务，可以先评估指令变体，也就是经过训练、能够遵循请求的版本。如果只需要一个简短类别或抽取字段，较长的推理回答反而可能增加延迟。当前的 3B 模型页面介绍了其托管模型。

第一次试点，该选哪款小语言模型？

先找出满足输入类型、语言支持、许可证要求且有兼容运行时的候选，再从中选规模最小的。用完全相同的样例，把它与一个较大的候选模型比较。没有具体工作负载，就无法合理地认定谁是通用的最佳选择。

如果希望按硬件条件在更大范围内选型，可以阅读最佳本地 LLM 指南。上面的候选清单，主要用于说明如何决定是否采用小模型。

笔记本、手机或单张 GPU，能装下多大的模型？

模型权重只是内存需求的起点。还要为运行时和上下文留出工作内存；上下文包括模型正在处理的文本及其他输入。

用一个刻意简化的算式说明：按十进制 GB 计算，40 亿个参数 × 4 位 ÷ 8 = 2 GB 原始权重。这只是算术推导，不是基准测试，也不表示 4B 模型能在 2 GB 内存中运行。量化元数据、以不同精度保存的权重、运行时和上下文缓存，都会增加开销。

**KV cache（KV 缓存）**是一块工作内存，用来避免重复计算前文中的部分内容。更长的输入、更长的输出和更多并发请求，都可能增加内存需求。Google 的内存规划指南明确区分了静态权重、上下文及配套软件所需的内存。

手机需要兼容的移动端运行时，任务也必须在设备持续运行的限制下保持实用。笔记本必须给操作系统和实际使用的应用留出内存。单张 GPU本身算不上具体配置：能装下什么，取决于可用显存、软件支持和请求负载。

能装下，不代表速度够用。应同时测量冷启动与重复请求，再测试预期的提示词长度和并发负载。不要因为模型卡标出了最大上下文窗口，就照着上限预留全部容量。

小模型部署：本地运行与托管 API 怎么用？

如果命令行和本地 API 适合你的工作流，可以使用 Ollama；如果希望在桌面界面中下载、加载和比较模型，可以使用 LM Studio。两者都是运行时和应用，并不是模型本身。Ollama 与 LM Studio 对比详细介绍了如何选择。

用 Ollama 在本地运行

Ollama 提供本地模型运行工具和 HTTP 接口。按官方快速入门指南安装并启动后，再下载名称明确的模型。模型库中的 Llama 3.2 页面列出了两种小模型规模。

1. 1

   下载一个小模型

   安装 Ollama 后，在终端运行以下命令：

   ollama pull llama3.2:3b
   ollama run llama3.2:3b

   第一条命令下载模型，第二条打开交互会话。这是文档提供的入门路径，不代表模型已经通过了你的任务验证。

2. 2

   尝试一次范围明确的 API 请求

   保持 Ollama 运行，下面的请求会要求模型对客服工单分类，并以 JSON 输出。在可使用 curl 的 shell 中执行：

   curl http://localhost:11434/api/generate \
     -H 'Content-Type: application/json' \
     -d '{
       "model": "llama3.2:3b",
       "prompt": "Classify the ticket as billing, access, bug, or other. Return JSON with one key: category. Ticket: I cannot sign in after resetting my password.",
       "format": "json",
       "stream": false
     }'

   生成的文本位于返回结果的 response 字段中。如果需要更严格的输出结构，generate 接口也接受 JSON Schema。应用仍须拒绝未知类别，并评估分类是否正确。

3. 3

   检查实际执行路径

   使用 ollama ps 查看模型加载在 CPU、GPU，还是同时使用两者。如果工作流必须留在本地，应在 Ollama 服务的运行环境中设置 OLLAMA_NO_CLOUD=1，以禁用云功能，然后重启服务。Ollama 的常见问题文档说明了这些控制项。离线测试时，不要接入联网工具或远程兜底服务。

用 LM Studio 在本地运行

LM Studio 是用于下载和运行兼容本地模型的桌面应用。其应用文档介绍了对本地模型文件格式 GGUF 的支持，以及在 Apple Silicon 上对 MLX 的支持。

打开 Discover，搜索模型，选择受支持且适合当前机器的版本下载。把模型加载到对话中，再粘贴前面使用的同一条分类请求。应记录确切的模型文件和量化方式，因为即使属于同一模型家族，不同下载版本的资源占用和质量也可能不同。当前界面的操作方式可参照模型下载指南。

要做离线测试，先下载模型和必要的运行时，再断网重复执行任务。模型可以在本地工作，但模型搜索、下载或外部工具仍可能需要联网。离线对话测试通过，不等于所有应用集成都已证明能保护隐私。

使用托管 API

托管的小模型 API 可以让你在不管理 GPU 的情况下评估模型。例如，Mistral 的托管服务同时提供 Ministral 和更大的模型。按其 API 快速入门指南创建账户和密钥，从模型页面选择当前的小模型标识符，再通过聊天补全接口发送相同的、范围明确的提示词。

密钥应保存在服务器上。使用与本地测试相同的数据集，比较合格输出、响应时间和审核工作量。托管小模型仍然是远程推理；参数少，并不会让它具备离线运行能力或端侧隐私优势。

小模型有哪些短板？哪些说法被夸大了？

最棘手的失败，往往出现在任务超出原先样例覆盖范围之后。分类器处理简单工单时看起来很可靠，遇到同时包含账单争议和访问问题的消息却可能出错。写作模型也可能格式完全正确，却凭空写出一项承诺。

**广泛知识与含糊问题的推理能力，仍是需要重点评估的弱项。**Microsoft 的 Phi 模型卡明确说明其事实知识能力有限，并提醒用户注意长对话、语言差异和不可靠信息。提供相关原始资料，有助于弥补知识缺口，但不能保证模型理解正确。

**“模型小就更准确”没有依据。**缩小任务范围，会让评估和约束更容易，却不会让模型自动忠于事实。仍要保留证据核验，以及拒绝作答或转交处理的路径。

**“本地运行就能保护隐私”，说的是一种需要你亲自构建的架构。**即使推理发生在本地，日志、外部工具、文档同步和远程兜底仍可能让数据越过边界。

**“上下文窗口够长，就能读懂整本手册”言过其实。**标称输入容量，并不保证内存装得下，也不保证模型能正确推理其中每一段内容。应检索相关章节，与问题一起提供给模型，再对照原文检查答案。

面向特定领域的小语言模型

专业化首先从工作流入手，而不是先训练。给模型提供任务所需的术语、允许的输出和相关文档。检索增强生成，简称 RAG，就是找出相关原始资料并随请求一起交给模型。这样无需改变模型权重，也能更新提供给模型的知识。

对于设备维修助手，应检索对应具体机器和文档版本的操作说明。不要把一整个装有无关手册的文件夹交给模型，再期待它选对内容。回答中应保留资料版本，方便操作人员核查。

什么时候需要做小模型微调？

微调是用额外样例调整预训练模型。当任务已经稳定，某类错误却反复出现，提示词设计和资料检索都未能解决，而且你有代表性、标注正确的样例时，才值得考虑。

以客服分类器为例，微调可能用于教会模型区分公司内部定义的故障事件与功能请求。应单独留出训练过程从未接触过的评估集。如果问题是退款政策不断变化，优先更新提供给模型的政策；不能用微调代替最新、可信的依据。

谁该现在尝试，谁该再等等，谁该保持现状？

如果任务反复出现、输出可以检查，而且本地可用性或数据存放位置能解决具体问题，就可以现在尝试。相比想一次替换公司所有助手的创业者，手中有人工分流队列的资深业务运营人员，更容易找到合适的试点。

如果无法定义哪些错误可以接受、缺少有代表性的样例，或需要一个开放式智能体来作出影响重大的决策，就应暂缓迁移。先建立工作流和评估基线。

如果现有 API 已经满足需求，而数据存放位置、离线可用性和实测运行表现都不足以支持迁移，就应保留现有 API。模型大小本身，不是重建系统的理由。

下周一可以先做这件事：选定一个队列、一种输出结构和一位负责人。收集 100 个初始案例，例如 70 个常规请求、20 个棘手请求和 10 个超出范围的请求。这些数量只是起步建议，不构成统计保证。最终评估应另留一组样例，发现罕见失败后也要持续补充案例。

让一个小模型候选与当前基线处理同一批留出的案例。记录正确性、无效输出、转交处理次数、内存占用及端到端延迟，包括第 95 百分位延迟，即 95% 的请求能在该时间内完成。比较结果之前就设好验收门槛，并按类别分析错误，不要只看总体平均值。起步时采用影子模式：模型提出答案，原有工作流仍保留实际控制权。

常见问题

SLM 小语言模型有哪些用途？

小语言模型适合范围明确的语言任务，例如分类、信息抽取、请求路由、本地辅助，以及按模板起草。是否适用，取决于具体模型、提供的上下文和输出周围的校验机制。

什么是预训练语言模型？

这类模型的权重已经从训练数据集中学到了模式。你可以直接使用，也可以进一步调整。经过指令微调的版本，还接受过遵循请求的额外训练，通常更适合作为构建助手的起点。

还有哪些大语言模型？

Gemma、Phi、Qwen、Llama 和 Mistral 都是语言模型家族，其中一些同时包含较小和较大的模型。SLM 描述的是相对规模，并不是与 LLM 完全不同的技术。

什么是神经网络语言模型？

它利用神经网络中学到的数值权重，估计语言模式，例如下一个 token 最可能是什么。许多当前的生成式语言模型采用 transformer 架构。

ChatGPT 是神经网络吗？

ChatGPT 是由神经语言模型驱动的应用。应用和底层模型属于不同层次；“ChatGPT”并不代表某一种固定规模的网络。OpenAI 将模型概念与 ChatGPT 所用模型分别介绍。

为什么说 CNN 比 ANN 更好？

卷积神经网络（CNN）本身就是人工神经网络（ANN）的一种，并不普遍优于其他网络。卷积适合处理图像等数据中的空间模式；合适的架构取决于任务。

YOLO 只是一个 CNN 吗？

YOLO 是一系列目标检测系统。许多版本使用卷积组件，但一个能工作的检测器还包括架构、训练过程和预测逻辑。它不是小语言模型。Ultralytics 文档介绍了这个模型家族。

TensorFlow 是 CNN 模型吗？

不是。TensorFlow 是用于构建和运行机器学习模型的软件框架。CNN 只是可用它构建的一类模型，其 CNN 教程展示了这种用法。

神经网络有哪四种类型？

业界并没有统一的“四种类型”清单。前馈、卷积、循环和 transformer 网络是常被讨论的四类，但架构分类方法各不相同。模型大小则是另一个独立属性。可参阅 Google 的机器学习术语表。

订阅通讯，获取选择和运行 AI 系统的实用指南。