大模型参数详解：看懂参数量、模型权重与 API 生成设置

大模型参数其实涉及两个不同的决策：选哪个模型，以及怎样请求它生成内容。一个 70B 大语言模型（LLM）约有 70B 个通过训练学到的参数；把 temperature 设为 0.2，只会改变支持该设置的 API 对回答的采样方式，不会改变模型的权重数量。先按任务选择模型，再根据具体 API 和版本，配置它真正支持的选项。

本文已于 2026 年 10 月 25 日对照各厂商的在线文档核实。 如今，更有必要分清这两类参数：有些 API 会拒绝采样设置，有些则会接收但忽略。直接照搬一套配置，可能让请求报错，也可能完全不起作用。

大模型参数分两类：模型权重与生成设置

模型参数属于训练好的模型，生成参数属于发给模型的请求。 调整生成参数，不会重新训练模型权重。

可以把模型想象成一栋建筑：承重结构决定它能承载什么，可调百叶窗决定空间如何使用。转动百叶窗，不会让建筑多出一层。同样，调整 temperature，也不会把小模型变成大模型。

大语言模型的“参数”到底指什么？

讨论模型规模时，参数指模型通过训练学到的数值，主要是权重，它们影响模型内部的计算。训练会利用数据调整这些数值。而在讨论 API 时，“参数”也常用来指影响内容生成的设置。IBM 的解释区分了模型学到的数值与外部配置。

供应商说“我们的模型参数更多”，谈的是模型本身。开发者说“改一下发票提取的参数”，多半指请求设置。先确认对方说的是哪一种，再判断这句话能否说明性能。

单个模型参数是什么？

单个模型参数，就是神经网络内部使用的一个数值。例如，一个权重可以改变某个内部信号对另一个信号的影响程度。参数并不是一条贴好标签的事实、一份文档，也不是单独存放的某个词。

另外还有一类：训练超参数，例如学习率，用来控制训练如何进行。业务应用在调用现成模型时，通常既不能控制这些训练设置，也不能改变模型已经学到的权重。

Token 又是另一回事。 输入和输出会被拆成 token，它们往往是词的一部分。提示词中的 token 更多，不代表模型参数更多。AI token 指南解释了这个单位；系统提示词指南则说明，指令如何在不改变模型权重的情况下影响行为。

第一部分：模型参数量反映了什么？

参数量有助于估算存储和计算需求，但不能替你选出最适合业务任务的模型。 规划基础设施时可以从参数量入手，最终仍要靠针对具体任务的评测做决定。

模型名称里的 B、T 是什么意思？

“B”表示十亿个通过训练学到的数值。标为 70B 的模型，大约有 70B 个参数；“T”表示万亿。公开名称中的数字可能经过取整，因此，要准确估算部署需求，应以实际模型检查点及其存储格式为准。

参数量相同的两个模型，架构、训练数据、训练方法和专长都可能不同。即使是同一个模型，存储每个权重所用的精度不同，内存占用也会相差很大。

对企业采购方来说，真正有用的问题是模型能否达到验收标准：能不能提取正确的发票总额、保留客户标识符，或者生成能通过必要检查的代码补丁？更大的参数量本身回答不了这些问题。

70B 模型的权重需要多少内存？

原始权重的存储量，等于参数量乘以每个参数占用的字节数。 假设一个模型恰好有 70B 个权重，可以得到下表。这是理论计算，不是实际部署的测量结果。

这里的 GB 是十进制单位。140 GB 约等于 130.4 GiB，后者是部分内存工具显示的二进制单位。换算改变的是单位，模型本身并没有变化。

Hugging Face 文档介绍了量化：以更低精度存储权重，在尽量保留准确性的同时降低内存需求。本站的 LLM 量化指南进一步说明了相关格式和取舍。

更长的提示词和并发请求，也会改变推理服务的负载。Hugging Face 的模型内存估算文档明确区分了加载模型与运行推理——后者才是生成回答的过程。

参数量能说明成本和质量吗？

其他条件相同时，权重越多，存储和运行通常需要的资源就越多。 但“其他条件相同”是个很强的前提。精度、架构、硬件、批处理方式，以及处理的文本量，都会影响结果。

自行部署时，参数量可以帮助初步筛选硬件。使用托管 API 时，它却不能直接算出账单：费用取决于供应商的计费规则和你的工作负载。一个模型即使看起来很高效，如果经常需要重试或大量人工纠错，也未必适合实际运营。

评估质量时，应把规模看作能力容量的线索，而不是评分。采购文件应要求供应商展示模型在你的代表性输入上的结果、失败案例及评测条件。对于闭源模型，未经公开证实的参数量估计不能作为能力证据。

MoE 模型：总参数量与激活参数量有什么区别？

总参数量描述整个模型；激活参数量描述厂商报告的单个 token 计算路径所涉及的参数量。 对混合专家模型，也就是 MoE，两者都很重要。

MoE 包含多个专家子网络，以及决定每个 token 由哪些专家处理的路由器。这些“专家”是数学组件，并不是可以直接分配去做会计或法律工作的专职人员。与激活整个模型相比，只激活一部分参数可以减少计算，但其余权重仍然需要存放在某处。PyTorch 的 MoE 介绍解释了路由机制及其涉及的通信。

“激活参数量 104B”有一个厂商公开发布的实例：Moonshot AI 的 Kimi K3.1 Pro 公告给出的总参数量是 2.8T，激活参数量是 104B。把总量换算为 2,800B，再计算 104 ÷ 2,800，激活比例约为 3.7%。这个比例是我们根据公告中的参数量算出的结果，不是实测加速比，也不是质量排名。

另一个例子是 Qwen 的 Qwen3-235B-A22B 模型卡，其中写明总参数量为 235B，激活参数量为 22B。下图仍然画出了未激活的房间，因为某个 token 走了另一条路径，并不意味着这些权重就不用存储了。

部署前应弄清楚：整个模型如何存储和分布，专家如何分配到硬件上，以及在实际并发量下性能如何。激活参数量不能直接当作图形处理器（GPU）的显存需求规格。混合专家模型详解会进一步讨论这个基础设施问题。

第二部分：生成参数怎样影响回答？

生成设置在模型能力范围内，改变 token 的选择方式和生成停止的时机。 API 是应用用来请求模型回答的接口。这些设置无法补足缺失的资料、修复含糊的指令，也不能保证答案正确。

Temperature：控制选择的集中程度

Temperature（温度）改变的是选择下一个 token 时使用的概率分布。值越低，越倾向于概率较高的选项；值越高，变化空间就越大。这可以帮助你在措辞一致与草稿多样之间做选择。

处理发票时，通常不追求变化；构思不同的营销标题时，变化可能有用。但低温度不会让编造的发票号码变成事实，高温度也不会给模型增加知识。

即使把温度设为零，也不能普遍保证结果可复现。Anthropic 的术语表明确提醒：温度为零时，相同输入仍可能得到不同结果。可复现性需要结合整个推理服务系统来评估。

Top-p：保留多大的候选集合？

Top-p，也叫核采样，按累计概率限制候选集合。它是概率阈值，不是候选数量，也不是词表的百分比。

假设下一个 token 的概率分布为 0.60、0.25、0.10 和 0.05，当 top-p 阈值为 0.9 时，需要保留前三个候选：前两个的概率之和是 0.85，前三个则达到 0.95。这些数字只是教学示例，并非观察到的模型输出。

Temperature 改变概率分布的形状，top-p 则裁剪可选集合。为业务配置初始设置时，每次只改一个采样选项。这也符合 OpenAI 在 Chat Completions 参考文档中的建议。

输出 Token 上限：限制长度，不是指定长度

生成 token 上限规定了回答最多能生成多少 token。它并不是要求模型恰好用满这些 token，也不会扩大模型能够处理对话的上下文窗口。

上限过小，可能让 JSON 对象、句子或代码补丁中途截断。上限很大，也不会自动让回答变得有用。应在提示词里说明所需长度，同时为完整输出留出足够余量。

对于推理模型，还要区分可见输出与推理消耗。OpenAI 的 Responses 参考文档说明，输出上限同时包含可见输出和推理 token。Anthropic 的 Messages 参考文档同样把思考 token 计入 max_tokens。为推理请求分配预算时，不能假设每个获准使用的 token 都会出现在最终答案中。

Stop Sequences：在指定边界停止生成

当指定字符串出现时，停止序列会结束生成。只有应用存在可靠的边界时才适合使用，例如一个绝不会作为正常内容出现的明确结束标记。

对于多行报告，换行符不适合作为通用停止条件。对于嵌套 JSON，右花括号也不合适：第一个匹配的右花括号就可能过早截断回答。结构化提取应优先使用厂商支持的 schema 机制，并校验返回字段。

通常，初始配置不设置自定义停止序列更合理。但输出 token 上限和结果校验仍然不可少。

重复惩罚：减少重复，也要避免误伤

**存在惩罚（presence penalty）**看某个 token 是否已经出现；**频率惩罚（frequency penalty）**看它出现过多少次。在接口支持相应取值的前提下，正值会抑制重复使用，负值则可能鼓励重复。

重复并不总是问题。产品代码、客户姓名、JSON 键或程序标识符，可能必须原样出现多次。对它们施加惩罚，反而可能妨碍任务完成。

信息提取和代码任务，建议先不设重复惩罚。写作任务则应先修正容易导致结构重复的指令。之后，再考虑尝试接口支持的小幅惩罚值，并检查它能否在保留必要术语的前提下改善草稿。Google 的生成参考文档也提醒，负的频率惩罚可能导致 token 不断重复的循环。

OpenAI、Anthropic、Google：参数范围与默认值

能发送哪些设置，取决于接口、模型和 API 版本。 即使 SDK 字段名称相同，也不能据此认定所有厂商都实现了相同的控制方式。

下表的范围限定为： OpenAI 的 Chat Completions、Anthropic 的 Messages API 2026-10-21 版本，以及 Google 的 Gemini Developer API generateContent。不能把 Google 的 Vertex AI 或 Interactions API 设置套用到这里。

NS 表示当前引用的字段文档没有注明数值范围或默认值。 它不代表零、无限制或不支持。下文的“省略”是应用配置建议，并不是替厂商虚构的默认值。

来源：OpenAI 请求 schema、Anthropic 请求 schema、Anthropic 版本迁移指南、Google 生成 schema、Google 模型元数据及 Google 的 top-p 范围说明。

Google 通用故障排查表给出的温度范围，比生成字段参考文档更窄。应结合字段文档和所选模型的 maxTemperature 判断，并通过 Model.temperature、Model.topP 和 Model.outputTokenLimit 获取模型对应的值。不能把示例请求里的数值当成文档规定的默认值。

OpenAI：先确认推理模式是否兼容

OpenAI 当前的 GPT-6 指南要求：当推理强度不是 none 时，移除 temperature 和 top_p。GPT-6 Astra 和 GPT-6.1 Sol 不支持 none；GPT-6 Sol 和 GPT-6 Luna 则支持。这说明的是兼容性限制，并不是说模型固定在某个具体温度值。

接口也有区别。Responses 使用 max_output_tokens，其当前 schema 规定最小值为 16，但没有给出数值默认值或统一的最大值。它的创建请求 schema 没有提供 Chat Completions 中的 stop、presence_penalty 或 frequency_penalty 字段。Chat Completions 参考文档则明确标注，o3 和 o4-mini 不支持 stop，同时已弃用 max_tokens，改用 max_completion_tokens。

实际配置时，应先按选定接口构造请求，再应用模型的兼容性规则。不要把整张表的设置全部复制进同一个请求。

Anthropic：API 升级可能直接取消可调选项

Anthropic 的 10 月 21 日迁移指南指出，使用 API 2026-10-21 版本时，发送 temperature、top_p 或 top_k 都会触发 400 错误，即使发送的是默认值也一样。省略这些字段时，温度使用 1.0。

使用旧版 API，也不代表每个模型都能恢复自由调参。Anthropic 的思考功能文档说明，包括 Claude Sonnet 5.5 在内的模型，无论是否启用思考，都会拒绝非默认的采样值。文档给出这些模型的 top-p 默认值为 0.99，并明确说明 1 会被拒绝。旧文档中的通用范围不能覆盖这一模型规则。

如果确实要生成内容，应在模型上限内提供正数的 max_tokens 预算。文档中的最小值零用于缓存预热，不会生成回答，因此不适合作为信息提取的初始配置。

Google：设置被接收，不等于生效

Google 的 Gemini 3.6 Flash 和 3.5 Flash-Lite 迁移指南说明，这些模型会忽略已弃用的 temperature、top-p 和 top-k 设置。指南要求开发者移除这些设置，并指出后续模型世代将对它们返回 400 错误。

这与请求直接被拒绝是不同的失效方式：应用看起来接受了温度修改，模型行为却可能和之前完全一样。不能把请求成功视为设置生效的证明，应先核对所选模型的文档。

业务任务该从什么设置开始？

先使用厂商支持的行为，并明确可衡量的成功标准。 以下数字是我们针对可调接口提出的起始建议，既不是厂商默认值，也不是实测最优值，更不是可以随处套用的预设。前文的兼容性规则优先。

信息提取：确保数值和字段准确

提取发票字段、分类客服工单或提取合同元数据时，可以尝试 temperature 0 或 0.2，但前提是接口支持。先不改 top-p，省略自定义停止序列和重复惩罚；对于支持这些字段的 OpenAI Chat Completions 模型，也可以把两项惩罚都明确设为 0，建立无惩罚的基线。

对于当前的 Anthropic 请求，以及前文提到的 Gemini Flash 模型，应省略采样控制项。提供明确的字段定义、允许的类别、数据缺失示例，并使用厂商支持的结构化输出功能。除了格式，还要独立校验内容。

对于简短的提取记录，可以在兼容的非推理请求上，以 1,000 个输出 token 为初始上限进行实验。这不是通用限制：应检查是否截断、实际用量是多少；涉及推理时，还要单独考虑推理预算。要求模型用缺失值标记表示没有的信息，而不是编造发票号码。

**验收标准：**必填字段齐全，值与来源一致，缺失的信息保持缺失。仅通过 JSON 格式校验还不够。

文案写作：措辞可以变，事实不能变

撰写外联邮件或产品介绍时，先采用模型支持的默认行为。如果接口可调，可以拿 temperature 0.7 与基线比较，保持 top-p 不变。在提示词中写明受众、长度、语气、必须包含的事实，以及禁止出现的主张。

初始阶段不设惩罚。如果支持相关设置的 OpenAI Chat Completions 模型反复使用不需要的措辞，可以尝试 0.2 的频率惩罚，这是其文档范围内的小幅调整。只有审阅确认效果更好时才保留；必需的产品名称必须保持原样。

对于已取消采样控制的模型，可以直接要求采用不同写法，例如一版简洁陈述事实，另一版用叙事方式展开。再根据实际产出判断差异。

**验收标准：**变化有用，而且没有新增事实主张。“更出人意料”并不等于“更好的商业文案”。

代码生成：留够输出空间，再检查实际行为

在可调接口上生成范围明确的补丁时，temperature 0 或 0.2 可以作为合理的比较起点。对于推理模型，应遵循它支持的配置，省略不受支持的采样字段。除非经过验证的协议确有要求，否则先不设重复惩罚和自定义停止序列。

提供相关代码、约束和预期行为，为完整补丁留出足够的输出空间。如果回答达到输出上限，应将结果视为不完整，不能假定已显示的部分就可以安全应用。

**验收标准：**补丁符合规格，并通过适当的检查。重复标识符是代码的正常组成部分；答案看起来像那么回事，不代表它能运行。

参数量和调参都保证不了什么？

最容易被夸大的说法，是用一个数字代替完整评测。 无论这个数字是权重数量还是温度值，都做不到。

更大的模型，不会自动更擅长你的特定流程。MoE 的激活参数量更小，不代表整个模型只需对应大小的内存就能装下。低温度不保证内容真实，高输出上限不保证论证完整，API 调用成功也不证明传入的每项设置都已生效。

真正有用的证据，是代表性输入、明确的成功条件，以及经过检查的结果。采购时，要求供应商在你实际会使用的配置下演示工作流程。开发时，记录模型、接口、API 版本、提示词和设置，才能在行为变化时查清究竟改了什么。

采购、运营和开发各自该怎么做？

采购比较结果，运营定义失败，开发移除不受支持的配置。 三方可以围绕同一组小规模评测样本协作。

选择托管服务时，只要它能证明自己达到所需效果，采购方即使不知道参数量，也可以继续决策。自行部署则应先估算完整检查点、精度和工作负载，再购买硬件。对于已有正常运行流程的运营团队，也不必因为另一个模型宣传参数更多就替换现有方案。

更换模型或 API 版本的开发者，现在就应检查兼容性。使用托管界面、无法接触生成设置的运营人员，基本不受请求字段语法变化的影响，但仍然需要校验输出。

1. 1

   收集必须做对的真实任务

   下周一，从一个工作流程中收集 20 个代表性示例，包括信息不完整、表述含糊和异常冗长的输入。在比较模型之前，先写好预期结果或审阅标准。

2. 2

   明确记录请求配置

   记录接口、模型和 API 版本。检查支持哪些控制项，移除其余设置，并选择足以生成完整结果的输出预算。把必要术语和缺失数据的处理方式写进提示词。

3. 3

   每次只改一项，再判断效果

   把基线与一项受支持的调整进行比较。信息提取看结果是否与来源一致，文案看事实准确性和实用性，代码看行为与检查结果。除非调整确实带来价值，否则保留更简单的配置。

常见问题

大模型温度参数如何起作用？

它改变下一个 token 概率分布的集中程度。较低的值更偏向高概率选项，较高的值允许更多变化。温度改变的是采样，不是模型学到的权重；部分当前 API 会拒绝或忽略这一设置。

70B 模型大约需要多少存储空间？

如果恰好有 70B 个权重，仅原始权重在 16 位下约需 140 GB，在 8 位下约需 70 GB，在理想的 4 位存储下约需 35 GB。这些十进制数值不含运行时内存和量化开销。实际部署需求取决于具体检查点和工作负载。

大模型参数可以分为哪四类？

LLM 并没有通用的四类参数分类法。为了理解系统，可以区分模型学到的参数、架构设置、训练设置和生成设置。这是一种理解方式，并不意味着每个 API 都有四个控制项。

GPT 和 LLM 有什么区别？

LLM 是大语言模型，代表一个较大的类别。GPT 是生成式预训练 Transformer，指这个类别中的特定模型家族及技术路线。其他语言模型家族同样属于 LLM。

LLM 有哪四种类型？

并不存在唯一标准的四类清单。稠密模型与混合专家模型区分的是架构；开放权重与封闭权重区分的是可获取性。它们回答的是不同问题，不能拼成所谓的质量排名。

ChatGPT 是大语言模型，还是 AI？

ChatGPT 是使用模型的 AI 应用。应用本身、其中选用的模型，以及向开发者开放的 API 设置，属于不同层次，需要分开理解。

哪些 AI 不属于大语言模型？

AI 的范围比语言模型更广。欺诈分类器或计算机视觉系统可以使用机器学习方法，而不使用 LLM。参数量也不是语言模型独有的概念。

哪个大语言模型最聪明？

仅凭参数量，无法得出一个适用于所有任务的答案。应使用有代表性的实际任务样本，在相同验收标准下比较模型，并记录配置。某个基准测试的结果不能决定所有业务任务的优劣。

大语言模型属于 AI 的哪个分支？

LLM 是用于语言处理和生成的深度学习模型。通过训练学到的参数属于模型本身；temperature 等请求控制项，则属于应用如何使用模型。

想了解 AI 系统如何工作，以及相关决策该怎么做，欢迎订阅邮件简报。