AI token 是什么?读懂大模型的用量、计费与限制

AI token 是什么,为什么消息不多,用量却不少?本文用 OpenAI 官方分词器的实际例子,讲清 token 与单词、字符的关系,区分输入、输出和缓存用量,解释 API 计费、上下文窗口、速率限制与套餐额度,并说明如何借助厂商工具统计真实请求,避免把回答长度当成全部消耗,或把订阅费误当成 API 费用。

发布于

AI token 是什么?读懂大模型的用量、计费与限制

AI token 是语言模型读取和生成文本时使用的小单元,可以是单词、词的一部分,也可以是标点。按 OpenAI 对英文的粗略估算,每个 token 约相当于四分之三个单词,也就是 100 个 token 约合 75 个英文单词。Token 之所以重要,是因为它既影响使用费用,也影响模型能处理多少文本。来源:OpenAI 的 token 指南。

AI token 是什么?

Token 是文本的计量单位,不是一条消息,也不是一次完整任务。大语言模型(LLM)是一类生成语言的 AI 模型。文本要交给模型处理,先由分词器(tokenizer)这种软件拆成小块。

可以把一句话想成一幅马赛克:你看到的是整句话,模型处理的是一块块拼片。拼片大小不一,常见的单词可能只占一块,另一个单词却需要好几块。拆分边界不一定与音节或词典里的词条一致。

分词器还会给每个文本块分配一个数字编号。模型处理这些编号,生成更多 token,再将它们转回可读的文字。OpenAI 的分词器文档展示了文本块及其对应的编号。

对运营人员来说,这里最实用的一点是:消息条数很难反映实际工作量。一句简短指令如果附带一份文档,涉及的文本可能远多于一个单独提出的长问题。

token 计算:怎样算出实际用量?

计算 token,需要用指定的分词器处理原封不动的文本。按单词数乘一个系数,只能得到估算值;运行厂商的分词器,才能得到该分词器下的实际数量。

用 OpenAI 官方工具看一个实际计数例子

OpenAI 的开源分词器 tiktoken 使用 cl100k_base 编码时,会把原文 tiktoken is great! 拆成 6 个 token。这里的编码名称指的是将文本转换为 token 的一套规则:

t · ik · token · is · great · !

这一计数已于 2026 年 10 月 15 日使用 OpenAI 的工具复现。相同的句子和拆分结果也见于 OpenAI 的分词器教程。它计算的是这段纯文本,不是一次聊天请求的总用量。

注意 is 和 great 开头的空格。空格可能与后面的单词归在一起,而这个例子中的感叹号单独占一个 token。就连工具自身的名字也被拆成了几块。因此,数单词之间的空格,并不能可靠地算出 token 数。

例子特意写明编码名称,是有原因的:模型使用的分词器变了,拆分结果也可能改变。只有同时说明原文和所用的分词器,这个计数才有意义。

ChatGPT token 怎么算?先用厂商的工具

OpenAI 的可视化 Tokenizer可以让你粘贴文本,查看拆分后的各个部分。使用时,应从可选的编码或模型中选择与你的任务对应的一项;换一种编码做出的演示,不能当作计费承诺。

OpenAI 官方可视化分词器,用于查看文本如何拆分为 token
OpenAI Tokenizer

其他厂商也有各自的计数工具:

  • Anthropic Claude:token 计数接口可按所选模型,统计其支持的消息输入。文档也列出了无法统计的请求功能。
  • Google Gemini:count_tokens 工具用于在生成前统计输入,响应中的用量信息则会报告实际消耗。

这些工具都遵循各自厂商的计数规则。如果自动化流程通过 API,也就是应用与 AI 模型之间的接口运行,应让开发人员按实际使用的模型和请求格式计数。

一个 token 相当于多少个单词?

对于英文文本,OpenAI 给出的近似关系是:一个 token 约等于 4 个字符或四分之三个单词,100 个 token 约等于 75 个单词。这些只是厂商给出的估算,不是固定换算公式。OpenAI 的帮助文章明确说明,语言和文本结构都会影响这种关系。

可以用这个粗略算法判断一份初稿的篇幅大小。但面对多语言营销内容、产品目录或含有代码的文档,应先对实际材料计数,再承诺容量或预算。

输入 token 和输出 token:发进去的与生成出来的

**输入 token 是模型收到的内容,输出 token 是模型生成的内容。**输入可能远不止你刚刚打出的那句话。

以客服流程为例。你在界面上输入的指令只是“起草一份回复”,应用却可能同时发送预设指令、客户之前的消息,以及相关退货政策。这些提供给模型的材料都属于输入,生成的回复草稿则属于输出。

Anthropic 的计数文档涵盖指令、消息和工具等结构化输入。Google 的多轮对话示例则说明了为什么之前的对话轮次也会计入后续用量。

指令、对话历史和最新消息都作为输入进入模型,生成的回复则作为输出离开模型
最新一条消息,只是应用可能发送的输入内容的一部分。

对营销人员来说,每次写一小段文案都附上全部品牌资料,这种做法值得重新审视。对创业者来说,则应要求开发人员测量完整请求,而不是只根据界面上的聊天气泡估算。

输出端还有一个容易忽略的区别。OpenAI 的推理模型文档说明,内部推理 token 虽然不会显示为回答文本,仍计入输出用量。因此,眼前的回答很短,实际输出 token 数却可能比显示出来的文字更多。

为什么输出 token 往往更贵?

读取已有提示词和继续生成文本,对计算系统的要求不同。完整输入一开始就已就绪,因此其中很多处理可以并行完成。常规的输出生成则按顺序进行,后面的 token 依赖前面已经生成的 token。NVIDIA 在其输入处理与生成技术指南中解释了这一区别。

这有助于理解为什么输入和输出分别定价,但不能由此推导出统一的价格比例:各家服务商自行定价,模型设计和推理服务技术也各不相同。

落实到实际工作中,读取文档后只返回简短标签的流程,与生成长篇报告的流程,用量构成会很不一样。比较这类工作负载时,应分别查看输入和输出总量。

月度费用计算示例: Anthropic 目前公布的 Claude Sonnet 5.5 标准 API 价格为:输入每百万 token $2,输出每百万 token $10。假设一个月累计使用 100 万个未缓存的输入 token,加上 100 万个输出 token,按此计算,模型 token 费用就是 $2 + $10 = $12。这个示例小计按标准全球处理方式计算,不含缓存或批处理折扣,也不含付费工具费用和税费。厂商价格,核验于 2026 年 10 月 15 日。

这是用量费用的小计,不是订阅价格,也不是对你每月使用量的预测。自动化流程的用量会在一次次 API 请求中累积,修改和重试也会增加工作量。

缓存输入指服务商复用此前处理过的提示词材料,其计费规则可能不同。具体机制可见我们的 KV-cache 与提示词缓存详解。如果要按价格选择模型,可以参考低价 AI API 对比;这里的示例只是为了讲清计量单位。

AI 的 token 限制,到底限制了什么?

**先弄清触及哪种限制,再考虑换套餐。**单次请求太大、短时间内请求太密,以及订阅额度用完,需要不同的解决办法。

上下文限制决定模型在一次请求中能处理多少材料,最大输出限制决定它最多能生成多少内容。除了你提供的材料,也要给回答留出空间。更完整的说明见我们的上下文大小与上下文工程指南。

API 速率限制约束的是发送请求或 token 的速度,费用上限约束的是花费。两者都不代表某一次请求能装下多少材料。OpenAI 在其 token 指南中区分了这些限制。

聊天套餐额度则按具体产品的规则约束使用量。Anthropic 表示,Claude 的用量会随对话长度与复杂程度、所选模型、功能及推理强度而变化。其使用额度与长度限制指南还说明,使用额度与对话长度限制是两回事。

判断路径:请求过大时缩短上下文,触及速率限制时放慢请求,额度用完时等待恢复或升级套餐
按限制类型选择办法:长度、速度,还是使用额度。

对运营人员来说,这意味着买更多使用额度,不一定能让超大的文档塞进一次请求。新开一个对话,可能减少后续请求继续携带的材料,但不会清除已经消耗的用量。

AI token 怎么买?

通常,你通过所用的产品支付访问费用或按量使用费。充值前,先确认买的是订阅、API 用量,还是应用自己的积分余额。

例如,OpenAI 明确说明,ChatGPT 订阅与 API 用量分别计费。付了聊天产品的订阅费,并不意味着 API 的 token 费用就免了。其他产品可能采用不同的用量打包方式,应查看向你收费的产品的具体条款。

关于 token 数量,哪些说法被夸大了?

**Token 数字越大,不代表回答质量越高。**容量说明能容纳多少内容,却不能证明回答是否正确、实用,或值得这笔花费。

同样,token 单价更低,也不能直接断定哪个模型完成你的任务更便宜。不同分词器可能以不同方式拆分相同材料,不同流程也可能产生不同数量的输出和推理 token。真正应该比较的是,得到一个合格结果总共要花多少钱。

别把减少 token 变成“谁的提示词最短”的比赛。删去无关附件是合理的;如果删掉某条政策例外,导致客服回复不再准确,那就是省小钱、丢关键。保留会改变答案的信息,移除与任务无关的材料。

下周就能落实的改进

**如果你负责自动化流程,或经常碰到使用限制,现在就该行动。**如果只是偶尔使用聊天应用,而且一直没有超过额度,就没必要逐句计算 token。

  1. 运营人员:先看清计量方式

    查看用量页面和限制提示,记下限制针对的是请求长度、请求速率、费用,还是套餐额度,再选择相应的解决办法。

  2. 营销人员:统计一个有代表性的任务

    取一份真实的需求说明,加上平时会一起发送的辅助材料,用厂商的计数工具检查,再按任务需要指定输出格式。关键的品牌要求和事实要求要保留。

  3. 创业者与采购方:索取用量明细

    请开发人员或供应商提供一个有代表性的已完成任务的用量明细,包括输入、输出、缓存用量,以及单独收取的工具费用。先据此预测自己的使用规模,再决定是否升级或更换模型。

AI token 常见问题

AI 里的 token 是什么?

Token 是语言模型处理的一个文本块,可以是词的一部分、一个完整单词,也可以是标点,并不一定对应一个完整单词。

AI 中的 tokenization 是什么意思?

Tokenization 指把输入拆成模型使用的小块,并用模型词表中的对应项表示这些文本块的过程。具体怎么拆,由分词器的规则决定。

AI 四巨头是谁?

这个说法讨论的是公司排名,不是 token 标准。要计算用量和费用,应先确认工具背后的厂商及具体模型;列出几家知名公司,无法确定它的 token 用量。

ChatGPT 的 100 万 token 要多少钱?

ChatGPT 没有统一的 token 美元换算价格。ChatGPT 产品与 OpenAI API 分别计费。计算 API 费用时,要确定模型,并区分输入和输出;使用聊天套餐时,则要查看该套餐的用量规则。

一个 AI token 值多少钱?

它没有固定的货币价值,使用费用取决于服务商、模型和计费类别。Token 是处理单位,不是可以转让的货币。

谁来支付 AI token 的费用?

对于直接按 API 计费的流程,由发起请求的账户向服务商付费。如果使用封装好的应用,付订阅费、按量付费,还是两者都付,要看应用协议。应问清报价包含哪些费用。

AI 的 1000 个 token 是多少?

如果问费用,要看模型,以及这些 token 属于输入、输出还是缓存。如果问文本量,则取决于分词器和语言。应使用厂商的分词器计算,不要把它当成固定的字数额度。

ChatGPT 的 token 是怎么工作的?

文本会先被拆成 token,用于处理和生成。你输入和收到的文字,不一定就是全部用量:提供给模型的上下文,以及支持推理的模型所产生的内部推理,都可能计入用量。

哪个 AI 的 token 最多?

先明确你指的是最大的上下文窗口、最长的输出,还是最多的套餐内用量。这些衡量的是不同维度。确定维度后,再比较具体模型或套餐的最新文档。

AI 可以免费用吗?

可以。例如,Claude 提供免费套餐,但有使用限制。免费使用不等于用量无限,也不等于上下文窗口无限。

想看更多关于 AI 工具及其选择逻辑的实用解读,欢迎订阅邮件通讯。

发布日期
分类
AI
Claude 连接器怎么用:办公工具接入、MCP 配置与权限指南

Claude 连接器怎么用:办公工具接入、MCP 配置与权限指南

Claude 连接器怎么用?本文梳理目录连接器与远程 MCP 的配置步骤、各套餐限制和团队授权流程,并以 Google Workspace、Microsoft 365、Notion、Slack 与 CRM 为例,说明如何准备可审核的业务简报、设置工具权限,以及在开放写入前检查凭据、来源和具体改动。2026年10月15日AI
SWE-bench 与大模型评测:五分钟看懂跑分,选对测试方向

SWE-bench 与大模型评测:五分钟看懂跑分,选对测试方向

SWE-bench 高分能说明什么,又不能证明什么?本文梳理编程、推理、智能体、长上下文与语音评测,用 Gemini 4 Argon 成绩表讲清版本、工具、运行框架和评分规则的差别。掌握五分钟读表流程,分清准确率、F1 与部分得分,再结合自己的数据、政策和真实案例,判断哪些模型值得测试、何时需要自建评估。2026年10月15日AI
Julius AI 评测:数据分析、价格与选购建议

Julius AI 评测:数据分析、价格与选购建议

Julius AI 适合把业务数据反复整理成可核对的图表与报告吗?本文依据官方文档,梳理数据连接、分析与报表功能、月付和年付价格,并比较 ChatGPT、Claude 的适用场景。重点说明 Notebooks 下线、七天文件存储、积分消耗和数据处理限制,帮助你判断现有工作流程是否值得迁移,以及购买前该验证什么。2026年10月15日AI
SLM 小语言模型怎么选?从适用场景到本地部署

SLM 小语言模型怎么选?从适用场景到本地部署

SLM 小语言模型适合哪些工作,何时仍需大模型?本文梳理分类、抽取、路由、端侧助手和模板写作五类场景,对比 Gemma、Phi、Qwen、Llama 与 Ministral 的参数规模和许可证,说明内存预算、Ollama 与 LM Studio 本地部署、托管 API,以及如何用同一批样例评估质量、延迟和审核成本。2026年10月14日AI
Gemini 免费吗?免费版功能、额度与付费升级怎么选

Gemini 免费吗?免费版功能、额度与付费升级怎么选

Gemini 免费版能做什么,什么时候值得付费?本文梳理 Auto 模型选择、图像编辑、研究功能、32k 上下文和用量限制,对比 Google AI Plus、Pro、Ultra 的美国月费与新增权益,并说明 Gemini API 免费层和学生优惠的适用范围,帮你按实际工作需求判断是否值得升级。2026年10月14日AI
Gemini vs Claude:Gemini 4 Argon 与 Opus 5.5 怎么选?

Gemini vs Claude:Gemini 4 Argon 与 Opus 5.5 怎么选?

Gemini vs Claude 怎么选?本文对比 Gemini 4 Argon 与 Claude Opus 5.5 的编程、研究、智能体任务、API 价格及使用门槛,按相同任务用量测算优惠期和十二月调价后的成本,并拆解缓存、共享上下文、长输出与续写计费,帮你结合验收结果和人工审核成本判断是否值得迁移。2026年10月14日AI
NotebookLM 教程:从资料整理到业务简报的完整用法

NotebookLM 教程:从资料整理到业务简报的完整用法

这篇 NotebookLM 教程带你从创建笔记本、导入资料开始,学会提问、核对引用,并用 Studio 制作可供团队审核的简报。文中梳理免费版、付费套餐与 Workspace 权限,介绍 RFP 应答、客户调研、新人培训、会议决策和竞品分析五种用法,帮助你把准备与审核时间一起计入成本,再判断是否值得升级。2026年10月14日AI
Agentic AI 是什么?企业应用、选型与成本指南

Agentic AI 是什么?企业应用、选型与成本指南

Agentic AI 是什么,和聊天机器人、固定工作流、生成式 AI 有何区别?本文面向企业负责人,结合具体产品,梳理适合试点的业务任务、权限与审批边界、供应商评估问题,并用假设案例计算审核和返工后的单任务成本,帮助判断何时采用 AI 智能体、何时保留现有自动化,以及试点该如何验收。2026年10月14日AI
订阅通讯

每周日,一封信。写运转中的系统,不写热评。

每周一期。无垃圾邮件。随时退订。