AI token 是什么?读懂大模型的用量、计费与限制
AI token 是什么,为什么消息不多,用量却不少?本文用 OpenAI 官方分词器的实际例子,讲清 token 与单词、字符的关系,区分输入、输出和缓存用量,解释 API 计费、上下文窗口、速率限制与套餐额度,并说明如何借助厂商工具统计真实请求,避免把回答长度当成全部消耗,或把订阅费误当成 API 费用。
发布于

AI token 是语言模型读取和生成文本时使用的小单元,可以是单词、词的一部分,也可以是标点。按 OpenAI 对英文的粗略估算,每个 token 约相当于四分之三个单词,也就是 100 个 token 约合 75 个英文单词。Token 之所以重要,是因为它既影响使用费用,也影响模型能处理多少文本。来源:OpenAI 的 token 指南。
AI token 是什么?
Token 是文本的计量单位,不是一条消息,也不是一次完整任务。大语言模型(LLM)是一类生成语言的 AI 模型。文本要交给模型处理,先由分词器(tokenizer)这种软件拆成小块。
可以把一句话想成一幅马赛克:你看到的是整句话,模型处理的是一块块拼片。拼片大小不一,常见的单词可能只占一块,另一个单词却需要好几块。拆分边界不一定与音节或词典里的词条一致。
分词器还会给每个文本块分配一个数字编号。模型处理这些编号,生成更多 token,再将它们转回可读的文字。OpenAI 的分词器文档展示了文本块及其对应的编号。
对运营人员来说,这里最实用的一点是:消息条数很难反映实际工作量。一句简短指令如果附带一份文档,涉及的文本可能远多于一个单独提出的长问题。
token 计算:怎样算出实际用量?
计算 token,需要用指定的分词器处理原封不动的文本。按单词数乘一个系数,只能得到估算值;运行厂商的分词器,才能得到该分词器下的实际数量。
用 OpenAI 官方工具看一个实际计数例子
OpenAI 的开源分词器 tiktoken 使用 cl100k_base 编码时,会把原文 tiktoken is great! 拆成 6 个 token。这里的编码名称指的是将文本转换为 token 的一套规则:
t · ik · token · is · great · !
这一计数已于 2026 年 10 月 15 日使用 OpenAI 的工具复现。相同的句子和拆分结果也见于 OpenAI 的分词器教程。它计算的是这段纯文本,不是一次聊天请求的总用量。
注意 is 和 great 开头的空格。空格可能与后面的单词归在一起,而这个例子中的感叹号单独占一个 token。就连工具自身的名字也被拆成了几块。因此,数单词之间的空格,并不能可靠地算出 token 数。
例子特意写明编码名称,是有原因的:模型使用的分词器变了,拆分结果也可能改变。只有同时说明原文和所用的分词器,这个计数才有意义。
ChatGPT token 怎么算?先用厂商的工具
OpenAI 的可视化 Tokenizer可以让你粘贴文本,查看拆分后的各个部分。使用时,应从可选的编码或模型中选择与你的任务对应的一项;换一种编码做出的演示,不能当作计费承诺。
其他厂商也有各自的计数工具:
- Anthropic Claude:token 计数接口可按所选模型,统计其支持的消息输入。文档也列出了无法统计的请求功能。
- Google Gemini:count_tokens 工具用于在生成前统计输入,响应中的用量信息则会报告实际消耗。
这些工具都遵循各自厂商的计数规则。如果自动化流程通过 API,也就是应用与 AI 模型之间的接口运行,应让开发人员按实际使用的模型和请求格式计数。
一个 token 相当于多少个单词?
对于英文文本,OpenAI 给出的近似关系是:一个 token 约等于 4 个字符或四分之三个单词,100 个 token 约等于 75 个单词。这些只是厂商给出的估算,不是固定换算公式。OpenAI 的帮助文章明确说明,语言和文本结构都会影响这种关系。
可以用这个粗略算法判断一份初稿的篇幅大小。但面对多语言营销内容、产品目录或含有代码的文档,应先对实际材料计数,再承诺容量或预算。
输入 token 和输出 token:发进去的与生成出来的
**输入 token 是模型收到的内容,输出 token 是模型生成的内容。**输入可能远不止你刚刚打出的那句话。
以客服流程为例。你在界面上输入的指令只是“起草一份回复”,应用却可能同时发送预设指令、客户之前的消息,以及相关退货政策。这些提供给模型的材料都属于输入,生成的回复草稿则属于输出。
Anthropic 的计数文档涵盖指令、消息和工具等结构化输入。Google 的多轮对话示例则说明了为什么之前的对话轮次也会计入后续用量。

对营销人员来说,每次写一小段文案都附上全部品牌资料,这种做法值得重新审视。对创业者来说,则应要求开发人员测量完整请求,而不是只根据界面上的聊天气泡估算。
输出端还有一个容易忽略的区别。OpenAI 的推理模型文档说明,内部推理 token 虽然不会显示为回答文本,仍计入输出用量。因此,眼前的回答很短,实际输出 token 数却可能比显示出来的文字更多。
为什么输出 token 往往更贵?
读取已有提示词和继续生成文本,对计算系统的要求不同。完整输入一开始就已就绪,因此其中很多处理可以并行完成。常规的输出生成则按顺序进行,后面的 token 依赖前面已经生成的 token。NVIDIA 在其输入处理与生成技术指南中解释了这一区别。
这有助于理解为什么输入和输出分别定价,但不能由此推导出统一的价格比例:各家服务商自行定价,模型设计和推理服务技术也各不相同。
落实到实际工作中,读取文档后只返回简短标签的流程,与生成长篇报告的流程,用量构成会很不一样。比较这类工作负载时,应分别查看输入和输出总量。
月度费用计算示例: Anthropic 目前公布的 Claude Sonnet 5.5 标准 API 价格为:输入每百万 token $2,输出每百万 token $10。假设一个月累计使用 100 万个未缓存的输入 token,加上 100 万个输出 token,按此计算,模型 token 费用就是 $2 + $10 = $12。这个示例小计按标准全球处理方式计算,不含缓存或批处理折扣,也不含付费工具费用和税费。厂商价格,核验于 2026 年 10 月 15 日。
这是用量费用的小计,不是订阅价格,也不是对你每月使用量的预测。自动化流程的用量会在一次次 API 请求中累积,修改和重试也会增加工作量。
缓存输入指服务商复用此前处理过的提示词材料,其计费规则可能不同。具体机制可见我们的 KV-cache 与提示词缓存详解。如果要按价格选择模型,可以参考低价 AI API 对比;这里的示例只是为了讲清计量单位。
AI 的 token 限制,到底限制了什么?
**先弄清触及哪种限制,再考虑换套餐。**单次请求太大、短时间内请求太密,以及订阅额度用完,需要不同的解决办法。
上下文限制决定模型在一次请求中能处理多少材料,最大输出限制决定它最多能生成多少内容。除了你提供的材料,也要给回答留出空间。更完整的说明见我们的上下文大小与上下文工程指南。
API 速率限制约束的是发送请求或 token 的速度,费用上限约束的是花费。两者都不代表某一次请求能装下多少材料。OpenAI 在其 token 指南中区分了这些限制。
聊天套餐额度则按具体产品的规则约束使用量。Anthropic 表示,Claude 的用量会随对话长度与复杂程度、所选模型、功能及推理强度而变化。其使用额度与长度限制指南还说明,使用额度与对话长度限制是两回事。

对运营人员来说,这意味着买更多使用额度,不一定能让超大的文档塞进一次请求。新开一个对话,可能减少后续请求继续携带的材料,但不会清除已经消耗的用量。
AI token 怎么买?
通常,你通过所用的产品支付访问费用或按量使用费。充值前,先确认买的是订阅、API 用量,还是应用自己的积分余额。
例如,OpenAI 明确说明,ChatGPT 订阅与 API 用量分别计费。付了聊天产品的订阅费,并不意味着 API 的 token 费用就免了。其他产品可能采用不同的用量打包方式,应查看向你收费的产品的具体条款。
关于 token 数量,哪些说法被夸大了?
**Token 数字越大,不代表回答质量越高。**容量说明能容纳多少内容,却不能证明回答是否正确、实用,或值得这笔花费。
同样,token 单价更低,也不能直接断定哪个模型完成你的任务更便宜。不同分词器可能以不同方式拆分相同材料,不同流程也可能产生不同数量的输出和推理 token。真正应该比较的是,得到一个合格结果总共要花多少钱。
别把减少 token 变成“谁的提示词最短”的比赛。删去无关附件是合理的;如果删掉某条政策例外,导致客服回复不再准确,那就是省小钱、丢关键。保留会改变答案的信息,移除与任务无关的材料。
下周就能落实的改进
**如果你负责自动化流程,或经常碰到使用限制,现在就该行动。**如果只是偶尔使用聊天应用,而且一直没有超过额度,就没必要逐句计算 token。
运营人员:先看清计量方式
查看用量页面和限制提示,记下限制针对的是请求长度、请求速率、费用,还是套餐额度,再选择相应的解决办法。
营销人员:统计一个有代表性的任务
取一份真实的需求说明,加上平时会一起发送的辅助材料,用厂商的计数工具检查,再按任务需要指定输出格式。关键的品牌要求和事实要求要保留。
创业者与采购方:索取用量明细
请开发人员或供应商提供一个有代表性的已完成任务的用量明细,包括输入、输出、缓存用量,以及单独收取的工具费用。先据此预测自己的使用规模,再决定是否升级或更换模型。
AI token 常见问题
AI 里的 token 是什么?
Token 是语言模型处理的一个文本块,可以是词的一部分、一个完整单词,也可以是标点,并不一定对应一个完整单词。
AI 中的 tokenization 是什么意思?
Tokenization 指把输入拆成模型使用的小块,并用模型词表中的对应项表示这些文本块的过程。具体怎么拆,由分词器的规则决定。
AI 四巨头是谁?
这个说法讨论的是公司排名,不是 token 标准。要计算用量和费用,应先确认工具背后的厂商及具体模型;列出几家知名公司,无法确定它的 token 用量。
ChatGPT 的 100 万 token 要多少钱?
ChatGPT 没有统一的 token 美元换算价格。ChatGPT 产品与 OpenAI API 分别计费。计算 API 费用时,要确定模型,并区分输入和输出;使用聊天套餐时,则要查看该套餐的用量规则。
一个 AI token 值多少钱?
它没有固定的货币价值,使用费用取决于服务商、模型和计费类别。Token 是处理单位,不是可以转让的货币。
谁来支付 AI token 的费用?
对于直接按 API 计费的流程,由发起请求的账户向服务商付费。如果使用封装好的应用,付订阅费、按量付费,还是两者都付,要看应用协议。应问清报价包含哪些费用。
AI 的 1000 个 token 是多少?
如果问费用,要看模型,以及这些 token 属于输入、输出还是缓存。如果问文本量,则取决于分词器和语言。应使用厂商的分词器计算,不要把它当成固定的字数额度。
ChatGPT 的 token 是怎么工作的?
文本会先被拆成 token,用于处理和生成。你输入和收到的文字,不一定就是全部用量:提供给模型的上下文,以及支持推理的模型所产生的内部推理,都可能计入用量。
哪个 AI 的 token 最多?
先明确你指的是最大的上下文窗口、最长的输出,还是最多的套餐内用量。这些衡量的是不同维度。确定维度后,再比较具体模型或套餐的最新文档。
AI 可以免费用吗?
可以。例如,Claude 提供免费套餐,但有使用限制。免费使用不等于用量无限,也不等于上下文窗口无限。
想看更多关于 AI 工具及其选择逻辑的实用解读,欢迎订阅邮件通讯。
- 发布日期
- 分类
- AI
- 语言








