Token (词元)

Token(词元)是大语言模型(LLM)读取和生成文本时的基本单位,一段文字在进入模型前会先被切分成一串 Token,模型的计费、上下文长度等指标也都以 Token 数量来衡量。

概述

计算机模型无法直接理解人类文字,需要先把文本转换成数字。分词器(Tokenizer)负责这一步:它按照预先训练好的词表,把句子切分成 Token,再把每个 Token 映射为一个编号,供模型计算。一个 Token 不一定等于一个词,可能是一个完整单词、一个词根、一个汉字,甚至一个标点或空格。

不同模型使用的分词器不同,同一段话在不同模型里的 Token 数也会不一样。粗略来说,英文中一个 Token 平均约对应四分之三个单词,中文里一个汉字通常对应一到两个 Token,因此同样内容的中文往往比英文消耗更多 Token。

对普通用户而言,Token 最直接的影响有两个:一是费用,主流 AI 服务的 API 都按输入和输出的 Token 数计费;二是上下文窗口,即模型一次能处理的 Token 总量上限,超出后早先的内容会被截断或遗忘。

主要特点

• 文本的最小处理单位:模型的输入、输出、记忆长度都以 Token 计算。
• 不等于字或词:切分结果取决于分词算法和词表,常见算法有 BPE(字节对编码)等子词切分方法。
• 决定计费:API 通常分别对输入 Token 和输出 Token 定价,输出一般更贵。
• 决定上下文长度:如「128K 上下文」指模型单次最多处理约 12.8 万个 Token。
• 语言差异明显:同样意思的文本,中文、日文等通常比英文占用更多 Token。

如何估算 Token 数量

各大模型厂商一般提供在线的 Token 计算工具或计数 API,可以粘贴文本查看实际切分结果。日常粗估时,可按「一个汉字约 1 至 2 个 Token、一个英文单词约 1 至 2 个 Token」来估算。写提示词时精简表达、避免重复粘贴长文,都能有效减少 Token 消耗。

常见问题

问:Token 和字数是一回事吗?答:不是。Token 是模型内部的切分单位,与人眼看到的字数没有固定换算关系,具体数量取决于所用模型的分词器。

问:为什么 AI 回答长了会「忘记」前面的内容?答:因为对话的全部内容要装进模型的上下文窗口,当累计 Token 超过上限时,较早的内容会被截断,模型自然就「记不住」了。

问:如何降低 API 的 Token 费用?答:可以精简提示词、只传必要的上下文、限制输出长度,部分服务还提供提示词缓存等机制,对重复内容打折计费。