Token（词元）

Token（词元）是大语言模型读取和生成文本的最小基本单位，一段文字在进入模型之前会先被切分成一串 Token，模型的理解、推理和输出都是围绕这些 Token 进行的。

概述

计算机模型无法直接「读懂」一整句话，需要先把文本拆成小块并转换成数字编号，这个拆分过程叫做分词（Tokenization），拆出来的每一小块就是一个 Token。一个 Token 可能是一个完整的单词、一个词根词缀、一个标点符号，也可能是汉字或汉字的组成部分，具体取决于模型使用的分词器。

对英文而言，一个 Token 通常对应一个常见单词或单词的一部分，粗略估算若干个字符对应一个 Token；对中文而言，一个汉字往往对应一个或多个 Token。因此同样含义的内容，中文消耗的 Token 数往往和英文不同，这也是不同语言使用 AI 成本存在差异的原因之一。

Token 之所以被普通用户频繁提及，是因为它和两件事直接挂钩：一是模型的上下文窗口，即一次对话最多能容纳多少 Token，超出后模型会「遗忘」较早的内容；二是API 计费，主流大模型服务基本都按输入和输出的 Token 数量收费。

核心要点

• 基本单位：模型逐个 Token 地预测下一个 Token，从而生成完整回答。
• 分词器决定切分方式：常见方案如 BPE（字节对编码）等子词算法，不同模型的分词结果不完全相同。
• 上下文窗口：模型能同时处理的 Token 总量有限，长文档、长对话会更快耗尽额度。
• 计费依据：API 通常区分输入 Token 和输出 Token 分别计价，输出一般更贵。
• 影响速度：生成的 Token 越多，响应时间越长，很多产品会显示每秒生成 Token 数作为性能指标。

与加密货币 Token 的区别

在区块链领域，Token 通常译作「代币」，指链上发行的数字资产；而在 AI 领域，Token 译作「词元」，指文本切分单位。两者只是共用了同一个英文单词，含义完全无关，阅读时需结合语境区分。

常见问题

问：一个汉字等于一个 Token 吗？答：不一定。取决于模型的分词器，常见汉字可能对应一个 Token，生僻字可能被拆成多个 Token，不同模型的换算比例并不相同。

问：为什么 AI 聊久了会忘记前面说过的话？答：因为对话内容超出了模型的上下文窗口，早期的 Token 被截断或压缩，模型自然「看不到」之前的信息。

问：如何减少 Token 消耗、降低 API 费用？答：可以精简提示词、避免重复粘贴长文本、让模型输出更简短的回答，或选用支持提示词缓存等优化机制的服务。