Token 是什么?和「字」不一样
导语
看 API 文档或账单时常看到 Token,它和日常说的「一个字」不是一回事。
这是啥
**Token** 是模型处理文本的最小单位。英文里一个词可能是 1 个 Token;中文里**一个汉字常常是 1~2 个 Token**,标点、空格也会占 Token。
为啥重要
- **价格**:多数 API 按输入 Token + 输出 Token 计费
- **长度限制**:「上下文窗口 128K」指的是 Token 数,不是 128K 个汉字
- **截断**:对话太长时,最早的内容会被挤掉
怎么用
- 写长文档前先估算:中文粗略可按「字符数 × 1.5」估 Token
- 把固定说明放进「系统提示」里,避免每轮重复占额度
- 需要全文处理时,考虑分段摘要再合并
注意
不同模型、不同语言的 Token 切分方式略有差异,只有官方 Tokenizer 最准。
三句话总结
1. Token 是模型「数文本」的单位,不等于汉字个数。
2. 费用和上下文上限都跟 Token 挂钩。
3. 长对话要控制长度,否则旧内容会被遗忘。