Token是特定模型把文字编码后使用的单位；切法和数量取决于分词器。
模型不能直接接收人眼看到的句子，需要先把文字转换成一串编号。Token就是这串编号所对应的文字单元。
生活类比
像同一段货物按不同公司的装箱规则分箱
对应：原文=货物；分词器=装箱规则；Token=一个个箱子；Token编号=箱子标签
这个比方在哪会塌：Token不是有完整语义的词，也不是模型能处理的唯一最小单位；类比只说明切分和编码
它防止的误解：防止把Token固定换算成字数，或以为模型按人类词义切句子
Token为什么与你有关
- 上下文容量通常以Token计算，输入、历史和输出会共同占用预算。
- 部分API按输入和输出Token计费，但具体规则以产品价格页为准。
- 同样字数的中文、英文、代码和表格，Token数量可能差很多。
- 超出容量后，产品可能拒绝、截断、摘要或选择性保留，并非一定挤掉最早内容。
- “一个Token就是一个汉字”——有时接近，有时会拆分或合并。
- “128K Token就是固定多少页书”——排版、语言和分词器不同，不能固定换算。
- “Token越少，回答一定越好”——简洁有助于节省容量，但信息是否完整更重要。
最后复核：2026-07-26
AI 领域更新很快，相关工具/价格/规则可能已变化，重要事实请以官方来源为准。