GLOSSARY
分词器
把文本切成 token 的组件——模型实际读取、生成与计费的最小单位。
模型看到的不是单词或字符，而是 token——由分词器生成的数字 ID。一个英文单词通常是一个 token，常见词根几个；中文字符往往一字一 token，生僻词则会被拆成奇怪的碎片。这就是为什么同一段提示词在不同语言下的 token 开销不同。
token 数量决定了 API 定价、上下文窗口上限与生成速度，所以理解分词能解释很多实际困惑：为什么 JSON 输出更贵、为什么代码比散文更烧 token、为什么 128K 上下文的模型仍会在超长对话中丢失线索。