トークナイザー

モデルが見るのは単語や文字ではなく、トークナイザーが生成する数値 ID — トークンです。英単語は多くが 1 トークン、よくある語片は数トークン。漢字は一字一トークンが多く、稀な語は奇妙な断片に割れます。同じプロンプトでも言語によってトークン数が変わるのはこのためです。

トークン数は API 料金・コンテキスト窓の上限・生成速度を決めるため、トークン化を理解すると実務上の驚きが説明できます。JSON 出力が高い理由、コードが散文よりトークンを食う理由、128K コンテキストのモデルでも超長文会話で話題を見失う理由です。