GLOSSARY
プロンプトキャッシュ
長いシステムプロンプトの計算済み接頭辞を再利用し、次の呼び出しが入力トークンの満額を払わないようにすること。
50 ページのシステムプロンプトに 1 行のユーザー質問でも、プロバイダが接頭辞をキャッシュしなければ毎回 50 ページ分を請求します。プロンプトキャッシュは KV 状態（またはそのハッシュ）を数分窓で保存し、同じ前文の後続ターンを安く、しばしば速くします。
Anthropic、OpenAI、いくつかのゲートウェイはこれを明示機能として出し、Helicone 系プロキシは HTTP 層でキャッシュします。罠はキャッシュ局所性です。プロンプト先頭の 1 トークン変更で接頭辞が壊れます。安定した指示を先に、変動するユーザー文を後に置かないと、満額を払いキャッシュがなぜ当たらないか不思議に思うことになります。