GLOSSARY
프롬프트 캐시
긴 시스템 프롬프트의 이미 계산된 접두사를 재사용해, 다음 호출이 입력 토큰 전부를 내지 않게 하는 것.
50쪽 시스템 프롬프트에 한 줄 사용자 질문이어도, 프로바이더가 접두사를 캐시하지 않으면 매번 50쪽 요금이 나갑니다. 프롬프트 캐시는 KV 상태(또는 그 해시)를 몇 분 창으로 저장해, 같은 전문의 이후 턴을 더 싸게, 종종 더 빠르게 만듭니다.
Anthropic, OpenAI, 몇몇 게이트웨이는 이를 명시 기능으로 내고, Helicone 계열 프록시는 HTTP 계층에서 캐시합니다. 함정은 캐시 국소성입니다. 프롬프트 앞의 토큰 하나 변경이 접두사를 깨뜨립니다. 안정된 지시를 앞에, 변하는 사용자 글을 뒤에 두지 않으면 전액을 내고 캐시가 왜 안 맞는지 의아해하게 됩니다.