GLOSSARY
토크나이저
텍스트를 토큰으로 자르는 구성 요소. 모델이 실제로 읽고, 쓰고, 과금 단위로 삼는 최소 단위입니다.
모델은 단어나 문자가 아니라 토크나이저가 만든 숫자 ID — 토큰을 봅니다. 영어 단어는 보통 1토큰, 흔한 어절은 몇 토큰. 한자는 글자당 1토큰인 경우가 많고, 드문 단어는 이상한 조각으로 쪼개집니다. 같은 프롬프트도 언어에 따라 토큰 수가 다른 이유입니다.
토큰 수는 API 가격·컨텍스트 윈도우 한도·생성 속도를 정하므로, 토큰화를 이해하면 실무의 궁금증이 풀립니다. JSON 출력이 비싼 이유, 코드가 산문보다 토큰을 더 쓰는 이유, 128K 컨텍스트 모델도 아주 긴 대화에서 맥락을 잃는 이유입니다.