GLOSSARY
토큰
AI 모델이 실제로 읽고 생성하는 작은 텍스트 조각(대략 단어 하나 또는 그 일부). 과금과 컨텍스트 한도 모두 토큰 단위로 셉니다.
모델은 글자나 단어 전체가 아니라 토큰 — 몇 글자 분량의 텍스트 조각 — 를 읽습니다. 영어 산문은 평균 단어당 약 1.3토큰이며, 다른 언어와 코드는 분리 방식이 달라 언어별 품질·비용 차이로 이어집니다.
토큰이 실무에서 중요한 지점은 두 곳입니다. 컨텍스트 창(한 번에 처리 가능한 토큰 수)과 가격(API는 처리 토큰 단위 과금). '100만 토큰 컨텍스트'는 책 한 권을 통째로 담을 수 있고, 토큰 과금이야말로 긴 대화와 큰 파일이 더 비싼 이유입니다.