GLOSSARY
청킹
임베딩 전에 문서를 검색 크기 조각으로 자르는 것. 화려하진 않지만 RAG 답변 품질을 조용히 결정하는 핵심 결정입니다.
200쪽짜리 PDF를 컨텍스트 윈도우에 통째로 넣을 수는 없어서, RAG는 조각으로 자르고 각각을 임베딩합니다. 모든 노브가 중요합니다. 너무 작으면 문장에 의미를 주는 맥락이 사라지고, 너무 크면 검색된 '이웃'이 답을 익사시킵니다. 똑똑한 청킹은 구조 — 제목, 단락, 표 — 를 존중하고, N 토큰마다 맹목적으로 자르지 않습니다.
'RAG가 무관한 결과를 반환한다'를 디버깅하는 팀은 보통 임베딩보다 청킹을 먼저 찾습니다. 검색에서 가장 화려하지 않은 레버이자 수익이 가장 높은 것 중 하나입니다. 문서 구조를 존중하는 청커와 그렇지 않은 것의 차이가 흔히 데모와 제품의 차이입니다.