GLOSSARY
증류(디스틸레이션)
작고 빠른 모델을 큰 모델처럼 동작하게 학습시키는 기법. 실행 비용을 크게 줄이면서 큰 모델의 품질 상당 부분을 이어받습니다.
증류 모델은 사람이 쓴 텍스트만이 아니라 더 강한 '교사' 모델의 출력에서 배웁니다 — 판단력·스타일·엣지 케이스를 흡수합니다. 학생 모델은 이후 수 배 빠르고 저렴하게 동작하며, 각사가 저지연으로 'mini'·'flash' 등급을 제공하는 이유입니다.
대가는 지식 협소화입니다. 증류된 학생은 교사가 학습에서 본 롱테일에 약합니다. 업계 논쟁의 중심이기도 합니다. 여러 공급자의 약관은 자사 출력으로 경쟁사를 학습시키는 것을 제한해, '프론티어 모델 증류'가 공학 용어에서 법적 질문으로 바뀌었습니다.