GLOSSARY
샘플링 파라미터
온도 외의 다이얼(top-p, top-k, 페널티). 모델이 단어를 고르는 방식을 다듬어 출력의 다양성·초점·반복성을 조절합니다.
모델은 가능한 모든 다음 토큰에 확률을 출력합니다. 샘플링 파라미터는 그 확률을 어떻게 '선택'으로 바꿀지 정합니다. Top-p(핵 샘플링)는 누적 확률이 p에 닿는 최유력 후보만 남겨 터무니없는 꼬리를 자르고, top-k는 고정 개수를 남기며, 반복·존재 페널티는 루프와 남용된 표현을 억제합니다.
실무에서 대부분 제품은 이를 숨기고, 채팅은 기본값이면 충분합니다. 중요해지는 시점은 빌드할 때입니다. 창작은 느슨한 설정을 견디지만, 추출과 코드는 온도 0 근방과 빡빡한 top-p를 원합니다 — 놀라워주는 모델과 출고할 수 있는 모델의 차이입니다.