학습(사전학습과 사후학습)

사전학습이 비용의 대부분입니다. GPU 클러스터에서 수개월, 웹 규모의 텍스트·코드·(최근엔) 이미지로 다음 토큰 예측을 배웁니다. 결과물은 날것의 '베이스 모델' — 이어 쓰기는 뛰어나지만 제품으로는 무력합니다. 사후학습이 이를 바꿉니다. 엄선된 대화로 지도 파인튜닝, RLHF나 DPO로 인간 선호 정렬, 추론·코딩·안전을 위한 전문 패스. 그래서 '작은' 사후학습 모델이 더 큰 날것 모델을 이기는 것입니다.

프론티어 베이스 모델을 처음부터 학습하는 이는 거의 없습니다 — 다섯 회사의 게임 — 반면 사후학습은 빠르게 민주화되고 있습니다. 오픈 모델은 레시피와 함께 공개되고, 공개 체크포인트 파인튜닝은 수백만이 아니라 수백 달러. 벤더의 '당신용 커스텀 모델'은 거의 항상 사후학습을 가리킵니다.