GLOSSARY
추론 시점 연산
답하는 단계에서 더 많은 연산을 쓰는 것 — 더 오래 생각하고, 여러 번 샘플링하고, 검증하기 — 사전에 모델을 키우는 것만이 아니라.
고전적 스케일링 레버는 학습 시점이었습니다. 더 많은 파라미터, 더 많은 데이터. 추론 시점 연산은 새로운 축입니다. 질문 시점에 모델은 단계별로 숙고하고(추론 모델), 다수의 후보를 생성해 최선을 고르고(best-of-N), 자기 작업에 검증기를 돌릴 수 있습니다. o1/R1급 모델은 몇 초의 사고를 정확도와 맞바꾸는 것이 몇 배나 큰 모델을 이길 수 있음을 보였습니다.
이것이 제품 경제를 다시 만듭니다. 지능이 질문당 임대 가능한 것이 되어 — 어려운 문제에 더 많이, 쉬운 문제에 덜 — '생각 단계'별 과금과, 그 이면의 쿼리당 지연·비용 상승에 따라 빠른 모델과 숙고 모델 사이 라우팅(Groq·OpenRouter 생태가 하듯)이 설계 기술이 됩니다.