GLOSSARY
어텐션
모델이 각 출력에 입력의 어느 부분이 중요한지 판단하게 하는 기제. 현대 AI를 가능하게 만든 단 하나의 아이디어입니다.
어텐션은 매 단계 하나의 질문에 답합니다. '내가 본 모든 것 중 지금 무엇이 중요한가?' river bank의 bank을 읽을 때 어텐션은 river를 끌어당기고 finance를 낮춥니다. 각 토큰은 다른 모든 토큰과 관련도를 계산하고, 모델은 주목한 것들의 가중 혼합이 됩니다.
그래서 트랜스포머가 장거리 의미를 다루고, 번역이 몇 단락 전의 성별을 기억하며, 컨텍스트 윈도우가 토큰으로 측정되는 것입니다 — 어텐션 비용은 모든 쌍에 따라 늘어납니다. 그 변형들(멀티헤드, grouped-query, flash attention)은 vLLM 같은 추론 엔진 뒤의 배관 최적화입니다.