GLOSSARY
트랜스포머
챗봇부터 이미지 생성기까지 현대 거의 모든 AI 모델의 기반이 되는 신경망 구조. 핵심은 attention(어텐션)입니다.
Transformer는 2017년 논문 'Attention Is All You Need'에서 제안됐고, 순차 순환을 attention으로 대체했습니다. 입력의 어느 부분이든 다른 모든 부분에 직접 영향을 주어 장거리 관계를 포착하고, 수천 GPU에서 병렬 학습이 가능합니다. 바로 이 병렬성이 인터넷급 데이터 학습을 가능하게 했습니다.
이 디렉터리의 모든 것은 여기로 거슬러 올라갑니다. GPT류 언어 모델은 Transformer 디코더, Stable Diffusion류 이미지 생성기는 Transformer 블록을 내장, Whisper류 오디오 모델도 Transformer입니다. 연구자들이 말하는 '스케일링 법칙'은 데이터·파라미터·연산이 늘수록 품질이 예측 가능하게 좋아지는 성질입니다.