GLOSSARY
네이티브 멀티모달
같은 전향 패스에서 이미지를 보고, 오디오를 듣고, 텍스트를 쓰는 하나의 모델 — 전문가 파이프라인을 붙인 것이 아님.
초기의 멀티모달 제품은 파이프라인이었습니다. OCR, 캡션, LLM. 네이티브 멀티모달은 혼합 토큰 — 이미지 패치, 스펙트로그램, 텍스트 — 에서 하나의 네트워크를 학습시켜, 같은 가중치가 문장을 스크린샷에 접지할 수 있습니다. Gemini, GPT-4o와 그 동료들은 그 통일로 팝니다.
이득은 나중에 붙인 것이 아닌 교차 어텐션입니다. '이 차트가 뭐가 이상한가'가 캡션 왕복에서 픽셀을 잃지 않습니다. 비용은 모든 모달리티 쌍을 덮는 데이터와 평가, 그리고 네이티브 경로가 실패하면 제품이 조용히 파이프라인으로 돌아가는 것입니다. 브로셔의 멀티모달이 트레이스의 그것은 아닐 수 있습니다.