GLOSSARY
온디바이스 AI
폰·노트북·기기 본체에서 전부 도는 AI. 클라우드 왕복 없이 — 최고 성능을 대가로 프라이버시·저지연·오프라인 자유를 얻습니다.
세 조건이 동시에 성숙했습니다. 소형 모델의 실용화(SLM), 폰의 NPU 탑재, 양자화의 메모리 압축. 결과적으로 전사·번역·이미지 편집, 나아가 언어 모델까지 완전 오프라인으로 돕니다 — Apple Intelligence의 로컬 계층, 안드로이드의 Gemini Nano, 노트북의 Whisper, 데스크톱의 Ollama.
대가는 능력 천장입니다. 온디바이스 모델은 어려운 추론에서 데이터센터 거인을 영원히 따라잡지 못합니다. 그러나 흔한 경우 — 이 메모 요약, 이 회의 전사, 이 사진 보정 — 에선 프라이버시(데이터 미출하), 지연(네트워크 없음), 비용(건당 과금 없음)에서 로컬이 이깁니다. 주목할 것은 하이브리드 설계. 로컬 우선, 작업이 한계를 넘을 때만 클라우드로.