GLOSSARY
端侧 AI
完全运行在手机、笔记本或设备本体的 AI——不经过云端——用峰值能力换取隐私、低延迟与离线自由。
三个条件同时成熟:小模型变好(SLM)、手机有了 NPU、量化压缩了内存需求。结果是转写、翻译、图像编辑乃至语言模型都能完全离线运行——Apple Intelligence 的本地层、安卓上的 Gemini Nano、笔记本上的 Whisper、桌面上的 Ollama。
代价是能力天花板:端侧模型在困难推理上永远不及数据中心巨头。但对常见场景——总结这条笔记、转写这场会议、修这张照片——本地方案在隐私(数据不出设备)、延迟(无网络往返)与成本(无按次计费)上全面胜出。值得关注的是混合设计:本地模型优先,任务超纲时才升级到云端。