LocalAI
你自己跑的 OpenAI 兼容 API：丢进 GGUF 或其他本地后端，SDK 不变，提示词永不离开机器。
产品预览
localai.io
深度介绍
LocalAI 是让现有 OpenAI 客户端跟你自己的硬件说话的即插件：同样的 base URL 形状、本地权重、没有厂商。Ollama 作为守护进程加 CLI 更友好；Jan 和 LM Studio 作为应用更友好。LocalAI 作为放在自有工具后面的服务器更友好，包括那些应用当附加功能的图像和音频端点。
你得运维它。模型、GPU，以及“兼容 OpenAI”和“这一条路径 404”之间的缝，都是你的。对已经会说 OpenAI SDK 的隔离栈，它是改写最少的本地网关。
优点 / 缺点
优点
- OpenAI SDK 对着 localhost 继续工作
- 不止聊天：图像、音频、嵌入
- MIT、Docker 原生、无账号
- 适合隔离与自托管栈
缺点
- 模型和 GPU 要自己运维
- 兼容是“多数路径”，不是契约
- 对坐在键盘前的人不如 LM Studio 友好
适合谁用
01
让现有 OpenAI 客户端指向本地权重
02
Docker 里的隔离 LLM API
03
本地嵌入与图像端点
04
用自有硬件替换云 API 账单
编辑结论
在你自己的硬件上长成 OpenAI 的 API 形状——给已经会说这套 SDK 的栈用的本地网关。
核心功能
兼容 OpenAI 的 REST API
GGUF、llama.cpp 及其他后端
对 Docker 与 Kubernetes 友好
图像、音频与嵌入端点
MIT 许可，无需账号
标签
本地大模型开源API
LocalAI 与替代品对比
常见问题
LocalAI 是什么？
LocalAI 是由 mudler 开发的AI 平台工具。该公司成立于 2023 年，总部位于意大利。你自己跑的 OpenAI 兼容 API：丢进 GGUF 或其他本地后端，SDK 不变，提示词永不离开机器。
LocalAI 是免费的吗？
是的——LocalAI 可以免费使用。
LocalAI 是开源的吗？
是的——LocalAI 是开源软件，源代码可在 https://github.com/mudler/LocalAI 公开获取。
LocalAI 有哪些最佳替代品？
值得关注的AI 平台替代品包括 Hugging Face、Replicate、Ollama。你可以在我们的AI 平台分类中浏览全部 4 个工具。
这个页面有帮助吗？
