Xinference
产品状态: 尚未登记状态
本条目尚未登记生命周期复核。被目录收录不代表当前可用，选用前请向厂商确认。
尚未记录状态查看日期
LLM 与更多的分布式推理：带界面跨群集服务模型——Ollama 的更群集原生表亲。 本条目尚未登记生命周期复核。被目录收录不代表当前可用，选用前请向厂商确认。
产品预览
深度介绍
Xinference 出自 Xorbits 项目，是一个让你自己跑开源模型的服务器：一条命令就能起语言、语音识别与多模态模型，把它们放在 OpenAI 客户端已经看得懂的接口后面（含函数调用），再补上命令行、远程调用接口与一个管理已加载模型的网页控制台。模型目录替你准备好权重，省得自己去找；它会同时使用显卡与处理器，而不是咬定一种硬件。仓库近期的工作加上了并发请求的自动批处理、跨工作节点的分布式推理，以及「重配运行中的模型而不强制重启」的版本。
它适合想要一个内部模型平台而不是单个本地二进制文件的团队：好几类模型供好几个项目使用，能部署在自己的机器或私有云上，另有单独售卖的企业版。只想要「在一台笔记本上跑模型的最省事办法」的一个人则不太适合：那里用单个本地运行器更少要装、更少要养。不愿意承担一项服务运维的人同样不适合：一群工作节点就是一项服务，随之而来的是部署与监控。
未核实：本次没有安装任何东西，也没有加载模型，因此吞吐、批处理行为与分布式模式都没有实际跑过。功能清单与发布信息来自仓库自己的描述；仓库接口显示约 9,608 星、875 个分支、Apache-2.0 许可，最后一次推送在 2026 年 10 月 11 日。文档站点与企业版的页面没有打开，因此免费版与付费版的差别、以及任何价格都不明。本地运行器在同一模型上是否追得上最快的单机引擎没有测量；「不同种类的硬件一起用」则是项目自己的说法。
本条目尚未登记内容来源。目录收录和既有评分不代表相关主张已获独立验证。
优点 / 缺点
优点
- 不止 LLM 的模型动物园
- 群集模式开箱即用
- 正经的模型运维界面
- OpenAI 端点好接线
缺点
- 要学要养的群集运维
- 单机速度逊于 llama.cpp
- 文档以中文社区为先
适合谁用
自托管推理群集
要嵌入加重排的 RAG 栈
跨团队共享 GPU
本地机房模型平台
编辑结论
把服务当服务、而不是当二进制文件的自托管模型服务器——为「跨多种模型的内部平台」选它，而不是为一台笔记本。
核心功能
标签
常见问题
Xinference 目前还能使用吗？
本条目尚未登记生命周期复核。被目录收录不代表当前可用，选用前请向厂商确认。
Xinference 是什么？
Xinference 是由 Xorbits 开发的AI 平台工具。它于 2023 年推出，开发方总部位于远程。LLM 与更多的分布式推理：带界面跨群集服务模型——Ollama 的更群集原生表亲。
Xinference 是免费的吗？
是的——Xinference 可以免费使用。
Xinference 是开源的吗？
是的——Xinference 是开源软件，源代码可在 https://github.com/xorbitsai/inference 公开获取。
Xinference 有哪些最佳替代品？
值得关注的AI 平台替代品包括 Hugging Face、Replicate、Ollama。你可以在我们的AI 平台分类中浏览全部 138 个工具。
这个页面有帮助吗？
