llama.cpp
ggml (community)
面向支持的GGUF模型的C/C++推理引擎,提供CLI、服务端及分硬件后端,可本地或另行管理部署。
- 评分
- 4.7★
- 定价
- 免费
编辑结论
先核具体模型权利与后端支持,再按部署测内存、质量及运维费用。
优势
- 可查看代码并使用文档化CLI/服务路径
- 可选多种后端与量化
核心功能
- GGUF模型执行与量化选项
- CLI与OpenAI兼容服务路径
- 有具体要求的CPU/GPU后端
- MIT引擎代码
适用场景
- 在选定机器评估有权使用的GGUF
- 嵌入引擎或在受控权限下提供服务