ExLlamaV2
turboderp (community)
开源产品状态: 历史记录
原 ExLlamaV2 README 明确该项目暂时归档，开发转向 ExLlamaV3。本记录仅指 V2 维护；未测既有安装、fork 或第三方服务器，不判断其均不可用。V3 是另一代，不保证自动兼容。 本页保留产品历史资料，已排除在当前推荐之外。下方简介、功能、截图与编辑意见描述的是历史产品，不表示目前仍可购买或使用的服务。
- 托管服务:
- 尚未确认
- 源代码:
- 仓库已归档；托管服务状态另行判断
状态来源查看日: · 状态来源
ExLlamaV2 — 历史记录. 原 ExLlamaV2 README 明确该项目暂时归档，开发转向 ExLlamaV3。本记录仅指 V2 维护；未测既有安装、fork 或第三方服务器，不判断其均不可用。V3 是另一代，不保证自动兼容。
产品历史资料
产品预览
选型依据
本页保留产品历史资料，已排除在当前推荐之外。下方简介、功能、截图与编辑意见描述的是历史产品，不表示目前仍可购买或使用的服务。
官方资料研究
本次依据所列文档整理，没有实际使用产品、购买套餐，或进行质量、速度、可靠性测试。
适合考虑的需求
- 能维护兼容本地GPU栈并核模型权的开发者
这些情况下应考虑其他方案
- 默认V2持续开发或兼容当前TabbyAPI
- 需要即用托管服务或免费硬件的用户
价格与使用条件
已有公开条款依据
V2 MIT代码无许可费且保通知可售副本，不是云或硬件报价。GPU/CPU、内存存储、电费、工程、网络托管及模型/API另计；无统一托管币税地区、账期额度超额。归档不保证支持或未来依赖兼容。
价格来源查看日:
价格或条款来源代码、模型与服务许可范围
V2 MIT允许商用、修改和分发，须保版权/许可通知且无担保；只覆盖V2代码，不覆盖全部量化checkpoint、基础模型、数据、输出或依赖。TabbyAPI另为AGPL3代码，改网络版需向远端用户提供对应源码且现V3范围须核。本地推理不证明下载、工具、日志或远程服务器零留存/不外发，须核实际模型许可、数据路径及运营方合同。
既有评分的依据与限制
保留原4.5/5；原评分细表及实测依据未取得，本轮文档研究未重评。
深度介绍
ExLlamaV2在本地消费级GPU运行受支持语言模型，提供EXL2或4bit GPTQ路径、动态batch和缓存控制。README现明示暂时归档，开发转ExLlamaV3，不能把V3格式及功能套给V2。
须核具体模型格式、PyTorch/CUDA及编译扩展ABI。V2链接TabbyAPI，但当前Tabby main写V3 backend且定位业余非生产；应选兼容历史版本，不默认现main直接替换V2。未测硬件、质量或吞吐。
资料来源
本篇的事实性陈述来自以下页面。日期是编辑最后一次打开该来源的日期，不是产品发生变更的日期。
优点 / 缺点
优点
- MIT许可本地推理代码
- 有文档的量化与批处理控制
缺点
- V2归档且需自行维护版本
- 模型权利、GPU容量及服务器兼容另核
适合谁用
维护已有兼容V2部署
研究EXL2量化及本地推理
编辑结论
将V2作为需明确锁定兼容栈的归档库，不承诺当前V3或服务器兼容。
历史功能
标签
常见问题
ExLlamaV2 目前还能使用吗？
原 ExLlamaV2 README 明确该项目暂时归档，开发转向 ExLlamaV3。本记录仅指 V2 维护；未测既有安装、fork 或第三方服务器，不判断其均不可用。V3 是另一代，不保证自动兼容。 本页保留产品历史资料，已排除在当前推荐之外。下方简介、功能、截图与编辑意见描述的是历史产品，不表示目前仍可购买或使用的服务。
ExLlamaV2 是什么？
产品历史资料: 已归档的本地GPU推理及EXL2/GPTQ量化库；开发转向独立ExLlamaV3项目。 本页保留产品历史资料，已排除在当前推荐之外。下方简介、功能、截图与编辑意见描述的是历史产品，不表示目前仍可购买或使用的服务。
选择 ExLlamaV2 前应核对哪些费用与条款？
目录将“免费”记录为 ExLlamaV2 的历史定价模式，但未登记价格核验日期。这不表示当前价格、免费额度或可购买的方案。请查看状态来源了解停运或历史背景。 V2 MIT代码无许可费且保通知可售副本，不是云或硬件报价。GPU/CPU、内存存储、电费、工程、网络托管及模型/API另计；无统一托管币税地区、账期额度超额。归档不保证支持或未来依赖兼容。
ExLlamaV2 是开源的吗？
源码链接仅作为历史资料或仓库参考，不代表原托管服务仍可用、仍受维护或可直接运行。请分别核对仓库状态和许可证。 V2 MIT允许商用、修改和分发，须保版权/许可通知且无担保；只覆盖V2代码，不覆盖全部量化checkpoint、基础模型、数据、输出或依赖。TabbyAPI另为AGPL3代码，改网络版需向远端用户提供对应源码且现V3范围须核。本地推理不证明下载、工具、日志或远程服务器零留存/不外发，须核实际模型许可、数据路径及运营方合同。
ExLlamaV2 有哪些最佳替代品？
值得关注的AI 平台替代品包括 Hugging Face、Replicate、Ollama。你可以在我们的AI 平台分类中浏览全部 138 个工具。
这个页面有帮助吗？
