SGLang
产品状态: 尚未登记状态
本条目尚未登记生命周期复核。被目录收录不代表当前可用，选用前请向厂商确认。
尚未记录状态查看日期
带 RadixAttention 的服务引擎：共享前缀进缓存——vLLM 的更懂前缀表亲。 本条目尚未登记生命周期复核。被目录收录不代表当前可用，选用前请向厂商确认。
产品预览
深度介绍
SGLang 是一个 Apache-2.0 服务引擎，现由非营利开源组织 LMSYS 托管，在 OpenAI 兼容端点后服务语言、多模态、嵌入、奖励与扩散模型。招牌机制是 RadixAttention：共享提示前缀的 KV 缓存存在一棵基数树里，于是长系统提示、少样本头部或反复出现的代理脚手架只算一次，就在并发请求间复用直到被逐出。围绕它还叠着零开销 CPU 调度器、连续批处理、分页注意力、预填充-解码分离、投机解码、四路并行、由压缩有限状态机驱动的结构化输出、FP4/FP8/INT4/AWQ/GPTQ 量化与多 LoRA 批处理。用 pip、uv 或 Docker 安装，对应 CUDA 12.9 或 13.0，跑在 NVIDIA、AMD MI300/MI355、Intel Xeon、Google TPU 与昇腾 NPU 上。
要主张的是每 GPU 小时的吞吐；项目自称部署在 400,000+ 张 GPU 上并与主要 RL 框架集成——这是自报数字，请当作方向性参考而非审计结论；所读页面没有点名任何采用方。发布节奏快（v0.5.20 于 2026-09-18 发布，仓库推送 2026-09-20），调优面深得通常需要一名专职工程师。两点注意：前缀缓存只在提示真的共享前缀时才回本，一次性互不相关的查询相比别的引擎几乎占不到便宜；而且没有托管版 SGLang，也没有价目表——支持是 Slack、Discord 与 GitHub Discussions，商业咨询靠邮件。免费软件，成本是你的 GPU 时间、值班轮值和学会的那些参数。
资料来源
本篇的事实性陈述来自以下页面。日期是编辑最后一次打开该来源的日期，不是产品发生变更的日期。
优点 / 缺点
优点
- 前缀复用砍重复计算
- 基准屠榜的吞吐
- 结构化解码不卡顿
- LMSYS 研究背书
缺点
- 生态比 vLLM 年轻
- 模型覆盖略落后
- 调优旋钮偏专家向
适合谁用
共享长系统提示的代理
大规模少样本管道
结构化 JSON 抽取农场
批量推理降本
编辑结论
复用出吞吐——前缀重复用 SGLang，广度称王用 vLLM。
核心功能
标签
常见问题
SGLang 目前还能使用吗？
本条目尚未登记生命周期复核。被目录收录不代表当前可用，选用前请向厂商确认。
SGLang 是什么？
SGLang 是由 LMSYS 开发的AI 平台工具。它于 2024 年推出，开发方总部位于美国伯克利。带 RadixAttention 的服务引擎：共享前缀进缓存——vLLM 的更懂前缀表亲。
SGLang 是免费的吗？
是的——SGLang 可以免费使用。
SGLang 是开源的吗？
是的——SGLang 是开源软件，源代码可在 https://github.com/sgl-project/sglang 公开获取。
SGLang 有哪些最佳替代品？
值得关注的AI 平台替代品包括 Hugging Face、Replicate、Ollama。你可以在我们的AI 平台分类中浏览全部 138 个工具。
这个页面有帮助吗？
