dalao.ai

SGLang

面向大语言模型和多模态模型的高性能推理服务框架参考档案开源

关于 SGLang

SGLang 是 LMSYS 托管的开源大模型推理服务框架，用来把开放权重模型部署成高吞吐、低延迟的 API 服务，从单张 GPU 到大规模集群都覆盖。它以 Apache-2.0 许可证开源；截至 2026-10-30，GitHub 上约 3.84 万星、1.0 万复刻。最新正式发布为 v0.5.22（2026-10-19）；v0.5.23 的 tag 已在 2026-10-30 创建，尚无 release notes。

编辑部更新于 阅读约 3 分钟

它解决什么问题

开放权重模型下载下来只是一堆权重文件，要变成能同时服务大量请求的接口，还要处理批处理调度、KV 缓存复用、多卡并行和各家硬件适配。SGLang 做的就是这一层：启动一个服务进程，对外提供 OpenAI 兼容接口，内部负责把 GPU 用满。

README 把它定位为面向智能体负载、大规模部署和强化学习 rollout 的推理框架。同一个 Python 包里还带了图像和视频生成引擎 SGLang Diffusion。

SGLang powers large-scale production deployments, generating trillions of tokens each day across more than 400,000 GPUs worldwide.

SGLang 官方文档首页（英文原文，官方自述）

核心能力

  • 前缀缓存：文档首页把 RadixAttention 和前缀缓存列为核心设计，多轮对话、智能体反复带同一段系统提示时，可以复用已算好的 KV 缓存。
  • 接口兼容：文档列出 OpenAI 兼容接口（Chat Completions、Completions、Vision、Embedding）、Anthropic Messages 接口（/v1/messages）和 Ollama 兼容接口，另有离线引擎 API。
  • 大规模部署：文档包含预填充/解码分离（PD 分离）、专家并行、流水线并行、分层 KV 缓存 HiCache、推测解码、结构化输出和 LoRA 服务等专题。
  • 硬件覆盖：README 列出 NVIDIA、AMD Instinct、Google TPU、Intel、Apple Silicon、华为昇腾和摩尔线程等平台。
  • 迭代快：v0.5.21（2026-10-02）的发布说明写有 227 位贡献者的 779 个 PR，v0.5.22（2026-10-19）为 245 位贡献者的 950 个 PR。

谁在用

README 称 SGLang 服务于 AI 实验室、云平台、企业和高校的生产负载，但只附了一张采用机构的图片，没有可逐条对照的名单。

公开记录里能对上的一例是 Cloudflare：它在 2026 年 10 月的事故报告中写明，Workers AI 上的 GLM-5.3 部署运行在 SGLang 上，并称从 v0.5.10 起就在向 SGLang 报告这类问题。强化学习框架 slime、AReaL、verl 等在 README 中被列为用 SGLang 生成 rollout 的项目。

和同类比

vLLM 和 SGLang 定位最接近，同为 Apache-2.0 许可的开源推理服务框架。两者的公开基准分别来自项目方或第三方，测试条件不同，无法直接比较。

llama.cpp 和 Ollama 的 README 都把本地运行放在首位（也提到云端），并提供 macOS、Windows、Linux 上的安装方式，以本地和单机为主要场景；SGLang 的快速上手以 Linux 加 NVIDIA GPU 为前提，文档重心是数据中心 GPU 和多机部署。

适合与不适合

适合：

  • 要在自有 GPU 上部署开放权重模型、自建推理服务的团队；
  • 需要 PD 分离、专家并行等大规模能力的平台；
  • 做强化学习训练、需要高吞吐 rollout 的研究组。

不适合：

  • 只想在笔记本上试模型的个人用户，快速上手文档默认的环境是 Linux 加 NVIDIA GPU；
  • 没有人手跟进版本和安全修复的小团队。

上手路径

快速上手文档以 Linux 加 NVIDIA GPU（CUDA 13 兼容驱动）为前提：先 docker pull lmsysorg/sglang:latest，再用 sglang serve <模型 ID> --host 0.0.0.0 --port 30000 启动服务，然后发一条请求确认服务正常。也可以用 uv 安装 Python 包。

按模型和硬件挑启动参数，可以查官方 Cookbook（cookbook.sglang.io）。

定价与许可证

软件免费。仓库根目录的 LICENSE 文件是 Apache License 2.0（截至 2026-10-30）。

README 和文档中未见官方托管推理服务，费用主要是自己的 GPU 和运维。README 给出企业部署、技术咨询和赞助的联系邮箱 sglang@lmsys.org，但没有写明是否收费。

风险与局限

多租户隔离。Cloudflare 的报告称，2026-08-27 至 09-09 间，Workers AI 上的 GLM-5.3 有 155 条响应混入了其他客户请求的数据，均出现在超过 681,280 token 的长提示中；原因之一是 SGLang 在 PD 分离模式下没有拒绝装不下的请求。修复从 v0.5.20 开始；Cloudflare 建议所有使用 SGLang 的运营方把依赖升级到 v0.5.22 或更高版本。SGLang 团队的说明称，单实例部署不受这类跨引擎传输竞态影响。

防护默认关闭。SGLang 团队的说明称，新增的 PD KV checksum 检查（#39500，参数 --disaggregation-enable-kv-checksum）默认不开启，因为开启后每次传输都要多读一遍显存中的 KV 缓存，并多一个同步点。

维护压力。截至 2026-10-30，仓库有约 6,279 个未关闭的 issue 和 PR；与这次事故直接相关的 issue #30233 于 2026-09-05 被 github-actions 机器人以 inactive 为由自动关闭。

版本号仍在 0.x，发布说明里常有行为变化；README 和文档中未见向后兼容承诺。

我们的判断

SGLang 是 GitHub 星标约 3.84 万（2026-10-30）的开源数据中心推理框架：许可证宽松，硬件覆盖广，迭代很快。代价是运维和安全责任都在部署方身上。用它做多租户服务的团队，需要跟紧版本，并按 Cloudflare 和 SGLang 公开的清单自查 PD 分离配置。

资料来源

官方

  1. SGLang READMEGitHub · 访问于 2026 年 10 月 30 日
  2. sgl-project/sglang（GitHub 仓库）GitHub · 访问于 2026 年 10 月 30 日
  3. SGLang LICENSE（Apache-2.0）GitHub · 访问于 2026 年 10 月 30 日
  4. SGLang ReleasesGitHub · 访问于 2026 年 10 月 30 日
  5. SGLang TagsGitHub · 访问于 2026 年 10 月 30 日
  6. SGLang v0.5.22 发布说明GitHub · 访问于 2026 年 10 月 30 日
  7. SGLang v0.5.21 发布说明GitHub · 访问于 2026 年 10 月 30 日
  8. SGLang 文档首页docs.sglang.io · 访问于 2026 年 10 月 30 日

动态与深度阅读

长文编辑部

Cloudflare 跨客户泄露：开源推理引擎的隔离责任落在上下游之间

SGLang 仓库里一份写明根因和补丁的问题单，在 Cloudflare 收到泄露报告三天前被机器人以“无活动”关闭。Cloudflare 以为引擎会拒绝装不下的请求，引擎在 PD 分离部署下没有拒绝。自建推理或挑选推理服务商的小团队，面对的是同一条缝隙。

资讯Cloudflare

Cloudflare 披露 Workers AI 跨客户数据泄露事故，根因涉及 SGLang 缺陷

Cloudflare 称，8 月 27 日至 9 月 9 日间，Workers AI 上的 GLM-5.3 模型有 155 条回复混入了其他客户请求的数据，均出现在超过 681,280 token 的长提示中。原因是上下文窗口与 KV 缓存池容量不匹配，触发了开源推理引擎 SGLang 在预填充/解码分离模式下的缺陷。Cloudflare 表示未发现蓄意利用迹象。

2 个来源 · X 上 1 条讨论