SGLang版本更新
SGLang v0.5.23：新模型与低延迟推理
SGLang v0.5.23 新增多款大模型与扩散模型，并显著加快 DeepSeek 等负载。DeepSeek-V4.1 在 GB300 上预填充吞吐最高约 1.5 倍，首 token 延迟约降 28%；可选的 NVIDIA megakernel 与 AMD monokernel 把解码做成持久融合内核。
Paged Experts 可让超出显存的 MoE 在单张消费级 GPU 上跑；另支持 Google TPU7x，以及在量化 MoE 上挂载 LoRA 适配器。
要点
- 新增多款 LLM/VLM 与扩散模型
- DeepSeek 预填充与首 token 更快
- 可选低延迟 megakernel/monokernel
- Paged Experts 撑起超显存 MoE
- 支持 TPU7x 与量化 MoE 上 LoRA
原文：SGLang · v0.5.23
DeepSeek-V4.1 on GB300 gets up to 1.5x more prefill throughput under load and about 28% lower first-token latency on 32K to 64K prompts.
收录于 。摘自 GitHub 版本发布的简短节选，著作权归原发布者所有。