SGLang 首日支持 Kimi K3.1 Pro,在 GB300 上单卡吞吐可达 33.7K tok/s

SGLang@sgl_project

译自英文

Kimi K3.1 Pro 把稠密的 MLA 换成了稀疏注意力(DSA),推理效率更高,部署也更省事。 SGLang 首日即支持: · 单卡可达 33.7K tok/s(AgentX,GB300) · 配合 DFlash2 和 MegaKernel,单用户 450 tok/s · 支持 NVIDIA Vera Rubin、Blackwell、Hopper,以及 AMD、TPU、Trainium、PPU
X

来源1

由 dalao.ai 撰写标题;引用的帖子以原文为准,著作权归原作者所有。