SGLang 首日支持 Kimi K3.1 Pro,在 GB300 上单卡吞吐可达 33.7K tok/s
译自英文
Kimi K3.1 Pro 把稠密的 MLA 换成了稀疏注意力(DSA),推理效率更高,部署也更省事。
SGLang 首日即支持:
· 单卡可达 33.7K tok/s(AgentX,GB300)
· 配合 DFlash2 和 MegaKernel,单用户 450 tok/s
· 支持 NVIDIA Vera Rubin、Blackwell、Hopper,以及 AMD、TPU、Trainium、PPUX来源1
由 dalao.ai 撰写标题;引用的帖子以原文为准,著作权归原作者所有。