vLLM：DeepSeek-V4.1-Flash 的 decode 吞吐与 DeepInfer 差距在 6% 以内，单卡总吞吐 95.4 万 tokens/s

10 月 25 日周日 01:59 UTC+8更新于 10 月 31 日周六 20:54 UTC+8

vLLM 10 月 23 日博客：GB200 上按 DeepSeek 的 decode 配置，批大小 8–256 时 decode 吞吐与 DeepInfer 差距在 6% 以内；DeepInfer 数据读自其图表，非同台实测。GB300 NVL72 上用 P/D 分离加 Wide-EP，AgentX 达每 GPU 95.4 万 tokens/s，闲时价约每 GPU 小时 38.96 美元。

为什么重要

vLLM 称其在 DeepSeek-V4.1-Flash 的 decode 配置上已追平 DeepSeek 自研引擎 DeepInfer。

来源2

vLLM Blog媒体10 月 23 日周五 08:00Serving DeepSeek-V4.1-Flash at Scale: vLLM Matches DeepInfer and Scales to GB300 NVL72英文原标题 · 查看原文 · 10 月 23 日周五 08:00
@vllm_projectX10 月 25 日周日 01:59在 DeepSeek 的解码配置下，vLLM 在 batch size 8 到 256 的范围内追平了 DeepSeek 为 DeepSeek-V4.1-Flash 打造的自家引擎 DeepInfer，而且用的是 DEP32，对方是 EP64DP64。 DeepInfer 最初就是基于 vLLM 构建的。通过集成 DeepSeek 的开源内核，并对 prefill 和 decode 做大量优化，vLLM 现在的性能曲线已与 DeepInfer 持平。译自英文 · 查看原文 · 2 篇 · 10 月 25 日周日 01:59
- 除了追平 DeepInfer 的性能，我们还在 @SemiAnalysis_ AgentX 上用真实的智能体工作负载测试了 vLLM。按 DeepSeek 的闲时价格，vLLM 实现每 GPU 小时 $38.96 的收入，每 GPU 总吞吐量 954K tokens/s（缓存+输入+输出），每用户 P90 为 196 tokens/s。这是 DeepSeek-V4.1-Flash 在 AgentX 上有史以来的最佳成绩，得益于 vLLM 近期的进展！完整的优化过程以及如何复现结果，请看我们的博客 👇 祝阅读愉快。10 月 25 日周日 07:23

由 dalao.ai 撰写：标题、摘要和“为什么重要”是我们自己的文字；事实以原始报道为准，著作权归原发布者所有。