10 月 20 日 04:09 UTC，DeepSeek 工程师 Jiashi Li 向 GitHub 上一个新仓库推送了第一条提交，提交说明只有两个词："initial commit"。仓库叫 DeepInfer，是 DeepSeek 线上服务所用的推理框架。随附的部署问答文档里有一句很少有模型公司愿意公开的话：单个集群每天处理 155 万亿 token，按低谷价计算，每 GPU 小时收入 38 美元。
三天后，开源推理引擎 vLLM 的团队发了一篇博客。它在 GB200 上按 DeepSeek 的解码配置测试，称批大小在 8 到 256 之间时，解码吞吐与 DeepInfer 公布的结果相差不到 6%，预填充也跟得上 DeepInfer 公布的曲线。博客还给出另一个数字：用 SemiAnalysis 的 AgentX 基准，在一个英伟达 GB300 NVL72 机柜上跑同一个模型 DeepSeek-V4.1-Flash，按 DeepSeek 的非高峰价折算，每 GPU 小时 38.96 美元。这个数字是把吞吐按价格折成的收入，并非与 DeepInfer 的对比。又过了一天，另一个开源引擎 SGLang 的团队用 DeepInfer 自己的基准，在与 DeepInfer 相同的硬件上（4 卡 GB300、4 卡 B300、64 卡 GB300）测了一轮，称预填充吞吐最多达到 DeepInfer 的 1.04 倍，解码步耗时最多短 7.4%，其余测点相差 1% 以内。
一家模型公司把自己生产环境的引擎拿出来，两个开源项目不到一周就宣布打平。几个百分点的快慢是次要的。这件事说明，对开源权重模型来说，"把模型跑得快"这一层正在变成大家共享的东西。差距转移到了 DeepSeek 这次没有开源的部分，也就是缓存存储、负载均衡和日常运维，以及最终落到账单上的价格。对绝大多数独立开发者和小团队而言，这场竞赛的好处不会以"自己部署"的方式到来，而是以更多、更便宜的 API 选择到来。
一年半前，DeepSeek 说过不开源
DeepSeek 并非一开始就打算这么做。2025 年 4 月 14 日，它在 open-infra-index 仓库里发过一篇说明，解释为什么不开源完整的内部推理引擎，列了三条理由：代码基于一年多前 vLLM 的早期分支，已经为自家模型深度改造；与内部集群管理等基础设施耦合太紧；以及"作为一个专注于做更好模型的小型研究团队，我们缺少维护大型开源项目的精力"。它当时的替代方案是把可复用的组件拆成独立库，并承诺在新模型发布前与开源社区同步推理相关的工程工作，争取第一天就有完整支持。
这次开源，前两条理由只解决了一部分。DeepInfer 的 README 明确写着，这个版本提供的是离线推理，完整推理服务所需的三样东西不在其中：KV 缓存系统、视觉编码/预填充/解码分离部署、数据并行副本之间的负载均衡，不过 README 也注明，分离部署所需的大部分引擎功能已经实现。部署问答说，KV 缓存管理和负载均衡组件"与内部基础设施紧密耦合"。截至 10 月 25 日晚，这个公开 5 天的仓库收到 198 个拉取请求，合并了 2 个。
为什么几天就能追平
追平得这么快，部分原因是这几个引擎本来就是近亲。DeepInfer 的 README 致谢部分写着，它"最初主要基于 vLLM 构建"，引擎核心文件开头注明"Derived from vLLM; modified by DeepSeek"。反过来，vLLM 在博客里说，它一直在集成 DeepSeek 开源的内核库，包括 MegaAttn、MegaMoE 和 Mega-mHC。SGLang 那边，DeepInfer 的文档承认其异步调度设计参考了 SGLang 和 NanoFlow。DeepSeek 自己也说，内部版本的内核和开源版"大体相同"，端到端性能最多相差 5%。
也就是说，真正难的计算内核早已公开，各家拼的是围绕这些内核的工程整合。vLLM 在 10 月 7 日的博客里说，模型发布后三周内，它在低并发下的吞吐提升了 1.9 倍，在每用户 150 token/秒的约束下提升了 5.3 倍。
这些"追平"的说法都需要打折听。两家公布的都是各自的测试结果。vLLM 的解码数据是在 GB200 上自己测的，DeepInfer 一方则是从其 README 图表上读出来的数值，README 注明解码测于 64 张卡；vLLM 自己也写明，预填充的配置不同，不应把差距理解为引擎之间的速度差。SGLang 承认，为了对比，它采用了均衡专家路由等设置，这些设置"只为这次对比存在"。
DeepSeek 留在手里的东西
如果引擎效率已经接近公共品，DeepSeek 没开源的部分就成了关键。部署问答描述了它的缓存系统：约 100 PiB 的 SSD 专门存 KV 缓存，按逻辑容量算每张在线 GPU 配约 14.4 TB；智能体流量的缓存保留 3 天，聊天流量保留 7 天。DeepSeek 说，聊天流量里少量缓存会被反复读取很多次，把保留期缩到 3 天左右，命中率会掉 0.5% 到 1%。
缓存直接决定价格。DeepSeek 官方价目表上，V4.1-Flash 非高峰时段缓存命中的输入每百万 token 0.003 美元，未命中 0.15 美元，相差 50 倍。对反复带着长上下文调用模型的智能体应用，命中率比引擎快几个百分点更影响账单。
部署规模是另一道门槛。DeepSeek 在问答里写，推荐的解码配置是 64 卡专家并行起步，"最小的高效部署单元是 64 卡预填充加 64 卡解码"。vLLM 的成绩是在一个 72 卡机柜上取得的。这不是小团队能租得起的规模。
小团队拿到的是价格
小团队能感受到的变化在 API 市场上。10 月 25 日 14:17 UTC，OpenRouter 上 DeepSeek-V4.1-Flash-1017 有 34 个接入端点，来自 29 家服务商。DeepSeek 自己的报价是非高峰价：输入每百万 token 0.15 美元，输出 0.60 美元。有 8 家的报价恰好是 0.30 和 1.20 美元，与 DeepSeek 的高峰价一模一样；另有 6 家的输出价低于 DeepSeek，最低的 Sail Research 标注 fp4 精度，只要 0.15 美元。
便宜不一定等价。这些端点标注的量化精度从 fp8、fp4 到"未知"都有，fp4 端点和官方服务的输出质量未必相同。缓存价格的分布也说明了问题：DeepSeek 的缓存命中价在 34 个端点里只有 DeepInfra 和 Decart 低于它，不少服务商收 0.006 美元，是它的两倍，最贵的一家收 0.08 美元。引擎可以复用，100 PiB 的缓存集群复用不了。
DeepSeek 这次还开源了一个叫 deepseek-recipe 的组件，负责在主流 API 协议和模型 token 序列之间转换，目标是让第三方部署的 API 行为与官方一致。如果它做到了，开发者在不同服务商之间切换的成本会更低。挑服务商时，量化精度、缓存价格和高峰时段定价，比"谁的引擎更快"更值得问。
单机上的坑
想自己部署的团队，遇到的是另一类问题。做 GPU 冷启动工具的 warmctl 在公司博客上发了一篇对比，作者 Kirill Bespalov 在一台 8 卡 B300 节点上测试两个引擎，称这是"多数团队能租到的最大单元"。他最初测得 vLLM 在解码上快 2 到 4 倍，预填充快 8 到 9 倍。
10 月 24 日他更新了文章：差距最可能来自一个配置问题。一位外部贡献者在 DeepInfer 的第 200 号拉取请求里指出，在部分云虚拟机上，GPU 直接发起的 RDMA 会悄悄退回到 CPU 代理模式，"没有任何 WARN 级别的日志，一切照常运行，只是更慢"。这个拉取请求称，在 8 卡 B200 上绕开这条路径后，预填充快了 1.44 到 1.79 倍，达到 README 曲线的 91% 到 104%。截至 10 月 25 日晚，它仍处于未合并的打开状态。Bespalov 在更新里写，应把 8 到 9 倍的差距理解为"没有这个修复的、单台云节点上的 DeepInfer"，而不是两个引擎的差别。
他还记录了一次冷启动花了 930 秒，其中加载权重只占 96 秒，其余时间花在编译、内核预热、自动调优和捕获 CUDA 图上。warmctl 销售的正是缩短这段时间的产品，用它恢复只要 88 秒的数字出自它自己的测试。但这类问题，正是引擎效率趋同之后小公司能找到生意的地方：驱动和网络配置、冷启动、监控，这些在基准图里看不到。
钱流向了哪里
"开源引擎"如今背后是风险资本。vLLM 的创建者和核心维护者成立了 Inferact，公司称截至 2026 年 1 月已以 8 亿美元估值融资 1.5 亿美元，由 a16z 和 Lightspeed 领投。这次的 vLLM 博客注明工作"由 Inferact 主导"。SGLang 团队的 RadixArk 在 5 月 5 日宣布完成 1 亿美元种子轮，投后估值 4 亿美元，由 Accel 领投。Inferact 的创始团队在公司成立文章里写："今天，规模化部署一个前沿模型需要一支专门的基础设施团队。明天，它应该像启动一个 serverless 数据库一样简单。"
打平 DeepInfer 的成绩，因此也是这两家公司最好的销售材料。它们和用户在大方向上利益一致，都希望推理更便宜，但它们公布的数字同时服务于自己的生意。
也有理由认为 DeepInfer 不会就此沦为参考实现。它支持批次不变推理和确定性采样，这对需要可复现结果的离线任务有用；它还支持华为昇腾 950，vLLM 和 SGLang 这两篇博客列出的硬件里都没有它。DeepSeek 也说，未来模型的推理代码会继续在 DeepInfer 里开源。下一个模型发布时，第一天跑得最好的引擎可能又是 DeepSeek 自己的。
可至少在这一个模型上，DeepSeek 写进文档的那个经营数字，已经成了别人拿来对标的基准。38 美元是它的收入，38.96 美元是 vLLM 的测算，两者的负载并不相同，不能直接比较。但一家模型公司愿意把这个数字连同引擎一起公开，至少说明在它看来，引擎已经不是需要藏起来的东西。