Buoyant 开源 Kinference：给 vLLM 配的 Kubernetes 推理控制面，按已有上下文再调度

Buoyant 开源了 Kinference，这是一套给 vLLM 用的 Kubernetes 推理控制面。客户端把请求发到它的 HTTP 接口，再由它决定派到哪台已经装好模型的 GPU 节点。除了按租户限制速率和统计用量，它还会看各卡上的队列长短，以及每张卡已经处理过、仍留在本地的上下文，再挑更合适的节点去跑。官方自己做的对比里，在一类负载上，开始吐出第一个字的等待时间明显短于普通 Kubernetes 负载均衡；在多条请求共用同一段提示词前缀时，同样时延要求下也能处理更多请求。项目采用 Apache-2.0 许可。

由 dalao.ai 撰写：标题、摘要和“为什么重要”是我们自己的文字；事实以原始报道为准，著作权归原发布者所有。