论文 BeNice!：循环 Transformer 跨循环共享 KV 缓存，1.3B 模型 GPU 显存占用降低 66.2%
译自英文
“BeNice! Closing Looping’s Inference-Memory Gap via KV-Sharing”
循环 Transformer 多次复用同一组层，在不增加参数的情况下提升性能，但其 KV-cache 内存仍会随每次循环增长。
这篇论文提出一种训练方法，让不同的循环复用同一个 KV-cache 而不损失准确率：把随机深度预训练与一个微调目标结合起来，使较早的循环与最后一次循环的 cache 兼容。
在一个 1.3B 模型上，某个测试配置中 KV 共享把 GPU 总内存占用降低了 66.2%。在模拟的长上下文负载中，它还把吞吐量最多提高 23.6%，并把 90pt 首 token 延迟降低 83.6%，同时保持模型质量。
alphaxiv.org/abs/2610.31633X来源2
- @askalphaxivX“BeNice! Closing Looping’s Inference-Memory Gap via KV-Sharing” 循环 Transformer 多次复用同一组层，在不增加参数的情况下提升性能，但其 KV-cache 内存仍会随每次循环增长。 这篇论文提出一种训练方法，让不同的循环复用同一个 KV-cache 而不损失准确率：把随机深度预训练与一个微调目标结合起来，使较早的循环与最后一次循环的 cache 兼容。 在一个 1.3B 模型上，某个测试配置中 KV 共享把 GPU 总内存占用降低了 66.2%。在模拟的长上下文负载中，它还把吞吐量最多提高 23.6%，并把 90pt 首 token 延迟降低 83.6%，同时保持模型质量。 https://alphaxiv.org/abs/2610.31633译自英文 · 查看原文 ·
arXiv研究BeNice! Closing Looping's Inference-Memory Gap via KV-Sharing英文原标题 · 查看原文 ·
由 dalao.ai 撰写标题；引用的帖子以原文为准，著作权归原作者所有。