NVIDIA 开源 Reshard 集合通信，NeMo RL 基准 RL 权重 refit 约 2.7–5.7 倍加速
NVIDIA 技术博客介绍新的 Reshard 集合通信：把强化学习后训练里训练 GPU 向推理 GPU 的权重刷新（refit）改写成任意并行布局间的 DTensor 传输，只搬分片交集，替代 gather-and-broadcast。参考实现 NCCL M2N Reshard 已开源；NeMo RL 已接入并对前馈投影权重走 Reshard。在 DGX H100 与 GB200 上相对传统路径约 2.7–5.7 倍加速，例如 Qwen 3 235B 6.4 秒→1.9 秒、DeepSeek v3 671B（H100）14.9 秒→2.6 秒；Qwen3.8 2.4T BF16 微基准约 4.3 秒。
为什么重要
RL 后训练 refit 通信量随模型体量膨胀；把布局重排做成集合通信并开源参考实现，直接卡住大模型对齐吞吐。
来源1
由 dalao.ai 撰写：标题、摘要和“为什么重要”是我们自己的文字；事实以原始报道为准，著作权归原发布者所有。