Hugging Face 发布大规模 MoE 训练手册：约 50 万 GPU 小时经验写成可跟练指南
Hugging Face 的 Nouamane Tazi、Leandro von Werra 与 Thomas Wolf 于 11 月 5 日公开《The Ultimate MoE Training Handbook》。作者称投入约 50 万 GPU 小时优化混合专家训练，写成约 3 万字、配 50 多幅交互图的指南，从单节点练起讲到路由器、负载均衡与集群通信。读者可按文中配方先训一个约 68.6 亿总参、每 token 激活约 12.2 亿的小 MoE。页面托管在 Hugging Face Space。
为什么重要
开源圈里少有把 MoE 训练里的设置和踩坑写成能跟练的长文，做过稠密模型、想上 MoE 的人可以直接对照。
来源1
由 dalao.ai 撰写：标题、摘要和“为什么重要”是我们自己的文字；事实以原始报道为准，著作权归原发布者所有。