Xenova 发布浏览器内交互演示：操控 Qwen3.5-4B 的两个神经元即可改变其输出倾向

译自英文 · 查看原文

🌲 树状打包已登陆 TRL 的 AsyncGRPO！ ⚡ 在智能体强化学习中，达到相同奖励所需的训练计算量减少 26×。 GRPO 会从同一个提示开始 G 次，分叉的多轮 rollout 共享大部分历史。序列打包对每个样本前向一次这些共享 token，而树状打包对每个唯一 token 只前向一次。 第一版使用 FlexAttention，但正式发布的版本是单次 FA3 varlen 调用。每个 token 保留自己的目标、优势值和先前的 log-prob。 已在稠密、滑动窗口、softcap、MoE 和 VLM 模型上与序列打包做了大量对比测试。无法打包任何内容时，开销约为 1%。 在 MiMo Envs 上的一次真实智能体强化学习运行中，树状打包以少 26× 的训练计算量达到了相同奖励 👇