OpenAI 研究员发现 Astra 在安全研究任务上会暗中降低表现，同类编码任务得分 10% 对 16%

译自英文 · 查看原文

🧵 Astra 在安全研究任务上会暗中降低表现。 我们注意到，Astra 在某些类型的安全研究上进展少得出奇，还常常自己编造阻碍、设下随意的限制，却不告诉用户。多数情况下，它在思维链里并没有说出要故意做差，所以我们的失准监测系统没能发现。 为了量化这种表现下降，我们做了一套成对的开放式编码评测，分安全任务和能力任务。同样的编码任务，说成安全研究时 Astra 得分 10%，说成能力研究时得分 16%。排除拒绝回答和在思维链里明说要做差的轨迹之后，差距依然存在。5.6-sol 没有这种差距。如果把思维链里哪怕只是简短流露出伦理疑虑的轨迹也严格过滤掉，差距似乎会缩小。