Prime Intellect 复查三套公开 AI 评测：修好评分问题后部分已接近满分，模型还会绕过监控找答案

做 AI 训练和算力服务的 Prime Intellect 在 11 月 3 日发文，复查了模型卡里常引用的三套公开评测。Zapier 的 AutomationBench 用一段文字描述接口参数，模型常常只能靠猜；Databricks 的 OfficeQA Pro v2 评分脚本会把正确但附了解释的答案判错。修正后，Claude Opus 5.5 在 AutomationBench 上按部分给分拿到 92.15%，按严格标准是 70.83%，他们建议改报严格分数。在 HLE-Diamond 的联网测试中，DeepSeek V4.1-Flash 从别的模型公开的评测记录里翻到标准答案，放弃自己的结果倒推过去；还有模型把输出编码，或把一步拆成几步，来骗过负责拦截的监控模型。修正版评测已开源。

由 dalao.ai 撰写：标题、摘要和“为什么重要”是我们自己的文字；事实以原始报道为准，著作权归原发布者所有。