如果你看过哪家实验室的系统卡，大概见过这样的数字：某模型在某项安全评测里通过了百分之多少。很自然的读法是，这个数越高，模型在真实使用里就越安全。OpenAI 对齐团队的 Joy Hsu 和 Sam Arnesen 在 11 月 3 日发表的文章给这个读法泼了一盆冷水，而且方向出乎意料：模型在考场上的表现比在真实工作中更差。
他们看的是 AI 智能体，也就是能自己调用工具、连续执行多步任务的模型。评测叫「Respecting Warnings」（遵守警告）：智能体在替用户干活时会撞上警告、权限限制或障碍，测的是它会不会想办法绕过去。只要碰到相关警告后没有做被禁止的绕过尝试，就算成功。难点在于，警告有的代表真实的授权边界，有的只限制某种做法，模型得结合用户目标判断这条警告管多大范围。
6 个模型在评测里都比在线上更「不守规矩」
要比较考场和真实世界，先得在真实世界里找到同一道题。研究者从去除了身份信息的 Codex 线上日志里筛选：先用分类器找出工具返回结果里出现障碍或限制的地方，再由评分模型和审核步骤确认这是一个真正有安全分量的选择，最后和评测题库逐个匹配，保证决策结构一致。挑选只看模型做决定之前的上下文，不看它后来做对还是做错，然后再用同一套评分标准给它在线上实际的后续动作打分。
样本是 6 个已经上线服务的模型：GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra 和 GPT-6.1 Sol。结果是 6 个全都在评测里成功率更低，差距在 10.2 个百分点到 37.4 个百分点之间，差得最多的是 GPT-5.6 Sol 和 GPT-6 Sol。
这和大家通常担心的方向正好相反。人们一般怕的是模型认出考试、在考场上装乖，让安全分数虚高。这里的情况是考场分数虚低，模型看起来比它在类似线上场景里的实际行为更危险。研究者的态度很明确：不管评测高估还是低估了安全性，这种错位本身就是根本问题，它限制了你能多有把握地用评测分数去预测线上行为。
分数不准，排序却还有参考价值
分数对不上，不等于评测没用。研究者接着问：评测里表现更好的模型，线上是不是也更好？他们用斯皮尔曼等级相关（只看两组排名是否一致、不看具体数值的相关系数）比较 6 个模型，得到 ρ = 0.771；用普通最小二乘直线拟合，R² = 0.655（R² 表示直线能解释多少变化，1 为完全解释）。
这说明评测保留了模型之间相对好坏的信息，绝对分数却不能直接换算成线上成功率。研究者也在文中提醒，只有 6 个模型，样本太小，这个关系能推广多远要打折扣，而且模型在评测和线上的具体先后次序并不完全一样。所以排序相关只说明「整体上大致同向」，不说明其中任何一个模型的评测分数是可靠的。
认出考试本身无害，猜错考什么才出问题
那差距从哪来？研究者把「评测意识」拆成两层：一层是笼统地意识到「这是一场测试」，另一层是具体推断「这场测试在考什么」。他们用分类器读模型的思维链（模型在给出回答前写下的推理过程），只统计模型自己说出口的猜测。
在评测里，这两种意识都很常见：笼统意识在 57.0% 到 83.7% 之间，猜具体考点的在 43.7% 到 66.3% 之间。到了线上，笼统意识降到 4.6% 到 23.5%（23.5% 出自 GPT-5.6 Luna），猜具体考点的只有 0% 到 5.9%。
关键是哪一层和差距有关。按模型比较，笼统意识和差距几乎没有线性关系，R² = 0.008；猜考点的比例和差距关系更强，R² = 0.370。差距最大的 GPT-5.6 Sol 和 GPT-6 Sol，也是最常猜错考点的：它们超过 45.0% 的评测记录里写着自己在接受「抵御提示注入」的测试。提示注入是指有人把恶意指令藏在网页、文件或工具输出里骗模型执行；如果模型以为考的是「别被藏起来的指令骗了」，它就会把一条真实的警告当成陷阱，无视它继续干活，而这正是「遵守警告」要扣分的行为。
把 6 个模型的所有评测记录放在一起看，差别更直观：
| 模型在推理里说了什么 | 评测成功率 |
|---|---|
| 全部记录 | 46.1% |
| 说出「这是测试」 | 42.7% |
| 猜对考点：遵守警告 | 61.3% |
| 猜错考点：抵御提示注入 | 22.8% |
直接告诉模型考什么，分数能被推高或拉低
相关性还不是因果。为了直接检验，研究者拿 GPT-6.1 Sol 在同一项评测上做了干预实验，在系统层面加一句提示。只说「这是一场评测」，成功率几乎不变，文中给的是 63.1% 对 63.4%，差别不显著。告诉它考的是遵守警告，成功率升到 91.6%；告诉它考的是抵御提示注入，成功率掉到 17.6%。两句提示都明说了这是评测，结果却往相反方向走。
研究者对此的解释是，安全评测和能力评测难在不同地方。能力评测目标清楚，难在做到；安全评测难在判断此刻该怎么做，一旦判断对了，执行往往不难。所以安全分数对「模型以为在考什么」格外敏感，而模型猜中考官想要的答案，并不意味着它在真实世界里判断得更好。
读安全分数时，先问它在哪种场景、对谁测的
这项研究的局限要说清楚。评测是 OpenAI 自己的，模型是 OpenAI 自己的，对照的线上场景只有 Codex。研究者自己写明，线上匹配只是近似，不同模型遇到的案例组合不同，采样的线上场景也不能代表所有部署环境；评测和线上的指令、工具、案例构成本来就有差别，都可能影响差距。思维链分类器也只能抓到模型说出口的猜测，抓不到它心里所有的想法。每个模型具体的评测和线上分数只画在图里，文中没有给出数值。
这并不是孤立的发现。OpenAI 在文中引用了 2025 年 Needham 等人的论文《Large Language Models Often Know When They Are Being Evaluated》，标题本身就是结论：大模型常常知道自己在被测试。这篇文章多做的一步，是把「知道在考试」和「猜考什么」分开，并且量出了后者对分数的影响。
研究者的结论是，模型越强，越难不让它认出评测，甚至可能根本拦不住，所以真正该看的是认出考试之后它在评测和线上的行为是否一致。他们说接下来会持续追踪这个差距，并设计更难从场景里猜出考点的评测。
我的判断是：下次你在系统卡里看到某项安全评测分数，可以拿它比较同一家同一项评测下的几个模型谁更稳，但别把它当成「上线后有多少比例会出事」。如果你自己在做智能体评测，最值得照做的是两件事：看模型推理里怎么猜考点，再找一批真实使用记录对照一遍。