METR 评估 Anthropic 研发加速:独立审计不等于公开证据

METR 对 Anthropic 开展了约 11 周评估,获准查看部分内部资料,判断 Anthropic 提升模型能力的速度约为过去的两倍。这个结论本身可以公开,但支撑它的证据里,METR 认为最有分量的那部分多半被 Anthropic 删去。读者可以审阅公开的方法、结果与稳健性检验,但不等于能独立复算;其余部分,得看你愿意在多大程度上相信评估方的判断。

2026 年 11 月 5 日,独立评估机构 METR 发布报告,评估 AI 在多大程度上加快了 Anthropic 自身的 AI 研发。METR 的 4 位主要作者从 8 月 12 日到 10 月 29 日开展了约 11 周评估,获准查看部分内部资料,投入约 2.5 个全职人力,涉及预训练、强化学习、训练算力、内部模型跑分、员工访谈等材料,写出一份约 100 页的完整报告,交给了 Anthropic。公众看到的是这份完整报告经过删节后的公开版。

这篇文章不讨论两倍这个数是否偏高或偏低,而是看另一个问题:一个独立评估的结论,和公众能看到的证据之间,到底隔着多远。METR 自己在报告开头就回答了这个问题,而且回答得相当直接。

结论可以公开,METR 认为最有分量的证据多半没能公开

公开版开头有一段删节说明。按照合同,Anthropic 有权删去报告中任何非公开信息,METR 有权公开 Anthropic 是否行使了删节权,以及哪些结论在很大程度上依赖被删的信息。METR 写道,总体层面的风险结论可以自由公开,但「我们认为对这些结论最有参考价值的证据,多半被 Anthropic 删去」。

这句话需要读准。它说的不是报告的大部分内容被涂黑,也不是 METR 缺少证据。METR 看到了这些证据,并依据它们得出了判断;被删的是其中最有分量的那部分,删的是公开权,不是证据本身。METR 还说,经它审阅的删节内容里,多数信息其实层级很高、并不细碎。

报告里有一张表,把证据分成 7 类,逐项列出是否交给了 METR、是否在公开版里描述了结果。内部模型的基准跑分:交了,也公开了。关键中间指标、算法进步估计:交了,但公开版没有写结果。研发投入的测量:大部分交了,没有公开。瓶颈和预测的细节:交了一部分,没有公开。AI 贡献的证据和员工访谈:交了,部分公开。按这张表,7 类里结果完整写进公开版的是 1 类。

METR 也没有回避这样做的代价。它写道,这份报告做不到「证据层面的透明」,公众很难自己判断这些证据,也很难拿它和其他来源对照,因此只能比理想状态更多地依赖 METR 的判断。

「约两倍」是带区间的主观判断,公开部分主要是一条基准分趋势

报告的核心判断是:截至 2026 年 10 月,Anthropic 在定义清楚的任务上提升模型能力的速度,大约是 2024 年 3 月到 2025 年 10 月期间的两倍。METR 明确说这是高度不确定的估计,真实值接近 1.3 倍或 3 倍都不会让他们意外;对于更宽泛、定义不那么清楚的任务,还要再加一层不确定性。这也是团队多数成员的看法,并非全体一致。

这个判断有几条依据,公开版里写得最完整的是一条:用 AECI(Anthropic 版的 Epoch 能力指数)衡量,自 2025 年 10 月以来,Anthropic 模型的跑分增速是此前的 1.9 倍,95% 置信区间为 1.5 倍到 2.8 倍。换一种更直观的说法,过去一年的基准分进步,相当于 2023 年 10 月到 2025 年 10 月两年的进步。

这一部分几乎没有被删。METR 说这一节删节极少,删去的只是具体基准的名称和一张图,方法、稳健性检验都在公开版里。稳健性检验的结果也值得看:换不同的假设,加速倍数在 1.1 倍到 2.9 倍之间变动,其中最敏感的是对题目难度分布的假设。如果把其他公司的前沿模型一起算进去,估计的加速降到 1.4 倍。METR 给出了两种解释,没有下定论:一种是 Anthropic 在 2025 年底之前的进步速度低于行业前沿,基线偏低放大了加速比;另一种是早期其他模型更针对基准优化,反而让历史趋势显得偏高。

同时,METR 也说明,单靠 AECI 可能高估,也可能是方法本身的产物,它可能过度拟合了基准题的分布。让他们「更认真看待约两倍」,甚至提示加速可能超过两倍、而且还在变快的,是另一批证据,而这批证据被删了。也就是说,公众可审阅公开的方法、结果与稳健性检验,但不等于能独立复算;而且这条公开的线,并不是让 METR 更认真看待两倍的那批证据。

「主要来自 AI」是估计,不是已证明的因果

报告的第二个判断是,目前这轮加速多半可归因于 Anthropic 大量用 AI 做研发,METR 的猜测是约 80%,并附有「相当大的不确定性」。它同时说,2025 年底那段加速很可能受非 AI 因素影响,而这些因素的细节多数被删了。

METR 说它有把握的一点是:加速不是因为训练算力增长变快。但支撑这句话的证据细节被删了,公众看到的是结论。其他可能的原因,比如招人、数据改进、算法突破、解除其他瓶颈,Anthropic 员工内部没有共识,METR 也说没有找到决定性证据。

公开的旁证有两类。一类是员工自报的提效:Slack 投票里,员工对当时所用内部模型的自报提效在 2026 年 10 月平均约 12 倍。METR 自己说这只是很粗的证据,投票的人不一定有代表性,回答也比较随意,而且个人提效倍数本身不等于整体进步的加速倍数。另一类是访谈:METR 让 Claude 按是否支持两倍以上加速,给访谈摘录做了分类。从公开的访谈分类结果看,METR 的解读是「略微支持」两倍或更高;这些摘录本身也删去了敏感细节,分类又由模型完成,只能算旁证。

这些材料能说明 Anthropic 内部普遍感到 AI 在加快工作,但离「AI 导致了两倍加速」这一因果判断还有距离。METR 自己在局限一节也列出了反方向的可能:非 AI 因素也许能解释大部分加速。

为什么要保密,审计又能补上什么

Anthropic 对删节的解释是,删去的是「可能让其他 AI 开发者加速的机密信息」。METR 认同删节确实局限于这类信息,但对删节整体上是否合理不表态,理由是它没有能力权衡企业保护机密的利益和公众了解 AI 风险的利益。Anthropic 在关于独立评估方的公告(METR 报告称其发布于 10 月 15 日)里也说过类似的话:有些安全相关信息不能公开,可能被恶意使用,或者涉及算力、训练等商业敏感内容,所以改为让第三方深入查看,再由第三方公开证据和推理后的结论。

在这种安排下,审计能提供的东西是真实的。METR 看到了外界看不到的内部模型数据,其中包括 4 个从未发布的内部模型;它可以自己挑选访谈对象,约 15 位员工里很多是 METR 而非 Anthropic 选的,METR 说没有发现他们的说法和主要联络人之间有出入。METR 不收 Anthropic 的钱,双方都不付费,Anthropic 只提供了笔记本电脑和免费 token。报告还披露了一项利益冲突:一名成员在项目开始时与 Anthropic 谈过职位,后来拒绝了邀约,又持有一家竞争对手的股权,因此他的工作都由一名无冲突的成员复核。

审计的局限,METR 也写在了报告里。访问权限不是「员工级」的:METR 不能随时翻文件、旁听内部讨论,少数数据请求被拒,在 Anthropic 认为过于敏感时也没有拿到相关信息。评估过程中,METR 对关键数据的理解改变过多次,在一些关键问题上甚至反复推翻。大部分数据来自两名员工,Claude 参与了 Anthropic 交来的多数数据整理和 METR 自己的多数分析。原定合同还包括核查算力在能力研究和安全研究之间如何分配,这一部分在中途被 Anthropic 取消,取消时 METR 尚未得出实质结论。METR 还提到,它在下笔时会考虑报告对今后与各公司合作的影响,Anthropic 主要针对 METR 对其风险报告的审阅稿,就表述清晰度给过反馈,METR 认为其中一些「过于强硬」。

METR 的整体判断是,Anthropic 刻意误导它「极不可能」,但更多的访问权限能让评估更经得起检验。

这种评估的价值取决于删节说明写得多细

把以上几点放在一起,可以看清公众手里有什么。可以审阅的:AECI 的方法、结果和稳健性检验(但不等于能独立复算),自报提效和访谈分类这些粗证据,以及 METR 对过程、合同、利益冲突的披露。公开版里看不到、需要依赖 METR 判断的:让它更认真看待约两倍的内部指标,AI 贡献和非 AI 因素的细分,瓶颈分析和对未来模型的预测。

这不等于结论不可信,也不等于缺少证据。证据存在,有人看过,而看过的人公开说明了自己看到了什么、没能公开什么、结论在多大程度上依赖那些没能公开的部分。这本身就是这份报告和一般「第三方背书」不同的地方:它没有要求读者无条件接受结论,而是把需要信任的范围标了出来。

对读者来说,比较稳妥的读法是把两件事分开。约 1.9 倍的基准分加速,是方法和结果公开、有区间、有局限说明的测量。约两倍的整体加速、约 80% 来自 AI,是 METR 结合了公开和未公开证据后的主观判断,区间很宽,团队内部也有分歧。后者的分量,取决于你对评估方的独立性和判断力有多少信任;而 METR 这次至少把评判这种信任所需的材料,尽量摆在了明面上。

参考来源

相关产品

  1. Anthropic:An update on independent evaluatorsanthropic.com · 引用于 2026 年 11 月 6 日