“我准备不看这个指数了”
10 月 28 日，Reddit 本地模型社区 r/LocalLLaMA 上一位用户发帖，开头先表明立场：每次 Artificial Analysis（下称 AA）调整指数，自己都反对那些“阴谋论”式的解读。接着话锋一转：“但 v5.0 现在在 AA 的‘最具吸引力象限’里一个开放权重模型都没有。”帖子的结论是：“我准备不看 AA 的指数了，去看它下面的单项测试。”发帖人随后补充，截图时 AA 还在陆续上传分数，但“规律没变”。
这条帖子针对的是 AA 同日发布的智能指数 v5（AA 公告）。AA 是一家独立的模型评测机构，它的综合指数常被开发者拿来挑模型、算成本。v5 是今年 1 月 v4 推出以来最大的一次改版：新增 Cognition 的编程测试 FrontierCode 2.0 和科研任务测试 Terminal-Bench-Science，用 HLE-Diamond 替换 Humanity's Last Exam，删掉 GDPval-AA、SciCode 和长上下文测试 AA-LCR。AA 写道，v5 指数中 60% 的权重来自“使用私有测试集或保留答案的评测”。
结果是开放权重模型的成绩明显变差。AA 称，开放权重模型与榜首的差距从 v4.3 的 3 分扩大到 12 分：得分最高的开放权重模型 Kimi K3.1 Pro（权重尚未发布）为 46 分，发布时居首的 Claude Opus 5.5 为 58 分。已经放出权重的模型里，DeepSeek V4.1 Flash 1017 和 Z.ai 的 GLM-5.3 并列最高，均为 32 分，落后 Opus 26 分，也低于 Anthropic 的小模型 Claude Haiku 5.5（36 分）。这两个差距都是以 Opus 为基准算的；谷歌的 Gemini 4 Carbon 随后以 59 分登顶，以它为基准，差距分别是 13 分和 27 分。
社区的怀疑和 AA 的标题，讲的都是“开放权重对闭源”。但把 AA 网站上公开的单项分逐项摊开，能看到另一幅图：新考卷拉开的主要是几家实验室的旗舰模型和其他所有模型之间的距离，闭源的中档模型也落在后面；而开放权重模型丢分最多的地方，恰恰是题目公开、谁都能自己重跑的测试。
同一批模型，两张考卷
这次改版有一个便于比较的地方：AA 用旧测试和新测试评的是同一批模型，网页数据里两套分数都在。
以 HLE 为例。旧版 Humanity's Last Exam 上，DeepSeek V4.1 Flash 1017 得 43.3%，Kimi K3.1 Pro 得 52.5%，小米的 MiMo-V2.6-Pro 得 49.4%。换成由 Center for AI Safety（CAIS）和 Scale AI 在 9 月发布、经过一年清洗的 1000 题版本 HLE-Diamond 后，三者分别降到 25.3%、37.3% 和 15.2%。同一时间，Claude Opus 5.5 从 61.4% 升到 67.9%，Gemini 4 Carbon 从 60.4% 升到 69.1%。
降分的不只开放权重模型。闭源的 Claude Haiku 5.5 从 44.4% 降到 29.6%，少了 14.8 个百分点；Grok 4.7 从 43.1% 降到 23.2%，阿里巴巴的 Qwen3.8 Max 从 43.1% 降到 24.0%，分别少了 19.9 和 19.1 个百分点，都比 DeepSeek 的 18.0 个多。
编程测试的变化更明显，而且这组数字来自出题方自己。Cognition 在 10 月 27 日发布 FrontierCode 2.0 时公布了新旧两版的对比：Claude Opus 5.5 从 1.1 版的 54.6% 降到 45.5%，只少 9 个百分点；DeepSeek V4.1 Flash 从 43.9% 降到 19.3%，Kimi K3 从 44.2% 降到 17.7%。闭源模型里，只有 Opus 5.5 和 OpenAI 的 GPT-6 Astra（从 53.3% 降到 42.8%）少了约 10 个百分点；表里其余模型都降了 19 到 27 个百分点，其中谷歌的 Gemini 4 Argon 在 v5 总分 50 分、与旗舰同档，从 47.5% 降到 26.3%，Grok 4.7 从 47.6% 降到 28.6%，DeepSeek 和 Kimi K3 分别少了 24.6 和 26.5 个。Cognition 的说法是，与 DeepSWE v1.1 和 FrontierCode 1.1 相比，2.0 版“能更清楚地区分不同能力档次的模型”。
被删掉的测试里，有一项是开放权重模型追得很近的。在长上下文推理测试 AA-LCR 上，Kimi K3.1 Pro 和 MiMo-V2.6-Pro 都是 86.3%，高于 Claude Opus 5.5 的 84.7%，DeepSeek V4.1 Flash 1017 为 82.7%。不过 AA-LCR 在 v4.3 只占 5% 权重，Kimi K3.1 Pro 在这一项领先 Opus 1.6 个百分点，折合指数不到 0.1 分。删掉它几乎不影响差距，差距是新换上的考题拉开的。
所以 v5 的总分排序是这样的：10 月 28 日发布的 Gemini 4 Carbon 以 59 分登顶，Claude Opus 5.5、GPT-6 Astra 等旗舰模型在 49 到 59 分之间，Kimi K3.1 Pro（46 分）和 Meta 的 Muse Wonder（43 分）居中；再往下，闭源的 Claude Haiku 5.5（36 分）、Grok 4.7（34 分）、Qwen3.8 Max（34 分）、Gemini 3.8 Flash（31 分）和已发布权重的 DeepSeek、GLM 挤在 30 分上下。在这张榜上，权重可下载的模型和闭源的中档模型站在同一档。
差距出在哪些题上
“六成私有”是社区质疑的焦点：题目不公开，外人无法复核。按 AA 公布的权重和单项分可以算一笔账，看差距到底落在私有题还是公开题上。
v5 的九项测试里，公开的有四项：Terminal-Bench 4.0、Terminal-Bench-Science、HLE-Diamond 和 GDP.pdf，合计 40% 权重。其余五项私有或保留答案，合计 60%。
Claude Opus 5.5 与 DeepSeek V4.1 Flash 1017 总分相差约 25.9 分。按单项分乘以权重计算，四项公开测试贡献了其中约 14.2 分，占一半以上；私有的 FrontierCode 2.0、CritPt、AutomationBench 和 AA-Omniscience 合计约 9.8 分，AA-Briefcase 约 1.7 分。（AA-Briefcase 以 Elo 计分，AA 方法论页公布了换算方式：(Elo − 500)/2000，再乘 15% 权重；各项相加比总分差少约 0.2 分。）Kimi K3.1 Pro 与 Opus 相差约 12.4 分，公开测试贡献约 5.8 分，接近一半。以 Gemini 4 Carbon 为基准，DeepSeek 的差距约 26.9 分，公开测试的占比升到约 59%。
单看一项最清楚。Terminal-Bench-Science 是公开题，占 15% 权重，GPT-6 Astra 得 63%，Claude Opus 5.5 得 59%，DeepSeek V4.1 Flash 1017 只有 13%，AA 称多数开放权重模型低于 10%。HLE-Diamond 的数据集放在 Hugging Face 上，任何人都能下载。出题方 CAIS 与 Scale AI 公布的测试里，Kimi K3.1 Pro 得 29.5%，GPT-6 Astra 得 59.9%，量出的差距和 AA 方向一致。两家公布的都是各自的测试结果，用的设置也不同。
私有题也并非一边倒。在私有的 AutomationBench-AA 上，开放权重的 MiniMax-M3.1-Flash 得 72.5%，高于 Claude Opus 5.5 的 69.5%；DeepSeek V4.1 Flash 1017 得 66.6%，只比 Opus 低 3 个百分点。这一项的第一名是 Gemini 4 Argon，得 78%。
这些数字说明的范围有限：开放权重模型在 v5 上分数低，主要不是因为题目藏了起来。差距最大的是长链条的终端科研任务和高难度的知识、科研题，这类题不管公开还是私有，开放权重模型都明显落后。私有的 CritPt v2 难题子集是研究级物理题，Opus 得 61%，Kimi K3.1 Pro 得 45%，DeepSeek 得 24%。
质疑并非没有道理
批评者的担心有实际依据。六成权重的题目外界看不到，指数的大部分只能靠信任 AA。选哪些测试、给多少权重、删掉哪些，同样由 AA 决定，而这一次删掉的就有开放权重模型表现好的长上下文测试，尽管它对总分差距的影响不到 0.1 分。AA 对改用私有题的解释是防止题目泄露进训练数据：AA 的 FrontierCode 2.0 页面写着，题目保持私有是“为了避免污染”。AA 还在 Hugging Face 上放出了 AA-Omniscience 的公开子集，并称已校准到与私有集表现一致。
评测方的身份也值得写清楚。FrontierCode 由 Cognition 出题，这家公司卖 AI 编程产品 Devin，也有自己的模型 SWE-2，它的对比表里就列着 SWE-2。不过 SWE-2 在新版里也从 50.0% 跌到 23.9%，跌幅比表中其他闭源模型都大。Cognition 在发布文中写道，结果显示开源模型“还有很大的提升空间，西方的开源模型更是如此”。
跑法不同，分数也不同。同样是 FrontierCode 2.0，Cognition 公布的 DeepSeek V4.1 Flash 是 19.3%，AA 用自家 Stirrup 框架跑出的是 28.5%；Claude Opus 5.5 在两边分别是 45.5% 和 46.4%。两边的测试框架和评分方式不同，推理强度的取法也不一样：AA 每题跑三次，用 GPT-6 Luna 当评分模型；Cognition 列的是每个模型在最佳推理强度下的成绩。DeepSeek 的分数两边相差 9 个百分点，Opus 只差 1 个。
对自建模型的小团队
对用开放权重模型做产品的小团队来说，v5 的变化首先是成本。AA 说，每个模型在 v5 上完成一道题输出的 token 都比 v4.3 多，中位数从 3.5 万涨到 5.9 万；四项智能体测试占 55% 的权重，却用掉约 90% 的输出 token，其中 Terminal-Bench-Science 一项就占约三分之一。按 AA 页面列出的价格，DeepSeek V4.1 Flash 1017 每百万输入、输出 token 为 0.3 美元和 1.2 美元，Claude Opus 5.5 为 4 美元和 20 美元。AA 测得 Opus 5.5 在最高推理强度下每题花费 10.04 美元，最低强度下 0.98 美元，对应得分 58 和 35。
规模也是一道门槛。DeepSeek V4.1 Flash 1017 总参数 5520 亿、激活参数 160 亿，GLM-5.3 为 7530 亿。参数只有 270 亿的 Qwen3.8 27B 在 v5 上得 20 分，在 Terminal-Bench-Science 上几乎是零。
另一面，已发布权重的模型在一些测试上和部分旗舰模型相差不大：做 SaaS 流程自动化的 AutomationBench-AA，以及已移出指数的长文档推理测试 AA-LCR。权重尚未发布的 Kimi K3.1 Pro 则在 Terminal-Bench 4.0 上以 67% 排在所有被测模型第一。
v5 的总分把这些差别压成了一个数字，“开放权重差距”这个数字本身也取决于谁的权重能下载。Kimi K3.1 Pro 的权重放出后，已发布权重模型的最高分会从 32 分变成 46 分，与 Claude Opus 5.5 的差距从 26 分缩到 12 分。模型的能力没有变，变的只是它能不能下载。