Artificial Analysis 发布智能指数 v5，六成评测改用私有测试集，Claude Opus 5.5 以 58 分居首

译自英文 · 查看原文

发布 Artificial Analysis 智能指数 v5，新增 2 项基准并升级 3 项。指数中的大部分内容首次建立在私有数据集之上。 Artificial Analysis 智能指数是我们衡量模型能力的综合指标，覆盖反映当下真实使用场景的各类任务。v5 是自今年 1 月 v4 发布以来最大的一次升级。在 v5 中，指数的 60% 基于使用私有测试集或保留答案的评测。 与智能指数 v5 一同推出的还有 Artificial Analysis 进步指数 v1，它在一个连续的尺度上追踪模型能力随时间的变化。 智能指数新增： ➤ FrontierCode 2.0：Cognition 新推出的私有基准，包含真实世界的编程任务，评分标准是仓库维护者是否会合并智能体提交的修改 ➤ Terminal-Bench-Science：70 个在终端环境中运行的智能体科研任务 升级： ➤ HLE-Diamond（取代 Humanity's Last Exam）：Humanity's Last Exam 的精炼版，共 1,000 道题，推理题与知识题各占一半 ➤ AA-Omniscience v1.1：更新后的数据集，移除了已饱和及公开集的题目，加入新题，并修订了含糊或错误的题目 ➤ CritPt v2：CritPt v2 中一个 40 道题的私有高难子集，由 CritPt 作者修订，并在带代码执行工具的条件下运行 保留在指数中：AA-Briefcase、AutomationBench-AA、GDP.pdf 和 Terminal-Bench 4.0 从指数中移除：GDPval-AA v2.1、SciCode 和 AA-LCR v1.1 主要结果： ➤ Claude Opus 5.5（max）以 58 分领先，高于 GPT-6 Astra（max，57）和 GPT-6.1 Sol（max，55）：前五名模型均来自 Anthropic 和 OpenAI。其后是 Gemini 4 Argon（high），得分 50 ➤ 开放权重模型的差距从 3 分扩大到 12 分：Kimi K3.1 Pro（权重尚未发布）以 46 分成为得分最高的开放权重模型。在已发布权重的模型中，DeepSeek V4.1 Flash 1017（max）和 GLM-5.3（max）以 32 分领先，比第一名低 26 分，也低于 Claude Haiku 5.5（max，36） ➤ 头部模型之间每项任务的成本相差超过 13 倍：在展示的 10 个最高分模型中，GPT-6.1 Terra（max）最便宜，每个智能指数任务 0.96 美元，Claude Fable 5.1（max）最贵，为 13.04 美元