Artificial Analysis 发布 AA-Omniscience v1.1，更新知识与幻觉基准

译自英文 · 查看原文

我们发布了 AA-Omniscience v1.1，更新了我们的知识与推理基准：刷新了公开集，移除了已饱和的题目，并修正了歧义问题 AA-Omniscience 是我们的专有基准，用于衡量模型的知识和幻觉情况，包括模型在不知道答案时是否会承认。我们的主要指标 Net Score 奖励正确回答、惩罚错误回答，对弃答则中性处理。 AA-Omniscience 作为 Artificial Analysis Intelligence Index v5 发布的一部分更新到了 v1.1。 AA-Omniscience v1.1 的主要变化： ➤ 更新后的 3,000 题数据集：由 6,000 题减少而来，移除了此前已公开和已饱和的题目，修正了错误与歧义，并加入了新题目 ➤ 重新校准的 300 题公开集：AA-Omniscience v1.1 在 @huggingface 上发布了新的公开集，其难度经过校准以匹配私有集。发布时，公开集与私有集在 AA-Omniscience Net Score 上的 Pearson 相关系数为 0.99、Spearman 秩相关系数为 0.99，中位差为 0.0 分。准确率和幻觉率的相关系数同样为 0.99，中位差分别为 -0.07 和 -0.29 个百分点 ➤ 领域分布略有调整：题目覆盖与第 1 版相同的 6 个领域和 42 个主题，分布有所修订：科学、工程与数学（600）、软件工程（600）、金融（450）、健康（450）、人文与社会科学（450）以及法律（450） AA-Omniscience v1.1 的主要结果： ➤ 排名顺序基本保持不变：AA-Omniscience v1.1 与 v1 的 Spearman 秩相关系数为 0.98。近期发布的 Gemini 4 Carbon (high) 以 54 的 Net Score 领先，其后是 Claude Opus 5.5（48，max with fallback）和 Claude Fable 5.1（46，max with fallback）。Muse Spark Open (xhigh) 是领先的开放权重模型，比 Gemini 4 Carbon 低 28 分 ➤ 在刷新后的数据集上平均得分低约 2 分：与 v1 相比，模型的 Net Score 平均低 1.9 分，中位降幅为 0.6 分。部分模型降幅大得多，尤其是 MiniMax M3.1 Flash，下降 22 分（从 16 降至 -6），以及 MiMo V2.6 Pro，下降 13 分（从 8 降至 -5） ➤ 准确率略有下降：AA-Omniscience Accuracy 衡量模型答对题目的百分比。与 v1 相比，模型答对的题目中位数平均少 1.5 个百分点。Claude Fable 5.1（max with fallback）准确率最高，为 68%，其次是 Claude Opus 5.5（max with fallback），为 66% ➤ 幻觉率下降：AA-Hallucination 衡量模型在不知道答案时选择作答的频率。幻觉率中位数下降 1.4 个百分点，其中 Gemini 4 Argon (high) 的幻觉率最低，为 4%