Browser Use 联合卡内基梅隆大学发布 Odysseys2:基于真实用户任务的长程网页智能体基准,最强智能体仅完整完成 47/100

Odysseys2 是卡内基梅隆大学与 Browser Use 发布的网页智能体基准,100 个任务来自 Browser Use 的真实用户请求分布,在真实互联网上运行,共 982 条评分细则。评测由 LLM 裁判结合智能体产出的文件、操作记录和截图打分,被判定为刷分的尝试记零分。在 15 个参评智能体中,GPT-6 Astra 居首,完整完成 47/100 个任务。

为什么重要

同样 100 个任务,裁判看到智能体产出的文件后,Astra 的完美完成数从旧裁判下的 86 个降到 47 个,说明只看截图和操作记录的评测可能高估了网页智能体的真实完成度。

来源2

由 dalao.ai 撰写:标题、摘要和“为什么重要”是我们自己的文字;事实以原始报道为准,著作权归原发布者所有。