Aider来自创作者
Aider 推出更难的多语言编程基准，o1 以 61.7% 居首
Aider 发布新的多语言编程基准，取代已接近饱和的原 Python 基准，题目覆盖 C++、Go、Java、JavaScript、Python 和 Rust。
新基准从 Exercism 的 697 道题中选出最多只有 3 个模型能解的 225 道难题。OpenAI o1（高推理强度）得分 61.7%，明显领先 Claude 3.5 Sonnet 的 45.3%。
要点
- 原基准顶尖模型已超 80%，难以区分强弱。
- 7 个模型试做全部 697 题，其中 258 题全被解出。
- 新基准保留 225 道难题，目标分数约在 5%–50%。
- o1 得分 61.7%，仍有 86 道题未解。
原文：o1 tops aider’s new polyglot leaderboard
These problems are far too easy, and wouldn’t be good choices for the new benchmark.
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。