Aider来自创作者
OpenAI o1-preview 在 aider 代码编辑基准上拿下最高分
Aider 公布了 OpenAI o1 系列在其代码编辑基准上的首批测试结果，o1-preview 用“整文件”编辑格式得分 79.7%，为当时最高。
改用更实用的 diff 格式后，o1-preview 得分 75.2%，aider 认为其实用水平大致介于 Sonnet 和 GPT-4o 之间，但成本高得多。o1-mini 价格与 GPT-4o 和 Claude 3.5 Sonnet 相近，得分却低于两者；aider v0.57.0 已支持这两款模型。
要点
- o1-preview 整文件格式 79.7%，diff 格式 75.2%。
- 两款 o1 模型都难以严格遵守 aider 的编辑格式。
- o1-mini 得分低于 GPT-4o 和 Claude 3.5 Sonnet。
- aider v0.57.0 起支持 o1-mini 和 o1-preview。
原文：o1-preview is SOTA on the aider leaderboard
The o1-preview model had trouble conforming to aider’s diff edit format.
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。