研究：大模型两次自行重写智能体框架，留出集得分提升 2.8 分
译自英文
LLM 能改进自己的 harness 吗？
自我改进的 harness 是个热门话题。
一个有意思的问题是：LLM 能否自己生成并改进它们。
研究发现，把 harness 完整重写两次，留出集得分只提高 2.80 分，而且 95% 置信区间跨过零。
每个前沿模型从一个固定的编程引导程序出发写出完整的 harness，通过它玩五个开发用游戏，然后把整个代码库重写两次。每个版本都在 20 个从不影响重写的游戏上评分。
在 27 条谱系中，第一版 harness 的得分从零到接近满分不等。之后的修订几乎没有带来提升。开发游戏上的提升高估了留出集上的提升，而降低推理成本的修订往往会拉低得分。
在同样的游戏上，人类引导的系统得分仍然更高，说明更好的设计是存在的。只是模型目前还不能可靠地自己找到它们。
arxiv.org/abs/2610.30499
与论文对话：academy.dair.ai/papers/can-llms…X来源2
- @omarsar0XLLM 能改进自己的 harness 吗？ 自我改进的 harness 是个热门话题。 一个有意思的问题是：LLM 能否自己生成并改进它们。 研究发现，把 harness 完整重写两次，留出集得分只提高 2.80 分，而且 95% 置信区间跨过零。 每个前沿模型从一个固定的编程引导程序出发写出完整的 harness，通过它玩五个开发用游戏，然后把整个代码库重写两次。每个版本都在 20 个从不影响重写的游戏上评分。 在 27 条谱系中，第一版 harness 的得分从零到接近满分不等。之后的修订几乎没有带来提升。开发游戏上的提升高估了留出集上的提升，而降低推理成本的修订往往会拉低得分。 在同样的游戏上，人类引导的系统得分仍然更高，说明更好的设计是存在的。只是模型目前还不能可靠地自己找到它们。 https://arxiv.org/abs/2610.30499 与论文对话：https://academy.dair.ai/papers/can-llms-improve-their-own-harness-a-controlled-study-on-arc-agi-3-2610.30499译自英文 · 查看原文 ·
arXiv研究Can LLMs Improve Their Own Harness? A Controlled Study on ARC-AGI-3英文原标题 · 查看原文 ·
由 dalao.ai 撰写标题；引用的帖子以原文为准，著作权归原作者所有。