LobeHub来自创作者
LobeHub 用智能体运行追踪打造自我改进的 harness
LobeHub 认为,模型本身已不再是产品,模型加上承载它的 harness 才是;harness 负责管理上下文、工具、权限、错误和生命周期,会随模型和工具变化而过时。
团队为此构建智能体运行追踪,记录每次执行调用的模型、成本和步骤,并自动检查错误模式。LobeHub 称智能体借此自行发现了 20 多个 harness 缺陷,如工具 schema 不兼容、max_tokens 为负数等,智能体成功率从约 75% 升至 95% 以上。
要点
- harness 管理上下文、工具、权限和错误。
- LobeHub 支持 70 多家模型提供商。
- 运行追踪记录每次调用的模型与成本。
- 智能体自行发现 20 多个 harness 缺陷。
- 成功率从约 75% 升至 95% 以上。
原文:Build a Harness That Builds Itself
Since this inspection started running, our agent success rate has gone from roughly 75% to above 95%.
收录于 。摘自官方博客的简短节选,著作权归原发布者所有。