LobeHub来自创作者

LobeHub 用智能体运行追踪打造自我改进的 harness

LobeHub 认为,模型本身已不再是产品,模型加上承载它的 harness 才是;harness 负责管理上下文、工具、权限、错误和生命周期,会随模型和工具变化而过时。

团队为此构建智能体运行追踪,记录每次执行调用的模型、成本和步骤,并自动检查错误模式。LobeHub 称智能体借此自行发现了 20 多个 harness 缺陷,如工具 schema 不兼容、max_tokens 为负数等,智能体成功率从约 75% 升至 95% 以上。

要点

  • harness 管理上下文、工具、权限和错误。
  • LobeHub 支持 70 多家模型提供商。
  • 运行追踪记录每次调用的模型与成本。
  • 智能体自行发现 20 多个 harness 缺陷。
  • 成功率从约 75% 升至 95% 以上。

原文:Build a Harness That Builds Itself

Since this inspection started running, our agent success rate has gone from roughly 75% to above 95%.

阅读原文

收录于 。摘自官方博客的简短节选,著作权归原发布者所有。

查看全部