LobeHub来自创作者
LobeHub 推出 Lobe Eval：在真实执行路径中评测智能体
LobeHub 介绍其智能体评测体系 Lobe Eval：让智能体走产品真实的服务端执行路径，在有状态、可重置的工具环境中完成任务，并依据执行轨迹、工具结果和产出物证据判定是否通过。
每个测试用例冻结智能体能看到的事实、权限和工具，还混入干扰工具，但不规定解题路径；外部服务依据真实 MCP 服务器的行为校准模拟。主要指标 Pass³ 要求三次独立运行全部通过，区别于三次中一次通过即可的 pass@3。
要点
- 智能体走产品真实执行路径接受评测。
- 依据执行轨迹和产出物证据判定。
- 工具集中混入干扰项。
- 外部服务按真实 MCP 服务器行为校准。
- Pass³ 要求三次运行全部通过。
原文：Saying "Done" Isn’t Enough: How Lobe Eval Tests Agents on Real-World Tasks
A Case is not a prompt or a reference answer. It is a resettable task environment paired with an acceptance contract.
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。