marimo来自创作者
AI 评测实验室 Acto 用 marimo 把专家判断纳入智能体评估
marimo 案例介绍，研究智能体在办公软件中执行任务的强化学习实验室 Acto 发现，智能体可能通过自动检查却以硬编码等方式错误完成任务，需要领域专家判断。
Acto 用 marimo 搭建 Result Review 和 Task Studio 等应用：专家在同一界面查看任务、输出、执行轨迹并记录可审计的判断，研究人员再把专家标准转化为验证器，用已知正反例测试后重新评分。创始人称，这让团队能检验评估器是否真正对准目标行为。
要点
- 智能体可能通过自动检查却做错任务。
- Result Review 让专家针对具体运行记录判断。
- Task Studio 把专家标准转化为验证器。
- 验证器用已知正反例测试，无需智能体重跑。
- 评测基于开源框架 Harbor 实现。
原文：How Acto uses marimo to bring human judgment into AI evaluation
An expert might find that it bypassed the logic, relied on a brittle shortcut, or hard-coded the result.
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。