Vercel Labs 发布 agent-desktop 1.2.0:编程智能体可用 MCP 直接操作桌面应用

Vercel Labs 的开源工具 agent-desktop 于 11 月 5 日发布 1.2.0 版。这个工具让 AI 智能体不靠截图操作桌面软件:它读取操作系统的无障碍树(系统给读屏软件用的界面结构),把应用里每个可操作的元素以 JSON 返回,并附上引用标识;智能体对某个引用点击或输入后,再读一遍界面确认结果。工具支持 macOS、Windows 和 Linux,提供命令行和 C 库两种用法,采用 Apache-2.0 许可证。新版加入 agent-desktop mcp 命令,把各条命令作为 MCP 工具提供。MCP 是让智能体调用外部工具的开放协议,支持它的智能体可以直接接入,无需自行封装命令行。

为什么重要

让智能体操作桌面软件,常见做法是看截图找按钮;这个工具改为读取界面结构,加上 MCP 支持后,更多智能体可以直接用上。

来源1

由 dalao.ai 撰写:标题、摘要和“为什么重要”是我们自己的文字;事实以原始报道为准,著作权归原发布者所有。