vercel-labs/agent-desktop
agent-desktop 是供 AI 智能体读取和操作桌面应用的命令行工具,支持 macOS、Windows 和 Linux。
面向 AI Agent 的 Computer use CLI
- 通过系统无障碍接口读取按钮、输入框等界面元素并返回 JSON,让智能体按元素编号操作,无需依赖截图识别。
- 基本流程是读取界面→按编号点击或输入→再次读取确认结果,界面变化导致编号失效时需重新读取。
- 支持点击、输入、滚动、窗口管理和剪贴板操作,适合为 AI 智能体接入桌面自动化能力的开发者。
- 可通过命令行、C 库或 MCP 工具接口接入,工具本身不内置 AI 模型,操作循环由调用它的智能体负责。
- 入门可运行 npm install -g agent-desktop 安装,再用 agent-desktop status 检查环境与权限,并按需授权。
发表回复