phone-harness/phone-harness
Phone Harness 是一款让 Claude Code、Codex 等 AI 智能体操控手机界面的工具。智能体可以读取屏幕内容、点击、滑动和输入,适合把需要在手机应用里完成的操作交给智能体。项目支持本地 iPhone、Android 和云端托管设备。
同一套接口如何操控不同手机
本地 iPhone 通过 Mac 的 iPhone 镜像窗口获取画面,用 Apple Vision OCR 识别文字,并向窗口发送点击、滑动和输入事件。Android 通过 adb 截图和发送输入,再从无障碍树读取文字。云端 Android 同样走 adb,云端 iPhone 则通过 HTTPS 接收操作。这些连接方式共用一套辅助接口,智能体可以用相同的调用方式执行基本操作。
设备要求与上手入口
本地 iPhone 需要 macOS 15 或更新版本、已配对 iPhone 镜像的 iOS 18 或更新版本设备,以及 Mac 上的辅助功能和屏幕录制权限。本地 Android 可搭配 macOS、Linux 或 Windows 使用,需要 adb 和 USB 调试。云端设备需要 Phone Harness Cloud 账号,云端 Android 还需要 adb。
可以先把 README 的安装提示词发给编码智能体,由它安装命令行工具并引导你完成需要手动处理的环节。连接后可运行 phone-harness doctor 检查配置,具体要求见仓库内的 install.md 和 setup 目录。通过 MCP 接入时,README 列出的支持范围是云端 Android 和 iPhone。
哪些操作需要人工介入
设备连接需要用户完成。解锁 iPhone 会暂停镜像,Android 若被 PIN 锁住也需要用户处理。遇到无文字标签的图标按钮,智能体需要结合截图和具备视觉能力的模型来识别。多点触控、相机和 Face ID 流程超出支持范围,受 DRM 保护的视频会显示为黑屏。
发表回复