让大模型直接操控你的 iPhone：无需越狱、不装 App 的「手机遥控器」

昆仑开源易选

2026-08-10 0 48

你有没有想过，让 Claude、GPT 或本地运行的 LLM 像真人一样操作你的 iPhone？Phone Harness 就是这样一款颠覆性的开源工具——它不依赖越狱、不需 Xcode 编译、不装任何第三方 App，仅靠 macOS 自带的「iPhone 镜像」功能，就能让 AI 真实点击、滑动、识别屏幕并执行任务。它把你的 iPhone 变成一个可编程的“外设”，真正实现「AI 手替你点」。

核心功能

零侵入式连接：全程使用 macOS 原生「iPhone 镜像」（iOS 17+ / macOS Sonoma+），无需安装 WebDriverAgent、无需信任开发者证书、更不碰系统权限底层
视觉+动作闭环控制：通过 macOS Vision 框架实时 OCR 识别屏幕文字与坐标，再用底层 CGEvents 模拟触控事件，形成“看→算→点→验”的完整智能操作链
完全可编辑的智能体接口：所有操作逻辑（如打开 App、输入文字、滑动列表）都封装在 agent_helpers.py 中，开发者可自由扩展、调试或接入自己的 LLM 工作流
终端级权限集成：只需一次授权「辅助功能 + 屏幕录制」，后续全自动运行；支持命令行调用（phone-harness skill）、脚本化触发和 Agent 技能注册
真实设备直控：不是模拟器，不是截图测试，而是真机实时响应——你在 Mac 上看到的镜像画面，就是 AI 正在操作的那台 iPhone
轻量透明架构：整个项目仅 Python 编写，无复杂依赖，核心逻辑不到 500 行，注释清晰，新手也能快速读懂并二次开发

适合哪些人用

这款工具特别适合三类用户：AI 应用开发者——想为本地大模型增加“手机操作”能力，构建跨设备智能体；自动化效率极客——厌倦重复操作微信收款码、批量发短信、定时查快递等手机任务；隐私敏感型用户——拒绝云端投屏、不装任何可疑 App，坚持数据留在自己设备上。普通用户也能轻松上手，只要你会用 iPhone 镜像和终端基础命令。

快速上手

只需 4 步即可启动：

确保 macOS（Sonoma 或更新）和 iPhone（iOS 17.4+）已开启「连续互通相机」和「iPhone 镜像」功能，并完成首次配对
在终端运行：git clone https://github.com/ShawnPana/phone-harness ~/.phone-harness && cd ~/.phone-harness && ./install.md（按文档提示安装依赖）
前往「系统设置 → 隐私与安全性 → 辅助功能 & 屏幕录制」，将 Terminal（或你的 IDE）加入白名单
运行 phone-harness skill 注册为 LLM 技能，之后在 Claude Code、Cursor 或自建 Agent 中直接调用，例如：“请帮我打开天气 App 并截图当前预报”

首次运行会自动激活镜像窗口，你将亲眼看到 AI 如何“伸手”点开应用、输入文字、滚动页面——所有操作都在你眼皮底下发生，安全、可控、可中断。