让大模型“亲手”操作手机：Mobile MCP——面向 iOS/Android 的通用移动自动化协议服务器

你是否曾为自动化一个电商 App 的领券流程反复写 Espresso 或 XCUITest 脚本？是否想让 Claude 或 Gemini 直接“看到”微信界面并完成转账操作，却卡在平台隔离、截图解析不准、设备控制碎片化上？mobile-mcp 正是为此而生：它不是一个传统测试框架，而是一套标准化的“手机操作系统 API”，让任何支持 MCP（Model Context Protocol）的 AI 代理或开发工具，无需懂 iOS 或 Android 底层，就能以统一方式操控真实手机、模拟器、云真机——点击按钮、读取文本、切换定位、安装应用，全部通过结构化 JSON 指令完成。

核心功能

跨平台一键识别 UI 元素：自动从系统原生 Accessibility 树提取按钮、输入框、列表项等可操作控件（如“立即领取”按钮、“收货地址”文本框），避免依赖不稳定的图像识别，大幅提升执行速度与成功率，尤其适合高频回归测试和表单录入场景。
一套指令，全端通行：同一段 MCP 工具调用（如 mobile_tap_element）可无缝运行在 iOS 模拟器、Android 真机、云上 iPhone 15 或 Pixel 8 上，彻底告别“iOS 写一套、Android 再写一套”的重复劳动。
LLM 驱动的多步用户旅程自动化：支持将复杂业务流（如“打开淘宝→搜索‘降噪耳机’→筛选价格≤500元→进入销量TOP3商品页→复制店铺名→跳转至拼多多比价”）拆解为自然语言目标，由 LLM 规划步骤并调用 mobile-mcp 工具链自主执行，真正实现“说人话，办手机事”。
精细化设备状态控制：不仅能点击滑动，还可动态修改设备 GPS 定位（模拟北京/东京/纽约）、强制横竖屏、读写剪贴板、启动/终止任意 App、触发音量键或返回键——覆盖几乎所有手动操作场景，为合规爬虫、地域化测试、无障碍验证提供底层能力。
云真机即插即用：通过 mobile_login_to_cloud_provider 登录 Mobile Next Cloud 后，即可用 mobile_allocate_remote_device 秒级预约一台远程物理 iPhone 或安卓机，无需本地部署 ADB/Xcode，特别适合 CI/CD 流水线中需要稳定 iOS 环境的团队。
结构化数据提取替代截图 OCR：返回的 UI 快照不是一张图，而是带层级、类型、坐标、文本内容的 JSON 树（例如：{"type": "button", "label": "登录", "bounds": [120,450,300,520]}），开发者可直接解析字段，避免传统截图+OCR 带来的模糊、错别字、布局错位等问题。
无障碍优先，成本更低效更高：默认优先使用系统 Accessibility API（零图像 token、无 Vision 模型调用），仅在极少数无法获取控件时才回退到截图+坐标点击，大幅降低 LLM 推理开销和延迟，让轻量级模型也能流畅驱动手机。

技术亮点

纯 TypeScript 实现，深度契合 MCP 协议规范：项目完全基于 TypeScript 构建，严格遵循 MCP v0.1+ 标准定义的工具注册、上下文快照、异步执行等机制，确保与 Claude Code、GitHub Copilot、Antigravity 等主流 MCP 客户端开箱兼容，非简单封装 ADB/XCUITest 的“胶水层”。
双模驱动引擎：Accessibility 为主，Screenshot 为备：针对 iOS 使用 xcrun simctl io 和私有 Accessibility 接口；对 Android 则深度集成 adb shell uiautomator 与 dumpsys accessibility，在保证控件识别精度的同时，通过智能 fallback 机制兜底覆盖 WebView/Hybrid 页面等“黑盒”场景。
设备抽象层屏蔽平台差异：内部构建了统一 Device Adapter 层，将 iOS 的 simctl、Android 的 adb、云设备的 REST API 全部封装为一致的接口契约，上层工具（如 mobile_set_orientation）无需感知底层是 simulator 还是 real device。
零配置本地启动体验：通过 npx @mobilenext/mobile-mcp@latest 一条命令即可拉起服务，自动检测已连接设备或运行中的模拟器，省去繁琐的环境变量设置与证书配置，新手 5 分钟内即可完成首次“点亮手机屏幕”。

适合哪些人用

本项目主要面向三类技术人群：

AI Agent 开发者：正在构建能操作移动端的智能体（如客服助手自动查订单、舆情机器人批量截图竞品活动页），需要稳定、低延迟、结构化的手机控制能力；
移动 QA 工程师：负责多机型兼容性测试、地域化功能验证（如切换定位测 LBS）、无障碍适配验收，厌倦了维护两套平台脚本；
爬虫/数据采集工程师：需从微信公众号、小红书、抖音等封禁 Web 抓取的 App 中提取结构化信息，且要求高稳定性与反反爬鲁棒性。

真实场景案例：
某跨境电商团队用 mobile-mcp + 自研 LLM Agent，每天凌晨自动执行“打开 Shopee App→切换至印尼站点→搜索‘air fryer’→抓取 TOP20 商品标题/价格/销量→生成竞品分析报告”，全程无人干预，准确率超 98%；另一家金融公司将其集成进内部 Copilot 插件，测试工程师输入“帮我登录测试环境的手机银行，查看张三的本月账单”，Agent 自动完成 App 启动、账号密码输入、手势验证、页面滚动与截图归档。

快速上手

无需全局安装，推荐使用 npx 快速启动：

npx @mobilenext/mobile-mcp@latest --port 3000

启动后，服务默认监听 http://localhost:3000，支持标准 MCP over HTTP 协议。若需连接真实设备，请确保：

iOS：Xcode 已安装，设备通过 USB 连接并信任电脑；
Android：ADB 已配置，USB 调试开启且授权；
云设备：访问 Mobile Next Cloud 获取 API Key，并在客户端调用 mobile_login_to_cloud_provider 完成绑定。

首次运行后，访问 VS Code MCP 安装向导可一键配置 IDE 支持。

同类对比 / 注意事项

相比 Appium（需编写 WebDriver 脚本）、Detox（强绑定 React Native）、或者纯 ADB 命令行方案，mobile-mcp 的核心差异在于协议先行、AI 原生：它不提供录制回放或 DSL，而是定义了一组机器可理解、LLM 可调用的标准工具集。这意味着你不必学习新语法，只需让模型学会调用 mobile_list_available_devices 和 mobile_tap_element 即可开始自动化。

注意事项：iOS 真机需 macOS 环境（不支持 Windows/Linux 直连）；部分国产安卓 ROM（如华为 EMUI、小米 MIUI）可能限制 Accessibility 服务权限，需手动开启“无障碍”开关；首次使用云设备时需浏览器完成 OAuth 设备码授权，非全自动静默登录。