关键字 · PHONE

全部详情 / 开源项目

ESP32 iPhone Agent:一块约 7 美元的小板子,让 AI 像人一样操作真的 iPhone,不用越狱

开源项目 ESP32 iPhone Agent:用一块 ESP32-S3 小板子当 AI 的眼睛和手,让它看屏幕、点屏幕,替你操作 iPhone 上的任何 App。

大多数 iPhone AI 助手都要接一台电脑:先装 Xcode、开开发者模式、用 USB 配对,之后每次任务电脑都得开着。ESP32 iPhone Agent 换了个思路:让一块大约 7 美元的小板子来做电脑的工作,你只需要手机本身。README 里展示了它自己做完一节 Duolingo 课程,甚至自己打了一通电话。

它不用越狱,也不需要开发者账号,开源(MIT 许可),作者是 Henry Yuan,GitHub 上大约有 5,000 颗星。

01它是怎么做到的

  1. 眼睛:板子开一个自己的 Wi-Fi 热点,在 iPhone 的「屏幕镜像」列表里显示为 ESP32 Agent,把画面转发给手机上的 App;
  2. 手:板子插在 iPhone 上,被当成一个普通的 USB 鼠标和键盘。打开「辅助触控」(AssistiveTouch)后,鼠标会控制屏幕上的指针,点击就是轻点,拖动就是滑动;
  3. 大脑:手机上的 App 把截图发给任何兼容 OpenAI 接口、能看图的模型,再决定下一步:点、滑、画、打字、按键、回主屏幕、结束;
  4. 回看:每一次任务都保存在手机上,可以一步步回放,点击和滑动都画在画面上。

因为它是「看屏幕、移指针」,所以理论上任何人能用的 App 它都能用。也可以从电脑上的编程 AI(比如 Claude Code)通过 MCP 来操控这台 iPhone。

02你需要准备什么

  1. 一块 ESP32-S3 板子:作者测试用的是 Seeed Studio XIAO ESP32S3(普通版,8 MB PSRAM,不是 Sense 也不是 Plus),大约 7 美元;
  2. 一条短的 USB-C 对 USB-C 线;
  3. iPhone:iOS 18 或以上,要有蜂窝数据(因为 Wi-Fi 会被板子的热点占用)。USB-C 的 iPhone 直接插;Lightning 的需要「Lightning 转 USB 相机转换器」。板子由手机供电;
  4. 一个能看图、兼容 OpenAI 接口的模型:云端 API 或你自己的服务器都可以。App 有一条免费的共享线路,但可能会忙或出错;
  5. 用 TestFlight 版 App 的话不需要 Mac;只有自己编译 App 或用命令行烧录板子时才需要 Mac 和 Xcode。

03不是开发者?这样开始

  1. 第 1 步:买板子:Seeed XIAO ESP32S3,大约 7 美元;
  2. 第 2 步:用 Chrome 或 Edge 在 handsy.tech/install 网页上直接烧录固件,不用装任何工具;
  3. 第 3 步:从 TestFlight 安装 ESP32 Agent App,跟着 App 里的四个设置步骤走;
  4. 第 4 步:输入一个目标,比如 Open Settings and go to Wi-Fi,按 Start。可以从灵动岛停止它。

App 里的四个设置步骤:

  1. Plug Me In:用蓝牙配对板子;
  2. Let Me See the Screen:连上板子的 Wi-Fi,再到控制中心 → 屏幕镜像 → 选 ESP32 Agent;
  3. Let Me Use the Pointer:打开辅助触控,App 会自己校准指针;
  4. Give Me a Brain:填入你的模型接口地址和 key(保存在钥匙串里),再选一个能看图的模型。

04开发者:从源码安装

烧录板子(插在 Mac 上):先装 arduino-cli、ESP32 core 3.3.x 和 NimBLE-Arduino 2.5.x,然后运行下面两行。一定要用 flash.sh 来编译,它会套用正确的蓝牙缓冲区设置。

  1. arduino-cli lib install "NimBLE-Arduino@2.5.1"
  2. hardware/flash.sh

自己编译 App:运行 cp ios/Config/Local.xcconfig.example ios/Config/Local.xcconfig(在里面填 DEVELOPMENT_TEAM 和 IA_BUNDLE_ID),再运行 open ios/IPhoneAgent.xcodeproj,在 iPhone 上运行 IPhoneAgent scheme。免费的 Apple ID 也能签名,但每 7 天要重签一次。

从 Claude Code 操控 iPhone:

  1. /plugin marketplace add onehumanbeing/esp32-iphone-agent
  2. /plugin install esp32agent@handsy
  3. 或者只加 MCP 服务器:claude mcp add esp32agent -- npx -y esp32agent mcp

05要知道的事

  1. 每一步要几秒钟,大部分时间花在模型思考上;
  2. 运行时手机走蜂窝数据,因为 Wi-Fi 被板子的热点占用了;
  3. 屏幕镜像的来源必须是 iPhone,不支持从 macOS 镜像;
  4. 横屏 App 还没支持,坐标和校准目前都假设竖屏;
  5. 免费的共享模型线路可能会忙或报错(HTTP 503),可以在 Settings › Model 换成你自己的 API key;
  6. 负责任地使用:只自动化你自己的、或你有权使用的设备和账号,遵守相关 App 的条款;它用的是「你的手」,要看着它,停止按钮放在手边;
  7. 许可:MIT。如果你基于它做东西,作者要求保留 LICENSE 并在 README 和帖子里注明出处。

06相关链接

延伸阅读