Handsy AI 是一个开源 iPhone 智能体系统，可让 AI 模型通过 XIAO ESP32S3 或其他兼容的 ESP32-S3 开发板操控真实 iPhone。开发板通过 AirPlay 接收 iPhone 屏幕画面，并模拟 USB 鼠标和键盘操作；iPhone 上的 Handsy AI 应用会将屏幕截图发送给视觉模型，由模型规划操作并检查屏幕变化。无需越狱；只需用电脑为开发板刷写一次固件。
适合人群
- AI 开发者
- iOS 开发者
- 自动化工程师
- 开源硬件爱好者
- AI 研究人员
产品优势
- 无需越狱 iPhone
- 使用价格低廉的 ESP32-S3 开发板，标价约 7 美元
- 可搭配本地运行的视觉模型使用，网站演示展示了这一用法
- 开源项目，应用源代码可在 GitHub 上获取
- 支持模拟实体操作，包括点击、输入、长按和拖动
使用注意
- 需要配备原生 USB 接口和 PSRAM 的兼容 ESP32-S3 开发板
- 首次刷写开发板时需要用到电脑
- 需要 iPhone XS 或更新机型，并运行 iOS 18 或更高版本
- Lightning 接口的 iPhone 需要 USB 相机转换器，并且需要使用支持数据传输的 USB 线
- 需要开启辅助触控，并另行选择视觉模型
