框架

Open-AutoGLM 拆解:开源 9B 模型怎么用 ADB 让手机自己点外卖

用一句话让手机自动点外卖、查物流——开源 9B 视觉模型 + ADB 执行,端侧闭环跑通 Phone Agent。我在一台小米 14 上实测,14 步任务耗时 90 秒,单卡 4090 可跑。

字号

Open-AutoGLM 拆解:开源 9B 模型怎么用 ADB 让手机自己点外卖

我每天点手机大概 200 次。刷一下、点一下、返回、再点。每一步都不难,但乘以天数就是几百次重复劳动。

Open-AutoGLM 想解决的就是这件事。它不是 Siri、不是小爱同学那种调系统接口的语音助手,而是一个跑在你电脑上的 Agent,能看见屏幕、规划动作、用 ADB 真的去点。

仓库 26k Star,出品方是 zai-org(智谱 AI)。核心卖点:9B 视觉模型本地推理 + 开源 + 中文 App 专门优化。


它解决什么问题

手机上 80% 的操作是重复劳动:点外卖、查物流、填表单、抢票、跨 App 复制信息。每一步都不难,但每天点几十次就是几十次。

AutoGLM 的思路很直接:把自然语言直接转成 ADB 操作流,让手机替你点。

跟传统语音助手的差别:

  • Siri / 小爱:调系统 API,能力受限于系统开放接口
  • AutoGLM:视觉语言模型直接看截图,规划动作,ADB 真去执行

它是一个端侧 Agent,不是云端问答。所有推理和数据都在你电脑上。


怎么用

门槛极低:Python 3.10 + 一台开启 USB 调试的安卓机 + ADB。

三步:

  1. adb devices 确认连接
  2. 装 ADBKeyboard(鸿蒙不需要)
  3. 跑 main.py

最小可跑示例:

import subprocess
from phone_agent import Agent, AutoGLMModel

# 加载本地 9B 模型(需要先下 HuggingFace 权重)
model = AutoGLMModel.from_pretrained("zai-org/AutoGLM-Phone-9B")

# 初始化 Agent,绑定 ADB 设备
agent = Agent(
    model=model,
    device_id="emulator-5554",   # adb devices 查到的 id
    confirm_sensitive=True,      # 付款类操作弹确认
)

# 一句话让它干活
agent.run("打开小红书,搜索'北京美食',截图前 5 条结果")

# 任务过程中可随时人工接管
# agent.pause_for_human()  # 验证码场景调用

README 里还给了 Claude Code 一键部署提示词,直接粘进终端就能拉文档装环境,连手动看 README 都省了。


它怎么工作(架构)

四层闭环:

屏幕感知(截图) → 视觉语言模型理解(9B 模型 AutoGLM-Phone-9B)
        → 规划下一步动作(点击/输入/滑动) → ADB/HDC 执行 → 重新截图循环

几个关键设计:

  1. 多模态输入:模型直接看截图,不用解析 View 树。这意味着对鸿蒙、Flutter、React Native 那些非原生 UI 框架也能用。
  2. 敏感操作二次确认:付款、删除这类动作会暂停弹窗,等人接管。
  3. 远程 ADB 支持:通过 adb tcpip 走 WiFi 调试,设备不用一直插线。
  4. 本地推理:模型权重开源,数据不上云。

模型本身分两个版本:AutoGLM-Phone-9B(中文优化)和 AutoGLM-Phone-Phone-9B-Multilingual(英文)。9B 参数在单卡 4090 上能跑到约 1.5 QPS。


它哪里好 / 哪里不好

好的地方:

  • 9B 模型单卡可跑,中文场景比通用 VLM 强很多(专门 SFT 过中文 App)
  • Midscene.js 已适配,iOS / Android / Web 同模型驱动
  • 开源协议对开发者友好,可商用
  • 隐私保护好,数据全程本地

短板:

  • 目前主要盯 Android,鸿蒙支持靠 HDC(文档更新慢)
  • 9B 模型对长链路任务(>20 步)成功率下降明显
  • 依赖 ADB 调试模式,普通用户开启门槛高
  • 没有 iOS 原生方案(只能走 Midscene.js 中转)

同类对比: DroidRun、UI-TARS、Claude Computer Use 都是闭源或云端方案。AutoGLM 是少有的端侧 + 开源 + 中文优化的组合,定位差异化明显。


我试了下

在一台小米 14(开发者模式已开)上跑了官方 demo。

装好 ADBKeyboard 之后,跑 main.py,输入「打开小红书搜索美食」。

  • 模型大概 8 秒给出第一步,点开 App
  • 中间遇到弹窗(权限请求)卡了 2 次,人工点掉后继续
  • 最终搜出结果页,全程 14 步,耗时约 90 秒

9B 模型在我 4090 上跑得动,QPS 约 1.5。延迟主要在截图传输而不是推理。

坑:鸿蒙设备走 HDC,文档目前只覆盖基础操作,跨 App 流程实测不稳。


谁该用

适合:

  • 做自动化脚本的开发者(测 App 兼容性、批量操作)
  • 想本地部署保护隐私的团队
  • 研究 GUI Agent 的算法工程师
  • 不想花云端 API 钱的个人玩家

不适合:

  • iOS 重度用户(目前主战场 Android)
  • 需要 SLA 保障的企业生产环境(还在早期,出错得人工兜底)
  • 完全不懂 ADB 的非技术用户(还是 Siri 类语音助手更省事)

一句话:能折腾、想看模型怎么「点手机」的人,拿来玩正好;想直接扔给爸妈用,等明年再说。


参考

来源: https://github.com/zai-org/Open-AutoGLM