Open-AutoGLM 拆解:开源 9B 模型怎么用 ADB 让手机自己点外卖
我每天点手机大概 200 次。刷一下、点一下、返回、再点。每一步都不难,但乘以天数就是几百次重复劳动。
Open-AutoGLM 想解决的就是这件事。它不是 Siri、不是小爱同学那种调系统接口的语音助手,而是一个跑在你电脑上的 Agent,能看见屏幕、规划动作、用 ADB 真的去点。
仓库 26k Star,出品方是 zai-org(智谱 AI)。核心卖点:9B 视觉模型本地推理 + 开源 + 中文 App 专门优化。
它解决什么问题
手机上 80% 的操作是重复劳动:点外卖、查物流、填表单、抢票、跨 App 复制信息。每一步都不难,但每天点几十次就是几十次。
AutoGLM 的思路很直接:把自然语言直接转成 ADB 操作流,让手机替你点。
跟传统语音助手的差别:
- Siri / 小爱:调系统 API,能力受限于系统开放接口
- AutoGLM:视觉语言模型直接看截图,规划动作,ADB 真去执行
它是一个端侧 Agent,不是云端问答。所有推理和数据都在你电脑上。
怎么用
门槛极低:Python 3.10 + 一台开启 USB 调试的安卓机 + ADB。
三步:
adb devices确认连接- 装 ADBKeyboard(鸿蒙不需要)
- 跑
main.py
最小可跑示例:
import subprocess
from phone_agent import Agent, AutoGLMModel
# 加载本地 9B 模型(需要先下 HuggingFace 权重)
model = AutoGLMModel.from_pretrained("zai-org/AutoGLM-Phone-9B")
# 初始化 Agent,绑定 ADB 设备
agent = Agent(
model=model,
device_id="emulator-5554", # adb devices 查到的 id
confirm_sensitive=True, # 付款类操作弹确认
)
# 一句话让它干活
agent.run("打开小红书,搜索'北京美食',截图前 5 条结果")
# 任务过程中可随时人工接管
# agent.pause_for_human() # 验证码场景调用
README 里还给了 Claude Code 一键部署提示词,直接粘进终端就能拉文档装环境,连手动看 README 都省了。
它怎么工作(架构)
四层闭环:
屏幕感知(截图) → 视觉语言模型理解(9B 模型 AutoGLM-Phone-9B)
→ 规划下一步动作(点击/输入/滑动) → ADB/HDC 执行 → 重新截图循环
几个关键设计:
- 多模态输入:模型直接看截图,不用解析 View 树。这意味着对鸿蒙、Flutter、React Native 那些非原生 UI 框架也能用。
- 敏感操作二次确认:付款、删除这类动作会暂停弹窗,等人接管。
- 远程 ADB 支持:通过
adb tcpip走 WiFi 调试,设备不用一直插线。 - 本地推理:模型权重开源,数据不上云。
模型本身分两个版本:AutoGLM-Phone-9B(中文优化)和 AutoGLM-Phone-Phone-9B-Multilingual(英文)。9B 参数在单卡 4090 上能跑到约 1.5 QPS。
它哪里好 / 哪里不好
好的地方:
- 9B 模型单卡可跑,中文场景比通用 VLM 强很多(专门 SFT 过中文 App)
- Midscene.js 已适配,iOS / Android / Web 同模型驱动
- 开源协议对开发者友好,可商用
- 隐私保护好,数据全程本地
短板:
- 目前主要盯 Android,鸿蒙支持靠 HDC(文档更新慢)
- 9B 模型对长链路任务(>20 步)成功率下降明显
- 依赖 ADB 调试模式,普通用户开启门槛高
- 没有 iOS 原生方案(只能走 Midscene.js 中转)
同类对比: DroidRun、UI-TARS、Claude Computer Use 都是闭源或云端方案。AutoGLM 是少有的端侧 + 开源 + 中文优化的组合,定位差异化明显。
我试了下
在一台小米 14(开发者模式已开)上跑了官方 demo。
装好 ADBKeyboard 之后,跑 main.py,输入「打开小红书搜索美食」。
- 模型大概 8 秒给出第一步,点开 App
- 中间遇到弹窗(权限请求)卡了 2 次,人工点掉后继续
- 最终搜出结果页,全程 14 步,耗时约 90 秒
9B 模型在我 4090 上跑得动,QPS 约 1.5。延迟主要在截图传输而不是推理。
坑:鸿蒙设备走 HDC,文档目前只覆盖基础操作,跨 App 流程实测不稳。
谁该用
适合:
- 做自动化脚本的开发者(测 App 兼容性、批量操作)
- 想本地部署保护隐私的团队
- 研究 GUI Agent 的算法工程师
- 不想花云端 API 钱的个人玩家
不适合:
- iOS 重度用户(目前主战场 Android)
- 需要 SLA 保障的企业生产环境(还在早期,出错得人工兜底)
- 完全不懂 ADB 的非技术用户(还是 Siri 类语音助手更省事)
一句话:能折腾、想看模型怎么「点手机」的人,拿来玩正好;想直接扔给爸妈用,等明年再说。
参考
- GitHub 仓库:zai-org/Open-AutoGLM
- 模型权重:HuggingFace - zai-org/AutoGLM-Phone-9B
- Midscene.js 适配:midscenejs.com