我每天用手機大概要點 200 次。滑一下、點一下、返回、再點。每一步都不算難,但乘以天數就是上百次的重複操作。
Open-AutoGLM 想解決的就是這件事。它不是 Siri、不是小愛同學那種呼叫系統 API 的語音助理,而是一個跑在你電腦上的 Agent,能看見螢幕、規劃動作,再透過 ADB 真的去執行點擊。
專案在 GitHub 上有 26k Star,出品方是 zai-org(智譜 AI)。核心賣點是:9B 視覺模型可本地推理、開源、針對中文 App 特別優化。
它解決什麼問題
手機上 80% 的操作其實是重複勞動:點外賣、查物流、填表單、搶票、跨 App 複製資訊。每一步都不難,但一天點幾十次就是幾十次。
AutoGLM 的思路很直接:把自然語言直接轉成 ADB 操作序列,讓手機替你點。
跟傳統語音助理的差別:
- Siri / 小愛:呼叫系統 API,能力受系統開放介面限制
- AutoGLM:視覺語言模型直接看截圖、規劃動作,再由 ADB 執行
這是一個端側 Agent,不是雲端問答。所有推理與資料都在你自己的電腦上。
怎麼用
門檻很低:Python 3.10、一台開啟 USB 偵錯的 Android 手機、ADB。
三步驟:
adb devices確認連線- 安裝 ADBKeyboard(鴻蒙不需要)
- 執行
main.py
最小可執行範例:
import subprocess
from phone_agent import Agent, AutoGLMModel
# 載入本地 9B 模型(需先下載 HuggingFace 權重)
model = AutoGLMModel.from_pretrained("zai-org/AutoGLM-Phone-9B")
# 初始化 Agent,綁定 ADB 裝置
agent = Agent(
model=model,
device_id="emulator-5554", # 從 adb devices 取得的 id
confirm_sensitive=True, # 付款類操作會彈出確認
)
# 一句話讓它開始工作
agent.run("打開小紅書,搜尋『北京美食』,截圖前 5 條結果")
# 任務進行中可隨時人工接管
# agent.pause_for_human() # 驗證碼場景使用
README 還附了一段給 Claude Code 的一鍵部署提示詞,直接貼進終端機就能拉文件裝環境,連手動看 README 都省了。
它怎麼運作(架構)
四層閉環:
螢幕感知(截圖) → 視覺語言模型理解(9B 模型 AutoGLM-Phone-9B)
→ 規劃下一步動作(點擊/輸入/滑動) → ADB/HDC 執行 → 重新截圖循環
幾個關鍵設計:
- 多模態輸入:模型直接看截圖,不解析 View 樹。這代表對鴻蒙、Flutter、React Native 這類非原生 UI 框架同樣適用。
- 敏感操作二次確認:付款、刪除這類動作會暫停並彈窗,等待人工接管。
- 遠端 ADB 支援:透過
adb tcpip走 WiFi 偵錯,手機不用一直插著線。 - 本地推理:模型權重開源,資料不送上雲端。
模型本身有兩個版本:AutoGLM-Phone-9B(中文優化)與 AutoGLM-Phone-Phone-9B-Multilingual(英文)。9B 參數量在單卡 4090 上約可跑到 1.5 QPS。
優點與不足
做得好的地方:
- 9B 模型單卡可跑,中文場景比通用 VLM 強很多(特別針對中文 App 做了 SFT)
- Midscene.js 已適配,iOS / Android / Web 可用同一套模型驅動
- 開源授權對開發者友善,可商用
- 隱私保護完善,資料全程本地
明顯的短板:
- 目前主要聚焦 Android,鴻蒙支援靠 HDC(文件更新較慢)
- 9B 模型在長鏈路任務(>20 步)成功率下降明顯
- 依賴 ADB 偵錯模式,一般使用者開啟門檻高
- 沒有 iOS 原生方案(只能透過 Midscene.js 中轉)
同類比較:DroidRun、UI-TARS、Claude Computer Use 都是閉源或雲端方案。AutoGLM 是少數同時做到端側、開源、中文優化的組合,定位差異化明顯。
實測結果
在一台小米 14(已開啟開發者模式)上跑了官方 demo。
裝好 ADBKeyboard 後執行 main.py,輸入「打開小紅書搜尋美食」。
- 模型約 8 秒給出第一步,點開 App
- 中間遇到彈窗(權限請求)卡了 2 次,人工點掉後繼續
- 最終抵達搜尋結果頁,全程 14 步,耗時約 90 秒
9B 模型在我的 4090 上跑得動,QPS 約 1.5。延遲主要來自截圖傳輸,而非推理本身。
踩到的坑:鴻蒙裝置走 HDC,目前文件只覆蓋基礎操作,跨 App 流程實測不穩定。
誰適合用
適合:
- 做自動化腳本的開發者(測 App 相容性、批次操作)
- 想本地部署以保護隱私的團隊
- 研究 GUI Agent 的演算法工程師
- 不想付雲端 API 費用的個人玩家
不適合:
- iOS 重度使用者(目前主戰場是 Android)
- 需要 SLA 保障的企業生產環境(仍在早期,出錯仍需人工介入)
- 完全不懂 ADB 的非技術使用者(這種情境 Siri 類語音助理還是更省事)
一句話總結:喜歡折騰、想看模型怎麼「點手機」的人,拿來玩剛剛好;想直接丟給長輩用,等明年再說。
參考資料
- GitHub 專案:zai-org/Open-AutoGLM
- 模型權重:HuggingFace - zai-org/AutoGLM-Phone-9B
- Midscene.js 適配:midscenejs.com