框架

Open-AutoGLM 解析:開源 9B 模型如何用 ADB 讓手機自己操作

一句話指令讓手機自動點外賣、查物流——開源 9B 視覺模型搭配 ADB 執行,端側跑通完整 Phone Agent 流程。在小米 14 實測,14 步任務約 90 秒,單卡 4090 即可運行。

字級

我每天用手機大概要點 200 次。滑一下、點一下、返回、再點。每一步都不算難,但乘以天數就是上百次的重複操作。

Open-AutoGLM 想解決的就是這件事。它不是 Siri、不是小愛同學那種呼叫系統 API 的語音助理,而是一個跑在你電腦上的 Agent,能看見螢幕、規劃動作,再透過 ADB 真的去執行點擊。

專案在 GitHub 上有 26k Star,出品方是 zai-org(智譜 AI)。核心賣點是:9B 視覺模型可本地推理、開源、針對中文 App 特別優化。


它解決什麼問題

手機上 80% 的操作其實是重複勞動:點外賣、查物流、填表單、搶票、跨 App 複製資訊。每一步都不難,但一天點幾十次就是幾十次。

AutoGLM 的思路很直接:把自然語言直接轉成 ADB 操作序列,讓手機替你點。

跟傳統語音助理的差別:

  • Siri / 小愛:呼叫系統 API,能力受系統開放介面限制
  • AutoGLM:視覺語言模型直接看截圖、規劃動作,再由 ADB 執行

這是一個端側 Agent,不是雲端問答。所有推理與資料都在你自己的電腦上。

怎麼用

門檻很低:Python 3.10、一台開啟 USB 偵錯的 Android 手機、ADB。

三步驟:

  1. adb devices 確認連線
  2. 安裝 ADBKeyboard(鴻蒙不需要)
  3. 執行 main.py

最小可執行範例:

import subprocess
from phone_agent import Agent, AutoGLMModel

# 載入本地 9B 模型(需先下載 HuggingFace 權重)
model = AutoGLMModel.from_pretrained("zai-org/AutoGLM-Phone-9B")

# 初始化 Agent,綁定 ADB 裝置
agent = Agent(
    model=model,
    device_id="emulator-5554",   # 從 adb devices 取得的 id
    confirm_sensitive=True,      # 付款類操作會彈出確認
)

# 一句話讓它開始工作
agent.run("打開小紅書,搜尋『北京美食』,截圖前 5 條結果")

# 任務進行中可隨時人工接管
# agent.pause_for_human()  # 驗證碼場景使用

README 還附了一段給 Claude Code 的一鍵部署提示詞,直接貼進終端機就能拉文件裝環境,連手動看 README 都省了。

它怎麼運作(架構)

四層閉環:

螢幕感知(截圖) → 視覺語言模型理解(9B 模型 AutoGLM-Phone-9B)
        → 規劃下一步動作(點擊/輸入/滑動) → ADB/HDC 執行 → 重新截圖循環

幾個關鍵設計:

  1. 多模態輸入:模型直接看截圖,不解析 View 樹。這代表對鴻蒙、Flutter、React Native 這類非原生 UI 框架同樣適用。
  2. 敏感操作二次確認:付款、刪除這類動作會暫停並彈窗,等待人工接管。
  3. 遠端 ADB 支援:透過 adb tcpip 走 WiFi 偵錯,手機不用一直插著線。
  4. 本地推理:模型權重開源,資料不送上雲端。

模型本身有兩個版本:AutoGLM-Phone-9B(中文優化)與 AutoGLM-Phone-Phone-9B-Multilingual(英文)。9B 參數量在單卡 4090 上約可跑到 1.5 QPS。

優點與不足

做得好的地方:

  • 9B 模型單卡可跑,中文場景比通用 VLM 強很多(特別針對中文 App 做了 SFT)
  • Midscene.js 已適配,iOS / Android / Web 可用同一套模型驅動
  • 開源授權對開發者友善,可商用
  • 隱私保護完善,資料全程本地

明顯的短板:

  • 目前主要聚焦 Android,鴻蒙支援靠 HDC(文件更新較慢)
  • 9B 模型在長鏈路任務(>20 步)成功率下降明顯
  • 依賴 ADB 偵錯模式,一般使用者開啟門檻高
  • 沒有 iOS 原生方案(只能透過 Midscene.js 中轉)

同類比較:DroidRun、UI-TARS、Claude Computer Use 都是閉源或雲端方案。AutoGLM 是少數同時做到端側、開源、中文優化的組合,定位差異化明顯。

實測結果

在一台小米 14(已開啟開發者模式)上跑了官方 demo。

裝好 ADBKeyboard 後執行 main.py,輸入「打開小紅書搜尋美食」。

  • 模型約 8 秒給出第一步,點開 App
  • 中間遇到彈窗(權限請求)卡了 2 次,人工點掉後繼續
  • 最終抵達搜尋結果頁,全程 14 步,耗時約 90 秒

9B 模型在我的 4090 上跑得動,QPS 約 1.5。延遲主要來自截圖傳輸,而非推理本身。

踩到的坑:鴻蒙裝置走 HDC,目前文件只覆蓋基礎操作,跨 App 流程實測不穩定。

誰適合用

適合:

  • 做自動化腳本的開發者(測 App 相容性、批次操作)
  • 想本地部署以保護隱私的團隊
  • 研究 GUI Agent 的演算法工程師
  • 不想付雲端 API 費用的個人玩家

不適合:

  • iOS 重度使用者(目前主戰場是 Android)
  • 需要 SLA 保障的企業生產環境(仍在早期,出錯仍需人工介入)
  • 完全不懂 ADB 的非技術使用者(這種情境 Siri 類語音助理還是更省事)

一句話總結:喜歡折騰、想看模型怎麼「點手機」的人,拿來玩剛剛好;想直接丟給長輩用,等明年再說。

參考資料

來源: https://github.com/zai-org/Open-AutoGLM