Open-AutoGLM を解剖:9B オープンソースモデル × ADB でスマホに外注を頼む時代
一日にスマホを軽く 200 回は触る。スクロール、タップ、戻る、またタップ。一つひとつは大した操作ではないが、日にち単位で積もれば数百回分の単純作業になる。
Open-AutoGLM がやろうとしているのは、まさにこの領域の自動化だ。Siri や小愛同学のようにシステム API を叩く音声アシスタントとは別物で、パソコン上で動く Agent が画面を「見て」、次の動作を「考えて」、ADB で実際にタップまで実行する。
リポジトリは Star 26k、出所は zai-org(智譜 AI)。売りは「9B の視覚言語モデルをローカル推論」「完全オープンソース」「中国系アプリへの特化最適化」の三本立て。
何の問題を解決するか
スマホ操作の 8 割は反復作業だ。外卖の注文、配送状況の確認、フォーム入力、チケット争奪戦、アプリをまたいだ情報コピー。手順単体で見れば難しくないが、日に数十回それを繰り返すのは地味につらい。
AutoGLM のアプローチはシンプルだ。自然言語を直接 ADB の操作シーケンスに変換し、スマホにタップさせる。
従来の音声アシスタントとの違いは次の通り。
- Siri / 小愛同学:システム API を呼び出すため、能力は OS の公開インターフェースに制約される
- AutoGLM:視覚言語モデル(VLM)がスクリーンショットを直接読み取り、行動を計画し、ADB で実操作する
クラウドの Q&A ボットではなく、エッジ側で完結する Agent だ。推論もデータもすべて自分のパソコン上で処理される。
使い方
導入のハードルは極めて低い。Python 3.10、USB デバッグを有効化した Android 端末、ADB の三つだけ。
手順は 3 ステップ。
adb devicesで接続を確認- ADBKeyboard をインストール(HarmonyOS は不要)
main.pyを実行
最小構成のサンプルコードは以下。
import subprocess
from phone_agent import Agent, AutoGLMModel
# 加载本地 9B 模型(需要先下 HuggingFace 权重)
model = AutoGLMModel.from_pretrained("zai-org/AutoGLM-Phone-9B")
# 初始化 Agent,绑定 ADB 设备
agent = Agent(
model=model,
device_id="emulator-5554", # adb devices 查到的 id
confirm_sensitive=True, # 付款类操作弹确认
)
# 一句话让它干活
agent.run("打开小红书,搜索'北京美食',截图前 5 条结果")
# 任务过程中可随时人工接管
# agent.pause_for_human() # 验证码场景调用
README には Claude Code 向けのワンクリックデプロイ用プロンプトも用意されている。ターミナルに貼り付ければドキュメント取得から環境構築まで自動で進むので、README を自分で読む手間すら省ける。
仕組み(アーキテクチャ)
処理は 4 層のループで回る。
画面認識(スクリーンショット) → 視覚言語モデルによる理解(9B モデル AutoGLM-Phone-9B)
→ 次のアクション計画(タップ / 入力 / スワイプ) → ADB / HDC で実行 → 再スクリーンショットでループ
設計上のポイントをいくつか挙げる。
- マルチモーダル入力:モデルはスクリーンショットを直接見るので、View ツリーの解析が不要。結果として HarmonyOS、Flutter、React Native といった非ネイティブ UI フレームワークでも動作する。
- 機微操作の二段階確認:決済や削除のような操作は停止してポップアップを出し、人間の介入を待つ。
- リモート ADB 対応:
adb tcpipで WiFi デバッグが可能。端末を常時ケーブル接続しておく必要がない。 - ローカル推論:モデルの重みはオープンソース公開。データはクラウドに送信されない。
モデルには二つのバリアントがある。AutoGLM-Phone-9B(中国語最適化)と AutoGLM-Phone-Phone-9B-Multilingual(英語版)。9B パラメータのサイズは RTX 4090 単機で QPS 約 1.5 が出る。
強みと弱み
良いところ:
- 9B モデルが単機で動き、中国語アプリに対する精度は汎用 VLM を大きく上回る(中国語アプリで SFT 済み)
- Midscene.js が対応済みで、iOS / Android / Web を同じモデルで駆動できる
- ライセンスが開発者に寛容で商用利用も可能
- プライバシーに強く、データは完全にローカルで閉じる
弱み:
- 現時点の主戦場は Android。HarmonyOS は HDC 経由でサポートしているが、文档の更新が追いついていない
- 9B モデルでは長鎖タスク(20 ステップ超)の成功率が明確に下がる
- ADB デバッグモードへの依存が大きく、一般ユーザーが使うには導入の敷居が高い
- iOS ネイティブ対応はなし(Midscene.js を経由する必要がある)
競合との比較:DroidRun、UI-TARS、Claude Computer Use はいずれもクローズドソースかクラウド依存のソリューションばかり。AutoGLM は「エッジ動作」「オープンソース」「中国語アプリ最適化」を兼ねる稀有なポジションで、差別化は明確。
実機で動かしてみた
開発者モードを有効化した Xiaomi 14 で公式デモを実行した。
ADBKeyboard を入れた状態で main.py を起動し、「小紅書を開いてグルメを検索」と入力。
- モデルは約 8 秒で初手のタップ位置を出力し、アプリを起動
- 途中で権限ダイアログが 2 回割り込み、手動で閉じてから継続
- 最終的に検索結果ページまで到達。合計 14 ステップ、約 90 秒で完結
9B モデルは RTX 4090 上では問題なく動作し、QPS は約 1.5。ボトルネックは推論ではなくスクリーンショット伝送側の遅延だった。
落とし穴:HarmonyOS 端末は HDC 経由になるが、ドキュメントがカバーしているのは基本操作のみで、アプリ跨ぎの実測安定性はいまひとつ。
誰に向いているか
向いている層:
- 自動化スクリプトを書く開発者(アプリ互換性テスト、バッチ処理など)
- プライバシー保護の観点からローカル運用したいチーム
- GUI Agent のアルゴリズムを研究したいエンジニア
- クラウド API 料金を支払いたくない個人開発者
向いていない層:
- iOS ヘビーユーザー(現状 Android が主戦場)
- SLA を必要とする企業の本番環境(まだ黎明期で、ミス時のフォールバックは人間が担う前提)
- ADB を一切知らない非技術ユーザー(Siri 系音声アシスタントのほうがよほど楽)
まとめると、折腾(イジり)が苦にならない人で、モデルが「スマホをどうタップするか」を自分の目で確かめたいなら最高の遊び道具。親にそのまま渡せるレベルになるのはもう少し先の話だ。
参考リンク
- GitHub リポジトリ:zai-org/Open-AutoGLM
- モデル重み:HuggingFace - zai-org/AutoGLM-Phone-9B
- Midscene.js 対応:midscenejs.com