프레임워크

Open-AutoGLM 뜯어보기: 9B 모델이 ADB로 배달 앱까지 누르는 방식

한 줄 명령으로 배달 주문, 배송 조회까지—오픈소스 9B 비전 모델과 ADB를 결합해 Phone Agent를 로컬에서 돌렸다. 샤오미 14에서 14단계 작업을 90초에 처리했고, RTX 4090 단독으로 구동 가능했다.

글자 크기

하루에 스마트폰을 200번쯤 누른다. 스크롤하고, 터치하고, 뒤로 가고, 다시 누른다. 한 번씩은 어렵지 않지만, 날수로 곱하면 수백 번의 반복 노동이다.

Open-AutoGLM은 정확히 이 문제를 풀려고 만든 도구다. Siri나 빅스비처럼 시스템 API를 호출하는 음성 비서가 아니라, PC에서 돌아가는 Agent다. 화면을 보고, 다음 동작을 계획하고, ADB로 직접 클릭한다.

레포는 26k Star를 받았고, 배후는 zai-org(智谱 AI)다. 핵심은 9B 비전 모델의 로컬 추론 + 오픈소스 + 중국 앱 특화다.


이게 뭘 해결하나

스마트폰 조작의 80%는 반복이다. 배달 앱 주문, 배송 조회, 양식 입력, 티켓팅, 앱 간 복사. 개별 단계는 쉬워도, 하루에 수십 번이면 수십 번이다.

AutoGLM의 접근은 단순하다. 자연어를 곧장 ADB 동작 흐름으로 바꿔서 폰 대신 �러주게 한다.

기존 음성 비서와의 차이:

  • Siri / 빅스비: 시스템 API 호출, 기능이 시스템 공개 범위에 갇힘
  • AutoGLM: 비전 언어 모델이 스크린샷을 직접 보고 동작 계획, ADB가 실제 실행

이건 클라우드 Q&A가 아니라 로컬 Agent다. 추론과 데이터가 모두 내 PC에서 돌아간다.

사용법

진입장벽은 매우 낮다. Python 3.10 + USB 디버깅 켠 안드로이드 기기 + ADB만 있으면 된다.

세 단계로 끝낸다:

  1. adb devices로 연결 확인
  2. ADBKeyboard 설치 (HarmonyOS는 불필요)
  3. main.py 실행

최소 실행 예시:

import subprocess
from phone_agent import Agent, AutoGLMModel

# 로컬 9B 모델 로드 (HuggingFace 가중치 별도 다운로드)
model = AutoGLMModel.from_pretrained("zai-org/AutoGLM-Phone-9B")

# Agent 초기화, ADB 디바이스 바인딩
agent = Agent(
    model=model,
    device_id="emulator-5554",   # adb devices에서 확인한 id
    confirm_sensitive=True,      # 결제류 작업은 확인 팝업
)

# 한 줄로 실행
agent.run("小红书 열어서 '北京美食' 검색, 상위 5개 결과 스크린샷")

# 작업 중 언제든 사람이 개입 가능
# agent.pause_for_human()  # 인증번호 같은 상황에서 호출

README에는 Claude Code용 원클릭 배포 프롬프트도 들어 있다. 터미널에 그대로 붙여 넣으면 문서까지 끌어와 환경을 세팅해주니, README를 손으로 읽을 필요조차 없다.

동작 구조 (아키텍처)

네 단계 폐루프다:

화면 인식(스크린샷) → 비전 언어 모델 해석 (9B 모델 AutoGLM-Phone-9B)
        → 다음 동작 계획 (클릭/입력/스와이프) → ADB/HDC 실행 → 다시 스크린샷

핵심 설계 포인트:

  1. 멀티모달 입력: 모델이 스크린샷을 직접 본다. View 트리를 파싱하지 않으므로 HarmonyOS, Flutter, React Native 같은 비네이티브 UI에서도 동작한다.
  2. 민감 작업 이중 확인: 결제, 삭제 같은 동작은 일시 정지 후 사람에게 팝업을 띄운다.
  3. 원격 ADB 지원: adb tcpip로 WiFi 디버깅이 가능해 케이블을 꽂아 둘 필요가 없다.
  4. 로컬 추론: 모델 가중치가 공개되어 있어 데이터가 클라우드로 나가지 않는다.

모델은 두 버전이 있다: AutoGLM-Phone-9B(중국어 특화)와 AutoGLM-Phone-Phone-9B-Multilingual(영어). 9B 파라미터는 RTX 4090 단독으로 약 1.5 QPS 정도 나온다.

장점과 단점

좋은 점:

  • 9B 모델이 단일 GPU에서 돌아가며, 중국어 시나리오는 범용 VLM보다 훨씬 강하다 (중국 App으로 SFT 진행)
  • Midscene.js가 이미 대응해서 iOS / Android / Web을 같은 모델로 구동 가능
  • 오픈소스 라이선스가 개발자에게 친화적, 상업 이용 가능
  • 프라이버시가 강하다. 데이터는 전부 로컬

짧은 부분:

  • 지금은 Android에 집중. HarmonyOS는 HDC로 대응하는데 문서 업데이트가 느리다
  • 9B 모델은 긴 작업(20단계 이상)에서 성공률이 눈에 띄게 떨어진다
  • ADB 디버깅 모드에 의존해서 일반 사용자에겐 진입장벽이 높다
  • iOS 네이티브는 없고, Midscene.js 경유만 가능하다

유사 프로젝트 비교: DroidRun, UI-TARS, Claude Computer Use는 모두 폐쇄형이거나 클라우드 방식이다. AutoGLM은 로컬 + 오픈소스 + 중국어 특화를 동시에 갖춘 드문 조합이라 포지션이 명확하다.

직접 돌려봤다

샤오미 14(개발자 모드 활성화)에서 공식 demo를 실행했다.

ADBKeyboard 설치 후 main.py를 실행하고 「小红书 열어美食 검색」을 입력했다.

  • 모델이 첫 동작을 약 8초 만에 결정해서 App을 열었다
  • 도중에 권한 요청 팝업에 두 번 멈춰서, 사람이 직접 닫고 이어갔다
  • 최종 검색 결과 페이지까지 총 14단계, 약 90초 소요

4090에서 9B 모델이 잘 돌아간다. QPS는 1.5 정도. 지연은 추론보다 스크린샷 전송에서 더 나왔다.

함정: HarmonyOS 기기는 HDC로 동작하는데, 현재 문서는 기본 조작만 다루고 있어 앱跨 시나리오가实测에서 불안정했다.

누구에게 맞나

추천 대상:

  • 자동화 스크립트 만드는 개발자 (App 호환성 테스트,批量 작업)
  • 프라이버시 보호를 위해 로컬 배포를 원하는 팀
  • GUI Agent를 연구하는 알고리즘 엔지니어
  • 클라우드 API 비용을 쓰고 싶지 않은 개인 사용자

비추천 대상:

  • iOS 헤비 유저 (지금은 Android 중심)
  • SLA가 필요한 기업 프로덕션 환경 (아직 초기 단계라 사람이 폴백해야 함)
  • ADB를 모르는 비기술 사용자 (그냥 Siri류 음성 비서가 편함)

한 줄 요약: 모델이 어떻게 "폰을 누르는지" 직접 보고 싶은 사람이면 갖고 놀기 좋다. 부모님께 드릴 수준은 내년쯤 돼야 가능하다.

참고 링크

출처: https://github.com/zai-org/Open-AutoGLM