하루에 스마트폰을 200번쯤 누른다. 스크롤하고, 터치하고, 뒤로 가고, 다시 누른다. 한 번씩은 어렵지 않지만, 날수로 곱하면 수백 번의 반복 노동이다.
Open-AutoGLM은 정확히 이 문제를 풀려고 만든 도구다. Siri나 빅스비처럼 시스템 API를 호출하는 음성 비서가 아니라, PC에서 돌아가는 Agent다. 화면을 보고, 다음 동작을 계획하고, ADB로 직접 클릭한다.
레포는 26k Star를 받았고, 배후는 zai-org(智谱 AI)다. 핵심은 9B 비전 모델의 로컬 추론 + 오픈소스 + 중국 앱 특화다.
이게 뭘 해결하나
스마트폰 조작의 80%는 반복이다. 배달 앱 주문, 배송 조회, 양식 입력, 티켓팅, 앱 간 복사. 개별 단계는 쉬워도, 하루에 수십 번이면 수십 번이다.
AutoGLM의 접근은 단순하다. 자연어를 곧장 ADB 동작 흐름으로 바꿔서 폰 대신 �러주게 한다.
기존 음성 비서와의 차이:
- Siri / 빅스비: 시스템 API 호출, 기능이 시스템 공개 범위에 갇힘
- AutoGLM: 비전 언어 모델이 스크린샷을 직접 보고 동작 계획, ADB가 실제 실행
이건 클라우드 Q&A가 아니라 로컬 Agent다. 추론과 데이터가 모두 내 PC에서 돌아간다.
사용법
진입장벽은 매우 낮다. Python 3.10 + USB 디버깅 켠 안드로이드 기기 + ADB만 있으면 된다.
세 단계로 끝낸다:
adb devices로 연결 확인- ADBKeyboard 설치 (HarmonyOS는 불필요)
main.py실행
최소 실행 예시:
import subprocess
from phone_agent import Agent, AutoGLMModel
# 로컬 9B 모델 로드 (HuggingFace 가중치 별도 다운로드)
model = AutoGLMModel.from_pretrained("zai-org/AutoGLM-Phone-9B")
# Agent 초기화, ADB 디바이스 바인딩
agent = Agent(
model=model,
device_id="emulator-5554", # adb devices에서 확인한 id
confirm_sensitive=True, # 결제류 작업은 확인 팝업
)
# 한 줄로 실행
agent.run("小红书 열어서 '北京美食' 검색, 상위 5개 결과 스크린샷")
# 작업 중 언제든 사람이 개입 가능
# agent.pause_for_human() # 인증번호 같은 상황에서 호출
README에는 Claude Code용 원클릭 배포 프롬프트도 들어 있다. 터미널에 그대로 붙여 넣으면 문서까지 끌어와 환경을 세팅해주니, README를 손으로 읽을 필요조차 없다.
동작 구조 (아키텍처)
네 단계 폐루프다:
화면 인식(스크린샷) → 비전 언어 모델 해석 (9B 모델 AutoGLM-Phone-9B)
→ 다음 동작 계획 (클릭/입력/스와이프) → ADB/HDC 실행 → 다시 스크린샷
핵심 설계 포인트:
- 멀티모달 입력: 모델이 스크린샷을 직접 본다. View 트리를 파싱하지 않으므로 HarmonyOS, Flutter, React Native 같은 비네이티브 UI에서도 동작한다.
- 민감 작업 이중 확인: 결제, 삭제 같은 동작은 일시 정지 후 사람에게 팝업을 띄운다.
- 원격 ADB 지원:
adb tcpip로 WiFi 디버깅이 가능해 케이블을 꽂아 둘 필요가 없다. - 로컬 추론: 모델 가중치가 공개되어 있어 데이터가 클라우드로 나가지 않는다.
모델은 두 버전이 있다: AutoGLM-Phone-9B(중국어 특화)와 AutoGLM-Phone-Phone-9B-Multilingual(영어). 9B 파라미터는 RTX 4090 단독으로 약 1.5 QPS 정도 나온다.
장점과 단점
좋은 점:
- 9B 모델이 단일 GPU에서 돌아가며, 중국어 시나리오는 범용 VLM보다 훨씬 강하다 (중국 App으로 SFT 진행)
- Midscene.js가 이미 대응해서 iOS / Android / Web을 같은 모델로 구동 가능
- 오픈소스 라이선스가 개발자에게 친화적, 상업 이용 가능
- 프라이버시가 강하다. 데이터는 전부 로컬
짧은 부분:
- 지금은 Android에 집중. HarmonyOS는 HDC로 대응하는데 문서 업데이트가 느리다
- 9B 모델은 긴 작업(20단계 이상)에서 성공률이 눈에 띄게 떨어진다
- ADB 디버깅 모드에 의존해서 일반 사용자에겐 진입장벽이 높다
- iOS 네이티브는 없고, Midscene.js 경유만 가능하다
유사 프로젝트 비교: DroidRun, UI-TARS, Claude Computer Use는 모두 폐쇄형이거나 클라우드 방식이다. AutoGLM은 로컬 + 오픈소스 + 중국어 특화를 동시에 갖춘 드문 조합이라 포지션이 명확하다.
직접 돌려봤다
샤오미 14(개발자 모드 활성화)에서 공식 demo를 실행했다.
ADBKeyboard 설치 후 main.py를 실행하고 「小红书 열어美食 검색」을 입력했다.
- 모델이 첫 동작을 약 8초 만에 결정해서 App을 열었다
- 도중에 권한 요청 팝업에 두 번 멈춰서, 사람이 직접 닫고 이어갔다
- 최종 검색 결과 페이지까지 총 14단계, 약 90초 소요
4090에서 9B 모델이 잘 돌아간다. QPS는 1.5 정도. 지연은 추론보다 스크린샷 전송에서 더 나왔다.
함정: HarmonyOS 기기는 HDC로 동작하는데, 현재 문서는 기본 조작만 다루고 있어 앱跨 시나리오가实测에서 불안정했다.
누구에게 맞나
추천 대상:
- 자동화 스크립트 만드는 개발자 (App 호환성 테스트,批量 작업)
- 프라이버시 보호를 위해 로컬 배포를 원하는 팀
- GUI Agent를 연구하는 알고리즘 엔지니어
- 클라우드 API 비용을 쓰고 싶지 않은 개인 사용자
비추천 대상:
- iOS 헤비 유저 (지금은 Android 중심)
- SLA가 필요한 기업 프로덕션 환경 (아직 초기 단계라 사람이 폴백해야 함)
- ADB를 모르는 비기술 사용자 (그냥 Siri류 음성 비서가 편함)
한 줄 요약: 모델이 어떻게 "폰을 누르는지" 직접 보고 싶은 사람이면 갖고 놀기 좋다. 부모님께 드릴 수준은 내년쯤 돼야 가능하다.
참고 링크
- GitHub 레포: zai-org/Open-AutoGLM
- 모델 가중치: HuggingFace - zai-org/AutoGLM-Phone-9B
- Midscene.js 대응: midscenejs.com