프레임워크

Browser Use: AI Agent가 알아서 웹페이지를 조작하는 10만 Star 프로젝트

GitHub에서 가장 주목받는 브라우저 Agent 프레임워크 중 하나. 자연어로 작업을 주면 Agent가 스스로 브라우저를 열어 버튼을 누르고 폼을 채운다. 이 글은 LLM이 웹페이지를 다룰 수 있도록 만드는 방식을 분해한다.

글자 크기

어떤 문제를 해결하는가

LLM은 대화도 하고 코드도 짜지만, 웹페이지를 직접 조작하라고 하면 바로 막힌다. Selenium이나 Playwright 같은 도구는 개발자가 스크립트를 짜기 위한 것이지, Agent가 자연어로 동작을 지시하기 위한 것은 아니다. 스크립트에게는 "id가 submit인 버튼을 클릭해"라고 알려줘야 하고, "이 경비报销 제출해줘" 같은 말은 통하지 않는다.

Browser Use는 이 둘 사이에 한 겹을 깔아준다. 웹페이지 구조를 Agent가 이해할 수 있는 텍스트로 추출하고, Agent의 결정을 다시 브라우저 동작으로 번역한다. LLM에 들어가는 것은 더 이상 HTML 소스가 아니라 "페이지 요약 + 상호작용 요소 목록" 같은 구조화된 정보이고, 출력 역시 Python 코드가 아니라 "다음에 무엇을 할지"를 묘사한 JSON이다.

사용법

설치는 한 줄이다.

pip install browser-use

실행도 코드 세 줄이면 된다.

from browser_use import Agent
import asyncio
from langchain_openai import ChatOpenAI

async def main():
    agent = Agent(
        task="Hacker News에서 AI Agent 관련 최고 추천 글을 찾아 제목과 링크 알려줘",
        llm=ChatOpenAI(model="gpt-4o"),
    )
    result = await agent.run()
    print(result)

asyncio.run(main())

브라우저 제어는 내부적으로 Playwright에 의존한다. tool calling을 지원하는 LLM이 필요하며, GPT-4o, Claude, DeepSeek, Gemini 모두 가능하다. 공식 문서대로 LangChain chat model을 연결하면 된다.

동작 원리

핵심 루프는 네 단계다.

1. 관찰 — 페이지의 DOM 트리와 접근성 트리(accessibility tree)를 가져와 텍스트로 직렬화한다.

2. 결정 — 이 텍스트와 이전 기억을 LLM에 넣어 다음 동작 JSON을 출력하게 한다. 형식은 {"action": "click", "index": 12} 같은 식이다.

3. 실행 — Playwright가 JSON을 받아 페이지에서 12번 요소를 찾아 클릭한다.

4. 재관찰 — 페이지가 바뀌었으니 다시 DOM을 가져와 1번으로 돌아간다.

핵심 설계 포인트는 LLM에게 스크린샷을 보여주지 않는다는 점이다. 스크린샷은 비전 모델에겐 친절하지만 토큰 소모가 너무 크다. 페이지 하나 캡처하는 데도 토큰이 수천 개는 기본이다. Browser Use는 DOM + 접근성 트리 + 상호작용 요소마다 번호를 매기는 방식을 채택했다. LLM은 "12번 클릭" 한마디면 끝이다.

거기에 두 가지가 더 붙는다.

  • 기억 시스템: 이전 단계들을 컨텍스트에 유지해서 Agent가 "방금 검색했고, 이제 3번째 결과를 클릭해야 한다"는 흐름을 잃지 않도록 한다.
  • 자기 교정: 동작 실패(요소 미발견, 페이지 로딩 미완료) 시 재시도하거나 전략을 바꿔 다시 계획한다.

하단에는 Chromium이 돌아간다. 로컬에서도 띄울 수 있다. 브라우저 클러스터를 직접 관리하기 싫으면 cloud.browser-use.com이라는 유료 클라우드 서비스를 붙일 수도 있다.

장점

  • 진입장벽이 매우 낮다. 위 코드가 전체 예제다. 복붙하면 바로 돌아간다.
  • 커뮤니티가 활발하다. 10만 Star는 공들인 결과다. GitHub 이슈 응답도 빠르고 Discord도 시끌벅적하다.
  • examples 폴더에서 베끼기 좋다. apply_to_job(자동 이력서投递), amazon(가격 수집), Twitter 데이터 추출 등 완성된 사례가 그대로 있다.
  • 다중 모델 지원. Claude, GPT, DeepSeek, Gemini를 자유롭게 바꿔 끼울 수 있고 특정 벤더에 종속되지 않는다.

단점

  • 복잡한 페이지에서 성공률이 들쭉날쭉하다. JS가 많거나 SPA, iframe 중첩이 깊은 페이지는 DOM 직렬화 과정에서 뭔가 빠지는 경우가 많아 Agent가 길을 잃는다.
  • 토큰 소모가 적지 않다. 중간 난이도 작업 하나에 토큰 만 개는 가볍게 나가고, 복잡한 플로우는 3만 토큰부터 시작한다. 단순 API 호출보다 한 자릿수는 더 비싸다.
  • 로그인과 캡차가 큰 골치덩이다. 로그인 상태가 필요한 시나리오는 쿠키를 직접 넣든가, 애초에 안 쓰는 게 낫다. 브라우저 Agent 전반의 공통 약점이다.
  • 속도가 느리다. 작업 하나에 수십 초에서 몇 분은 기본이라 실시간 시나리오엔 맞지 않다.

실제로 써봤다

GPT-4o로 examples의 아마존 가격 수집을 돌려봤다. 10번 중 8번 성공. 실패한 2번은 같은 이유였다. 페이지에 쿠키 동의 창이 떴는데 Agent가 그것부터 처리하지 않고 바로 "장바구니 담기"를 러서 요소가 가려진 것이다.

이건 브라우저 Agent 모두의 공통병이다. 쿠키 동의 창, 지역 안내 팝업, 광고 차단 알림 — 사람한테는 상식인 이런 "페이지 속 변수"가 Agent에겐 예고 없이 다가오는 장애물이다.

토큰 소모 실측: 단순한 작업(검색, 제목 추출)은 8k~15k, 여러 페이지를 넘나들거나 폼을 채우는 복잡한 플로우는 3만 토큰부터. GPT-4o 입력·출력 평균 단가를 기준으로 하면 작업당 몇 센트에서 몇십 센트다. 대규모로 돌리기엔 비싸다.

정리하면, 단순 작업은 쓰기 편하지만 프로덕션용 크롤러로 쓰긴 어렵다.

대안과 비교

  • Selenium / Playwright: 인프라 레벨 도구. Agent 레이어는 없어서 직접 selector를 지정하는 코드를 짜야 한다.
  • Skyvern: 비전 중심 접근. 스크린을 멀티모달 모델에 넣는다. 토큰은 더 비싸지만 구조가 이상한 페이지에 더 견디다.
  • Stagehand: 비슷한 포지션의 경쟁 프로젝트지만 커뮤니티는 덜 활발하다.

Browser Use의 포지션은 "중간 지점이 편한" 쪽이다. 코드를 직접 짜야 하는 Selenium도 아니고, 토큰비가 아까운 순수 비전 방식도 아니다.

이런 사람이 쓰면 된다

적합한 시나리오:

  • "Agent가 이 웹 플로우를 처리할 수 있나"를 빠르게 검증 — 10분 투자해서 몇 줄 짜보면 답이 나온다.
  • 팀 내부 소도구. 경비报销 자동 입력, 경쟁사 가격 수집, 데모 자동화 등.
  • Agent 행동 자체를 연구하는 경우. 논문에서 ReAct, 계획 능력을 재현할 때 유용하다.

맞지 않는 시나리오:

  • 대규모 데이터 수집 — 비용이 너무 크고 속도도 느리며 IP가 차단당하기 쉽다.
  • 안정적인 SLA가 필요한 프로덕션 — 성공률 편차가 커서 믿고 걸기 어렵다.
  • 봇 탐지 회피가 필요한 작업 — 브라우저 핑거프린트가 너무 선명해서 Cloudflare에 바로 걸린다.

10만 Star가 쌓인 만큼, "AI 대신 웹페이지 좀 클릭해줘" 싶은 상황의 80%는 해결해준다. 나머지 20%는 페이지가 너무 엉망이거나 다른 도구를 들여야 하는 경우다.


참고: browser-use/browser-use GitHub 저장소

출처: https://github.com/browser-use/browser-use