크롤러의 고통은 작성보다 유지보수에 있다.
BeautifulSoup으로 div.product-card h2.title 같은 selector를 꽤 잘 잡아서 석 달쯤 돌렸다고 치자. 어느 날 사이트 리뉴얼이 들어오고 CSS class가 title에서 product-name으로 바뀐다. selector는 그대로 에러를 뱉고, 요소는 어디로 갔는지 모른 채 응답만 쌓인다. 결국 서버에 올라가 HTML을 보고, 코드를 고치고, 배포하고, 다음 리뉴얼을 기다리는 반복.
GitHub에서 star 75,413개를 모은 Scrapling이 노리는 게 바로 이 지점이다. 핵심 세일즈 포인트는 adaptive다. selector로 요소를 잡을 때 다차원 지문(태그, 텍스트 콘텐츠, 구조적 위치, 형제 노드 관계)을 같이 기록해 둔다. 다음 번에 같은 사이트를 다시 긁을 때 원래 selector가 깨져도, 유사도 알고리즘으로 가장 가까운 요소를 자동으로 찾아낸다.
또 하나의 현실적인 문제. 단순 HTTP 요청, 브라우저 렌더링, 사이트 전체 재귀 탐색 — 이 세 가지 상황에 쓰는 라이브러리가 제각각이다. requests, Playwright, Scrapy. Scrapling은 이 세 층을 하나의 API로 통일했다. 게다가 요즘 크롤러 상당수는 LLM Agent에게 데이터를 먹여 주는 용도인데, Scrapling은 MCP server와 Agent Skill을 그대로 노출시켜 Agent가 접착 코드 없이 바로 호출하게 만들었다.
무엇을 해결하나
크롤러 유지보수 비용이 높다는 건 워낙 상식이다. Scrapling의 해법을 세 블록으로 쪼개면 다음과 같다.
- 적응형 selector: 요소 지문을 기록해 두었다가 selector가失效하면 자동 재배치
- 3계층 fetcher 통합: HTTP·브라우저·재귀 크롤러가 API 하나를 공유
- AI Agent 친화: MCP server와 Skill 내장, LLM이 직접 호출 가능
왜 이 셋을 한 묶음으로 묶었나. 중소 규모 크롤링(수천~수십만 페이지) 구간이 이 세 시나리오가 가장 많이 겹치는 자리이기 때문이다.
사용법
pip install scrapling으로 설치하고, 코드 세 줄이면 돈다. Fetcher가 통합 진입점이고, 인자에 따라 경로가 갈린다. 순수 HTTP(가장 빠름), 동적 렌더링(필요하면 Playwright 자동 기동), 재귀 크롤러(Spider 클래스).
요소 선택은 jQuery 비슷한 체이닝 API를 쓴다. 최소 실행 가능한 예시. books.toscrape.com을 긁어서 모든 h3 텍스트를 뽑고, adaptive selector 작성법을 함께 보여준다.
from scrapling import Fetcher, Spider
# 1. 단일 fetch + adaptive selector
page = Fetcher.get('https://books.toscrape.com/', stealthy_headers=True)
books = page.css('article.product_pod h3 a::attr(title)', adaptive=True)
print(f'찾은 책 {len(books)}권')
for b in books[:3]:
print(' -', b.text)
adaptive=True가 Scrapling을 BeautifulSoup과 가르는 결정적 옵션이다. 켜두면 selector가 원래 매칭을 수행하는 동시에, 적중한 각 요소에 대한 지문을 생성해 객체 안에 저장한다.
재귀 전체 사이트 크롤러 예시도 하나 더.
# 2. 재귀 전체 사이트 크롤러(약 15줄)
class BookSpider(Spider):
start_urls = ['https://books.toscrape.com/']
concurrency = 8
async def parse(self, page):
for book in page.css('article.product_pod', adaptive=True):
yield {
'title': book.css('h3 a::attr(title)').get(),
'price': book.css('p.price_color::text').get(),
}
nxt = page.css('li.next a::attr(href)', adaptive=True)
if nxt:
yield self.follow(nxt[0].text)
BookSpider().start()
README에서 그대로 가져온 진짜 코드라 그대로 돈다.
동작 원리
3계층 fetcher에 parser 한 층을 얹은 구조다.
- 底层
Fetcher: HTTP 경로.aiohttp또는curl_cffi기반(후자는 브라우저 TLS 지문 모방이 가능해 지문 탐지에 강함) - 中間層
StealthyFetcher: Playwright를 감싸 JS 렌더링 시나리오 처리 - 最上層
Spider: 큐·동시성·재귀 fetch 관리
핵심은 parser 층이다. Adaptor가 요소를 잡을 때마다 지문 메타데이터를 생성해 요소 객체 안에 저장한다. 다음 번에 같은 사이트를 긁을 때 selector가失效하면, 유사도 알고리즘(기본은 텍스트 콘텐츠 + 태그 경로 + 형제 노드 구조 기반)으로 가장 가까운 요소를 자동으로 찾아낸다. adaptive=True가 명시적 활성화 옵션이다.
흐름은 request → fetcher 선택 → render → parse → record fingerprint → return adaptive element.
장단점
네 가지 축으로 비교하면 다음과 같다.
- vs Requests + BeautifulSoup: BS4 selector는 깨지기 쉽고, Scrapling은 자기 치유한다. 가장 직접적인 비교 대상이다.
- vs Playwright: Playwright는 렌더링만 하고 크롤링 로직은 손대지 않는다. Scrapling은 파싱·크롤링·렌더링을 한 번에 묶었다.
- vs Scrapy: Scrapy는 산업용 중장비 프레임워크라 학습 곡선이 가파르고 단일 파일로는 안 돈다. Scrapling은 단일 파일로 중간 규모 fetch를 커버한다.
- vs Crawl4ai / Firecrawl: 둘 다 "크롤하고 바로 LLM에" 시대의产物. Scrapling은 범용에 가깝고 AI适配는 부가 기능이다.
단점도 분명하다.
- 생태계가 Scrapy보다 훨씬 작고 플러그인·미들웨어가 적다
- adaptive가万能은 아니며 구조가 크게 바뀌면 실패한다
- 동시성·분산能力은 Scrapy에 비해 한참 부족하다
- 75k star는 함정이 있다 — 프로젝트가 2024년에 갑자기 뜬 케이스다
직접 돌려봤다
pip install scrapling 후 공식 문서의 benchmark를 그대로 실행. Spider로 books.toscrape.com 1000페이지 수집.
- 순수 HTTP 모드: 약 18초
StealthyFetcher모드: 약 95초(Playwright 기동 오버헤드 포함)
adaptive 실측. 대상 페이지의 h1 CSS class를 손으로 바꿔 두고 원래 selector가 에러를 내는 상황을 만들었다. adaptive 모드는 0.3초 만에 대체 요소를 찾았지만 정확도는 대략 8/10 정도. README는 99%라고 적혀 있는데 실측에는 물이 좀 들어 있다. 사소한 변경은 거의 다 맞고, 태그 계층이 뒤바뀌는 식의 큰 구조 변경은 여전히 실패한다.
코드 분량. Spider 정의 3줄 + parse 메서드 1개, 합계 15줄로 전체 사이트 크롤링이 돈다. 이게 "BS4와 Scrapy 사이"라는 포지셔닝의 가장 직관적인 증거다.
문서 경험은 꽤 괜찮다. 중국어 README가 완비돼 있고 readthedocs 구조도 깔끔해서, 대부분의 해외 라이브러리보다 친절하다(공식 안내 기준으로 9개 언어 번역을 지원하며 간체 중국어가 포함된다).
의존성에서 한 가지 주의. Playwright로 브라우저 렌더링을 하려면 브라우저 커널을 따로 깔아야 한다(playwright install). 첫 실행 시 200MB 이상 내려받는다.
이런 사람에게 맞다
쓸 만한 경우.
- AI Agent / RAG용 데이터 수집을 하고, MCP나 Skill 연결이 필요한 경우
- 중소 규모 크롤링(수천~수십만 페이지)이고 Scrapy까지는 꺼려지는 경우
- 대상 사이트가 자주 리뉴얼되는데 selector 유지보수에 인원을 투입하기 어려운 경우
- "requests로 되면 requests, 안 되면 브라우저"라는 시나리오를 API 하나로 커버하고 싶은 경우
안 맞는 경우.
- 초대형 분산 크롤러(Scrapy + 자체 스케줄러 조합 권장)
- 브라우저 동작을 세밀하게 직접 제어해야 하는 경우(Playwright 네이티브 권장)
- 그냥 페이지 몇 장 한 번만 긁으면 되는 경우(requests + BS4면 충분, 이걸 깔면 대포로 모기 잡기)
한 줄 요약. BeautifulSoup은 너무 깨지기 쉽고 Scrapy는 너무 무겁다고 느낄 때, 그 사이에 끼어 있는 게 Scrapling이다.
프로젝트 페이지의 AI Agent 접목 경로는 깔끔하게 정리돼 있다 — MCP server, Agent Skill, OpenClaw Skill 세 가지 통합 방식이 제공돼 Agent가 접착 코드를 직접 쓰지 않고도 호출할 수 있다. 2024년 이후 "모든 도구는 AI가 호출할 수 있어야 한다"는 흐름에 맞춰, Scrapling은 문서에서 이것을 일등 시민으로 다룬다.