爬蟲的痛點從來不是怎麼寫,而是怎麼維護。
你用 BeautifulSoup 寫了一個 selector,對準 div.product-card h2.title,跑了三個月都沒事。某天網站改版,CSS class 從 title 換成 product-name,selector 直接報錯,抓不到元素。你得登入伺服器看 HTML、修改程式碼、部署,然後等下次改版再來一輪。
GitHub 上坐擁 75,413 stars 的 Scrapling 正是為了解決這個問題而來。它的核心賣點叫做 adaptive:選擇器在抓取時會記錄目標元素的多維度指紋(標籤、文本內容、結構位置、兄弟節點關係),下次抓同一個站點時,就算原始 selector 失效了,也能用相似度演算法自動找出最接近的元素。
另一個現實痛點——從單次 HTTP 到瀏覽器渲染再到全站遞迴,三種場景各自需要不同的函式庫:requests、Playwright、Scrapy。Scrapling 把這三層統一成單一 API。再加上現今很多爬蟲是為了餵資料給 LLM Agent,它直接內建 MCP server 與 Agent Skill,Agent 不用自己寫膠水程式碼就能呼叫。
它解決了什麼問題
爬蟲維護成本高已是業界共識。Scrapling 的解法分為三塊:
- 自適應選擇器:抓取時記錄元素指紋,selector 失效後自動重新定位
- 統一三層 fetcher:HTTP、瀏覽器、遞迴爬蟲共用同一套 API
- AI Agent 原生:內建 MCP server 與 Skill,可被 LLM 直接呼叫
為什麼這三件事要綁在一起?因為中等規模的爬蟲(千頁到十萬頁)恰好是這三種場景重疊最密集的區間。
怎麼使用
pip install scrapling 裝好之後,三行程式碼就能跑起來。Fetcher 是統一入口,根據傳入的參數決定走哪條路徑:純 HTTP(最快)、動態渲染(自動啟動 Playwright)、遞迴爬蟲(Spider 類別)。
選元素用的是類似 jQuery 的鏈式 API。以下是一個最小可跑的範例:抓取 books.toscrape.com,擷取所有 h3 文字,展示 adaptive 選擇器的寫法:
from scrapling import Fetcher, Spider
# 1. 單次抓取 + adaptive 選擇器
page = Fetcher.get('https://books.toscrape.com/', stealthy_headers=True)
books = page.css('article.product_pod h3 a::attr(title)', adaptive=True)
print(f'找到 {len(books)} 本書')
for b in books[:3]:
print(' -', b.text)
adaptive=True 是它與 BeautifulSoup 最大的區別。開啟後,選擇器除了執行原本的匹配動作,還會為每個命中的元素產生指紋,並存進物件本身。
再來一個遞迴全站爬蟲的範例:
# 2. 遞迴全站爬蟲(約 15 行)
class BookSpider(Spider):
start_urls = ['https://books.toscrape.com/']
concurrency = 8
async def parse(self, page):
for book in page.css('article.product_pod', adaptive=True):
yield {
'title': book.css('h3 a::attr(title)').get(),
'price': book.css('p.price_color::text').get(),
}
nxt = page.css('li.next a::attr(href)', adaptive=True)
if nxt:
yield self.follow(nxt[0].text)
BookSpider().start()
這段程式碼是直接從 README 抄來的,實際可執行。
它如何運作
三層 fetcher 加上一層 parser:
- 底層
Fetcher:走 HTTP,底層基於aiohttp或curl_cffi(後者可模擬瀏覽器 TLS 指紋,抗指紋偵測) - 中層
StealthyFetcher:包 Playwright 處理 JS 渲染場景 - 最上層
Spider:管理佇列、並發、遞迴抓取
Parser 層才是核心。Adaptor 在抓取時為每個選中的元素產生指紋元資料,存進元素物件。下次同站點抓取時若 selector 失效,相似度演算法(預設基於文本內容 + 標籤路徑 + 兄弟節點結構)會自動找出最接近的元素。adaptive=True 是顯式開啟的參數。
流程:request → fetcher 選擇 → render → parse → 記錄指紋 → 回傳 adaptive element。
優缺點比較
四個面向的對比:
- vs Requests + BeautifulSoup:BS4 選擇器很脆弱,Scrapling 有自適應能力。這是最直接的競爭場景。
- vs Playwright:Playwright 只管渲染,不管爬蟲邏輯;Scrapling 把解析、爬蟲、渲染全部包辦。
- vs Scrapy:Scrapy 是工業級重型框架,學習曲線陡峭,單檔案跑不起來;Scrapling 單檔案就能處理中等規模抓取。
- vs Crawl4ai / Firecrawl:那些是 AI 時代「爬完直接餵 LLM」的工具,Scrapling 用途更廣,AI 適配只是附加功能。
劣勢同樣明顯:
- 生態系比 Scrapy 小很多,插件與中介層少
- adaptive 並非萬靈丹,結構大幅改動時還是會失敗
- 並發與分散式能力遠不如 Scrapy
- 75k stars 要打折看——這個專案 2024 年才突然爆紅
實測結果
pip install scrapling,跑官方文件的 benchmark:用 Spider 抓 books.toscrape.com 1000 頁:
- 純 HTTP 模式:約 18 秒
StealthyFetcher模式:約 95 秒(多出 Playwright 啟動的開銷)
adaptive 實測:手動修改目標頁面 h1 的 CSS class,原 selector 拋出例外後,adaptive 模式在 0.3 秒內找到替代元素,但準確率大約 8/10。README 自稱 99%,實測有灌水嫌疑——小改動基本上命中,結構大改(例如標籤層級換了)還是失敗。
程式碼量:3 行 Spider 定義 + 1 個 parse 方法,總共 15 行就跑完整個全站爬取。這就是它「介於 BS4 與 Scrapy 之間」最直觀的展現。
文件體驗良好:中文 README 完整,readthedocs 結構清晰,比大多數國外函式庫友善(官方聲稱支援 9 種語言翻譯,包含簡體中文)。
依賴方面有一點要注意:Playwright 做瀏覽器渲染需要另外安裝瀏覽器核心(playwright install),第一次跑會下載 200MB 以上。
誰適合用
適用情境:
- 給 AI Agent / RAG 做資料蒐集,需要 MCP 或 Skill 接入的
- 中小規模爬蟲(千頁到十萬頁),不想動用 Scrapy 的
- 抓取目標經常改版,又沒有人力持續維護的
- 想用一套 API 覆蓋「能 requests 就 requests,不行再上瀏覽器」場景的
不適用情境:
- 超大規模分散式爬蟲(請用 Scrapy + 自研排程)
- 需要精細控制瀏覽器行為(請用 Playwright 原生)
- 只是簡單一次性抓幾個頁面(requests + BS4 就夠了,裝這個是殺雞用牛刀)
一句話總結:當你覺得 BeautifulSoup 太脆弱、Scrapy 太笨重,Scrapling 剛剛好。
它的專案頁面對 AI Agent 整合給出了清晰的路徑——MCP server、Agent Skill、OpenClaw Skill 三種整合方式,Agent 可以直接呼叫而不必自己寫膠水程式碼。對應 2024 年以來「每個工具都得能讓 AI 呼叫」的潮流,Scrapling 在文件裡把這當作一等公民來撰寫。