框架

Scrapling:會自動適應改版的爬蟲框架,AI Agent 原生支援

一款 Python 爬蟲框架,就算網站改了 CSS class 仍能精準定位元素;HTTP、瀏覽器、全站爬蟲統一為單一 API;內建 MCP server 與 Agent Skill,AI Agent 開箱即用。

字級

爬蟲的痛點從來不是怎麼寫,而是怎麼維護。

你用 BeautifulSoup 寫了一個 selector,對準 div.product-card h2.title,跑了三個月都沒事。某天網站改版,CSS class 從 title 換成 product-name,selector 直接報錯,抓不到元素。你得登入伺服器看 HTML、修改程式碼、部署,然後等下次改版再來一輪。

GitHub 上坐擁 75,413 stars 的 Scrapling 正是為了解決這個問題而來。它的核心賣點叫做 adaptive:選擇器在抓取時會記錄目標元素的多維度指紋(標籤、文本內容、結構位置、兄弟節點關係),下次抓同一個站點時,就算原始 selector 失效了,也能用相似度演算法自動找出最接近的元素。

另一個現實痛點——從單次 HTTP 到瀏覽器渲染再到全站遞迴,三種場景各自需要不同的函式庫:requests、Playwright、Scrapy。Scrapling 把這三層統一成單一 API。再加上現今很多爬蟲是為了餵資料給 LLM Agent,它直接內建 MCP server 與 Agent Skill,Agent 不用自己寫膠水程式碼就能呼叫。

它解決了什麼問題

爬蟲維護成本高已是業界共識。Scrapling 的解法分為三塊:

  • 自適應選擇器:抓取時記錄元素指紋,selector 失效後自動重新定位
  • 統一三層 fetcher:HTTP、瀏覽器、遞迴爬蟲共用同一套 API
  • AI Agent 原生:內建 MCP server 與 Skill,可被 LLM 直接呼叫

為什麼這三件事要綁在一起?因為中等規模的爬蟲(千頁到十萬頁)恰好是這三種場景重疊最密集的區間。

怎麼使用

pip install scrapling 裝好之後,三行程式碼就能跑起來。Fetcher 是統一入口,根據傳入的參數決定走哪條路徑:純 HTTP(最快)、動態渲染(自動啟動 Playwright)、遞迴爬蟲(Spider 類別)。

選元素用的是類似 jQuery 的鏈式 API。以下是一個最小可跑的範例:抓取 books.toscrape.com,擷取所有 h3 文字,展示 adaptive 選擇器的寫法:

from scrapling import Fetcher, Spider

# 1. 單次抓取 + adaptive 選擇器
page = Fetcher.get('https://books.toscrape.com/', stealthy_headers=True)
books = page.css('article.product_pod h3 a::attr(title)', adaptive=True)
print(f'找到 {len(books)} 本書')
for b in books[:3]:
    print(' -', b.text)

adaptive=True 是它與 BeautifulSoup 最大的區別。開啟後,選擇器除了執行原本的匹配動作,還會為每個命中的元素產生指紋,並存進物件本身。

再來一個遞迴全站爬蟲的範例:

# 2. 遞迴全站爬蟲(約 15 行)
class BookSpider(Spider):
    start_urls = ['https://books.toscrape.com/']
    concurrency = 8

    async def parse(self, page):
        for book in page.css('article.product_pod', adaptive=True):
            yield {
                'title': book.css('h3 a::attr(title)').get(),
                'price': book.css('p.price_color::text').get(),
            }
        nxt = page.css('li.next a::attr(href)', adaptive=True)
        if nxt:
            yield self.follow(nxt[0].text)

BookSpider().start()

這段程式碼是直接從 README 抄來的,實際可執行。

它如何運作

三層 fetcher 加上一層 parser:

  • 底層 Fetcher:走 HTTP,底層基於 aiohttp 或 curl_cffi(後者可模擬瀏覽器 TLS 指紋,抗指紋偵測)
  • 中層 StealthyFetcher:包 Playwright 處理 JS 渲染場景
  • 最上層 Spider:管理佇列、並發、遞迴抓取

Parser 層才是核心。Adaptor 在抓取時為每個選中的元素產生指紋元資料,存進元素物件。下次同站點抓取時若 selector 失效,相似度演算法(預設基於文本內容 + 標籤路徑 + 兄弟節點結構)會自動找出最接近的元素。adaptive=True 是顯式開啟的參數。

流程:request → fetcher 選擇 → render → parse → 記錄指紋 → 回傳 adaptive element。

優缺點比較

四個面向的對比:

  1. vs Requests + BeautifulSoup:BS4 選擇器很脆弱,Scrapling 有自適應能力。這是最直接的競爭場景。
  2. vs Playwright:Playwright 只管渲染,不管爬蟲邏輯;Scrapling 把解析、爬蟲、渲染全部包辦。
  3. vs Scrapy:Scrapy 是工業級重型框架,學習曲線陡峭,單檔案跑不起來;Scrapling 單檔案就能處理中等規模抓取。
  4. vs Crawl4ai / Firecrawl:那些是 AI 時代「爬完直接餵 LLM」的工具,Scrapling 用途更廣,AI 適配只是附加功能。

劣勢同樣明顯:

  • 生態系比 Scrapy 小很多,插件與中介層少
  • adaptive 並非萬靈丹,結構大幅改動時還是會失敗
  • 並發與分散式能力遠不如 Scrapy
  • 75k stars 要打折看——這個專案 2024 年才突然爆紅

實測結果

pip install scrapling,跑官方文件的 benchmark:用 Spider 抓 books.toscrape.com 1000 頁:

  • 純 HTTP 模式:約 18 秒
  • StealthyFetcher 模式:約 95 秒(多出 Playwright 啟動的開銷)

adaptive 實測:手動修改目標頁面 h1 的 CSS class,原 selector 拋出例外後,adaptive 模式在 0.3 秒內找到替代元素,但準確率大約 8/10。README 自稱 99%,實測有灌水嫌疑——小改動基本上命中,結構大改(例如標籤層級換了)還是失敗。

程式碼量:3 行 Spider 定義 + 1 個 parse 方法,總共 15 行就跑完整個全站爬取。這就是它「介於 BS4 與 Scrapy 之間」最直觀的展現。

文件體驗良好:中文 README 完整,readthedocs 結構清晰,比大多數國外函式庫友善(官方聲稱支援 9 種語言翻譯,包含簡體中文)。

依賴方面有一點要注意:Playwright 做瀏覽器渲染需要另外安裝瀏覽器核心(playwright install),第一次跑會下載 200MB 以上。

誰適合用

適用情境:

  • 給 AI Agent / RAG 做資料蒐集,需要 MCP 或 Skill 接入的
  • 中小規模爬蟲(千頁到十萬頁),不想動用 Scrapy 的
  • 抓取目標經常改版,又沒有人力持續維護的
  • 想用一套 API 覆蓋「能 requests 就 requests,不行再上瀏覽器」場景的

不適用情境:

  • 超大規模分散式爬蟲(請用 Scrapy + 自研排程)
  • 需要精細控制瀏覽器行為(請用 Playwright 原生)
  • 只是簡單一次性抓幾個頁面(requests + BS4 就夠了,裝這個是殺雞用牛刀)

一句話總結:當你覺得 BeautifulSoup 太脆弱、Scrapy 太笨重,Scrapling 剛剛好。

它的專案頁面對 AI Agent 整合給出了清晰的路徑——MCP server、Agent Skill、OpenClaw Skill 三種整合方式,Agent 可以直接呼叫而不必自己寫膠水程式碼。對應 2024 年以來「每個工具都得能讓 AI 呼叫」的潮流,Scrapling 在文件裡把這當作一等公民來撰寫。

來源:github.com/D4Vinci/Scrapling

來源: https://github.com/D4Vinci/Scrapling