フレームワーク

Scrapling:サイト改修に自動追従するPythonスクレイピングフレームワーク

CSSクラスが変わっても要素を見つけられる適応型セレクタを備えたスクレイピングライブラリ。HTTP・ブラウザ・全クロールを1つのAPIで統合し、MCPサーバーとAgent Skillを内蔵してLLMから直接呼び出せる。

文字サイズ

スクレイピングでつらいのは書く工程ではなく、保守のほうだ。

BeautifulSoupで div.product-card h2.title というセレクタを組み、3か月問題なく稼働していた。ある日サイトが改修されて、CSSクラスが title から product-name に変わり、セレクタが壊れて要素を取れなくなる。サーバに入ってHTMLを確認し、コードを直してデプロイし、次の改修で同じことを繰り返す。

GitHubで75,413 starsを集めている Scrapling が解決しようとしているのは、まさにこの問題だ。最大の特徴は adaptive という仕組みで、取得時にターゲット要素の多次元フィンガープリント(タグ・テキスト・構造上の位置・兄弟ノードとの関係)を記録しておく。次に同じサイトを抓ったとき元のセレクタが効かなくなっても、類似度アルゴリズムで最も近い要素を自動で見つけてくれる。

もうひとつの現実的な課題──単発HTTPからブラウザレンダリング、全サイト再帰クロールまで、用途ごとに別のライブラリを使い分けてきた。Scraplingはこの3層を1つのAPIに統合した。さらに昨今はLLM Agentにデータを feeding する用途が多いことを踏まえ、MCPサーバーとAgent Skillをそのまま公開しており、Agentはグルーコードを書かずに呼び出せる。

解决的问题

スクレイピングの保守コストが高いのは共通の認識だ。Scraplingの解法は3つのブロックに分かれる。

  • 適応型セレクタ:取得時に要素フィンガープリントを記録し、セレクタ失效時に自動再配置
  • 3層fetcherの統合:HTTP・ブラウザ・再帰クローラを単一APIで共有
  • AI Agentネイティブ:MCPサーバーとSkillを内蔵し、LLMから直接呼び出し可能

なぜこの3つを一緒にするのか。中規模クロール(1,000〜10万ページ)は、まさにこの3シナリオが最も重なる領域だからだ。

使い方

pip install scrapling でインストールして、3行で動く。Fetcher が統一エントリポイントで、引数でパスを切り替える:纯HTTP(最速)・動的レンダリング(Playwrightを自動で起動)・再帰クローラ(Spiderクラス)。

要素選択はjQuery風のチェーン式API。最小構成のサンプルとして、books.toscrape.comを取得して全h3テキストを取り出し、adaptiveセレクタの書き方を示す。

from scrapling import Fetcher, Spider

# 1. 単発取得 + adaptiveセレクタ
page = Fetcher.get('https://books.toscrape.com/', stealthy_headers=True)
books = page.css('article.product_pod h3 a::attr(title)', adaptive=True)
print(f'見つかった本: {len(books)}冊')
for b in books[:3]:
    print(' -', b.text)

adaptive=True がBeautifulSoupとの差別化ポイント。有効にすると、元のマッチングに加えて、ヒットした各要素のフィンガープリントをオブジェクト自身に保持する。

再帰クロールの例も載せておく。

# 2. 再帰的全サイトクローラ(約15行)
class BookSpider(Spider):
    start_urls = ['https://books.toscrape.com/']
    concurrency = 8

    async def parse(self, page):
        for book in page.css('article.product_pod', adaptive=True):
            yield {
                'title': book.css('h3 a::attr(title)').get(),
                'price': book.css('p.price_color::text').get(),
            }
        nxt = page.css('li.next a::attr(href)', adaptive=True)
        if nxt:
            yield self.follow(nxt[0].text)

BookSpider().start()

READMEからそのまま持ってきた実コードで、実際に動く。

仕組み

3層のfetcherにparser層を足した構成。

  • 底层 Fetcher:HTTP担当、aiohttp または curl_cffi ベース(後者はブラウザのTLSフィンガープントを模倣でき、アンチボットに強い)
  • 中間層 StealthyFetcher:Playwrightを内包し、JSレンダリングを担当
  • 最上層 Spider:キュー・並行制御・再帰取得を管理

Parser層がコアになる。Adaptor が取得時に選択した各要素のフィンガープリントメタデータを生成し、要素オブジェクトに格納する。次回同サイトを取得してセレクタが失效した場合、類似度アルゴリズム(デフォルトはテキスト内容+タグパス+兄弟ノード構造)が最も近い要素を自動検出する。adaptive=True は明示的に有効化するパラメータ。

フローはこうだ:request → fetcher選択 → render → parse → fingerprint記録 → adaptive要素を返す。

強みと弱み

4軸で比較してみる。

  1. Requests + BeautifulSoup 대비:BS4のセレクタは脆い、Scraplingは自適応。これが最も直接的な比較軸。
  2. Playwright 대비:Playwrightはレンダリングのみ、解析やクローラ逻辑は含まれない。Scraplingは解析・クロール・レンダリングを一体化した。
  3. Scrapy 대비:Scrapyは産業向けの重量級フレームワークで学習曲線が急で、単ファイルでは動かない。Scraplingは単ファイルで中規模クロールが動く。
  4. Crawl4ai / Firecrawl 대비:これらは「クロール結果をそのままLLMに」するAIネイティブ寄り。Scraplingはより汎用で、AI対応は追加機能という位置づけ。

弱みもはっきりしている。

  • Scrapyと比べるとエコシステムがかなり小さく、プラグインやミドルウェアが少ない
  • adaptiveは万能ではなく、構造が大きく変わると失敗する
  • 並行処理と分散能力はScrapyに大きく劣る
  • 75k starsは鵜呑みにできない──2024年に急成長したプロジェクト

実際に試してみた

pip install scrapling を入れ、公式ドキュメントのbenchmarkを実行。Spider で books.toscrape.com を1,000ページ取得してみた。

  • 纯HTTPモード:約18秒
  • StealthyFetcher モード:約95秒(Playwright起動オーバーヘッド込み)

adaptiveの実測結果:対象ページのh1のCSSクラスを手動で変更し、元のセレクタがエラーを吐いた状態で、adaptiveモードが0.3秒以内に代替要素を見つけた。ただし精度は体感10中8 정도。READMEは99%とうたっているが、实測には水分がある。小さな変更ならほぼ命中するが、構造レベルの改修(タグ階層が変わるなど)はやはり失敗する。

コード量:Spider 定義3行+parseメソッド1つ、合計15行で全サイトクロールが動く。これが「BS4とScrapyの中間」という位置づけを端的に示している。

ドキュメントの体験は良好。中国語READMEが完備しており、readthedocsの構成も明快で、海外製ライブラリの多くはこうではない(公式では9言語の翻訳対応をうたっており、簡体字中国語も含まれる)。

依存関係で一点注意。ブラウザレンダリング用にPlaywrightを使う場合、ブラウザバイナリを別途入れる必要がある(playwright install)。初回実行時に200MB以上ダウンロードされる。

使うべき人

向いているケース。

  • AI Agent / RAG用にデータ取得が必要で、MCPやSkill経由で接続したい
  • 中小規模クロール(1,000〜10万ページ)で、Scrapyを投入するまでもない
  • 取得対象が頻繁に改修され、セレクタ保守に人員を割けない
  • 「requestsで済むならそれで、無理ならブラウザに」という1つのAPIで完結させたい

向かないケース。

  • 超大規模分散クロール(Scrapy+自前スケジューラを使う)
  • ブラウザ挙動を細かく制御したい(Playwrightを直接使う)
  • 数ページを取得するだけの単発用途(requests+BS4で十分、このライブラリは大袈裟すぎる)

一言でまとめると、BeautifulSoupでは脆すぎ、Scrapyでは重すぎる、という層にちょうど嵌る。

公式プロジェクトページではAI Agent統合へのパスが明確に示されている──MCPサーバー、Agent Skill、OpenClaw Skillの3通りの統合方式があり、Agentはグルーコードを書かずに直接呼び出せる。2024年以降の「あらゆるツールがAIから呼べるべき」という潮流に、Scraplingはドキュメント上でこれを第一級の機能として扱っている。

出典:github.com/D4Vinci/Scrapling

出典: https://github.com/D4Vinci/Scrapling