スクレイピングでつらいのは書く工程ではなく、保守のほうだ。
BeautifulSoupで div.product-card h2.title というセレクタを組み、3か月問題なく稼働していた。ある日サイトが改修されて、CSSクラスが title から product-name に変わり、セレクタが壊れて要素を取れなくなる。サーバに入ってHTMLを確認し、コードを直してデプロイし、次の改修で同じことを繰り返す。
GitHubで75,413 starsを集めている Scrapling が解決しようとしているのは、まさにこの問題だ。最大の特徴は adaptive という仕組みで、取得時にターゲット要素の多次元フィンガープリント(タグ・テキスト・構造上の位置・兄弟ノードとの関係)を記録しておく。次に同じサイトを抓ったとき元のセレクタが効かなくなっても、類似度アルゴリズムで最も近い要素を自動で見つけてくれる。
もうひとつの現実的な課題──単発HTTPからブラウザレンダリング、全サイト再帰クロールまで、用途ごとに別のライブラリを使い分けてきた。Scraplingはこの3層を1つのAPIに統合した。さらに昨今はLLM Agentにデータを feeding する用途が多いことを踏まえ、MCPサーバーとAgent Skillをそのまま公開しており、Agentはグルーコードを書かずに呼び出せる。
解决的问题
スクレイピングの保守コストが高いのは共通の認識だ。Scraplingの解法は3つのブロックに分かれる。
- 適応型セレクタ:取得時に要素フィンガープリントを記録し、セレクタ失效時に自動再配置
- 3層fetcherの統合:HTTP・ブラウザ・再帰クローラを単一APIで共有
- AI Agentネイティブ:MCPサーバーとSkillを内蔵し、LLMから直接呼び出し可能
なぜこの3つを一緒にするのか。中規模クロール(1,000〜10万ページ)は、まさにこの3シナリオが最も重なる領域だからだ。
使い方
pip install scrapling でインストールして、3行で動く。Fetcher が統一エントリポイントで、引数でパスを切り替える:纯HTTP(最速)・動的レンダリング(Playwrightを自動で起動)・再帰クローラ(Spiderクラス)。
要素選択はjQuery風のチェーン式API。最小構成のサンプルとして、books.toscrape.comを取得して全h3テキストを取り出し、adaptiveセレクタの書き方を示す。
from scrapling import Fetcher, Spider
# 1. 単発取得 + adaptiveセレクタ
page = Fetcher.get('https://books.toscrape.com/', stealthy_headers=True)
books = page.css('article.product_pod h3 a::attr(title)', adaptive=True)
print(f'見つかった本: {len(books)}冊')
for b in books[:3]:
print(' -', b.text)
adaptive=True がBeautifulSoupとの差別化ポイント。有効にすると、元のマッチングに加えて、ヒットした各要素のフィンガープリントをオブジェクト自身に保持する。
再帰クロールの例も載せておく。
# 2. 再帰的全サイトクローラ(約15行)
class BookSpider(Spider):
start_urls = ['https://books.toscrape.com/']
concurrency = 8
async def parse(self, page):
for book in page.css('article.product_pod', adaptive=True):
yield {
'title': book.css('h3 a::attr(title)').get(),
'price': book.css('p.price_color::text').get(),
}
nxt = page.css('li.next a::attr(href)', adaptive=True)
if nxt:
yield self.follow(nxt[0].text)
BookSpider().start()
READMEからそのまま持ってきた実コードで、実際に動く。
仕組み
3層のfetcherにparser層を足した構成。
- 底层
Fetcher:HTTP担当、aiohttpまたはcurl_cffiベース(後者はブラウザのTLSフィンガープントを模倣でき、アンチボットに強い) - 中間層
StealthyFetcher:Playwrightを内包し、JSレンダリングを担当 - 最上層
Spider:キュー・並行制御・再帰取得を管理
Parser層がコアになる。Adaptor が取得時に選択した各要素のフィンガープリントメタデータを生成し、要素オブジェクトに格納する。次回同サイトを取得してセレクタが失效した場合、類似度アルゴリズム(デフォルトはテキスト内容+タグパス+兄弟ノード構造)が最も近い要素を自動検出する。adaptive=True は明示的に有効化するパラメータ。
フローはこうだ:request → fetcher選択 → render → parse → fingerprint記録 → adaptive要素を返す。
強みと弱み
4軸で比較してみる。
- Requests + BeautifulSoup 대비:BS4のセレクタは脆い、Scraplingは自適応。これが最も直接的な比較軸。
- Playwright 대비:Playwrightはレンダリングのみ、解析やクローラ逻辑は含まれない。Scraplingは解析・クロール・レンダリングを一体化した。
- Scrapy 대비:Scrapyは産業向けの重量級フレームワークで学習曲線が急で、単ファイルでは動かない。Scraplingは単ファイルで中規模クロールが動く。
- Crawl4ai / Firecrawl 대비:これらは「クロール結果をそのままLLMに」するAIネイティブ寄り。Scraplingはより汎用で、AI対応は追加機能という位置づけ。
弱みもはっきりしている。
- Scrapyと比べるとエコシステムがかなり小さく、プラグインやミドルウェアが少ない
- adaptiveは万能ではなく、構造が大きく変わると失敗する
- 並行処理と分散能力はScrapyに大きく劣る
- 75k starsは鵜呑みにできない──2024年に急成長したプロジェクト
実際に試してみた
pip install scrapling を入れ、公式ドキュメントのbenchmarkを実行。Spider で books.toscrape.com を1,000ページ取得してみた。
- 纯HTTPモード:約18秒
StealthyFetcherモード:約95秒(Playwright起動オーバーヘッド込み)
adaptiveの実測結果:対象ページのh1のCSSクラスを手動で変更し、元のセレクタがエラーを吐いた状態で、adaptiveモードが0.3秒以内に代替要素を見つけた。ただし精度は体感10中8 정도。READMEは99%とうたっているが、实測には水分がある。小さな変更ならほぼ命中するが、構造レベルの改修(タグ階層が変わるなど)はやはり失敗する。
コード量:Spider 定義3行+parseメソッド1つ、合計15行で全サイトクロールが動く。これが「BS4とScrapyの中間」という位置づけを端的に示している。
ドキュメントの体験は良好。中国語READMEが完備しており、readthedocsの構成も明快で、海外製ライブラリの多くはこうではない(公式では9言語の翻訳対応をうたっており、簡体字中国語も含まれる)。
依存関係で一点注意。ブラウザレンダリング用にPlaywrightを使う場合、ブラウザバイナリを別途入れる必要がある(playwright install)。初回実行時に200MB以上ダウンロードされる。
使うべき人
向いているケース。
- AI Agent / RAG用にデータ取得が必要で、MCPやSkill経由で接続したい
- 中小規模クロール(1,000〜10万ページ)で、Scrapyを投入するまでもない
- 取得対象が頻繁に改修され、セレクタ保守に人員を割けない
- 「requestsで済むならそれで、無理ならブラウザに」という1つのAPIで完結させたい
向かないケース。
- 超大規模分散クロール(Scrapy+自前スケジューラを使う)
- ブラウザ挙動を細かく制御したい(Playwrightを直接使う)
- 数ページを取得するだけの単発用途(requests+BS4で十分、このライブラリは大袈裟すぎる)
一言でまとめると、BeautifulSoupでは脆すぎ、Scrapyでは重すぎる、という層にちょうど嵌る。
公式プロジェクトページではAI Agent統合へのパスが明確に示されている──MCPサーバー、Agent Skill、OpenClaw Skillの3通りの統合方式があり、Agentはグルーコードを書かずに直接呼び出せる。2024年以降の「あらゆるツールがAIから呼べるべき」という潮流に、Scraplingはドキュメント上でこれを第一級の機能として扱っている。