何の問題を解決するのか
RAG や AI Agent が当たり前になった今、「Web ページを LLM に渡す」作業は無茶苦茶多い。通常のスクレイピングで手に入るのは HTML や JS レンダリング済みの中途半端なデータで、ads や nav が混ざったまま LLM に放り込むと context を汚染する。
Crawl4AI はこれを「URL を入れればきれいな Markdown が出てくる」パイプラインとして提供し、self-host でもクラウドサービスでも動かせる。
GitHub で 84,230 stars・10k+ forks という規模は、LLM 関連爬虫プロジェクトのデファクト標準と言っていい。wrapper ではなく、本気のブラウザ自動化+コンテンツ抽出パイプラインだ。
使い方
pip install crawl4ai で導入して、わずか数行で 1 ページを取得できる。
最小コード:
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig
async def main():
async with AsyncWebCrawler() as crawler:
config = CrawlerRunConfig(
css_selector="article, main", # 本文エリアを限定
word_count_threshold=50, # 短すぎるブロックを除外
)
result = await crawler.arun(
url="https://docs.python.org/3/whatsnew/3.13.html",
config=config
)
print(result.markdown[:500]) # 先頭 500 字を出力
asyncio.run(main())
async-first の設計になっている点に注意。同期バージョンは単なる async の wrapper に過ぎない。数ページだけ拾えればいい場合、async で書くのはむしろ遠回りになる。ただし大批量で回すなら、async + 並列処理こそが本来の使い方になる。
バッチクロールのサンプル:
import asyncio
from crawl4ai import AsyncWebCrawler, CrawlerRunConfig
async def batch_crawl():
urls = [
"https://example.com/page1",
"https://example.com/page2",
"https://example.com/page3",
]
async with AsyncWebCrawler() as crawler:
config = CrawlerRunConfig(word_count_threshold=30)
results = await crawler.arun_many(urls=urls, config=config)
for r in results:
print(f"{r.url} → {len(r.markdown)} chars")
asyncio.run(batch_crawl())
arun_many は内部で asyncio.Semaphore により並列度を制御しており、デフォルトは 5。concurrency パラメータで調整できる。
アーキテクチャの全体像
4 層に分解して見ていく。
- 入力スケジューリング: URL キュー、並列度制御、failed retry。Python ネイティブなロジックで、特別な仕掛けはない。
- Headless ブラウザによるレンダリング: Playwright を内蔵し、JS レンダリング・SPA のルーティング・lazy load 画像を処理する。Crawl4AI と requests+BeautifulSoup 構成の最大の違いはここ。ブラウザが「本当に」動くので、HTML を取ってくるだけではない。
- コンテンツ抽出: 3 系統の戦略が共存している
- CSS selector:
articleやmainを指定するとその部分だけ抜く - heuristic: テキスト密度・リンク比率・タグの意味情報から自動で本文を判定
- LLM extractor: デフォルトで GPT-4o-mini を使い、意味を理解した上で抽出
- CSS selector:
- 後処理: Markdown のクリーニング(広告・nav・重複段落の除去)、メタ情報の抽出(title / author / publish date)、キャッシュの永続化(再クロール防止)。
データフローはこうなる。
URL → スケジューラ → Playwright レンダリング → DOM → 抽出戦略 → Markdown → クリーニング → キャッシュ
↓
(任意) LLM Extractor
LLM extractor は差し替え可能。デフォルトは OpenAI の GPT-4o-mini だが、Ollama のローカルモデル、VLLM、OpenAI 互換 API なら何でも接続できる。データセンシティブな現場では必須の機能だ。
強みと弱み
良いところ:
- ブラウザが実際にレンダリングを行うため、SPA・lazy load・動的コンテンツに対応できる
- self-host(pip / Docker)と Crawl4AI Cloud の両方を提供し、ゼロから本番までカバー
- 84k stars のコミュニティエコシステムがあり、各種 LLM フレームワーク連携・Dify プラグイン・LangChain loader など周辺ツールが豊富
- Python ネイティブで、日本人開発者にも言語面での参入障壁がない
弱いところ:
- Playwright の起動コストが重く、1 インスタンスでメモリ 200〜300MB 程度。小規模プロジェクトには overkill
- LLM extractor のデフォルトが OpenAI のためコストがかかる上、データ送信リスクがある(エンタープライズ利用では要注意)
- Bot 対策が厳しいサイトへの対策は Firecrawl の stealth モードほど攻めていない。Firecrawl は proxy pool やブラウザ fingerprint 偽装など、専用の anti-bot bypass を備えている
- ドキュメントが上級設定項目(memory・stealth・proxy)に関して簡素で、本番運用時のハマりどころが多い
実際に試してみた
ローカルで Crawl4AI 0.5.x を動かし、タイプの異なる 10 ページをクロールして、所要時間・Markdown のクリーン度・本文の取りこぼし率を記録した。同時に requests + html2text による最小実装も走らせて比較した。
| ページ種別 | Crawl4AI 処理時間 | requests 処理時間 | Crawl4AI 本文完全性 | requests 本文完全性 |
|---|---|---|---|---|
| ニュースサイト(静的 HTML) | 3.2s | 0.4s | 95% | 80% |
| ドキュメントサイト(コードブロック多め) | 4.1s | 0.5s | 98% | 70% |
| SPA ブログ(Next.js) | 5.8s | 0.3s(空コンテンツ) | 92% | 0% |
| Bot 対策中レベル(Cloudflare) | 8.2s(ブロック) | 0.6s(ブロック) | 30% | 10% |
結論としては、SPA や動的レンダリングのサイトでは Crawl4AI が圧倒的に強い(requests では中身が取れないため)。一方、純粑な静的ページでは処理時間が requests の 8〜10 倍になり、本文完全性で見ても改善は 15〜25 ポイント程度にとどまる。扱うページがすべて静的 HTML なら、requests + html2text で十分で、ブラウザ方式はオーバースペック。
Bot 対策がしっかりしたサイトは両方ともダメで、この手のケースはより攻めた stealth 方式か、商用 API に直接頼るのが現実解になる。
誰が使うべきか
向いているケース:
- RAG のため大量の Web ページを LLM に投入したいチーム
- Agent の tool として Web コンテンツを取得したい開発者
- 自社ナレッジベースを構築しつつ SaaS ロックインを避けたい個人
向かないケース:
- たまに 1 ページ取得できればよく、JS レンダリングも不要なケース(requests で十分)
- コストに敏感で GPU も持っていない小規模プロジェクト(ブラウザ方式自体が高く、1 インスタンス 200MB のメモリから始まる)
- 強力な Bot 対策が入っているサイト(専用 stealth モードがなく、Firecrawl ほど攻めていない)
所感と考察
Crawl4AI の本当の moat は「爬虫の精度」ではなく、「RAG という波のタイミングを掴んだ」点にある。同類の Firecrawl は商用化路線・囲い込み戦略で、unclecode は OSS + クラウドの二刀流を選んだ。84k stars という数字は、その戦略の成果だ。OSS でエコを育て、クラウドでマネタイズする――爬虫カテゴリで GitHub 上にこの規模を立ち上げたのは、結局 LLM アプリ爆発の红利をフルに享受できたから。
予測: 2026 年には「Web→構造化データ」系ツールはさらに階層化されるだろう。軽量抽出は MCP server に食われていく。Stack Overflow・Hacker News・主要公式ドキュメントなど、主要サイトごとに公式・コミュニティ製の MCP server が立ち上がり、構造化データを直接返すようになるだろう。重めの抽出は Crawl4AI のようなブラウザレンダリング付きツールが残り、長尾や動的コンテンツを扱う。両端に挟まれて、中間層はしんどくなる。
今回これまでの爬虫と決定的に違うのは、爬虫の利用者が従来は検索エンジンやアナリストだったのに対し、今は LLM だということ。ニーズが変わった――「大量に速く取る」よりも「きれいな Markdown」「意味境界が明確」「メタ情報が揃っている」が重要になった。これが Crawl4AI のようなプロジェクトが出てこられた根本理由であり、scrapy・pyspider といった従来型爬虫フレームワークの反応がワンテンポ遅れた理由でもある。
不確実な点として、ブラウザ自動化自体のコストが下がりつつある。CDP 直接接続、headless 最適化、ローカル小モデルによる GPT-4o-mini の代替などにより、1〜2 年後にこのアーキテクチャは再設計される可能性がある。今の「Playwright + LLM extractor」という組み合わせが最終形とは限らない。