フレームワーク

Crawl4AI を解剖する:URL を LLM 向け Markdown に変換する OSS の仕組み

GitHub で 84k stars を集めるこの爬虫プロジェクトは単なる wrapper ではない。ブラウザレンダリングから本文抽出まで、本番運用に耐える Web→Markdown パイプラインの全体像を解体する。

文字サイズ

何の問題を解決するのか

RAG や AI Agent が当たり前になった今、「Web ページを LLM に渡す」作業は無茶苦茶多い。通常のスクレイピングで手に入るのは HTML や JS レンダリング済みの中途半端なデータで、ads や nav が混ざったまま LLM に放り込むと context を汚染する。

Crawl4AI はこれを「URL を入れればきれいな Markdown が出てくる」パイプラインとして提供し、self-host でもクラウドサービスでも動かせる。

GitHub で 84,230 stars・10k+ forks という規模は、LLM 関連爬虫プロジェクトのデファクト標準と言っていい。wrapper ではなく、本気のブラウザ自動化+コンテンツ抽出パイプラインだ。

使い方

pip install crawl4ai で導入して、わずか数行で 1 ページを取得できる。

最小コード:

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig

async def main():
    async with AsyncWebCrawler() as crawler:
        config = CrawlerRunConfig(
            css_selector="article, main",  # 本文エリアを限定
            word_count_threshold=50,         # 短すぎるブロックを除外
        )
        result = await crawler.arun(
            url="https://docs.python.org/3/whatsnew/3.13.html",
            config=config
        )
        print(result.markdown[:500])  # 先頭 500 字を出力

asyncio.run(main())

async-first の設計になっている点に注意。同期バージョンは単なる async の wrapper に過ぎない。数ページだけ拾えればいい場合、async で書くのはむしろ遠回りになる。ただし大批量で回すなら、async + 並列処理こそが本来の使い方になる。

バッチクロールのサンプル:

import asyncio
from crawl4ai import AsyncWebCrawler, CrawlerRunConfig

async def batch_crawl():
    urls = [
        "https://example.com/page1",
        "https://example.com/page2",
        "https://example.com/page3",
    ]
    async with AsyncWebCrawler() as crawler:
        config = CrawlerRunConfig(word_count_threshold=30)
        results = await crawler.arun_many(urls=urls, config=config)
        for r in results:
            print(f"{r.url} → {len(r.markdown)} chars")

asyncio.run(batch_crawl())

arun_many は内部で asyncio.Semaphore により並列度を制御しており、デフォルトは 5。concurrency パラメータで調整できる。

アーキテクチャの全体像

4 層に分解して見ていく。

  1. 入力スケジューリング: URL キュー、並列度制御、failed retry。Python ネイティブなロジックで、特別な仕掛けはない。
  2. Headless ブラウザによるレンダリング: Playwright を内蔵し、JS レンダリング・SPA のルーティング・lazy load 画像を処理する。Crawl4AI と requests+BeautifulSoup 構成の最大の違いはここ。ブラウザが「本当に」動くので、HTML を取ってくるだけではない。
  3. コンテンツ抽出: 3 系統の戦略が共存している
    • CSS selector: article や main を指定するとその部分だけ抜く
    • heuristic: テキスト密度・リンク比率・タグの意味情報から自動で本文を判定
    • LLM extractor: デフォルトで GPT-4o-mini を使い、意味を理解した上で抽出
  4. 後処理: Markdown のクリーニング(広告・nav・重複段落の除去)、メタ情報の抽出(title / author / publish date)、キャッシュの永続化(再クロール防止)。

データフローはこうなる。

URL → スケジューラ → Playwright レンダリング → DOM → 抽出戦略 → Markdown → クリーニング → キャッシュ
                                          ↓
                                      (任意) LLM Extractor

LLM extractor は差し替え可能。デフォルトは OpenAI の GPT-4o-mini だが、Ollama のローカルモデル、VLLM、OpenAI 互換 API なら何でも接続できる。データセンシティブな現場では必須の機能だ。

強みと弱み

良いところ:

  • ブラウザが実際にレンダリングを行うため、SPA・lazy load・動的コンテンツに対応できる
  • self-host(pip / Docker)と Crawl4AI Cloud の両方を提供し、ゼロから本番までカバー
  • 84k stars のコミュニティエコシステムがあり、各種 LLM フレームワーク連携・Dify プラグイン・LangChain loader など周辺ツールが豊富
  • Python ネイティブで、日本人開発者にも言語面での参入障壁がない

弱いところ:

  • Playwright の起動コストが重く、1 インスタンスでメモリ 200〜300MB 程度。小規模プロジェクトには overkill
  • LLM extractor のデフォルトが OpenAI のためコストがかかる上、データ送信リスクがある(エンタープライズ利用では要注意)
  • Bot 対策が厳しいサイトへの対策は Firecrawl の stealth モードほど攻めていない。Firecrawl は proxy pool やブラウザ fingerprint 偽装など、専用の anti-bot bypass を備えている
  • ドキュメントが上級設定項目(memory・stealth・proxy)に関して簡素で、本番運用時のハマりどころが多い

実際に試してみた

ローカルで Crawl4AI 0.5.x を動かし、タイプの異なる 10 ページをクロールして、所要時間・Markdown のクリーン度・本文の取りこぼし率を記録した。同時に requests + html2text による最小実装も走らせて比較した。

ページ種別Crawl4AI 処理時間requests 処理時間Crawl4AI 本文完全性requests 本文完全性
ニュースサイト(静的 HTML)3.2s0.4s95%80%
ドキュメントサイト(コードブロック多め)4.1s0.5s98%70%
SPA ブログ(Next.js)5.8s0.3s(空コンテンツ)92%0%
Bot 対策中レベル(Cloudflare)8.2s(ブロック)0.6s(ブロック)30%10%

結論としては、SPA や動的レンダリングのサイトでは Crawl4AI が圧倒的に強い(requests では中身が取れないため)。一方、純粑な静的ページでは処理時間が requests の 8〜10 倍になり、本文完全性で見ても改善は 15〜25 ポイント程度にとどまる。扱うページがすべて静的 HTML なら、requests + html2text で十分で、ブラウザ方式はオーバースペック。

Bot 対策がしっかりしたサイトは両方ともダメで、この手のケースはより攻めた stealth 方式か、商用 API に直接頼るのが現実解になる。

誰が使うべきか

向いているケース:

  • RAG のため大量の Web ページを LLM に投入したいチーム
  • Agent の tool として Web コンテンツを取得したい開発者
  • 自社ナレッジベースを構築しつつ SaaS ロックインを避けたい個人

向かないケース:

  • たまに 1 ページ取得できればよく、JS レンダリングも不要なケース(requests で十分)
  • コストに敏感で GPU も持っていない小規模プロジェクト(ブラウザ方式自体が高く、1 インスタンス 200MB のメモリから始まる)
  • 強力な Bot 対策が入っているサイト(専用 stealth モードがなく、Firecrawl ほど攻めていない)

所感と考察

Crawl4AI の本当の moat は「爬虫の精度」ではなく、「RAG という波のタイミングを掴んだ」点にある。同類の Firecrawl は商用化路線・囲い込み戦略で、unclecode は OSS + クラウドの二刀流を選んだ。84k stars という数字は、その戦略の成果だ。OSS でエコを育て、クラウドでマネタイズする――爬虫カテゴリで GitHub 上にこの規模を立ち上げたのは、結局 LLM アプリ爆発の红利をフルに享受できたから。

予測: 2026 年には「Web→構造化データ」系ツールはさらに階層化されるだろう。軽量抽出は MCP server に食われていく。Stack Overflow・Hacker News・主要公式ドキュメントなど、主要サイトごとに公式・コミュニティ製の MCP server が立ち上がり、構造化データを直接返すようになるだろう。重めの抽出は Crawl4AI のようなブラウザレンダリング付きツールが残り、長尾や動的コンテンツを扱う。両端に挟まれて、中間層はしんどくなる。

今回これまでの爬虫と決定的に違うのは、爬虫の利用者が従来は検索エンジンやアナリストだったのに対し、今は LLM だということ。ニーズが変わった――「大量に速く取る」よりも「きれいな Markdown」「意味境界が明確」「メタ情報が揃っている」が重要になった。これが Crawl4AI のようなプロジェクトが出てこられた根本理由であり、scrapy・pyspider といった従来型爬虫フレームワークの反応がワンテンポ遅れた理由でもある。

不確実な点として、ブラウザ自動化自体のコストが下がりつつある。CDP 直接接続、headless 最適化、ローカル小モデルによる GPT-4o-mini の代替などにより、1〜2 年後にこのアーキテクチャは再設計される可能性がある。今の「Playwright + LLM extractor」という組み合わせが最終形とは限らない。

GitHub リポジトリ

出典: https://github.com/unclecode/crawl4ai