ツール

Firecrawl を解剖する:169k stars の Web スクレイピング API は LLM に何をどう届けるのか

任意の URL をクリーンな Markdown に変換し、JS レンダリングや bot 対策を自動で突破する Firecrawl。プロキシプール、ヘッドレスブラウザ编排、Agent 親和性設計の3本柱を紐解く。

文字サイズ

LLM アプリに Web データを取り込みたい——そう思っても、現実は厳しい。ページの 96% は JS レンダリング必須で、その上 bot 対策が待ち受けている。Playwright だと弾かれる、プロキシプールが不安定、動的読み込みが最後まで拾えない、出力から <div> ノイズが湧く。どれも現場あるあるだろう。

Firecrawl はこれらを丸ごと一発の API に閉じ込めた。URL を渡すだけで、整形済みの Markdown または構造化 JSON が返ってくる。GitHub の star は 169,837、メインリポジトリは TypeScript で AGPL-3.0(SDK は MIT)。公式のベンチマークでは P95 3.4 秒、JS ヘビーな SPA を含む 96% の Web ページをカバーするとうたう。

以下では、その使い方、内部構造、長所・短所を順に整理していく。

何の問題を解決するのか

RAG や Agent を作るエンジニアが最初に突き当たる壁がデータソースだ。LLM は HTML を食べない。求めているのはクリーンな構造化テキスト。かといって自前でクローラを書くとなると、運用コストで心が折れる。

  • bot 対策のフィンガープリント検知(Cloudflare、DataDome、PerimeterX)
  • 住宅プロキシプールの購入費とローテーション戦略
  • 遅延読み込みを再現するスクロール+待機
  • ログインウォール、Cookie、JS Challenge
  • 出力の整形:広告、ナビゲーション、Cookie バナーはすべて除去

Firecrawl はこれらを一手に引き受ける。利用者は URL を渡すだけで、prompt にそのまま流し込める Markdown を受け取れる。

使い方

Python SDK なら数行で動く。

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

# 1. 単一ページを scrape し、整形済み Markdown を取得
result = app.scrape("https://example.com", formats=["markdown"])
print(result.markdown[:500])

# 2. サイト全体を crawl、最大 10 ページ
crawl_result = app.crawl("https://docs.example.com", limit=10)
for page in crawl_result.data:
    print(page.metadata.url, "->", page.markdown[:100])

# 3. Actions:クリック操作の後に取得
result = app.scrape(
    "https://example.com/dashboard",
    actions=[
        {"type": "click", "selector": "button#load-more"},
        {"type": "wait", "milliseconds": 2000},
    ],
    formats=["markdown"]
)
print(result.markdown)

中核機能は 7 つ。scrape(単一ページ)、crawl(サイト全体)、search(全文検索付き)、batch(非同期バッチ)、map(URL 発見)、agent(自律ナビゲーション)、interact(ブラウザ操作)。

MCP 連携はさらに直感的で、Claude Desktop や Cursor にワンライナーで接続できる。

claude mcp add firecrawl --env FIRECRAWL_API_KEY=fc-YOUR_API_KEY -- npx -y firecrawl-mcp-server

設定が終われば、対話中に「このページの内容を取得して」と頼むだけ。Agent ツールチェーンへの対応度でいえば、Firecrawl は最もネイティブに近い実装を提供している。

デプロイは 2 系統。Docker Compose でセルフホストするか、SaaS 版をそのまま使う。セルフホストは Postgres、Redis、Playwright クラスタを動かす必要があり、リソース消費は軽くない。SaaS 版は運用不要で、呼び出し量に応じた従量課金となる。

内部構造(アーキテクチャ)

3 層のパイプラインで構成されている。

1. 受付層 — API Gateway とタスクキュー(BullMQ 系)。リクエストが入ると API キーの検証、 rate limit、エンキューまでを処理する。

2. 取得層 — もっとも重量のある層で、3 つのコンポーネントからなる。

  • プロキシローテーションプール:住宅プロキシとデータセンタープロキシを混在させ、対象サイトに応じて戦略的に切り替える
  • Playwright / CDP クラスタ:ヘッドレス Chromium インスタンスをプール化し、browser context を再利用することで起動コストを抑える
  • Actions 実行器:DSL に基づいてクリック、スクロール、入力、待機、キー入力を実行。CSS selector と XPath の両方に対応

3. 抽出層 — HTML を多段でクリーンアップしながら Markdown に変換する(Mozilla Readability の改造版がベース)。PDF / DOCX は専用パーサ(pdf-parse + mammoth)を通す。さらにオプションで LLM による構造化抽出(schema ベースの JSON 出力)も選べる。

設計上のポイントは次のとおり。

  • スマート fallback:まず通常の HTTP リクエストで試し、コンテンツが欠ける場合は headless ブラウザに自動で昇格
  • コンテンツ重複排除:SimHash ベースで、ページ間の類似コンテンツは 1 件のみ保持
  • 差分 crawl:sitemap と last-modified を組み合わせて増分更新

コード面では、メインリポジトリは TypeScript(firecrawl/firecrawl)、SDK は別リポジトリで Python / Node / Go / Rust の 4 種類が提供されている。

長所と短所

良いところ:

  • セットアップが極めて短く、5 分で動かせる
  • 安定性が高く、公式ベンチマークで P95 3.4 秒
  • カバー範囲が広く、JS ヘビーなページを含めて 96% をうたう
  • PDF / DOCX / 画像 OCR に対応
  • Actions API で複雑なブラウザ操作を再現可能
  • Agent / MCP への親和性が高く、169k stars のコミュニティが活発

惜しいところ:

  • SaaS 版は割安とは言い難い。500 credits からで、JS レンダリング+Actions のような重い処理は 1 回で 5〜10 credits を消費する
  • セルフホストはリソースを食う。headless Chromium クラスタのメモリ占有は無視できない
  • 数百万件規模のスクレイピングには追加チューニングが必要(キュー、同時実行、プロキシプールを自前で手を入れることになる)
  • Crawl4ai のような純粋な OSS 軽量ソリューション比べると総重量は増える
  • AGPL-3.0 ライセンスのため、ソース非公開で商用利用する場合は注意が必要

実際に動かしてみた

セルフホスト用の Docker Compose を引っ張り出し、ローカルで一式(Postgres + Redis + 複数の worker + Playwright)を立ち上げた。

テスト 1:JS ヘビーな SPA(Twitter / X のポスト)を取得。返ってきた Markdown はきれいで本文・画像 alt・コードブロックまで揃っていた。同じ URL を素の requests で叩くと <div id="root"></div> の空っぽシェルしか返らない。

テスト 2:Actions API で「もっと読み込む」ボタンを押してから取得するシナリオ。設定は次のとおり。

actions=[
    {"type": "click", "selector": "button.load-more"},
    {"type": "wait", "milliseconds": 2000},
    {"type": "scroll", "direction": "down"},
]

遅延読み込みされたリスト内容を無事に取り出せた。

テスト 3:100 件の URL を batch scrape。平均 2.8 秒/ページで、公式 P95 とほぼ一致。失敗率は 2%(主にはログイン必須ページ)で、1 回リトライすると 0% まで下がった。

所感として、ローカルセルフホストは動くが重く、本番は素直に SaaS 版に任せるのがラク。

どんな人に向くか

向いているケース:

  • RAG 向けに Web データソースを求めるチーム
  • Agent 製品に信頼性の高い Web ツールが必要(特に Claude / Cursor 連携時)
  • 業界調査や競合モニタリング
  • 自前ナレッジベースを構築したい個人開発者

向かないケース:

  • 静的ページを数件拾いたいだけの場合 → requests + BeautifulSoup で十分
  • 学術用途のクローラ研究 → Firecrawl は商用プロダクトなので、Scrapy を直接使う方が筋
  • 予算ゼロかつセルフホストも避けたい場合 → Crawl4ai や Jina Reader を検討

Firecrawl は、もはや Agent 製品のデファクト選択肢の一つと言っていい。直接のライバルは Jina Reader(軽量で無料枠が広い)と Crawl4ai(純 OSS でセルフホスト向き)。リソース制約と Agent への組み込み深度で選ぶとよい。


参考リンク:

出典: https://github.com/firecrawl/firecrawl