LLM アプリに Web データを取り込みたい——そう思っても、現実は厳しい。ページの 96% は JS レンダリング必須で、その上 bot 対策が待ち受けている。Playwright だと弾かれる、プロキシプールが不安定、動的読み込みが最後まで拾えない、出力から <div> ノイズが湧く。どれも現場あるあるだろう。
Firecrawl はこれらを丸ごと一発の API に閉じ込めた。URL を渡すだけで、整形済みの Markdown または構造化 JSON が返ってくる。GitHub の star は 169,837、メインリポジトリは TypeScript で AGPL-3.0(SDK は MIT)。公式のベンチマークでは P95 3.4 秒、JS ヘビーな SPA を含む 96% の Web ページをカバーするとうたう。
以下では、その使い方、内部構造、長所・短所を順に整理していく。
何の問題を解決するのか
RAG や Agent を作るエンジニアが最初に突き当たる壁がデータソースだ。LLM は HTML を食べない。求めているのはクリーンな構造化テキスト。かといって自前でクローラを書くとなると、運用コストで心が折れる。
- bot 対策のフィンガープリント検知(Cloudflare、DataDome、PerimeterX)
- 住宅プロキシプールの購入費とローテーション戦略
- 遅延読み込みを再現するスクロール+待機
- ログインウォール、Cookie、JS Challenge
- 出力の整形:広告、ナビゲーション、Cookie バナーはすべて除去
Firecrawl はこれらを一手に引き受ける。利用者は URL を渡すだけで、prompt にそのまま流し込める Markdown を受け取れる。
使い方
Python SDK なら数行で動く。
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
# 1. 単一ページを scrape し、整形済み Markdown を取得
result = app.scrape("https://example.com", formats=["markdown"])
print(result.markdown[:500])
# 2. サイト全体を crawl、最大 10 ページ
crawl_result = app.crawl("https://docs.example.com", limit=10)
for page in crawl_result.data:
print(page.metadata.url, "->", page.markdown[:100])
# 3. Actions:クリック操作の後に取得
result = app.scrape(
"https://example.com/dashboard",
actions=[
{"type": "click", "selector": "button#load-more"},
{"type": "wait", "milliseconds": 2000},
],
formats=["markdown"]
)
print(result.markdown)
中核機能は 7 つ。scrape(単一ページ)、crawl(サイト全体)、search(全文検索付き)、batch(非同期バッチ)、map(URL 発見)、agent(自律ナビゲーション)、interact(ブラウザ操作)。
MCP 連携はさらに直感的で、Claude Desktop や Cursor にワンライナーで接続できる。
claude mcp add firecrawl --env FIRECRAWL_API_KEY=fc-YOUR_API_KEY -- npx -y firecrawl-mcp-server
設定が終われば、対話中に「このページの内容を取得して」と頼むだけ。Agent ツールチェーンへの対応度でいえば、Firecrawl は最もネイティブに近い実装を提供している。
デプロイは 2 系統。Docker Compose でセルフホストするか、SaaS 版をそのまま使う。セルフホストは Postgres、Redis、Playwright クラスタを動かす必要があり、リソース消費は軽くない。SaaS 版は運用不要で、呼び出し量に応じた従量課金となる。
内部構造(アーキテクチャ)
3 層のパイプラインで構成されている。
1. 受付層 — API Gateway とタスクキュー(BullMQ 系)。リクエストが入ると API キーの検証、 rate limit、エンキューまでを処理する。
2. 取得層 — もっとも重量のある層で、3 つのコンポーネントからなる。
- プロキシローテーションプール:住宅プロキシとデータセンタープロキシを混在させ、対象サイトに応じて戦略的に切り替える
- Playwright / CDP クラスタ:ヘッドレス Chromium インスタンスをプール化し、browser context を再利用することで起動コストを抑える
- Actions 実行器:DSL に基づいてクリック、スクロール、入力、待機、キー入力を実行。CSS selector と XPath の両方に対応
3. 抽出層 — HTML を多段でクリーンアップしながら Markdown に変換する(Mozilla Readability の改造版がベース)。PDF / DOCX は専用パーサ(pdf-parse + mammoth)を通す。さらにオプションで LLM による構造化抽出(schema ベースの JSON 出力)も選べる。
設計上のポイントは次のとおり。
- スマート fallback:まず通常の HTTP リクエストで試し、コンテンツが欠ける場合は headless ブラウザに自動で昇格
- コンテンツ重複排除:SimHash ベースで、ページ間の類似コンテンツは 1 件のみ保持
- 差分 crawl:sitemap と last-modified を組み合わせて増分更新
コード面では、メインリポジトリは TypeScript(firecrawl/firecrawl)、SDK は別リポジトリで Python / Node / Go / Rust の 4 種類が提供されている。
長所と短所
良いところ:
- セットアップが極めて短く、5 分で動かせる
- 安定性が高く、公式ベンチマークで P95 3.4 秒
- カバー範囲が広く、JS ヘビーなページを含めて 96% をうたう
- PDF / DOCX / 画像 OCR に対応
- Actions API で複雑なブラウザ操作を再現可能
- Agent / MCP への親和性が高く、169k stars のコミュニティが活発
惜しいところ:
- SaaS 版は割安とは言い難い。500 credits からで、JS レンダリング+Actions のような重い処理は 1 回で 5〜10 credits を消費する
- セルフホストはリソースを食う。headless Chromium クラスタのメモリ占有は無視できない
- 数百万件規模のスクレイピングには追加チューニングが必要(キュー、同時実行、プロキシプールを自前で手を入れることになる)
- Crawl4ai のような純粋な OSS 軽量ソリューション比べると総重量は増える
- AGPL-3.0 ライセンスのため、ソース非公開で商用利用する場合は注意が必要
実際に動かしてみた
セルフホスト用の Docker Compose を引っ張り出し、ローカルで一式(Postgres + Redis + 複数の worker + Playwright)を立ち上げた。
テスト 1:JS ヘビーな SPA(Twitter / X のポスト)を取得。返ってきた Markdown はきれいで本文・画像 alt・コードブロックまで揃っていた。同じ URL を素の requests で叩くと <div id="root"></div> の空っぽシェルしか返らない。
テスト 2:Actions API で「もっと読み込む」ボタンを押してから取得するシナリオ。設定は次のとおり。
actions=[
{"type": "click", "selector": "button.load-more"},
{"type": "wait", "milliseconds": 2000},
{"type": "scroll", "direction": "down"},
]
遅延読み込みされたリスト内容を無事に取り出せた。
テスト 3:100 件の URL を batch scrape。平均 2.8 秒/ページで、公式 P95 とほぼ一致。失敗率は 2%(主にはログイン必須ページ)で、1 回リトライすると 0% まで下がった。
所感として、ローカルセルフホストは動くが重く、本番は素直に SaaS 版に任せるのがラク。
どんな人に向くか
向いているケース:
- RAG 向けに Web データソースを求めるチーム
- Agent 製品に信頼性の高い Web ツールが必要(特に Claude / Cursor 連携時)
- 業界調査や競合モニタリング
- 自前ナレッジベースを構築したい個人開発者
向かないケース:
- 静的ページを数件拾いたいだけの場合 →
requests + BeautifulSoupで十分 - 学術用途のクローラ研究 → Firecrawl は商用プロダクトなので、Scrapy を直接使う方が筋
- 予算ゼロかつセルフホストも避けたい場合 → Crawl4ai や Jina Reader を検討
Firecrawl は、もはや Agent 製品のデファクト選択肢の一つと言っていい。直接のライバルは Jina Reader(軽量で無料枠が広い)と Crawl4ai(純 OSS でセルフホスト向き)。リソース制約と Agent への組み込み深度で選ぶとよい。
参考リンク: