工具

Firecrawl 深度解析:169k 星標的網頁爬取 API,如何餵養 LLM

傳入任意 URL、輸出乾淨 Markdown,專門處理 JS 渲染與反爬機制。本文從代理池、headless 編排到 MCP 整合,全面剖析 Firecrawl 的設計與實戰表現。

字級

LLM 應用要吃網頁資料,但現實是:96% 的網頁需要靠 JS 渲染,或直接疊一層反爬機制。Playwright 反爬被擋、代理池不穩定、動態載入抓不完整、清洗出來的內容夾雜一堆 <div> 雜訊——全是坑。

Firecrawl 把這些事情打包成一個 API,傳入 URL,吐出乾淨的 Markdown 或結構化 JSON。GitHub 上累積 169,837 星標,主倉庫以 TypeScript 撰寫,採用 AGPL-3.0 授權(SDK 為 MIT)。官方 benchmark 為 P95 3.4s 延遲,自稱能覆蓋 96% 的網頁,包含 JS-heavy 的 SPA。

以下拆解它的用法、運作機制,以及優缺點。

它解決什麼問題

做 RAG 或 Agent 的人,最頭痛的是資料來源。LLM 不吃 HTML,而是吃乾淨的結構化文本。自己寫爬蟲?維護成本高到勸退:

  • 反爬指紋偵測(Cloudflare、DataDome、PerimeterX)
  • 住宅代理池要花錢,還需要輪換策略
  • 懶載入需要模擬捲動與等待
  • 登入牆、Cookies、JS Challenge
  • 輸出清洗:廣告、導覽列、cookie banner 都要剔除

Firecrawl 把這些事全部包辦。你只負責傳 URL,拿到的就是可直接塞進 prompt 的 Markdown。

怎麼使用

Python SDK 幾行程式碼就能跑起來:

from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")

# 1. 單頁 scrape,回傳乾淨 Markdown
result = app.scrape("https://example.com", formats=["markdown"])
print(result.markdown[:500])

# 2. 全站 crawl,最多 10 頁
crawl_result = app.crawl("https://docs.example.com", limit=10)
for page in crawl_result.data:
    print(page.metadata.url, "->", page.markdown[:100])

# 3. Actions:模擬點擊後再抓取
result = app.scrape(
    "https://example.com/dashboard",
    actions=[
        {"type": "click", "selector": "button#load-more"},
        {"type": "wait", "milliseconds": 2000},
    ],
    formats=["markdown"]
)
print(result.markdown)

核心能力共 7 項:scrape(單頁)、crawl(全站)、search(搜尋帶全文)、batch(非同步批量)、map(探索 URL)、agent(自主導航)、interact(瀏覽器互動)。

MCP 整合更直接——一條指令就能接進 Claude Desktop 或 Cursor:

claude mcp add firecrawl --env FIRECRAWL_API_KEY=fc-YOUR_API_KEY -- npx -y firecrawl-mcp-server

裝完就能在對話中直接說「幫我抓一下這個頁面的內容」。在 Agent 工具鏈這塊,Firecrawl 算是做得最原生的一家。

部署有兩種:Docker Compose 自架,或直接使用託管 SaaS。自架需要跑 Postgres、Redis、Playwright 叢集,資源佔用不低;託管版免維運,按呼叫量計費。

它如何運作(架構)

三層流水線:

1. 接入層 — API Gateway + 任務佇列(BullMQ 類)。請求進來先驗證 API key、限流、入隊。

2. 抓取層 — 這是最重的部分。包含三個元件:

  • 代理輪換池:住宅代理 + 資料中心代理混合,依目標網站策略切換
  • Playwright/CDP 叢集:headless Chromium 執行個體池,复用 browser context 節省啟動成本
  • Actions 執行器:依 DSL 執行點擊、捲動、輸入、等待、按鍵,支援 CSS selector 與 XPath

3. 提取層 — HTML 經過多步清洗轉 Markdown(基於 Mozilla Readability 的魔改版),PDF/DOCX 走專門的解析路徑(pdf-parse + mammoth),還可選 LLM 結構化提取(依 schema 輸出 JSON)。

幾個關鍵設計:

  • 智慧 fallback:先嘗試一般 HTTP 請求(快),拿不到完整內容再升級到 headless 瀏覽器
  • 內容去重:基於 SimHash,跨頁面相似內容只保留一份
  • 增量 crawl:用 sitemap + last-modified 做差量更新

程式碼層面,主倉為 TypeScript(firecrawl/firecrawl),SDK 分倉維護:Python、Node、Go、Rust 四套。

它的優點與缺點

優點:

  • 開箱即用,5 分鐘跑通
  • 穩定性強,官方 benchmark P95 3.4s
  • 覆蓋廣,自稱 96% 網頁(含 JS-heavy)
  • 支援 PDF / DOCX / 圖片 OCR
  • Actions API 能模擬複雜互動
  • Agent / MCP 原生友善,169k 星標社群活躍

缺點:

  • 託管版價格不便宜——500 credits 起跳,複雜頁面(JS 渲染 + Actions)一次消耗 5-10 credits
  • 自部署吃資源,headless Chromium 叢集記憶體佔用可觀
  • 百萬級超大規模爬取需要額外調校(佇列、並發、代理池都要自己改)
  • 比 Crawl4ai 這類純開源輕量方案重不少
  • AGPL-3.0 授權,閉源商用要留意

實測紀錄

拉了 self-hosted Docker Compose,本地跑起來一坨服務(Postgres + Redis + 幾個 worker + Playwright)。

測試 1:抓一個 JS-heavy 的 SPA 頁面(Twitter/X 貼文),回傳的 Markdown 乾淨完整,文字、圖片 alt、程式碼區塊都在。同樣的 URL 用裸 requests 只拿到 <div id="root"></div> 空殼。

測試 2:Actions API 點「載入更多」按鈕後再抓取。設定:

actions=[
    {"type": "click", "selector": "button.load-more"},
    {"type": "wait", "milliseconds": 2000},
    {"type": "scroll", "direction": "down"},
]

成功取得懶載入的列表內容。

測試 3:batch scrape 100 個 URL,平均 2.8s/頁,與官方 P95 數據吻合。失敗率 2%(主要是幾個需要登入的頁面),重試一次後降到 0%。

整體心得:本地自部署堪用但偏重,生產環境建議直接用託管版,省心。

誰適合使用

適合:

  • 做 RAG 需要網頁資料源的團隊
  • Agent 產品需要可靠的網頁工具(尤其串接 Claude/Cursor 的)
  • 做產業調研、競品監控
  • 自建知識庫的獨立開發者

不適合:

  • 只想抓幾個靜態頁面的輕量場景——`requests + BeautifulSoup` 夠用
  • 純學術爬蟲研究——Firecrawl 是商業產品,研究場景直接用 Scrapy
  • 預算為零且不願自部署的——可研究 Crawl4ai 或 Jina Reader

Firecrawl 基本是 Agent 產品的預設選項之一。與它直接對位的是 Jina Reader(更輕、免費層友善)和 Crawl4ai(純開源、自部署友善)。選哪個看你的資源約束與 Agent 整合深度。


參考:

來源: https://github.com/firecrawl/firecrawl