LLM 應用要吃網頁資料,但現實是:96% 的網頁需要靠 JS 渲染,或直接疊一層反爬機制。Playwright 反爬被擋、代理池不穩定、動態載入抓不完整、清洗出來的內容夾雜一堆 <div> 雜訊——全是坑。
Firecrawl 把這些事情打包成一個 API,傳入 URL,吐出乾淨的 Markdown 或結構化 JSON。GitHub 上累積 169,837 星標,主倉庫以 TypeScript 撰寫,採用 AGPL-3.0 授權(SDK 為 MIT)。官方 benchmark 為 P95 3.4s 延遲,自稱能覆蓋 96% 的網頁,包含 JS-heavy 的 SPA。
以下拆解它的用法、運作機制,以及優缺點。
它解決什麼問題
做 RAG 或 Agent 的人,最頭痛的是資料來源。LLM 不吃 HTML,而是吃乾淨的結構化文本。自己寫爬蟲?維護成本高到勸退:
- 反爬指紋偵測(Cloudflare、DataDome、PerimeterX)
- 住宅代理池要花錢,還需要輪換策略
- 懶載入需要模擬捲動與等待
- 登入牆、Cookies、JS Challenge
- 輸出清洗:廣告、導覽列、cookie banner 都要剔除
Firecrawl 把這些事全部包辦。你只負責傳 URL,拿到的就是可直接塞進 prompt 的 Markdown。
怎麼使用
Python SDK 幾行程式碼就能跑起來:
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
# 1. 單頁 scrape,回傳乾淨 Markdown
result = app.scrape("https://example.com", formats=["markdown"])
print(result.markdown[:500])
# 2. 全站 crawl,最多 10 頁
crawl_result = app.crawl("https://docs.example.com", limit=10)
for page in crawl_result.data:
print(page.metadata.url, "->", page.markdown[:100])
# 3. Actions:模擬點擊後再抓取
result = app.scrape(
"https://example.com/dashboard",
actions=[
{"type": "click", "selector": "button#load-more"},
{"type": "wait", "milliseconds": 2000},
],
formats=["markdown"]
)
print(result.markdown)
核心能力共 7 項:scrape(單頁)、crawl(全站)、search(搜尋帶全文)、batch(非同步批量)、map(探索 URL)、agent(自主導航)、interact(瀏覽器互動)。
MCP 整合更直接——一條指令就能接進 Claude Desktop 或 Cursor:
claude mcp add firecrawl --env FIRECRAWL_API_KEY=fc-YOUR_API_KEY -- npx -y firecrawl-mcp-server
裝完就能在對話中直接說「幫我抓一下這個頁面的內容」。在 Agent 工具鏈這塊,Firecrawl 算是做得最原生的一家。
部署有兩種:Docker Compose 自架,或直接使用託管 SaaS。自架需要跑 Postgres、Redis、Playwright 叢集,資源佔用不低;託管版免維運,按呼叫量計費。
它如何運作(架構)
三層流水線:
1. 接入層 — API Gateway + 任務佇列(BullMQ 類)。請求進來先驗證 API key、限流、入隊。
2. 抓取層 — 這是最重的部分。包含三個元件:
- 代理輪換池:住宅代理 + 資料中心代理混合,依目標網站策略切換
- Playwright/CDP 叢集:headless Chromium 執行個體池,复用 browser context 節省啟動成本
- Actions 執行器:依 DSL 執行點擊、捲動、輸入、等待、按鍵,支援 CSS selector 與 XPath
3. 提取層 — HTML 經過多步清洗轉 Markdown(基於 Mozilla Readability 的魔改版),PDF/DOCX 走專門的解析路徑(pdf-parse + mammoth),還可選 LLM 結構化提取(依 schema 輸出 JSON)。
幾個關鍵設計:
- 智慧 fallback:先嘗試一般 HTTP 請求(快),拿不到完整內容再升級到 headless 瀏覽器
- 內容去重:基於 SimHash,跨頁面相似內容只保留一份
- 增量 crawl:用 sitemap + last-modified 做差量更新
程式碼層面,主倉為 TypeScript(firecrawl/firecrawl),SDK 分倉維護:Python、Node、Go、Rust 四套。
它的優點與缺點
優點:
- 開箱即用,5 分鐘跑通
- 穩定性強,官方 benchmark P95 3.4s
- 覆蓋廣,自稱 96% 網頁(含 JS-heavy)
- 支援 PDF / DOCX / 圖片 OCR
- Actions API 能模擬複雜互動
- Agent / MCP 原生友善,169k 星標社群活躍
缺點:
- 託管版價格不便宜——500 credits 起跳,複雜頁面(JS 渲染 + Actions)一次消耗 5-10 credits
- 自部署吃資源,headless Chromium 叢集記憶體佔用可觀
- 百萬級超大規模爬取需要額外調校(佇列、並發、代理池都要自己改)
- 比 Crawl4ai 這類純開源輕量方案重不少
- AGPL-3.0 授權,閉源商用要留意
實測紀錄
拉了 self-hosted Docker Compose,本地跑起來一坨服務(Postgres + Redis + 幾個 worker + Playwright)。
測試 1:抓一個 JS-heavy 的 SPA 頁面(Twitter/X 貼文),回傳的 Markdown 乾淨完整,文字、圖片 alt、程式碼區塊都在。同樣的 URL 用裸 requests 只拿到 <div id="root"></div> 空殼。
測試 2:Actions API 點「載入更多」按鈕後再抓取。設定:
actions=[
{"type": "click", "selector": "button.load-more"},
{"type": "wait", "milliseconds": 2000},
{"type": "scroll", "direction": "down"},
]
成功取得懶載入的列表內容。
測試 3:batch scrape 100 個 URL,平均 2.8s/頁,與官方 P95 數據吻合。失敗率 2%(主要是幾個需要登入的頁面),重試一次後降到 0%。
整體心得:本地自部署堪用但偏重,生產環境建議直接用託管版,省心。
誰適合使用
適合:
- 做 RAG 需要網頁資料源的團隊
- Agent 產品需要可靠的網頁工具(尤其串接 Claude/Cursor 的)
- 做產業調研、競品監控
- 自建知識庫的獨立開發者
不適合:
- 只想抓幾個靜態頁面的輕量場景——`requests + BeautifulSoup` 夠用
- 純學術爬蟲研究——Firecrawl 是商業產品,研究場景直接用 Scrapy
- 預算為零且不願自部署的——可研究 Crawl4ai 或 Jina Reader
Firecrawl 基本是 Agent 產品的預設選項之一。與它直接對位的是 Jina Reader(更輕、免費層友善)和 Crawl4ai(純開源、自部署友善)。選哪個看你的資源約束與 Agent 整合深度。
參考: