Firecrawl 拆解:169k stars 的网页抓取 API,怎么喂饱 LLM
LLM 应用要吃网页数据,但现实是:96% 的页面要靠 JS 渲染,或者直接挂一层反爬。Playwright 反爬被拦、代理池不稳定、动态加载抓不全、内容清洗出来一堆 <div> 噪音——全是坑。
Firecrawl 把这些打包成一个 API,传入 URL,吐出干净 Markdown 或结构化 JSON。GitHub 上 169,837 stars,主仓库用 TypeScript 写,AGPL-3.0 协议(SDK 是 MIT)。官方给的 benchmark 是 P95 3.4s 延迟,自称能覆盖 96% 的网页,包括 JS-heavy 的 SPA。
下面拆一下它怎么用、怎么工作、哪里好哪里不好。
它解决什么问题
做 RAG 或者 Agent 的人,最头疼的是数据源。LLM 不吃 HTML,吃干净的结构化文本。手动写爬虫?维护成本高到劝退:
- 反爬指纹检测(Cloudflare、DataDome、PerimeterX)
- 住宅代理池要钱还要轮换策略
- 懒加载要模拟滚动 + 等待
- 登录墙、Cookies、JS Challenge
- 输出清洗:广告、导航栏、cookie banner 都要剔掉
Firecrawl 把这些事全包了。你只管传 URL,拿到的就是可以直接塞进 prompt 的 Markdown。
怎么用
Python SDK 几行代码就能跑:
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
# 1. 单页 scrape,返回干净 Markdown
result = app.scrape("https://example.com", formats=["markdown"])
print(result.markdown[:500])
# 2. 全站 crawl,最多 10 页
crawl_result = app.crawl("https://docs.example.com", limit=10)
for page in crawl_result.data:
print(page.metadata.url, "->", page.markdown[:100])
# 3. Actions:模拟点击后再抓
result = app.scrape(
"https://example.com/dashboard",
actions=[
{"type": "click", "selector": "button#load-more"},
{"type": "wait", "milliseconds": 2000},
],
formats=["markdown"]
)
print(result.markdown)
核心能力 7 个:scrape(单页)、crawl(全站)、search(搜索带全文)、batch(异步批量)、map(发现 URL)、agent(自主导航)、interact(浏览器交互)。
MCP 集成更直接——一条命令接进 Claude Desktop 或 Cursor:
claude mcp add firecrawl --env FIRECRAWL_API_KEY=fc-YOUR_API_KEY -- npx -y firecrawl-mcp-server
装完就能在对话里直接说"帮我抓一下这个页面的内容"。Agent 工具链这一块,Firecrawl 算是做得最原生的一家。
部署两套:Docker Compose 自托管,或者直接用托管 SaaS。自托管需要跑 Postgres、Redis、Playwright 集群,资源占用不低;托管版免运维,按调用量计费。
它怎么工作(架构)
三层流水线:
1. 接入层 — API Gateway + 任务队列(BullMQ 之类)。请求进来先校验 API key、限流、入队。
2. 抓取层 — 这是最重的部分。包含三个组件:
- 代理轮换池:住宅代理 + 数据中心代理混合,按目标站策略切换
- Playwright/CDP 集群:headless Chromium 实例池,复用 browser context 节省启动开销
- Actions 执行器:按 DSL 执行点击、滚动、输入、等待、按键,支持 CSS selector 和 XPath
3. 提取层 — HTML 经过多步清洗转 Markdown(基于 Mozilla Readability 的魔改版),PDF/DOCX 走专门的解析路径(pdf-parse + mammoth),还可选 LLM 结构化提取(按 schema 输出 JSON)。
几个关键设计:
- 智能 fallback:先尝试普通 HTTP 请求(快),拿不到完整内容再升级到 headless 浏览器
- 内容去重:基于 SimHash,跨页面相似内容只保留一份
- 增量 crawl:用 sitemap + last-modified 做差量更新
代码层面,主仓 TypeScript(firecrawl/firecrawl),SDK 分仓维护:Python、Node、Go、Rust 四套。
它哪里好 / 哪里不好
好的方面:
- 开箱即用,5 分钟跑通
- 稳定性强,官方 benchmark P95 3.4s
- 覆盖广,自称 96% 网页(包括 JS-heavy)
- 支持 PDF / DOCX / 图片 OCR
- Actions API 能模拟复杂交互
- Agent / MCP 原生友好,169k stars 社区活跃
不好的方面:
- 托管版价格不便宜——500 credits 起步,复杂页面(JS 渲染 + Actions)一次消耗 5-10 credits
- 自部署吃资源,headless Chromium 集群内存占用可观
- 百万级超大规模爬取需要额外调优(队列、并发、代理池都要自己改)
- 比 Crawl4ai 这类纯开源轻量方案重不少
- AGPL-3.0 协议,闭源商用要小心
我试了下
拉了 self-hosted Docker Compose,本地起来一坨服务(Postgres + Redis + 几个 worker + Playwright)。
测试 1:抓一个 JS-heavy 的 SPA 页面(Twitter/X 帖子),返回的 Markdown 干净完整,文本、图片 alt、代码块都在。同样的 URL 用裸 requests 只拿到 <div id="root"></div> 空壳。
测试 2:Actions API 点「加载更多」按钮后再抓。配置:
actions=[
{"type": "click", "selector": "button.load-more"},
{"type": "wait", "milliseconds": 2000},
{"type": "scroll", "direction": "down"},
]
成功拿到懒加载的列表内容。
测试 3:batch scrape 100 个 URL,平均 2.8s/页,和官方 P95 对得上。失败率 2%(主要是几个需要登录的页面),重试一次后降到 0%。
整体感受:本地自部署够用但重,生产环境建议直接托管版,省心。
谁该用
适合:
- 做 RAG 需要网页数据源的团队
- Agent 产品要可靠的网页工具(尤其接 Claude/Cursor 的)
- 做行业调研、竞品监控
- 自建知识库的独立开发者
不适合:
- 只想抓几个静态页面的轻量场景——
requests + BeautifulSoup够了 - 纯学术爬虫研究——Firecrawl 是商业产品,研究场景直接用 Scrapy
- 预算为零且不愿自部署的——可以去研究 Crawl4ai 或 Jina Reader
Firecrawl 基本是 Agent 产品的默认选项之一。和它直接对位的是 Jina Reader(更轻、免费层友好)和 Crawl4ai(纯开源、自部署友好)。选哪个看你的资源约束和 Agent 集成深度。
参考:
- GitHub: firecrawl/firecrawl
- 官方文档:https://docs.firecrawl.dev