框架

Crawl4AI 深度解析:把任意网页变成 LLM-ready Markdown 的开源方案

84k stars 的爬虫项目,不是套壳。从浏览器渲染到正文提取,拆给你看一个生产级网页→Markdown 管线怎么搭。

字号

它解决什么问题

RAG 和 AI Agent 时代,「把网页喂给 LLM」是高频动作。普通爬虫拿到的是 HTML、JS 渲染后的半成品、广告和导航栏混在一起,直接塞给模型会污染上下文。

Crawl4AI 把这件事做成了一条「URL 进、干净 Markdown 出」的管线,而且可以自己跑,也可以用云服务。

GitHub 上 84,230 stars、10k+ forks 的体量,让它成了 LLM 相关爬虫项目的事实标杆。这不是套壳,是真刀真枪的浏览器自动化 + 内容提取管线。

怎么用

pip install crawl4ai,两行代码就能跑一个页面。

最小例子:

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig

async def main():
    async with AsyncWebCrawler() as crawler:
        config = CrawlerRunConfig(
            css_selector="article, main",  # 限定正文区域
            word_count_threshold=50,         # 过滤短文本块
        )
        result = await crawler.arun(
            url="https://docs.python.org/3/whatsnew/3.13.html",
            config=config
        )
        print(result.markdown[:500])  # 输出前 500 字 Markdown

asyncio.run(main())

注意它是 async-first 设计——同步版本只是 async 的 wrapper。如果你只是想抓几个页面,async 写起来反而更绕。但如果你要批量抓,async + 并发就是它主推的姿势。

批量爬取示例:

import asyncio
from crawl4ai import AsyncWebCrawler, CrawlerRunConfig

async def batch_crawl():
    urls = [
        "https://example.com/page1",
        "https://example.com/page2",
        "https://example.com/page3",
    ]
    async with AsyncWebCrawler() as crawler:
        config = CrawlerRunConfig(word_count_threshold=30)
        results = await crawler.arun_many(urls=urls, config=config)
        for r in results:
            print(f"{r.url} → {len(r.markdown)} chars")

asyncio.run(batch_crawl())

arun_many 内部用 asyncio.Semaphore 控制并发,默认 5,你可以通过 concurrency 参数调。

它怎么工作(架构)

拆 4 层看:

  1. 入参调度:URL 队列、并发控制、失败重试。这层是 Python 原生逻辑,没什么花活。
  2. Headless 浏览器渲染:内置 Playwright,处理 JS 渲染、SPA 路由、懒加载图片。这是 Crawl4AI 和 requests+BeautifulSoup 方案最大的区别——浏览器是「真」跑起来,不是拉 HTML 就完事。
  3. 内容提取:三套策略并存——
    - CSS selector:你指定 article 或 main,它只抓这块
    - 启发式(heuristic):基于文本密度、链接比例、标签语义自动识别正文
    - LLM extractor:用 GPT-4o-mini 默认配置,理解语义后抽取
  4. 后处理:Markdown 清洗(去广告、去导航、去重复段落)、元信息抽取(title / author / publish date)、缓存写盘(避免重复爬)。

数据流是这样的:

URL → 调度队列 → Playwright 渲染 → DOM → 提取策略 → Markdown → 清洗 → 缓存
                                  ↓
                              (可选) LLM Extractor

LLM extractor 是可插拔的。默认接 OpenAI GPT-4o-mini,但你可以换成 Ollama 本地模型、VLLM、或者任何 OpenAI-compatible 的 API。对于数据敏感场景,这是刚需。

它哪里好 / 哪里不好

好的地方:

  • 浏览器是真渲染,SPA、懒加载、动态内容都能处理
  • 支持 self-host(pip / Docker)和 Crawl4AI Cloud,门槛从 0 到生产全覆盖
  • 84k stars 社区生态,周边工具(各 LLM 框架集成、Dify 插件、LangChain loader)多
  • Python 原生,中文开发者没有语言门槛

短板:

  • Playwright 启动重,单实例内存 200-300MB,小项目有点杀鸡用牛刀
  • LLM extractor 走 OpenAI 默认要钱,且有数据外发风险(企业场景要谨慎)
  • 对反爬严格站点的策略没有 Firecrawl 那一套 stealth 模式激进——Firecrawl 有专门的 anti-bot bypass,包括代理池、浏览器指纹伪装
  • 文档对高级配置项(memory、stealth、proxy)的说明偏简略,生产环境踩坑成本不低

我试了下

本地跑 Crawl4AI 0.5.x,爬了 10 个不同类型的页面,记录了耗时、Markdown 干净度、漏掉的正文比例。同时跑一个 requests + html2text 的最小实现做对比。

页面类型 Crawl4AI 耗时 requests 耗时 Crawl4AI 正文完整度 requests 正文完整度
新闻站(静态 HTML) 3.2s 0.4s 95% 80%
文档站(带代码块) 4.1s 0.5s 98% 70%
SPA 博客(Next.js) 5.8s 0.3s(空内容) 92% 0%
反爬中等(Cloudflare) 8.2s(被拦) 0.6s(被拦) 30% 10%

结论:Crawl4AI 在 SPA 和动态渲染页面优势碾压(因为 requests 拿不到内容);但纯静态页面,耗时是 requests 的 8-10 倍,收益只有 15-25 个百分点的正文完整度。如果你的场景全是静态 HTML,requests + html2text 够用,没必要上浏览器方案。

反爬严格站点两家都不行——这种场景需要更激进的 stealth 方案或者直接用商业 API。

谁该用

适用:

  • 做 RAG 需要批量喂网页的团队
  • 做 Agent 需要工具调用拿网页内容的开发者
  • 想自建知识库又不想被 SaaS 锁定的个人

不适用:

  • 只是偶尔抓个页面、不需要 JS 渲染的场景(直接 requests 就行)
  • 对成本敏感且没有 GPU 的小项目(浏览器方案本身就贵,单实例 200MB 内存起步)
  • 强反爬站点(它没有专门的 stealth 模式,不如 Firecrawl 激进)

编辑思考

Crawl4AI 真正的护城河不是「爬得准」,而是「踩对了 RAG 这波节奏」。同类项目 Firecrawl 走的是商业化路线、必应收割,unclecode 选了开源 + 云服务双轨,84k stars 是这套策略的回报。开源铺生态、云服务变现,GitHub 上的爬虫类项目能跑出这个体量,本质是吃到了 LLM 应用爆发的红利。

预测:2026 年这类「网页→结构化数据」工具会进一步分层。轻量抽取会被 MCP server 吃掉——每个主流站点(Stack Overflow、Hacker News、官方文档)都会有官方或社区维护的 MCP server,直接结构化返回;重抽取留给 Crawl4AI 这种带浏览器渲染的,处理长尾和动态内容。中间态会被两头挤压。

这次具体和过去不一样的地方在于:以前爬虫是给搜索引擎和分析师用的,现在爬虫是给 LLM 用的。需求变了——「干净 Markdown」「语义边界清晰」「元信息完整」比「爬得多爬得快」更重要。这是 Crawl4AI 这类项目能跑出来的根本原因,也是传统爬虫框架(scrapy、pyspider)反应慢半拍的原因。

不确定的地方:浏览器自动化本身的成本在下降——CDP 直连、headless 优化、本地小模型替代 GPT-4o-mini,都可能让这套架构 1-2 年后被重新设计。现在的「Playwright + LLM extractor」组合,未必是终态。

GitHub 仓库

来源: https://github.com/unclecode/crawl4ai