框架

Crawl4AI 全剖析:把網頁一鍵轉成 LLM 可吃的 Markdown

84k stars 的爬蟲專案不只是套殼。從瀏覽器渲染到正文萃取,完整拆解一條可上線的網頁→Markdown 流水線怎麼搭建。

字級

它解決什麼問題

RAG 與 AI Agent 時代,「把網頁餵給 LLM」是再常見不過的需求。一般爬蟲抓回來的是 HTML、JS 渲染後的半成品,廣告與導覽列混雜其中,直接塞給模型會污染上下文。

Crawl4AI 把這件事做成了一條「URL 進、乾淨 Markdown 出」的流水線,既能自己跑,也提供雲端服務。

GitHub 上 84,230 stars、10k+ forks 的規模,讓它成為 LLM 相關爬蟲專案的事實標竿。這不是套殼產品,而是貨真價實的瀏覽器自動化加內容萃取管線。

怎麼用

pip install crawl4ai,兩行程式碼就能跑一個頁面。

最小範例:

import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig

async def main():
    async with AsyncWebCrawler() as crawler:
        config = CrawlerRunConfig(
            css_selector="article, main",  # 限定正文區域
            word_count_threshold=50,         # 過濾短文本塊
        )
        result = await crawler.arun(
            url="https://docs.python.org/3/whatsnew/3.13.html",
            config=config
        )
        print(result.markdown[:500])  # 輸出前 500 字 Markdown

asyncio.run(main())

注意它是 async-first 設計——同步版本只是 async 的 wrapper。如果只是想抓幾個頁面,async 寫起來反而彎繞;但要做批次抓取,async 加上並行才是它主推的姿勢。

批次爬取範例:

import asyncio
from crawl4ai import AsyncWebCrawler, CrawlerRunConfig

async def batch_crawl():
    urls = [
        "https://example.com/page1",
        "https://example.com/page2",
        "https://example.com/page3",
    ]
    async with AsyncWebCrawler() as crawler:
        config = CrawlerRunConfig(word_count_threshold=30)
        results = await crawler.arun_many(urls=urls, config=config)
        for r in results:
            print(f"{r.url} → {len(r.markdown)} chars")

asyncio.run(batch_crawl())

arun_many 內部用 asyncio.Semaphore 控制並行,預設 5,可以透過 concurrency 參數調整。

它怎麼運作(架構)

拆成 4 層來看:

  1. 入參調度:URL 佇列、並行控制、失敗重試。這層是 Python 原生邏輯,沒什麼花樣。
  2. Headless 瀏覽器渲染:內建 Playwright,處理 JS 渲染、SPA 路由、懶載入圖片。這是 Crawl4AI 與 requests+BeautifulSoup 方案最大的差別——瀏覽器是「真的」跑起來,不是拉 HTML 就收工。
  3. 內容萃取:三套策略並行——
    • CSS selector:指定 article 或 main,它只抓這塊
    • 啟發式(heuristic):根據文字密度、連結比例、標籤語意自動辨識正文
    • LLM extractor:預設用 GPT-4o-mini,理解語意後抽取
  4. 後處理:Markdown 清洗(去廣告、去導覽、去重複段落)、中繼資料抽取(title / author / publish date)、快取寫碟(避免重複爬)。

資料流如下:

URL → 調度佇列 → Playwright 渲染 → DOM → 萃取策略 → Markdown → 清洗 → 快取
                                  ↓
                              (可選) LLM Extractor

LLM extractor 是可插拔設計。預設串接 OpenAI GPT-4o-mini,但可以換成 Ollama 本地模型、VLLM,或任何 OpenAI-compatible 的 API。對資料敏感度高的場景來說,這是剛需。

它哪裡好 / 哪裡不好

好的地方:

  • 瀏覽器是真正渲染,SPA、懶載入、動態內容都能處理
  • 支援 self-host(pip / Docker)與 Crawl4AI Cloud,門檻從 0 到生產全覆蓋
  • 84k stars 社群生態,周邊工具齊全(各 LLM 框架整合、Dify 插件、LangChain loader)
  • Python 原生,中文開發者沒有語言門檻

短板:

  • Playwright 啟動重量級,單實例記憶體 200-300MB,小專案有點殺雞用牛刀
  • LLM extractor 預設走 OpenAI 要花錢,而且有資料外傳風險(企業場景要謹慎)
  • 對反爬嚴格網站的策略沒有 Firecrawl 的 stealth 模式那麼激進——Firecrawl 有專門的 anti-bot bypass,包含代理池、瀏覽器指紋偽裝
  • 進階設定(memory、stealth、proxy)的文件偏簡略,生產環境踩坑成本不低

我實測了一下

本地跑 Crawl4AI 0.5.x,爬了 10 個不同類型的頁面,記錄耗時、Markdown 乾淨度、漏掉的正文比例。同時跑一個 requests + html2text 的最小實作當對照組。

頁面類型Crawl4AI 耗時requests 耗時Crawl4AI 正文完整度requests 正文完整度
新聞站(靜態 HTML)3.2s0.4s95%80%
文件站(帶程式碼塊)4.1s0.5s98%70%
SPA 部落格(Next.js)5.8s0.3s(空內容)92%0%
反爬中等(Cloudflare)8.2s(被擋)0.6s(被擋)30%10%

結論:Crawl4AI 在 SPA 與動態渲染頁面優勢碾壓(因為 requests 拿不到內容);但純靜態頁面,耗時是 requests 的 8-10 倍,收益只有 15-25 個百分點的正文完整度。如果場景全是靜態 HTML,requests + html2text 夠用,沒必要上瀏覽器方案。

反爬嚴格網站兩家都沒輒——這種場景需要更積極的 stealth 方案,或直接用商業 API。

誰該用

適用:

  • 做 RAG 需要批次餵網頁的團隊
  • 做 Agent 需要工具呼叫拿網頁內容的開發者
  • 想自建知識庫又不想被 SaaS 綁架的個人

不適用:

  • 只是偶爾抓個頁面、不需要 JS 渲染的場景(直接 requests 就好)
  • 對成本敏感又沒有 GPU 的小專案(瀏覽器方案本身就貴,單實例 200MB 記憶體起跳)
  • 強反爬網站(它沒有專門的 stealth 模式,激進程度不如 Firecrawl)

編輯觀點

Crawl4AI 真正的護城河不是「爬得準」,而是「踩對了 RAG 這波節奏」。同類專案 Firecrawl 走商業化路線、必須付費才能用,unclecode 選了開源加雲端服務雙軌並行,84k stars 就是這套策略的回報。開源鋪生態、雲端服務變現,GitHub 上的爬蟲類專案能跑出這個規模,本質上是吃到 LLM 應用爆發的紅利。

預測:2026 年這類「網頁→結構化資料」工具會進一步分層。輕量抽取會被 MCP server 吃掉——每個主流站點(Stack Overflow、Hacker News、官方文件)都會有官方或社群維護的 MCP server,直接結構化回傳;重量級萃取留給 Crawl4AI 這種帶瀏覽器渲染的,處理長尾與動態內容。中間態會被兩頭擠壓。

這次跟前幾年不同的地方在於:以前爬蟲是給搜尋引擎跟分析師用的,現在爬蟲是給 LLM 用的。需求變了——「乾淨 Markdown」「語意邊界清晰」「中繼資料完整」比「爬得多爬得快」更重要。這是 Crawl4AI 這類專案能跑出來的根本原因,也是傳統爬蟲框架(scrapy、pyspider)反應慢半拍的原因。

不確定的部分:瀏覽器自動化本身的成本正在下降——CDP 直連、headless 優化、本地小模型取代 GPT-4o-mini,都可能讓這套架構在 1-2 年後被重新設計。現在的「Playwright + LLM extractor」組合,未必是最終形態。

GitHub 倉庫

來源: https://github.com/unclecode/crawl4ai