它解決什麼問題
RAG 與 AI Agent 時代,「把網頁餵給 LLM」是再常見不過的需求。一般爬蟲抓回來的是 HTML、JS 渲染後的半成品,廣告與導覽列混雜其中,直接塞給模型會污染上下文。
Crawl4AI 把這件事做成了一條「URL 進、乾淨 Markdown 出」的流水線,既能自己跑,也提供雲端服務。
GitHub 上 84,230 stars、10k+ forks 的規模,讓它成為 LLM 相關爬蟲專案的事實標竿。這不是套殼產品,而是貨真價實的瀏覽器自動化加內容萃取管線。
怎麼用
pip install crawl4ai,兩行程式碼就能跑一個頁面。
最小範例:
import asyncio
from crawl4ai import AsyncWebCrawler, BrowserConfig, CrawlerRunConfig
async def main():
async with AsyncWebCrawler() as crawler:
config = CrawlerRunConfig(
css_selector="article, main", # 限定正文區域
word_count_threshold=50, # 過濾短文本塊
)
result = await crawler.arun(
url="https://docs.python.org/3/whatsnew/3.13.html",
config=config
)
print(result.markdown[:500]) # 輸出前 500 字 Markdown
asyncio.run(main())
注意它是 async-first 設計——同步版本只是 async 的 wrapper。如果只是想抓幾個頁面,async 寫起來反而彎繞;但要做批次抓取,async 加上並行才是它主推的姿勢。
批次爬取範例:
import asyncio
from crawl4ai import AsyncWebCrawler, CrawlerRunConfig
async def batch_crawl():
urls = [
"https://example.com/page1",
"https://example.com/page2",
"https://example.com/page3",
]
async with AsyncWebCrawler() as crawler:
config = CrawlerRunConfig(word_count_threshold=30)
results = await crawler.arun_many(urls=urls, config=config)
for r in results:
print(f"{r.url} → {len(r.markdown)} chars")
asyncio.run(batch_crawl())
arun_many 內部用 asyncio.Semaphore 控制並行,預設 5,可以透過 concurrency 參數調整。
它怎麼運作(架構)
拆成 4 層來看:
- 入參調度:URL 佇列、並行控制、失敗重試。這層是 Python 原生邏輯,沒什麼花樣。
- Headless 瀏覽器渲染:內建 Playwright,處理 JS 渲染、SPA 路由、懶載入圖片。這是 Crawl4AI 與 requests+BeautifulSoup 方案最大的差別——瀏覽器是「真的」跑起來,不是拉 HTML 就收工。
- 內容萃取:三套策略並行——
- CSS selector:指定
article或main,它只抓這塊 - 啟發式(heuristic):根據文字密度、連結比例、標籤語意自動辨識正文
- LLM extractor:預設用 GPT-4o-mini,理解語意後抽取
- CSS selector:指定
- 後處理:Markdown 清洗(去廣告、去導覽、去重複段落)、中繼資料抽取(title / author / publish date)、快取寫碟(避免重複爬)。
資料流如下:
URL → 調度佇列 → Playwright 渲染 → DOM → 萃取策略 → Markdown → 清洗 → 快取
↓
(可選) LLM Extractor
LLM extractor 是可插拔設計。預設串接 OpenAI GPT-4o-mini,但可以換成 Ollama 本地模型、VLLM,或任何 OpenAI-compatible 的 API。對資料敏感度高的場景來說,這是剛需。
它哪裡好 / 哪裡不好
好的地方:
- 瀏覽器是真正渲染,SPA、懶載入、動態內容都能處理
- 支援 self-host(pip / Docker)與 Crawl4AI Cloud,門檻從 0 到生產全覆蓋
- 84k stars 社群生態,周邊工具齊全(各 LLM 框架整合、Dify 插件、LangChain loader)
- Python 原生,中文開發者沒有語言門檻
短板:
- Playwright 啟動重量級,單實例記憶體 200-300MB,小專案有點殺雞用牛刀
- LLM extractor 預設走 OpenAI 要花錢,而且有資料外傳風險(企業場景要謹慎)
- 對反爬嚴格網站的策略沒有 Firecrawl 的 stealth 模式那麼激進——Firecrawl 有專門的 anti-bot bypass,包含代理池、瀏覽器指紋偽裝
- 進階設定(memory、stealth、proxy)的文件偏簡略,生產環境踩坑成本不低
我實測了一下
本地跑 Crawl4AI 0.5.x,爬了 10 個不同類型的頁面,記錄耗時、Markdown 乾淨度、漏掉的正文比例。同時跑一個 requests + html2text 的最小實作當對照組。
| 頁面類型 | Crawl4AI 耗時 | requests 耗時 | Crawl4AI 正文完整度 | requests 正文完整度 |
|---|---|---|---|---|
| 新聞站(靜態 HTML) | 3.2s | 0.4s | 95% | 80% |
| 文件站(帶程式碼塊) | 4.1s | 0.5s | 98% | 70% |
| SPA 部落格(Next.js) | 5.8s | 0.3s(空內容) | 92% | 0% |
| 反爬中等(Cloudflare) | 8.2s(被擋) | 0.6s(被擋) | 30% | 10% |
結論:Crawl4AI 在 SPA 與動態渲染頁面優勢碾壓(因為 requests 拿不到內容);但純靜態頁面,耗時是 requests 的 8-10 倍,收益只有 15-25 個百分點的正文完整度。如果場景全是靜態 HTML,requests + html2text 夠用,沒必要上瀏覽器方案。
反爬嚴格網站兩家都沒輒——這種場景需要更積極的 stealth 方案,或直接用商業 API。
誰該用
適用:
- 做 RAG 需要批次餵網頁的團隊
- 做 Agent 需要工具呼叫拿網頁內容的開發者
- 想自建知識庫又不想被 SaaS 綁架的個人
不適用:
- 只是偶爾抓個頁面、不需要 JS 渲染的場景(直接 requests 就好)
- 對成本敏感又沒有 GPU 的小專案(瀏覽器方案本身就貴,單實例 200MB 記憶體起跳)
- 強反爬網站(它沒有專門的 stealth 模式,激進程度不如 Firecrawl)
編輯觀點
Crawl4AI 真正的護城河不是「爬得準」,而是「踩對了 RAG 這波節奏」。同類專案 Firecrawl 走商業化路線、必須付費才能用,unclecode 選了開源加雲端服務雙軌並行,84k stars 就是這套策略的回報。開源鋪生態、雲端服務變現,GitHub 上的爬蟲類專案能跑出這個規模,本質上是吃到 LLM 應用爆發的紅利。
預測:2026 年這類「網頁→結構化資料」工具會進一步分層。輕量抽取會被 MCP server 吃掉——每個主流站點(Stack Overflow、Hacker News、官方文件)都會有官方或社群維護的 MCP server,直接結構化回傳;重量級萃取留給 Crawl4AI 這種帶瀏覽器渲染的,處理長尾與動態內容。中間態會被兩頭擠壓。
這次跟前幾年不同的地方在於:以前爬蟲是給搜尋引擎跟分析師用的,現在爬蟲是給 LLM 用的。需求變了——「乾淨 Markdown」「語意邊界清晰」「中繼資料完整」比「爬得多爬得快」更重要。這是 Crawl4AI 這類專案能跑出來的根本原因,也是傳統爬蟲框架(scrapy、pyspider)反應慢半拍的原因。
不確定的部分:瀏覽器自動化本身的成本正在下降——CDP 直連、headless 優化、本地小模型取代 GPT-4o-mini,都可能讓這套架構在 1-2 年後被重新設計。現在的「Playwright + LLM extractor」組合,未必是最終形態。