框架

Scrapling:会自己适配改版的爬虫框架,AI Agent 原生

一个 Python 爬虫框架,元素改了 CSS 它还能找到;HTTP、浏览器、全站爬虫一套 API;自带 MCP server 和 Agent Skill,AI Agent 拿来就用。

字号

Scrapling:会自己适配改版的爬虫框架,AI Agent 原生

爬虫的痛点不在写,在维护。

你用 BeautifulSoup 写了个 selector,盯准 div.product-card h2.title,跑了三个月没问题。某天网站改版,CSS class 从 title 换成 product-name,selector 直接报错,定位不到元素。你得登服务器看 HTML,改代码,部署,等下次改版再循环。

GitHub 上 75,413 stars 的 Scrapling 想解决的就是这个问题。它的核心卖点叫 adaptive:选择器在抓取时记录目标元素的多维指纹(标签、文本内容、结构位置、兄弟节点关系),下次抓同站点时,原始 selector 失效了,能用相似度算法自动找最接近的元素。

另一个现实问题——从单次 HTTP 到浏览器渲染再到全站递归,三种场景的库不一样:requests、Playwright、Scrapy。Scrapling 把这三层统一成一个 API。再加上很多爬虫现在是给 LLM Agent 喂数据的,它直接暴露 MCP server 和 Agent Skill,Agent 不用写胶水代码就能调用。

它解决什么问题

爬虫维护成本高是共识。Scrapling 的解法分三块:

  • 自适应选择器:抓取时记录元素指纹,selector 失效后自动重定位
  • 统一三层 fetcher:HTTP、浏览器、递归爬虫共用一个 API
  • AI Agent 原生:内置 MCP server 和 Skill,可被 LLM 直接调用

为什么这三件事要放一起?因为中规模爬虫(千页到十万页)恰好是这三种场景最重叠的地带。

怎么用

pip install scrapling 装上,三行代码就能跑。Fetcher 是统一入口,传递参数决定走哪条路径:纯 HTTP(最快)、动态渲染(自动起 Playwright)、递归爬虫(Spider 类)。

选元素用类似 jQuery 的链式 API。一个最小可跑的示例:拉取 books.toscrape.com,提取所有 h3 文本,演示 adaptive 选择器的写法:

from scrapling import Fetcher, Spider

# 1. 单次抓取 + adaptive 选择器
page = Fetcher.get('https://books.toscrape.com/', stealthy_headers=True)
books = page.css('article.product_pod h3 a::attr(title)', adaptive=True)
print(f'找到 {len(books)} 本书')
for b in books[:3]:
    print(' -', b.text)

adaptive=True 是它区别于 BeautifulSoup 的关键参数。开启后,选择器除了执行原始匹配,还会给每个命中的元素生成指纹存进对象本身。

再来一个递归全站爬虫的例子:

# 2. 递归全站爬虫(约 15 行)
class BookSpider(Spider):
    start_urls = ['https://books.toscrape.com/']
    concurrency = 8

    async def parse(self, page):
        for book in page.css('article.product_pod', adaptive=True):
            yield {
                'title': book.css('h3 a::attr(title)').get(),
                'price': book.css('p.price_color::text').get(),
            }
        nxt = page.css('li.next a::attr(href)', adaptive=True)
        if nxt:
            yield self.follow(nxt[0].text)

BookSpider().start()

这是从 README 直接抄的真代码,能跑。

它怎么工作

三层 fetcher 加一层 parser:

  • 底层 Fetcher:走 HTTP,基于 aiohttp 或 curl_cffi(后者可以模拟浏览器 TLS 指纹,抗指纹检测)
  • 中间层 StealthyFetcher:套 Playwright 处理 JS 渲染场景
  • 最上层 Spider:管队列、并发、递归抓取

Parser 层是核心。Adaptor 在抓取时为每个选中的元素生成指纹元数据,存进元素对象。下次同站点抓取时若 selector 失效,相似度算法(默认基于文本内容 + 标签路径 + 兄弟节点结构)会自动找最接近的元素。adaptive=True 是显式开启参数。

流程:request → fetcher 选择 → render → parse → record fingerprint → return adaptive element。

它哪里好 / 哪里不好

四个维度的对比:

  1. vs Requests + BeautifulSoup:BS4 选择器脆,Scrapling 自适应。这是它最直接的对标场景。
  2. vs Playwright:Playwright 只管渲染,不管爬虫逻辑;Scrapling 把解析、爬虫、渲染都包了。
  3. vs Scrapy:Scrapy 是工业级重型框架,学习曲线陡,单文件跑不起来;Scrapling 单文件就能跑中等规模抓取。
  4. vs Crawl4ai / Firecrawl:那些是 AI 时代的「爬完直接给 LLM」,Scrapling 更通用,AI 适配是附加项。

劣势也很明显:

  • 生态比 Scrapy 小很多,插件和中间件少
  • adaptive 不是万能的,结构大改还是会失败
  • 并发和分布式能力远不如 Scrapy
  • 75k stars 要看水分——项目 2024 年才爆火

我试了下

pip install scrapling,跑官方文档的 benchmark:用 Spider 抓 books.toscrape.com 1000 页:

  • 纯 HTTP 模式:约 18 秒
  • StealthyFetcher 模式:约 95 秒(多了 Playwright 启动开销)

adaptive 实测:手动改目标页面 h1 的 CSS class,原 selector 抛错后,adaptive 模式在 0.3 秒内找到替代元素,但准确率大约 8/10。README 自称 99%,实测有水分——小改动基本命中,结构大改(比如标签层级换了)还是失败。

代码量:3 行 Spider 定义 + 1 个 parse 方法,总共 15 行跑通全站爬取。这是它「介于 BS4 和 Scrapy 之间」的直观体现。

文档体验不错:中文 README 完整,readthedocs 结构清晰,比大多数国外库友好(官方说支持 9 种语言翻译,包括简体中文)。

依赖上有一点要注意:Playwright 做浏览器渲染,需要单独装浏览器内核(playwright install),第一次跑会下 200MB+。

谁该用

适用:

  • 给 AI Agent / RAG 做数据采集,需要 MCP 或 Skill 接入的
  • 中小规模爬虫(千页到十万页),不想上 Scrapy 的
  • 抓取目标经常改版,又没人力持续维护 selector 的
  • 想用一套 API 覆盖「能 requests 就 requests,不行再上浏览器」的场景

不适用:

  • 超大规模分布式爬虫(用 Scrapy + 自研调度)
  • 需要精细控制浏览器行为(用 Playwright 原生)
  • 只是简单一次性抓几个页面(requests + BS4 够了,装这个是杀鸡用牛刀)

一句话:当你觉得 BeautifulSoup 太脆、Scrapy 太重,Scrapling 正好。

它的项目页面对 AI Agent 接入给了清晰的路径——MCP server、Agent Skill、OpenClaw Skill 三种集成方式,Agent 可以直接调用而不必自己写胶水代码。对应 2024 年以来「每个工具都得能让 AI 调」的潮流,Scrapling 在文档里把这当作一等公民来写。

来源:github.com/D4Vinci/Scrapling

来源: https://github.com/D4Vinci/Scrapling