实战

AI 爬虫围攻高校图书馆,开源知识先撑不住了

CBC 报道加拿大高校图书馆正承受 AI 机器人批量抓取,服务器、带宽和认证系统承压。本文分析 robots.txt、机器可读授权、API 配额与按量计费等可行方案。

字号

AI 爬虫正抓取加拿大高校图书馆的开放资源,服务器和带宽先承压。本文拆解 robots.txt 的边界,并讨论机器可读授权、API 配额与按量计费。

加拿大的高校图书馆正在承受一批不太友好的访客。

CBC 报道称,AI 机器人正在大规模抓取图书馆的公共访问服务,部分服务因此承压。相关报道登上 Hacker News 首页,获得 47 分和 21 条评论。

HN 的数字不大,争议却很清楚:大家关心的不只是一个版权案件。开发者和研究者看到的是另一件事——公共机构提供的开放知识,正在被自动化流量反复消耗。

原报道链接:https://www.cbc.ca/news/world/university-libraries-ai-data-scraping-bots-9.7408287

这不是“AI 抄书”的简单故事。

它更像一份基础设施账单:训练数据采集方省下了授权和结算成本,图书馆的服务器、带宽、认证系统与工作人员却负责买单。

47 分热度背后:图书馆成了训练数据目标

CBC 的报道覆盖了开放访问、访问礼仪、身份验证、服务容量和版权边界等多个问题。它不是单纯的版权诉讼。

这一点很重要。

如果只把争议归结成“模型训练能不能用公开内容”,很容易错过真正发生的工程变化。

高校图书馆面对的不是一个普通读者。普通读者可能一天访问几十次页面。一个 AI 爬虫可能同时开启大量并发,反复请求搜索接口、OCR 页面、扫描文件和分页结果。它的目标不是阅读,而是尽可能完整地复制。

因此,图书馆需要回答的实际问题包括:

  • 哪些内容允许机器批量访问?
  • 登录之后是否还允许抓取?
  • OCR 和全文索引接口有没有速率限制?
  • 突发请求会不会挤掉真实用户?
  • 如果爬虫使用内容训练模型,谁承担服务器扩容费用?

HN 上只有 47 分和 21 条评论,却已经足以说明这不是边缘案例。它把一个平时很少被讨论的矛盾摆到了开发者面前:互联网的公共资源,默认是不是可以被无限机器化使用?

答案显然不能只看“网页是否公开”。

公开可访问,只表示用户可以访问。

它不等于无限复制,也不等于平台愿意承担采集规模。

被拿走的不是书,是服务器的承载力

AI 爬虫和普通浏览器访问,差别不只在 User-Agent。

一个浏览器通常按照人的阅读节奏发送请求。AI 爬虫则会把页面中的链接、参数和隐藏接口当作遍历图。它不会在第三页停下来喝咖啡,也不会因为验证码出现就主动离开。

可以把它粗略理解成这样:

普通访问:读一页 → 看一会儿 → 再读一页
AI 爬虫:枚举入口 → 并发抓取 → 识别结构 → 换格式继续抓

成本会在几个环节叠加。

第一层是请求密度。

同一份论文页面可能对应多个镜像:馆藏页面、PDF、OCR、JATS XML、缩略图和全文索引。采集系统不必只下载一次,它可以沿着这些入口得到多份结构化程度不同的数据。

第二层是认证。

有些资源允许公开浏览,但批量下载需要登录、校园 VPN 或特定机构凭证。人类用户拿到访问权,是为了阅读和研究,不是为了建立全库副本。

第三层是重计算。

OCR、文本清洗、摘要和分块都意味着服务器要处理更多数据。对图书馆而言,预算有限的存储与带宽比版权律师更早感受到压力。

所以,“抓走了书”只是表面描述。实际被拿走的是服务器承载力、索引服务带宽和公共机构的容错余量。

更麻烦的是,爬虫流量可能把故障伪装成“网站偶尔不稳定”。用户只知道加载慢,不知道背后是另一个组织正在进行大规模复制。

robots.txt 不是许可协议,也不是防火墙

图书馆通常会制定访问礼仪,也会使用 robots.txt 告诉爬虫哪些路径不应访问。

但 robots.txt 经常被误解。

它不是版权许可协议。它表达的是站点给自动化爬虫的访问建议。也不是防火墙。遵守它的爬虫会主动读取规则并自我约束;不遵守的爬虫可以直接忽略它。

更关键的是,规则不能回答全部问题。

例如,一个站点可以写:

User-agent: *
Disallow: /api/
Disallow: /bulk-download/

这能保护指定路径,但它不能限制用户代理、隐藏真实来源,也不能阻止同一个组织改写请求头或换用其他域名。

反过来,如果图书馆把所有研究访问都锁死,也会制造另一种成本:合法用户被当成机器人处理,验证码、登录和人工验证让教学与研究变慢。

技术规则与法律义务需要分开判断。

  • 绕过访问礼仪,可能涉及违反网站条款或适用的计算机滥用相关法律。
  • 使用受版权保护的内容训练模型,可能涉及授权范围、复制权、合理使用和合同限制。
  • 忽略 robots.txt 本身,不应自动等同于违法。
  • 内容公开可访问,也不代表模型公司获得了二次使用权。

这几个问题不能揉成一句“公开数据随便抓”。

开放知识不能靠公共机构默默补贴

我的判断更直接:模型公司不应默认拥有训练数据上的二次使用权。

模型训练确实需要数据。大规模模型也客观上需要各种公开材料。但“训练需要”不能自动把采集成本转移给内容生产者或公共机构。

目前的交换关系经常是失衡的。

大学建设馆藏,投入资金进行数字化、OCR 和编目,然后提供低成本甚至免费的访问。AI 公司利用这些基础设施制作或改进模型,再通过产品、订阅或 API 获得收入。

如果这种使用发生得足够快,公共机构会先遇到容量问题,而不是利润问题。

图书馆可能需要加服务器、限流、封禁、迁移存储,还要安排人员处理投诉。预算增加多少,没人知道。模型训练带来的商业价值却可能留在采集方一侧。

因此,抓取若持续占用公共设施,数据获取成本就应该回到采集方一侧。

这不等于全面收费,也不等于开放学术被封闭。可以做得更细:

  • 为模型训练设置独立访问类别。
  • 对高负载接口收取计算和带宽成本。
  • 根据商业用途、调用规模和缓存情况定价。
  • 提供可审计的批量数据接口,替代偷偷抓取。
  • 允许研究型、小规模、非商业使用继续获得低门槛访问。

核心不是“所有机器人都付费”。

核心是规模化机器使用不应伪装成普通阅读。

比封锁更难的是可追溯的授权

直接封禁 IP 不够。

它容易误伤,也容易进入军备竞赛。采集方换代理,图书馆改规则,双方持续维护一套识别系统。

更可行的方向,是让授权变得机器可读,并让成本能够计量。

例如,网站可以返回明确的许可与使用条件:

{
  "content": "/documents/example",
  "license": "CC-BY-4.0",
  "machine_use": "training-with-attribution",
  "attribution_required": true,
  "rate_limit_per_minute": 10,
  "commercial_use": "license-required"
}

这只是概念格式,不是现成标准。但它说明了一件事:机器访问应该像 API 文档一样有清楚的权限、限流、缓存和计费规则,而不是让爬虫猜。

可以落地的方案至少有四种:

  1. 机器可读授权
    区分阅读、搜索、索引、模型训练和再分发。对 CC 协议的使用方式,也要区分文本挖掘与模型训练是否属于既有授权范围。

  2. API 配额
    给公开搜索与全文下载设置不同速率和并发上限。真实用户和合法研究任务不应被商业爬虫拖慢。

  3. 内容溯源
    保留来源、许可、抓取时间、版本和哈希信息。发生争议时,可以判断某段内容来自哪个版本,以及采集方是否违反许可条件。

  4. 按量计费
    按请求量、传输量、扫描页数或计算任务计费。收入可以用于数字化、存储和带宽维护。

不过,这些方案还没有形成可靠的统一共识。

CC 许可证如何覆盖特定模型训练行为,仍在不同司法辖区存在争议。抓取行为如何被证明与某次模型训练存在直接关系,也很困难。图书馆普遍采用何种技术合同、企业采购方是否愿意付费,同样没有稳定答案。

技术方案可以先做。法律与商业分配则慢得多。

编辑思考

这件事重要,不只因为 AI 公司抓了图书馆的数据,而是因为它暴露了生成式 AI 扩张中一笔很少被明说的成本:开放知识不等于免费基础设施。大学替社会保存、整理和提供知识,AI 采集又把大规模复制压力送回同一批服务器。版权争议可能需要数年才有判决,容量压力却从报道刊出时就开始发生。我的预测是,模型公司不会普遍接受“每次训练都付费”,更可能先推动分层访问:有商业价值的批量数据进入授权或计费通道,低价值流量继续依赖限流、识别与封禁。过去网站主要靠流量换广告或订阅,AI 爬虫增加了第四种流量形态——它不点击、不购买,只为训练系统复制内容。这次不同在于,机器访问开始被要求承担与自身规模相匹配的成本。但哪些抓取构成侵权、哪些开放许可足以支持训练,仍不能下定论。

来源: https://www.cbc.ca/news/world/university-libraries-ai-data-scraping-bots-9.7408287