實戰

AI 爬蟲蠶食高校圖書館,開放知識的免費紅利難以為繼

加拿大高校圖書館正承受 AI 機器人的大量抓取,伺服器、頻寬與認證系統面臨壓力。robots.txt 難以真正規範機器使用,較可行的方向包括機器可讀授權、API 配額、內容溯源與按量計費。

字級

AI 爬蟲正在抓取加拿大高校圖書館的開放資源,首先不堪重負的是伺服器與頻寬。本文將拆解 robots.txt 的界線,並探討機器可讀授權、API 配額與按量計費等作法。

AI 爬蟲圍攻高校圖書館,開源知識先撐不住了

加拿大的高校圖書館,正迎接一批不太友善的訪客。

據 CBC 報導,AI 機器人正在大規模抓取圖書館的公共存取服務,部分服務因此承受壓力。相關報導登上 Hacker News 首頁,獲得 47 分與 21 則留言。

HN 的數字不算大,爭議卻相當明確:外界關心的不只是一宗著作權案件。開發者與研究者看到的,是另一個問題——公共機構提供的開放知識,正遭到自動化流量反覆消耗。

原報導連結:https://www.cbc.ca/news/world/university-libraries-ai-data-scraping-bots-9.7408287

這不是單純的「AI 抄書」故事。

它更像一張基礎設施帳單:訓練資料的採集方省下授權與結算成本,最後卻由圖書館的伺服器、頻寬、認證系統與工作人員承擔費用。

47 分熱度背後:圖書館成了訓練資料目標

CBC 的報導涵蓋開放存取、存取禮儀、身分驗證、服務容量與著作權界線等問題,並非單純的著作權訴訟。

這一點很重要。

若只把爭議歸結為「模型訓練能否使用公開內容」,便很容易忽略實際發生的工程變化。

高校圖書館面對的並非一般讀者。一般讀者一天可能造訪數十次頁面;AI 爬蟲則可能同時開啟大量連線,反覆請求搜尋介面、OCR 頁面、掃描檔案與分頁結果。它的目標不是閱讀,而是盡可能完整地複製內容。

因此,圖書館真正需要回答的問題包括:

  • 哪些內容允許機器批量存取?
  • 使用者登入後是否仍允許抓取?
  • OCR 與全文索引介面是否設有速率限制?
  • 瞬間暴增的請求是否會排擠真正的使用者?
  • 若爬蟲將內容用於模型訓練,伺服器擴充成本由誰負擔?

HN 只有 47 分與 21 則留言,卻已足以顯示這並非邊緣案例。它把一個平日少受關注的矛盾擺到開發者面前:網際網路的公共資源,預設是否就能遭到無限的機器化使用?

答案顯然不能只看「網頁是否公開」。

公開可存取,只表示使用者可以閱讀;不代表能無限複製,也不代表平台必須承擔蒐集規模。

被拿走的不是書,而是伺服器的承載能力

AI 爬蟲與一般瀏覽器的差別,不只在 User-Agent。

瀏覽器通常依人的閱讀節奏送出請求;AI 爬蟲則會把頁面中的連結、參數與隱藏介面視為遍歷圖。它不會讀到第三頁便停下來喝杯咖啡,也不會遇到驗證碼就主動離開。

可以粗略理解成:

普通存取:讀一頁 → 看一會兒 → 再讀一頁
AI 爬蟲:列舉入口 → 並發抓取 → 辨識結構 → 換格式繼續抓

成本會在幾個環節疊加。

第一層是請求密度。

同一篇論文可能對應多個入口:館藏頁面、PDF、OCR、JATS XML、縮圖與全文索引。採集系統不必只下載一次,它可以沿著不同入口取得多份結構程度各異的資料。

第二層是認證。

有些資源允許公開瀏覽,批量下載卻需要登入、校園 VPN 或特定機構憑證。真人取得存取權,是為了閱讀與研究,而非建立整庫副本。

第三層是重運算。

OCR、文字清理、摘要與分塊,都代表伺服器必須處理更多資料。對圖書館而言,预算有限的儲存空間與頻寬,往往比著作權律師更早感受到壓力。

所以,「把書抓走了」只是表面描述。真正被消耗的,是伺服器承載能力、索引服務頻寬,以及公共機構的容錯餘量。

更棘手的是,爬蟲流量可能讓故障看起來像「網站偶爾不穩定」。使用者只知道載入變慢,並不知道背後有另一個組織正在進行大規模複製。

robots.txt 不是授權協議,也不是防火牆

圖書館通常會制定存取禮儀,也會利用 robots.txt 告知爬蟲哪些路徑不應存取。

但 robots.txt 經常遭到誤解。

它不是著作權授權協議,而是網站給自動化爬蟲的存取建議;也不是防火牆。遵守它的爬蟲會主動讀取規則並自我約束,不遵守的爬蟲則可以直接忽略。

更關鍵的是,規則無法回答所有問題。

例如,網站可以寫成:

User-agent: *
Disallow: /api/
Disallow: /bulk-download/

這能保護指定路徑,卻無法限制 User-Agent、隱藏真實來源,也無法阻止同一組織改寫請求標頭或改用其他網域。

反過來,若圖書館封鎖所有研究存取,也會製造另一種成本:合法使用者被當成機器人處理,驗證碼、登入與人工驗證拖慢教學與研究。

技術規則與法律義務必須分開判斷。

  • 繞過存取禮儀,可能涉及違反網站條款或適用的電腦濫用相關法律。
  • 使用受著作權保護的內容訓練模型,可能涉及授權範圍、複製權、合理使用與契約限制。
  • 忽略 robots.txt 本身,不應自動等同於違法。
  • 內容公開可存取,也不代表模型公司已取得二次使用權。

這些問題不能揉成一句「公開資料隨便抓」。

開放知識不能靠公共機構默默補貼

更直接的看法是:模型公司不應預設享有訓練資料的二次使用權。

模型訓練確實需要資料,大規模模型也客觀上需要各類公開材料;但「訓練需要」不能自動把採集成本轉嫁給內容生產者或公共機構。

目前的交換關係經常失衡。

大學投入館藏建置、數位化、OCR 與編目經費,再以低成本甚至免費方式提供存取。AI 公司利用這些基礎設施打造或改進模型,之後透過產品、訂閱或 API 獲得收入。

若這類使用增長夠快,公共機構先遇到的會是容量問題,而不是獲利問題。

圖書館可能得增加伺服器、限流、封鎖、遷移儲存,還要安排人員處理抱怨。預算會增加多少,沒人知道;模型訓練帶來的商業價值,卻可能全留在採集方。

因此,若抓取持續占用公共設施,資料取得成本就該回到採集方。

這不等於全面收費,也不表示開放學術必須遭到封閉。可以採取更細緻的作法:

  • 為模型訓練設定獨立的存取類別。
  • 對高負載介面收取運算與頻寬成本。
  • 依商業用途、呼叫規模與快取情況訂定價格。
  • 提供可稽核的批量資料介面,取代暗中抓取。
  • 讓研究型、小規模、非商業用途繼續享有低門檻存取。

核心不是「所有機器人都要付費」,而是規模化的機器使用不應偽裝成一般閱讀。

比封鎖更難的是可追溯的授權

直接封鎖 IP 還不夠。

這容易誤傷,也容易引發軍備競賽:採集方更換代理,圖書館修改規則,雙方持續維護一套辨識系統。

更可行的方向,是讓授權變得機器可讀,並讓成本可以計量。

例如,網站可以回傳明確的授權與使用條件:

{
  "content": "/documents/example",
  "license": "CC-BY-4.0",
  "machine_use": "training-with-attribution",
  "attribution_required": true,
  "rate_limit_per_minute": 10,
  "commercial_use": "license-required"
}

這只是概念格式,並非現成標準,卻清楚呈現一個原則:機器存取應像 API 文件一樣,具備明確的權限、限流、快取與計費規則,而不是讓爬蟲自行猜測。

至少有以下四種可行方案:

  1. 機器可讀授權
    區分閱讀、搜尋、索引、模型訓練與再散布。對於 CC 協議涵蓋的使用方式,也應區分文字探勘與模型訓練是否已落在既有授權範圍內。
  2. API 配額
    為公開搜尋與全文下載設定不同的速率及連線上限。真人使用者與合法研究任務,不應被商業爬蟲拖慢。
  3. 內容溯源
    保留來源、授權、抓取時間、版本與雜湊資訊。發生爭議時,便能判斷某段內容來自哪個版本,以及採集方是否違反授權條件。
  4. 按量計費
    依請求量、傳輸量、掃描頁數或運算任務計費。收入可用於數位化、儲存與頻寬維護。

不過,這些方案尚未形成可靠的統一共識。

CC 授權如何涵蓋特定模型訓練行為,在不同司法管轄區仍有爭議。要證明某次抓取與特定模型訓練存在直接關聯也不容易。圖書館普遍採用哪些技術契約、企業採購方是否願意付費,同樣沒有穩定答案。

技術方案可以先落實,法律與商業成本的分擔則需要更長時間。

編輯觀察

這件事之所以重要,不只因為 AI 公司抓取圖書館資料,而是它揭露了生成式 AI 擴張中一項鮮少被明說的成本:開放知識不等於免費基礎設施。大學替社會保存、整理並提供知識,AI 採集又把大規模複製的壓力送回同一批伺服器。著作權爭議可能要數年才有判決,容量壓力卻從報導刊出的當下就已開始。

預測是,模型公司不太可能普遍接受「每次訓練都付費」,反而會先推動分層存取:有商業價值的批量資料進入授權或計費管道,低價值流量則繼續透過限流、辨識與封鎖處理。

過去,網站主要靠流量交換廣告或訂閱收入;AI 爬蟲則帶來第四種流量形態——不點擊、不購買,只為訓練系統複製內容。這次的差異在於,機器存取開始被要求承擔與自身規模相稱的成本。但哪些抓取構成侵權、哪些開放授權足以支援訓練,仍無法下定論。

來源: https://www.cbc.ca/news/world/university-libraries-ai-data-scraping-bots-9.7408287