AI 爬蟲正在抓取加拿大高校圖書館的開放資源,首先不堪重負的是伺服器與頻寬。本文將拆解 robots.txt 的界線,並探討機器可讀授權、API 配額與按量計費等作法。
AI 爬蟲圍攻高校圖書館,開源知識先撐不住了
加拿大的高校圖書館,正迎接一批不太友善的訪客。
據 CBC 報導,AI 機器人正在大規模抓取圖書館的公共存取服務,部分服務因此承受壓力。相關報導登上 Hacker News 首頁,獲得 47 分與 21 則留言。
HN 的數字不算大,爭議卻相當明確:外界關心的不只是一宗著作權案件。開發者與研究者看到的,是另一個問題——公共機構提供的開放知識,正遭到自動化流量反覆消耗。
原報導連結:https://www.cbc.ca/news/world/university-libraries-ai-data-scraping-bots-9.7408287
這不是單純的「AI 抄書」故事。
它更像一張基礎設施帳單:訓練資料的採集方省下授權與結算成本,最後卻由圖書館的伺服器、頻寬、認證系統與工作人員承擔費用。
47 分熱度背後:圖書館成了訓練資料目標
CBC 的報導涵蓋開放存取、存取禮儀、身分驗證、服務容量與著作權界線等問題,並非單純的著作權訴訟。
這一點很重要。
若只把爭議歸結為「模型訓練能否使用公開內容」,便很容易忽略實際發生的工程變化。
高校圖書館面對的並非一般讀者。一般讀者一天可能造訪數十次頁面;AI 爬蟲則可能同時開啟大量連線,反覆請求搜尋介面、OCR 頁面、掃描檔案與分頁結果。它的目標不是閱讀,而是盡可能完整地複製內容。
因此,圖書館真正需要回答的問題包括:
- 哪些內容允許機器批量存取?
- 使用者登入後是否仍允許抓取?
- OCR 與全文索引介面是否設有速率限制?
- 瞬間暴增的請求是否會排擠真正的使用者?
- 若爬蟲將內容用於模型訓練,伺服器擴充成本由誰負擔?
HN 只有 47 分與 21 則留言,卻已足以顯示這並非邊緣案例。它把一個平日少受關注的矛盾擺到開發者面前:網際網路的公共資源,預設是否就能遭到無限的機器化使用?
答案顯然不能只看「網頁是否公開」。
公開可存取,只表示使用者可以閱讀;不代表能無限複製,也不代表平台必須承擔蒐集規模。
被拿走的不是書,而是伺服器的承載能力
AI 爬蟲與一般瀏覽器的差別,不只在 User-Agent。
瀏覽器通常依人的閱讀節奏送出請求;AI 爬蟲則會把頁面中的連結、參數與隱藏介面視為遍歷圖。它不會讀到第三頁便停下來喝杯咖啡,也不會遇到驗證碼就主動離開。
可以粗略理解成:
普通存取:讀一頁 → 看一會兒 → 再讀一頁
AI 爬蟲:列舉入口 → 並發抓取 → 辨識結構 → 換格式繼續抓
成本會在幾個環節疊加。
第一層是請求密度。
同一篇論文可能對應多個入口:館藏頁面、PDF、OCR、JATS XML、縮圖與全文索引。採集系統不必只下載一次,它可以沿著不同入口取得多份結構程度各異的資料。
第二層是認證。
有些資源允許公開瀏覽,批量下載卻需要登入、校園 VPN 或特定機構憑證。真人取得存取權,是為了閱讀與研究,而非建立整庫副本。
第三層是重運算。
OCR、文字清理、摘要與分塊,都代表伺服器必須處理更多資料。對圖書館而言,预算有限的儲存空間與頻寬,往往比著作權律師更早感受到壓力。
所以,「把書抓走了」只是表面描述。真正被消耗的,是伺服器承載能力、索引服務頻寬,以及公共機構的容錯餘量。
更棘手的是,爬蟲流量可能讓故障看起來像「網站偶爾不穩定」。使用者只知道載入變慢,並不知道背後有另一個組織正在進行大規模複製。
robots.txt 不是授權協議,也不是防火牆
圖書館通常會制定存取禮儀,也會利用 robots.txt 告知爬蟲哪些路徑不應存取。
但 robots.txt 經常遭到誤解。
它不是著作權授權協議,而是網站給自動化爬蟲的存取建議;也不是防火牆。遵守它的爬蟲會主動讀取規則並自我約束,不遵守的爬蟲則可以直接忽略。
更關鍵的是,規則無法回答所有問題。
例如,網站可以寫成:
User-agent: *
Disallow: /api/
Disallow: /bulk-download/
這能保護指定路徑,卻無法限制 User-Agent、隱藏真實來源,也無法阻止同一組織改寫請求標頭或改用其他網域。
反過來,若圖書館封鎖所有研究存取,也會製造另一種成本:合法使用者被當成機器人處理,驗證碼、登入與人工驗證拖慢教學與研究。
技術規則與法律義務必須分開判斷。
- 繞過存取禮儀,可能涉及違反網站條款或適用的電腦濫用相關法律。
- 使用受著作權保護的內容訓練模型,可能涉及授權範圍、複製權、合理使用與契約限制。
- 忽略
robots.txt本身,不應自動等同於違法。 - 內容公開可存取,也不代表模型公司已取得二次使用權。
這些問題不能揉成一句「公開資料隨便抓」。
開放知識不能靠公共機構默默補貼
更直接的看法是:模型公司不應預設享有訓練資料的二次使用權。
模型訓練確實需要資料,大規模模型也客觀上需要各類公開材料;但「訓練需要」不能自動把採集成本轉嫁給內容生產者或公共機構。
目前的交換關係經常失衡。
大學投入館藏建置、數位化、OCR 與編目經費,再以低成本甚至免費方式提供存取。AI 公司利用這些基礎設施打造或改進模型,之後透過產品、訂閱或 API 獲得收入。
若這類使用增長夠快,公共機構先遇到的會是容量問題,而不是獲利問題。
圖書館可能得增加伺服器、限流、封鎖、遷移儲存,還要安排人員處理抱怨。預算會增加多少,沒人知道;模型訓練帶來的商業價值,卻可能全留在採集方。
因此,若抓取持續占用公共設施,資料取得成本就該回到採集方。
這不等於全面收費,也不表示開放學術必須遭到封閉。可以採取更細緻的作法:
- 為模型訓練設定獨立的存取類別。
- 對高負載介面收取運算與頻寬成本。
- 依商業用途、呼叫規模與快取情況訂定價格。
- 提供可稽核的批量資料介面,取代暗中抓取。
- 讓研究型、小規模、非商業用途繼續享有低門檻存取。
核心不是「所有機器人都要付費」,而是規模化的機器使用不應偽裝成一般閱讀。
比封鎖更難的是可追溯的授權
直接封鎖 IP 還不夠。
這容易誤傷,也容易引發軍備競賽:採集方更換代理,圖書館修改規則,雙方持續維護一套辨識系統。
更可行的方向,是讓授權變得機器可讀,並讓成本可以計量。
例如,網站可以回傳明確的授權與使用條件:
{
"content": "/documents/example",
"license": "CC-BY-4.0",
"machine_use": "training-with-attribution",
"attribution_required": true,
"rate_limit_per_minute": 10,
"commercial_use": "license-required"
}
這只是概念格式,並非現成標準,卻清楚呈現一個原則:機器存取應像 API 文件一樣,具備明確的權限、限流、快取與計費規則,而不是讓爬蟲自行猜測。
至少有以下四種可行方案:
- 機器可讀授權
區分閱讀、搜尋、索引、模型訓練與再散布。對於 CC 協議涵蓋的使用方式,也應區分文字探勘與模型訓練是否已落在既有授權範圍內。 - API 配額
為公開搜尋與全文下載設定不同的速率及連線上限。真人使用者與合法研究任務,不應被商業爬蟲拖慢。 - 內容溯源
保留來源、授權、抓取時間、版本與雜湊資訊。發生爭議時,便能判斷某段內容來自哪個版本,以及採集方是否違反授權條件。 - 按量計費
依請求量、傳輸量、掃描頁數或運算任務計費。收入可用於數位化、儲存與頻寬維護。
不過,這些方案尚未形成可靠的統一共識。
CC 授權如何涵蓋特定模型訓練行為,在不同司法管轄區仍有爭議。要證明某次抓取與特定模型訓練存在直接關聯也不容易。圖書館普遍採用哪些技術契約、企業採購方是否願意付費,同樣沒有穩定答案。
技術方案可以先落實,法律與商業成本的分擔則需要更長時間。
編輯觀察
這件事之所以重要,不只因為 AI 公司抓取圖書館資料,而是它揭露了生成式 AI 擴張中一項鮮少被明說的成本:開放知識不等於免費基礎設施。大學替社會保存、整理並提供知識,AI 採集又把大規模複製的壓力送回同一批伺服器。著作權爭議可能要數年才有判決,容量壓力卻從報導刊出的當下就已開始。
預測是,模型公司不太可能普遍接受「每次訓練都付費」,反而會先推動分層存取:有商業價值的批量資料進入授權或計費管道,低價值流量則繼續透過限流、辨識與封鎖處理。
過去,網站主要靠流量交換廣告或訂閱收入;AI 爬蟲則帶來第四種流量形態——不點擊、不購買,只為訓練系統複製內容。這次的差異在於,機器存取開始被要求承擔與自身規模相稱的成本。但哪些抓取構成侵權、哪些開放授權足以支援訓練,仍無法下定論。