실전

AI 크롤터가 대학 도서관을 압박하는 오픈 지식의 비용

캐나다 대학 도서관에서는 AI 봇의 대규모 데이터 수집으로 서버와 대역폭, 인증 시스템에 부담이 커지고 있다. robots.txt를 넘어机器可读授权, API 할당량, 사용량 기반 과금으로 비용을 분담할 수 있는지 살펴본다.

글자 크기

AI 크롤터가 캐나다 대학 도서관의 공개 자원을 수집하면서 서버와 대역폭부터 압박을 받고 있다. 이 글에서는 robots.txt의 한계를 짚고, 기계가 읽을 수 있는 권한 부여와 API 할당량, 사용량 기반 과费等 현실적인 대안을 다룬다.

AI 크롤터가 대학 도서관을 몰아붙이다, 오픈 지식의 한계가 먼저 드러나다

캐나다 대학 도서관에는 изда자를 환영하지 않는 방문객들이 밀려오고 있다.

CBC는 AI 봇들이 도서관의 공개 접근 서비스를 대규모로 수집하면서 일부 서비스에 부담이 커지고 있다고 보도했다. 해당 보도는 Hacker News 메인 페이지에도 올라가 47점과 댓글 21개를 기록했다.

HN의 반응 규모는 크지 않지만, 논쟁의 핵심은 분명하다.=en worried not only about a copyright case. 개발자와 연구자가 주목한 것은 다른 문제다. 공공기관이 제공하는 오픈 지식이 자동화된 트래픽에 의해 반복적으로 소모되고 있다는 점이다.

원문 보도: https://www.cbc.ca/news/world/university-libraries-ai-data-scraping-bots-9.7408287

이는 단순히 ‘AI가 책을 베낀다’는 이야기와는 다르다.

누군가 비용을 지불하지 않고 공공 자원을 대량 복제한 뒤 그 비용만 도서관에 떠넘긴 인프라 비용 구조에 가깝다. 학습 데이터 수집자는 라이선스 승인과 정산 비용을 줄였지만, 도서관은 서버, 대역폭, 인증 시스템과 인력이 그 비용을 떠안았다.

47점의 화제背后, 도서관이 학습 데이터의 표적이 됐다

CBC 보도는 오픈 액세스, 이용 예절, 사용자 인증, 서비스 용량과 저작권의 경계 등 여러 쟁점을 다뤘다. 단순한 저작권소송의 뉴스가 아니었다.

이 구분은 중요하다.

논쟁을 ‘모델 학습에 공개 콘텐츠를 사용할 수 있는가’라는 질문으로만 축소하면, 실제로 나타난 엔지니어링 변화는 놓치기 쉽다.

대학 도서관이 마주한 상대는 평범한 독자가 아니다. 일반 독자는 하루에 몇십 번 페이지를 방문할 수 있지만, AI 크롤터는 대량의 동시 요청을 열어 검색 인터페이스, OCR 페이지, 스캔 파일과 페이지별 결과를 반복해서 요청한다. 독서를 목표로 하는 것이 아니라 가능한 한 완전한 복제를 목표로 한다.

따라서 도서관이 답해야 할 실질적인 문제는 다음과 같다.

  • 어떤 콘텐츠의 기계 대량 접근을 허용하는가?
  • 로그인한 뒤에도 크롤링을 허용하는가?
  • OCR과 전문 텍스트 색인 인터페이스에는 속도 제한이 있는가?
  • 돌발적인 요청이 실제 사용자를 밀어낼 수 있는가?
  • 크롤터가 콘텐츠를 학습에 사용한다면 서버 증설 비용은 누가 부담하는가?

HN에서 47점과 댓글 21개에 그친 반응만으로도 이 문제가 주변부 사례는 아니라는 사실은 알 수 있다. 개발자들 앞에 평소 거의 다뤄지지 않던 모순이 드러났다. 인터넷의 공공 자원은 기본적으로 무제한의 기계적 이용이 가능한가?

결론은 ‘웹사이트가 공개돼 있는가’만으로 판단할 수 없다.

공개 접근이 가능하다는 것은 사용자가 접근할 수 있다는 뜻일 뿐이다. 무제한 복제가 허용된다는 의미도 아니고, 플랫폼이 수집 규모에 따른 비용을 부담할 준비가 되어 있다는 의미도 아니다.

가져간 것은 책이 아니라 서버의 처리 용량이다

AI 크롤터와 일반 브라우저의 차이는 User-Agent에만 있는 것이 아니다.

브라우저는 보통 사람의 읽는 속도에 맞춰 요청을 보낸다. 반면 AI 크롤터는 페이지에 포함된 링크, 파라미터와 숨겨진 인터페이스를 순회 그래프로 취급한다. 세 번째 페이지에서 잠깐 쉬지도 않으며, CAPTCHA가 나타나도 스스로 떠나지 않는다.

대략 다음과 같이 이해할 수 있다.

text
일반 접근: 한 페이지 읽기 → 잠시 살펴보기 → 다음 페이지 읽기
AI 크롤터: 진입점 열거 → 동시 수집 → 구조 식별 → 형식을 바꿔 계속 수집

비용은 여러 단계에서 누적된다.

첫 번째는 요청 밀도다.

같은 논문 페이지가 여러 미러를 가질 수 있다. 도서관 목록 페이지, PDF, OCR, JATS XML, 썸네일과 전문 텍스트 색인이 각각 별도로 존재할 수 있다. 수집 시스템은 파일을 한 번만 내려받을 필요가 없다. 이러한 진입점을 따라가면 구조화 수준이 다른 데이터를 여러 차례 얻게 된다.

두 번째는 인증이다.

어떤 자료는 공개 열람이 가능하지만 대량 내려받기에는 로그인, 캠퍼스 VPN 또는 특정 기관 자격 증명이 필요하다. 사람 사용자는 접근 권한을 읽기와 연구를 위해 얻는다. 도서관 전체의 복제본을 만들기 위한 권한을 얻은 것은 아니다.

세 번째는 무거운 연산이다.

OCR, 텍스트 정제, 요약과 청킹은 모두 서버가 더 많은 데이터를 처리해야 한다는 뜻이다. 도서관에 한해서는 저작권 변호사보다 예산이 제한된 저장 공간과 대역폭이 더 먼저 압박을 받는다.

따라서 ‘책을 가져갔다’는 표현은 표면적인 설명에 불과하다. 실제로 소모된 것은 서버 처리 용량, 색인 서비스의 대역폭, 공공기관의 장애 대응 여유다.

더 골치적인 문제는 크롤터 트래픽이 사이트가 가끔 불안정하다는 방식으로 오류를 감출 수 있다는 점이다. 사용자는 로딩이 느리다는 사실만 알 뿐, 다른 조직이 대규모 복제를 진행 중이라는 사실은 알지 못한다.

robots.txt는 허가 계약도 방화벽도 아니다

도서관은 일반적으로 이용 예절을 정하고, robots.txt를 통해 크롤터가 접근하지 않아야 할 경로를 알린다.

하지만 robots.txt는 자주 오해된다.

저작권 허가 계약이 아니다. 사이트가 자동화된 크롤터에 전달하는 접근 권고에 가깝다. 방화벽도 아니다. 규칙을 지킬 크롤터는 해당 파일을 읽고 스스로 행동 범위를 제한하지만,遵守하지 않는 크롤터는 이를 무시할 수 있다.

더 중요한 문제는 규칙만으로 모든 질문에 답할 수 없다는 점이다.

예를 들어 사이트는 다음과 같이 설정할 수 있다.

text
User-agent: *
Disallow: /api/
Disallow: /bulk-download/

이렇게 하면 지정된 경로는 보호할 수 있지만, User-Agent를 제한하거나 실제 출처를 숨길 수는 없다. 같은 조직이 요청 헤더를 바꾸거나 다른 도메인을 사용하는 것도 막지 못한다.

반대로 도서관이 모든 연구용 접근을 차단하면 또 다른 비용이 생긴다. 정당한 사용자가 로봇처럼 취급받고, CAPTCHA와 로그인, 수동 인증 절차 때문에 교육과 연구가 느려진다.

기술 규칙과 법적 의무는 구분해 판단해야 한다.

  • 이용 예절 우회 행위는 사이트 이용약관이나 적용 가능한 컴퓨터 오남용 관련 법률 위반을 수반할 수 있다.
  • 저작권이 보호되는 콘텐츠를 모델 학습에 사용하는 행위는 허가 범위, 복제권, 공정 이용과 계약상 제한과 관련된 쟁제를 낳을 수 있다.
  • robots.txt를 무시하는 행위 자체가 자동으로違法과 동일한 것은 아니다.
  • 콘텐츠가 공개적으로 접근 가능하더라도 모델 기업이 재사용 권리를 획득한 것은 아니다.

이 문제들을 ‘공개 데이터는 자유롭게 수집해도 된다’는 한 문장으로 뭉쳐서는 안 된다.

오픈 지식의 비용을 공공기관이 숨겨 두어서는 안 된다

제 판단은 더 직접적이다. 모델 기업은 학습 데이터에 관한 재사용 권리를 기본적으로 가져야 하는 것이 아니다.

모델 학습에는 분명히 데이터가 필요하다. 대규모 모델은 객관적으로 다양한 공개 자료를 필요로 한다. 하지만 ‘학습에 필요하다’는 이유만으로 수집 비용을 콘텐츠 생산자나 공공기관에 자동적으로 이전할 수는 없다.

현재의 교환 관계는 자주 불균형하다.

대학은 장서를 구축하고 디지털화, OCR과 목록 작업에 예산을 투입한 뒤 저비용 또는 무료로 제공한다. AI 기업은 이 인프라를 활용해 모델을 제작하거나 개선하고, 제품, 구독료와 API를 통해 수익을 얻는다.

이러한 사용이 충분히 빠르게 증가하면 공공기관은 이익 문제보다 용량 문제를 먼저 만난다.

도서관은 서버를 추가하고 트래픽을 제한하고 IP를 차단하며 저장소를 이전하고, 불만 처리를 담당할 인력을 배치해야 할 수 있다. 예산이 얼마나 증가할지는 아무도 모른다. 반면 모델 학습이 만드는 상업적 가치는 수집 당사자에게 남을 가능성이 크다.

따라서 수집이 공공 인프라를 계속 사용한다면 데이터 획득 비용은 수집 측으로 다시 이전되어야 한다.

이는 전면적인 과금이나 오픈 학술의 폐쇄를 의미하지 않는다. 더 세분화된 방식이 가능하다.

  • 모델 학습을 위한 별도 접근 범주를 둔다.
  • 부하가 높은 인터페이스에 대해 연산과 대역폭 비용을 부과한다.
  • 상업적 이용 여부, 호출 규모와 캐시 사용량을 기준으로 가격을 정한다.
  • 몰래 수집하는 대신 감사 가능한 대량 데이터 인터페이스를 제공한다.
  • 연구 목적의 소규모 비상업적 이용은 낮은 진입 장벽을 유지한다.

핵심은 ‘모든 로봇이 돈을 내야 한다’가 아니다.

핵심은 대규모 기계적 이용을 일반적인 열람처럼 가장해서는 안 된다는 점이다.

차단보다 어려운 건 추적 가능한 권한 부여다

IP를 직접 차단하는 것으로는 충분하지 않다.

오탐이 발생하기 쉽고, 차단과 우회 사이의 군비 경쟁으로 이어질 수 있다. 수집 측은 프록시를 바꾸고, 도서관은 규칙을 수정하며, 양쪽은 계속 식별 시스템을 관리해야 한다.

더 현실적인 방향은 권한 부여를 기계가 읽을 수 있게 만들고 비용을 측정 가능하게 만드는 것이다.

예를 들어 사이트는 다음과 같은 명확한 라이선스와 이용 조건을 반환할 수 있다.

json
{
  "content": "/documents/example",
  "license": "CC-BY-4.0",
  "machine_use": "training-with-attribution",
  "attribution_required": true,
  "rate_limit_per_minute": 10,
  "commercial_use": "license-required"
}

이는 개념적 형식으로 현成的 표준은 아니지만, 중요한 점을 보여준다. 기계 접근은 API 문서처럼 명확한 권한, 속도 제한, 캐시와 과금 규칙을 갖춰야 하며, 크롤터가 이를 추측하게 두어서는 안 된다는 것이다.

실행 가능한方案은 최소 네 가지다.

  1. 기계가 읽을 수 있는 권한 부여
    열람, 검색, 색인, 모델 학습과 재배포를 구분한다. CC 라이선스의 이용 방식에서도 텍스트 마이닝과 모델 학습이 기존 허가 범위에 포함되는지를 구분해야 한다.
  2. API 할당량
    공개 검색과 전문 텍스트 내려받기에 서로 다른 속도와 동시 요청 상한을 적용한다. 실제 사용자와 정당한 연구 작업이 상업적 크롤터 때문에 느려져서는 안 된다.
  3. 콘텐츠 출처 추적
    출처, 라이선스, 수집 시각, 버전과 해시 정보를 보존한다. 분쟁이 생기면 특정 콘텐츠가 어느 버전에서 왔는지, 수집 측이 라이선스 조건을 위반했는지 확인할 수 있다.
  4. 사용량 기반 과금
    요청량, 전송량, 스캔 페이지 수 또는 연산 작업량을 기준으로 과금한다. 수익은 디지털화, 저장소와 대역폭 유지에 사용할 수 있다.

다만 이러한 방안은 아직 신뢰할 만한 통일된 합의를 이루지 못했다.

CC 라이선스가 특정 모델 학습 행위를 어떻게 포괄하는지는 관할권에 따라 여전히 논쟁이 이어진다. 특정 수집 행위가 특정 모델 학습과 직접적인 관련이 있다는 사실을 입증하는 것도 어렵다. 도서관이 공통적으로 어떤 기술 계약을 채택할 것인지, 기업 구매자가 실제로 지불할 의사 있는지도 안정적인 답이 없다.

기술적 방안은 먼저 도입할 수 있다. 법적 책임과 상업적 비용 분담은 훨씬 더 오래 걸린다.

편집자의 생각

이 사건이 중요한 이유는 AI 기업이 도서관 데이터를 수집했다는 사실만은 아니다. 생성형 AI의 확산 과정에서 거의 명시적으로 언급되지 않은 비용이 드러났기 때문이다. 오픈 지식이 무료 인프라를 뜻하지는 않는다. 대학은 사회를 위해 지식을 보존하고 정리하고 제공하며, AI 수집은 대규모 복제 부담을 다시 같은 서버에 되돌려 보낸다. 저작권 분쟁의 판단에 수년이 걸릴 수 있는 동안 용량 압박은 보도가 나온 순간부터 시작된다. 모델 기업이 ‘모든 학습에 대해 매번 비용을 낸다’는 방식을 보편적으로 받아들일 가능성은 낮다. 상업적 가치가 있는 대량 데이터는 권한 부여나 과금 경로로 보내고, 가치가 낮은 트래픽에는 속도 제한과 식별, 차단을 적용하는 계층형 접근을 먼저 추진할 가능성이 크다. 과거 웹사이트는 주로 트래픽을 광고나 구독료로 전환했다. AI 크롤터는 클릭도 구매도 하지 않고 학습 시스템을 위한 콘텐츠 복제만 수행하는 네 번째 형태의 트래픽을 추가했다. 이번 변화는 기계 접근이 자신의 규모에 맞는 비용을 부담해야 한다는 요구가 시작됐다는 점이다. 그렇다고 어떤 수집이 침해행위인지, 어떤 오픈 라이선스가 학습을 뒷받침하기에 충분한지는 아직 결론 내릴 수 없다.

출처: https://www.cbc.ca/news/world/university-libraries-ai-data-scraping-bots-9.7408287