후지필름은 테이프 생산능력을 현재의 약 5배로 확대할 계획이다. AI 데이터는 여전히 계속 쌓이고 있다. 인프라 팀에 이것은 GPU 구매뿐 아니라 장기 저장 비용까지 계산해야 한다는 점을 보여준다.
원문 보도: Ars Technica
5배 생산 확대를 뒷받침한 수요 변화
이번 확대는 특정 모델이 갑자기 더 많은 테이프를 요구해서elvicted 아니다. 실제로 달라진 것은 데이터 생명주기다.
학습 단계에서는 데이터셋 스냅샷, 전처리 중간 파일, tokenized corpus, checkpoint가 남는다. 추론 단계도 단순히 ‘질문을 입력하고 답변을 출력하는’ 것만은 아니다. 실제 업무 시스템은 요청 로그, 사용자 피드백, 검색 결과, 모델 버전, 정책 설정까지 보관한다.
이 데이터는 매번 추론할 때 읽지 않지만 임의로 삭제할 수도 없다. 업무 추적, 모델 평가, 규제 감사 때문일 수 있고, 조직이 당장 무엇을 필요로 할지 아직 모를 수도 있다.
기업은 Traditionally ‘핫 데이터는 SSD, 웜 데이터는 HDD, 콜드 데이터는 저비용 매체’를 이용해 파일을 관리해 왔다. 이제 데이터 증가 속도와 추적 가능성 요구가 함께 높아졌다. 몇 달간 접근하지 않는 데이터가 방대한 양이더라도 비싼 flash memory를 계속 차지할 수는 없다.
따라서 테이프가 다시 논의되고 있다. 후지필름은 AI 때문에 더 빠른 테이프가 필요해서 생산을 확대하는 것이 아니다. 오히려 AI가 대량의 비활성 데이터를 저렴하게 보관하는 일의 중요성을 높였다.
테이프 업체가 다시 초대형 데이터센터 공급망에 진입하는 이유도 여기에 있다. 구매 주체는 더 이상 기록보관소와 백업 부서만은 아니다. 학습 플랫폼,托管 cloud provider, 여러 해 동안 실행 기록을 보관해야 하는 AI 서비스 팀까지 포함한다.
GPU 경쟁 밖에서 드러나는 비용
테이프를 AI 인프라 비용표에 넣으면 높은 빈도의 추론에는 적합하지 않지만, 학습 corpus와 로그, 모델 버전을 장기 보관하며 지속적인 전력 및 냉각비를 줄이는 데 적합하다는 점이 드러난다.
여기서는 접근 속도와 보유 비용을 구분해야 한다.
NVMe SSD는 지연이 낮아 온라인 검색, checkpoint 입출력, AI Agent의 즉시 도구 호출에 적합하다. 테이프의 강점은 단위 용량당 비용이 낮고, 장비를 장시간 켤 필요가 없으며, 오프라인 보관이 가능하다는 데 있다.
다음과 같은 3단계 구조로 이해할 수 있다.
| 계층 | 대표 매체 | 주요 용도 | 핵심 제약 |
|---|---|---|---|
| 핫 계층 | NVMe SSD | 온라인 추론, 검색, checkpoint | 용량 비용이 높고 전력 소비가 크다 |
| 웜 계층 | HDD / 객체 스토리지 | 최근 보관, 작업 재계산, 데이터 배포 | 지속적인 서비스와 운영이 필요하다 |
| 콜드 계층 | LTO 테이프 | 장기 학습 corpus, 모델 버전, 감사 로그 | 복원이 느리고 실시간 읽기에 적합하지 않다 |
효율적인 인프라는 하나의 매체에 모든 작업을 맡기는 방식이 아니라 접근 빈도에 따라 계층을 나누는 방식이다. AI 프로젝트가 커질 때 가장 과소평가되는 것은 GPU 구매가 아니라 ‘구매했지만 당장 쓰지는 않는’ 원시 데이터다.
AI Agent 로그의 특징이 특히 그렇다. 도구를 호출할 때마다 입력, 출력, timestamp, token 사용량, 오류 정보, 권한 기록이 생성될 수 있다. 이를 SSD에 실시간으로 보관하면 편리하지만 몇 년 뒤까지 온라인 상태로 두는 비용은 합리적이지 않다.
테이프의 가치는 성능 점수가 아니라 유휴 데이터의 보유 비용을 낮추는 데 있다.
클라우드 스토리지가 테이프를 완전히 대체하지 못한 이유
객체 스토리지가 테이프를 쓸모없게 만들었는가? 그렇지 않다.
객체 스토리지의 추상화 계층은 편리하고 API도 단순하며, 같은 클라우드 환경에 compute resource와 함께 배치할 수 있다. 하지만 그 아래에는 여전히 매체가 필요하다. 핫 데이터는 SSD가 담당하고, 대규모 콜드 데이터는 HDD나 테이프로 내려보낼 수 있다.
객체 스토리지, 기업용 테이프 라이브러리, mechanical HDD를 비교했을 때 테이프의 우점은 속도가 아니라 단위 용량당 비용, 오프라인 보관 능력, 긴 수명이다.
기업용 테이프 라이브러리에는 현실적인 장점이 몇 가지 있다.
첫째, 오프라인 보관 능력이다. 테이프 라이브러리 전체를 네트워크에서 분리해 malicious code와 잘못된 삭제로부터 물리적으로 격리할 수 있다. ransomware가 cloud control plane을 장악하더라도 오프라인 매체에 직접 접근하지 못할 가능성이 있다.
둘째, 복원이 batch job으로 진행된다는 점이다. TB급 파일을 복원할 때 모든 사용자가 SSD의 온라인 지연을 기다릴 필요는 없다. 운영자는 적절한 시간대를 정해 테이프 데이터를 임시 SSD로 복사한 뒤 서비스를 재개할 수 있다.
셋째, 생명주기를 예측하기 쉽다는 점이다. 테이프는 consumer용 HDD처럼 계속 회전하지 않으며 기계식 부품과 전자 부품이 적다. 정기적인 데이터 마이그레이션과 복원 테스트는 여전히 필요하지만, 배포 형태는 인프라 팀이 관리하기에 적합하다.
대가는 명확하다. 접근이 느리고, 전용 장비가 필요하며, 생태계가 폐쇄적이고, 관련 인력이 부족하다. 많은 기업이 이미 ‘테이프에서 클라우드로’ 한 차례 전환했기 때문에 작은 비용 절감을 위해 쉽게 되돌아갈 상황은 아니다.
따라서 이번 생산 확대는 전면적인 테이프 해체가 아니라 혼합형 접근을 촉진할 가능성이 크다. 클라우드가 통합된 interface를 제공하고, 테이프가 가장 차가운 데이터 구간을 담당하는 방식이다.
AI Agent는 더 많은 추적 가능 데이터를 만든다
과거의 대형 언어 모델 요청은 대개 한 번의 API 호출로 요약할 수 있었다. AI Agent는 그렇지 않다.
AI Agent는 ticket을 읽고, CRM을 조회하고, 검색 도구를 호출하고, 문서를 생성하고, 승인을 요청하며, 실패하면 다시 시도할 수 있다. 각 단계는 상태를 바꾸며 서로 다른 형식의 증거를 남긴다.
따라서 AI Agent 실행에는 구조화 데이터와 비구조화 데이터가 대량으로 쌓인다. 보관 대상도 이미지와 영상에서 workflow log까지 확장된다.
흔히 보관되는 데이터는 최소한 네 가지 유형이다.
- 도구 호출 기록: 도구 이름, parameter, 반환값, 소요 시간, error code.
- 검색 index: query, 검색된 문서, rerank 결과, 인용 구간.
- 실행 trajectory: plan, 상태 변화, 사람의 승인, 실패 후 복구 경로.
- 평가 sample: 실제 작업, 기대 결과, scoring 기준, 버전별 비교.
최종 답변만 보관하면 가장 가치 있는 문제 해결 자료를 잃는다. AI Agent에 장애가 발생했을 때 엔지니어는 보통 다음을 확인해야 한다.
- 당시 어떤 context를 확인했는가?
- 어느 도구가 잘못된 데이터를 반환했는가?
- 모델의 planning이 잘못되었는가, 검색이 근거를 놓쳤는가?
- 모델 버전을 바꾼 뒤 결과가 달라졌는가?
- 어떤 rule이 도구 호출 순서를 결정했는가?
답은 모두 trajectory에 들어 있다.
이는 직관과 반대되는 결과를 낳는다. 모델이 자율적일수록 저장 시스템이 중요해진다. ‘모델이 무엇을 했는가’를 단일 prompt만으로 파악할 수 없고, 전체 실행 이력에서 다시 복원해야 하기 때문이다.
HN 커뮤니티가 실제로 논의한 쟁점
초안에는 이 소식이 Hacker News 메인 페이지에 올라 92점과 댓글 26개를 받았다고 적혀 있었다. 그러나 확인 가능한 원자료는 Ars Technica 보도 링크뿐이며, Hacker News 게시물의 독립 링크, screenshot, 수집 기록은 제공되지 않았다. 검증할 수 없는 수치를 사실처럼 제시하지 않기 위해 해당 정보는 삭제했다.
논의의 초점은 단순히 ‘테이프의 부활’이라고 묶는 것보다 데이터 내구성, 비용 분담, 공급업체 집중도에 두어야 한다.
데이터 내구성의 쟁점은 공급업체가 주장하는 경제적 수명이 모든 팀에 적합한 것은 아니라는 데 있다. 기업은 복원 절차, 매체 마이그레이션 주기, 복원 테스트 환경의 현실성을 확인해야 한다. 테이프에 저장한 backup을 한 번도 복원하지 못했다면 백업이 없는 셈이다.
비용 분담 역시 ‘TB당 단가’만 비교해서는 안 된다. 테이프 라이브러리에는 library robot, drive, 매체 이송, 사람의 작업 비용이 포함된다. 규모가 커질수록 단위 비용은 대체로 낮아지지만, 이러한 비용을 충분히 분산할 수 있는 곳은 초대형 업체와 대규모 기록보관 기관으로 제한된다.
공급업체 집중도에는 더 주의해야 한다. 저장 interface는 상대적으로 표준화되어 있지만 매체와 장비는 새로운 ecosystem lock-in을 만들 수 있다. 데이터를 특정 기업용 테이프 형식으로 몇 년 동안 보관하면 업체를 바꿀 때 장비, software, migration process를 함께 다뤄야 한다.
这也是 혼합형 저장이 단일 테이프 방식보다 안정적인 이유다. 핫 계층과 콜드 계층 사이에는 export path를 남기고, cloud provider 사이에는 이식 가능한 format을 유지하며, vendor lock-in이 데이터 자체에 남지 않도록 해야 한다.
편집자 생각
테이프 생산 확대는 AI 저장 문제에 대한 단순한 답이 아니다. 고성능 computing과 저비용 archiving이 역할을 다시 나눠가는 신호에 가깝다. 인프라 팀에 중요한 것은 특정 매체를 좇는 일이 아니라, 데이터가 어느 시점까지 다시 읽히는지와 예산 안에서 복원을 완료할 수 있는지 확인하는 것이다.
제 판단으로는 AI Agent가 만든 실행 trajectory가 log량을 늘리더라도 최종 archive량이 같은 비율로 증가할지는 불확실하다. 기업은 모든 실행의 전체 context를 보관하기보다 비정상 trajectory, 핵심 감사 기록, 표본 평가만 남길 가능성이 크다. 테이프 주문이 계속 증가하는지는 Agent 호출 횟수보다 cloud provider의 조달 실적에 달려 있다.
이번 상황의 다른 점은 콜드 스토리지 수요가 더 이상 전통적인 backup을 중심으로 발생하지 않는다는 데 있다. 학습 corpus, 모델 버전, AI Agent workflow이 ‘장기 추적 가능성’을 새로운 제품 요구사항으로 만들었다. 다만 현재 원자료에는 완전한 비용 곡선, 목표 고객 구성, 5년 주문량 자료가 없다. 생산 확대 계획은 수요 약속이 아니라 신호에 불과하다. 이후에는 cloud provider의 조달 계약, 실제 테이프 출하량, 기업이 혼합형 저장 구조를 복원하는지 살펴봐야 한다.