실전

USDB 살펴보기: 바이트댄스 차세대 추천 시스템 저장소

USDB는 고동시성, 낮은 지연 시간, 비용 통제를 jointly 해결하는 바이트댄스의 차세대 추천 시스템 저장 기술이다. AI Agent의 검색 효율과 단위 작업 비용에도 중요한 시사점을 준다.

글자 크기

바이트댄스는 추천 시스템의 저장소를 확장하는 방법을 연구한 USDB 논문을 공개했다. 새로운 추천 알고리즘이 아니라 고동시성 접근, 낮은 지연 시간, 비용 통제를 겨냥한 저장 솔루션이다. AI Agent에서도 검색 속도와 단위 작업 비용을 좌우하는 요소로 주목할 만하다.

원 논문: USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance

USDB란 무엇인가

추천 시스템은 모델로 경쟁하는 것처럼 보이지만, 실제로는 저장소로도 경쟁한다.

모델은 오프라인으로 학습할 수 있고 특징도 미리 계산할 수 있다. 요청이 들어오면 시스템은 제한된 지연 시간 예산 안에서 사용자 특징, 후보 콘텐츠, 컨텍스트 데이터를 읽어야 한다.

데이터를 담을 공간이 부족하거나 읽기가 너무 느리거나 확장 비용이 너무 높다면 아무리 좋은 모델도 실제 서비스에 올리기 어렵다.

바이트댄스가 공개한 연구 논문 USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance는 바로 이 문제를 다룬다. 자료에 기록된 논문 번호는 2611.02618이며, 초록에서는 대규모 데이터 저장, 접근 효율, 엔지니어링 실제를 다룬다.

먼저 명확히 해야 할 점이 있다. USDB는 또 하나의 추천 알고리즘이 아니다. 추천 시스템의底层에 있는 데이터 접근 문제를 해결하는 기술이다.

USDB가 연구할 가치가 있는 이유

추천 시스템은 보통召回, 순위 결정, 재순위 부여, 멀티태스크 학습 같은 모델 문제로 이해된다. 반면 논문 제목에서 강조하는 키워드는 storage다.

이런 시스템에서는 대체로 데이터 규모, 읽기·쓰기 경로, 하드웨어 활용률을 먼저 해결한 다음 모델 구조가 얼마나 큰 이득을 주는지 논의한다.

USDB가 연구할 가치가 있는 이유는 주로 세 가지다.

첫째, 추천 시스템은 저장 부담이 비교적 선명한 AI 활용 사례다. 온라인 요청은 사용자 프로필, 행동 시퀀스, 아이템 특징, 모델 파라미터를 지속적으로 읽는다. 데이터 규모가 크고 접근 방식도 완전히 같지 않다.

둘째, 차세대 추천 시스템의 한 모델 모듈이 아니라 시스템 전체를 하나의 문제로 다룬다. 저장 엔진이 데이터 규모, 접근 효율, 엔지니어링 실제를 함께 감당해야 한다. 추천 모델의 AUC만 따로 비교하는 것보다 실제 운영 환경에 가깝다.

셋째, 이 문제는 다른 영역으로 확산되고 있다. 실시간 RAG, AI Agent 장기 기억, 컨텍스트 캐시도 데이터를 지속적으로 쓰고 요청에 따라 읽으며 지연 시간과 비용 사이에서 절충해야 한다.

자료에는 이 연구의 Hacker News 토론 수치도 기록돼 있다. 좋아요 29개, 댓글 5개다. 토론 규모는 크지 않지만 문제는 구체적이었다. AI 시스템의 성능 상한도 저장 계층의 제약을 전달받는다는 점이다.

추천 시스템에서 진짜 어려운 것은 저장이다

추천 요청 한 번은 보통 데이터베이스 조회 한 번으로 끝나지 않는다.

사용자 프로필, 최근 행동 시퀀스, 후보 아이템 특징, 컨텍스트 특징을 읽은 뒤 여러 차례召回과 순위 결정을 수행할 수 있다. 요청량이 늘면 저장 시스템에는 고동시성, 지속적인 갱신, 불균등한 분포가 섞인 혼합 부하가 몰린다.

이런 부하에는 여러 까다로운 문제가 있다.

  • 사용자 행동이 계속 저장되기 때문에 갱신 빈도가 높다.
  • 인기 콘텐츠는 반복 접근되므로 국부적인 hot spot이 뚜렷하다.
  • 추천 특징은 일괄 읽기가 필요하지만 후보 데이터의 접근 방식은 서로 다르다.
  • 온라인 지연 시간 예산이 제한적이어서 tail latency가 전체 경로에 영향을 줄 수 있다.
  • 데이터 규모가 증가해도 저장 비용이 요청량에 비례해 늘면 안 된다.

통합 저장 엔진이 주목받는 이유도 여기에 있다.

서로 다른 데이터를 다른 시스템이 담당하면 구성 요소 수, 프로토콜 변환, 캐시 일관성, 장애 복구 문제를 관리해야 한다. 통합은 계층 분리를 없애는 것과 다르다. 더 정확한 이해는 용량, 캐시, 인덱스, 갱신 정책을 하나의 설계 범위 안에 두어 추천 경로가 데이터가 어디 있고 어떻게 접근해야 하는지 알 수 있게 하는 것이다.

여기서 지나친 추론은 피해야 한다. 현재 자료에는 논문 제목, 링크, 짧은 초록만 있고 완전한 benchmark 수치는 없다. 이 정보만으로 USDB가 어떤 저장 아키텍처를 채택했거나 다양한 하드웨어에서 어떤 성능을 보이는지는 확인할 수 없다.

하지만 문제의 경계는 분명하다. 이 논문은 새로운 embedding, Transformer, 순위 결정 네트워크가 아니라 차세대 추천 시스템의 저장 확장성에 초점을 둔다.

바이트댄스의实践中 읽는 시스템 경계

USDB의 가치는 바이트댄스의 추천 시나리오 안에서 이해해야 한다.

초대규모 추천 시스템은 데이터를 온전하게 유지하고, 빠르게 읽고, 인프라 비용도 통제해야 하는 세 가지 긴장을 동시에 마주한다. 확장은 일부 문제를 해결할 수 있지만 지연 시간, 운영 복잡도, 하드웨어 활용률에는 여전히 빈틈이 남는다.

저장 시스템 논문은 대체로 새 모델을 먼저 제시하기보다 기존 모델 주변의 데이터 경로를 다시 구성하는 방식으로 접근한다.

이를 AI Agent에 대응시키면 다음과 같은 구체적인 문제가 드러난다.

1. Agent 기억은 벡터 저장소만으로 충분하지 않다

RAG는 보통 벡터 검색으로 의미 기반召回을 처리한다. 그러나 Agent의 장기 기억에는 사용자 선호, 작업 상태, 도구 결과, 시간 순서도 포함된다.

이 데이터들의 접근 방식은 서로 다르다.

  • 의미 기억은 유사도 검색에偏向한다.
  • 작업 상태는 session과 key를 기준으로 정확한 읽기가 중심이다.
  • 도구 호출 로그는 추가 쓰기 형태가 많다.
  • 사용자 프로필은 빈번한 갱신과 낮은 지연 시간 읽기가 필요하다.

모든 데이터를 하나의 인덱스에 몰아넣으면 저장 계층의 구성 요소는 줄어들 수 있지만 복잡성은 그대로 애플리케이션 계층에 남는다.

2. 추론 한 번마다 저장 접근이 발생할 수 있다

챗봇의 응답 한 번은 짧은 컨텍스트만 읽을 수도 있다. 장시간 실행되는 AI Agent는 검색, 상태 저장, 도구 결과 기록을 빈번하게 발생시킨다.

Agent step 한 번에 검색 3회, 상태 갱신 2회, 도구 결과 쓰기 1회가 포함된다고 하자. 그러면 동시 작업 1,000개는 단순한 요청 1,000개가 아니다. 추론 한 번이 여러 차례의 I/O로 확대된다.

저장 계층의 tail latency, 캐시 적중률, 접근 증폭 계수는 곧바로 Agent의 응답 시간에 반영된다.

3. 캐시 적중률은 단위 작업 비용에 영향을 준다

Agent에서 자주 쓰이는 hot data에는 다음과 같은 것이 있다.

  • 자주 호출되는 도구 설명
  • 거의 바뀌지 않는 지식 조각
  • 활성화된 세션 상태
  • 여러 작업이 공유하는 사용자 또는 조직 설정

이 데이터를 매번 원격 저장소에서 읽으면 추론 비용이 호출 횟수에 따라 증가한다. 로컬 메모리나 분산 캐시에서 적중되면 읽기 시간을 줄일 수 있다.

그러나 캐시는 적중률만 높이면 안 된다. 사용자 상태, 권한 정보, 작업 결과가 오래된 값을 반환한다면 조금 느리게 처리하는 것보다 결과가 더 나쁠 수 있다.

USDB 같은 통합 저장 연구가 Agent에 주는 시사점은 기존 RAG를 USDB로 대체하라는 것이 아니다. 다시 살펴봐야 할 지표는 세 가지다. 작업당 저장 접근 횟수, P99 읽기 지연 시간, Agent step 100만 회당 저장 비용이다.

AI Agent 인프라를 평가하는 방법

Agent 인프라를 분리하면 최소한 네 계층으로 나눌 수 있다.

  1. 모델 추론
  2. 컨텍스트와 기억
  3. 도구 호출
  4. 지속적인 상태 저장

많은 평가는 앞의 두 계층만 본다. 답변 정확도, 검색 적중률, 도구 호출 성공률 같은 지표가 여기에 해당한다. 저장 계층은 모델 benchmark에 거의 등장하지 않지만 실제 동시성 환경에서 시스템이 쓸 만한지는 좌우한다.

다음 네 가지 지표가 더 중요하다.

추론 한 번당 I/O는 몇 번 발생하는가

도구 호출, 기억 검색, 상태 확인은 모두 외부 시스템에 접근할 수 있다. Agent step 한 번에서 네트워크 요청이 10번 발생하고 각각 10밀리초만 걸려도 직렬 지연 시간은 이미 100밀리초에 이른다.

합칠 수 있는 쿼리는 합쳐야 한다. 단기 상태는 프로세스 안에 두는 편이 적합하다. 안정적인 지식은 미리 읽어 둘 수 있다. 통합 아키텍처를 위해 모든 도구 호출이 매번 원격 데이터베이스를 거치게 해서는 안 된다.

P99 지연 시간을 예측할 수 있는가

평균 지연 시간이 좋은 저장 시스템이라도 실시간 Agent에는 충분하지 않을 수 있다. 검색 한 번이 가끔 500밀리초 동안 멈추면 사용자에게는 도구 호출이 계속 돌아가는 화면으로 보인다.

평가할 때는 P50, P95, P99를 함께 기록해야 한다. 평균값만 보고하면 사용 경험에 가장 큰 영향을 주는 꼬리 구간의 문제를 감추게 된다.

캐시 적중률이 안정적인가

Agent 트래픽에는 반복성이 뚜렷하지만 hot spot은 이동한다. 고정된 TTL은 캐시 avalanche를 일으키거나 오래된 상태를 장기간 유지할 수 있다.

더 실용적인 방법은 데이터 유형별 정책을 두는 것이다.

  • 지식 파일: 긴 TTL과 버전 번호 조합
  • 사용자 프로필: 짧은 TTL과 이벤트 기반 무효화
  • 세션 상태: session별 분리
  • 권한 데이터: 별도의 무효화 및 감사 처리

단위 작업 비용은 규모가 커질수록 감소하는가

작업량이 두 배가 되었을 때 저장 비용도 두 배가 된다면 아직 규모 효과를 활용하지 못한 것이다.

더 이상적인 경로는 다음과 같다. hot data는 캐시에서 적중시키고, long-tail 데이터는 일괄 읽고, 로그는 순차적으로 추가하며, 보관 데이터는 필요할 때 재생하는 것이다. 각 계층이 서로 다른 접근 방식을 담당하게 하고 모든 데이터를 같은 고비용 경로로 보내지 않는 방식이다.

이는 USDB가 다루는 저장 확장 방향과 맞닿는다.

다만 둘을 바로 같게 볼 수는 없다. 추천 시스템의 데이터와 접근 방식은 비교적 안정적이지만 Agent가 생성하는 컨텍스트, 도구 결과, 세션 상태는 훨씬 동적이다. 후자는 prompt 길이, 도구 수, 동시 작업 수, 컨텍스트 관리 전략의 영향도 받는다.

현재 확인 가능한 결론

현재 자료만으로 다음 사실을 확인할 수 있다.

  • 바이트댄스가 USDB: Scaling Storage for Next-Generation Recommender Systems at ByteDance를 공개했다.
  • 논문 번호는 2611.02618이다.
  • 연구는 차세대 추천 시스템의 저장 확장에 초점을 두고 있으며, 대규모 데이터 저장, 접근 효율, 엔지니어링 실제를 다룬다.
  • 자료에 기록된 Hacker News 토론 수치는 좋아요 29개, 댓글 5개다.
  • 현재 자료에는 제목, 링크, 짧은 초록만 있고 완전한 benchmark 수치는 없다.

따라서 지금은 USDB가 특정 시스템보다 성능에서 앞선다고 단정할 수 없고, 오픈소스로 공개됐는지도 확인할 수 없다. 구체적인 저장 아키텍처, 하드웨어 의존성, 부하 분포, 프로덕션 배포 방식은 논문 전체를 읽어야 확인할 수 있다.

Agent 팀이 지금 바로 할 수 있는 일도 구체적이다. Agent step별 I/O 횟수를 기록하고 P50, P95, P99 지연 시간을 집계한 뒤, 지식, 상태, 프로필, 권한 데이터에 각각 다른 캐시 정책을 적용한다. 먼저 접근 경로의 낭비를 찾고 새 저장 시스템을 도입할 필요가 있는지 판단하면 된다.

편집자의 사고

USDB가 중요한 이유는 추천 시스템이 데이터베이스를 바꾼 데 있지 않다. 모델 뒤에 감춰진 비용을 전면에 내놓았기 때문이다. 모델 점수가 1% 좋아져도 저장 비용이 20% 증가하면上线 가치는 여전히 음수일 수 있다. AI Agent도 같은 경로를 따르고 있다. 추론 호출이 많아질수록 기억 검색과 상태 읽기·쓰기가 빈번해져 저장소는 백그라운드 구성 요소에서 모든 step에 발생하는 고정 비용으로 바뀐다.

향후 Agent 인프라에는 ‘모델 라우팅 + 저장소 라우팅’ 같은 계층형 설계가 등장할 것으로 보인다. hot state는 메모리에, 안정적인 지식은 캐시에, long-tail 문서는 객체 저장소에 두고, 의미 인덱스는召回을 담당하며, 정확한 상태는 KV store에 맡기는 방식이다. 모든 일을 처리하는 단일 저장소는 없다.

이번에는 과거와 달리 논의 대상이 단일 질문을 넘어 지속 실행되는 Agent로 옮겨 갔다. 추천 시스템의 고동시성 읽기 경험을 참고할 수는 있지만, 여러 차례의 도구 호출과 동적 상태는 훨씬 복잡하다. USDB를 이 시나리오에 적용할 수 있는지는 아직 알 수 없다. 완전한 논문에서 제시한 benchmark, 하드웨어 조건, 일관성 설계를 살펴봐야 한다.

출처: https://arxiv.org/abs/2611.02618