Tokenizer는 오랫동안 LLM의 "암묵적 기본값"이었다. 모두가 쓰지만 아무도 공개적으로 문제를 제기하지 않았다. 그런데 Nature가 지난주 한 논문을 게재했다.
Training large language models directly on bytes, without retraining
논문이 제시한 방향은 상당히 공격적이다. 이미 학습된 token 기반 LLM을 사전 학습 가중치 변경 없이 바이트 시퀀스를 직접 입력받는 형태로 바꾸겠다는 것이다. 과거에는 시도조차 하지 못한 영역이다.
논문이 실제로 한 일
핵심은 처음부터 사전 학습을 다시 하는 방식이 아니라, 기존 모델을 retrofit(개조)하는 것이다. 이 지점이 결정적이다.
이전의 바이트 기반 시도(ByT5, MegaByte, CANINE)는 공통적인 문제가 있었다. 사전 학습을 처음부터 다시 돌려야 한다는 점이다. GPT-4 급 모델의 학습 비용은 1억 달러가 훌쩍 넘기 때문에, "한번 시도해보자"는 명분으로 이 돈을 걸기엔 부담이 너무 컸다.
Nature에 실린 이번 논문의 접근은 이렇다. 기존 모델 위에 byte-level adapter를 얹고, 원래 모델 파라미터는 동결(freeze)한 채 새로 삽입한 모듈만 학습한다. 트레이드오프는 다음과 같다.
- 사전 학습을 다시 돌릴 필요가 없어 개조 비용이 한 단계 낮아진다.
- 다만 adapter 파라미터를 학습해야 하므로 소규모 미세 조정(fine-tuning)은 필요하다.
- 출력 품질은 기존 token 모델보다 약간 떨어지며, 격차는 1~2% 수준이다.
논문이 제시한 수치에 따르면, 여러 표준 benchmark에서 개조된 모델은 원래 모델의 약 98% 성능을 유지하면서 바이트 기반 모델의 이점은 그대로 가져간다.
왜 tokenizer라는 오래된 문제가 지금에서야 Nature에 실렸나
BPE, WordPiece 같은 subword 분할 방식은 수년간 사용돼 왔지만, 그동안 쌓인 결함도 만만치 않다.
OOV 문제. 이론적으로 BPE는 out-of-vocabulary 문제가 없지만, 실제로 emoji, 한자, 드문 고유명사를 만나면 잘려나간 토큰이 단일 바이트나 의미 없는 조각이 되는 경우가 많다. 모델이 이해하지 못한다.
다국어 불평등. 영어는 token 하나에 평균 4자가 담기지만, 한국어·중국어는 1.5자에 그치고 일부 언어는 1자도 안 된다. 같은 말뭉치 양에서도 한국어·중국어 학습 효과가 본질적으로 불리다. tokenizer가 오히려 방해물이다.
특수 기호 깨짐. @, #, URL, 코드 스니펫은 tokenizer 입장에서 "잡동사니"이고, 의미 없는 깨진 조각으로 잘려나가는 일이 흔하다. GitHub Copilot을 오래 써본 사용자라면 초장기 URL을 모델이 제대로 해석하지 못하는 경험을 떠올릴 것이다.
엔지니어링 부채. 모델 회사마다 자체 special token 목록을 유지한다. 이 명부는 관리하기 짜증나고, 미세 조정 중 한 줄 잘못 건드리면 호환성이 깨진다.
Nature 같은 권위 있는 저널은 보통 순수 NLP 엔지니어링 개조 논문을 잘 싣지 않는다. 이번에 게재했다는 사실 자체가 신호다. 바이트 기반이라는 주제가 "연구자들 사이 취미"에서 "주류 인정"으로 이동하기 시작했다는 뜻이다.
Hacker News에서 무엇에 막혀 있나
이 논문은 Hacker News에서 23점, 댓글 0개 상태다. 23점은 초기 독자들이 품질을 인정했다는 뜻이고, 댓글 0은 대부분 아직 논문을 읽는 중이며 논의가 형성되지 않았다는 뜻이다.
다만 기술적으로 명확하게 걸리는 지점은 있다. 바이트 기반 추론의 시퀀스 길이 폭발이다.
간단히 계산해보자.
- 영문 4글자 = 1 token (전형적인 BPE)
- 같은 4글자 = 12~16 byte (UTF-8)
- 시퀀스 길이 3~4배 팽창
- KV cache도 그만큼 증가
- 메모리는 선형으로 늘고 attention은 O(n²)
100K token 컨텍스트 윈도우는 바이트 기반으로 바꾸면 300~400K byte 시퀀스가 된다. H100에서 추론 비용이 즉시 4배 뛰고, latency도 함께 올라간다.
바이트 기반 모델은 아직 production급 긴 컨텍스트를 감당하지 못한다. 논문에는 짧은 텍스트 benchmark만 제시되어 있으며, 긴 컨텍스트에서의 동작은 커뮤니티 재현을 기다려야 한다.
주요 모델 회사 세 곳, 누가 가장 먼저 따라잡나
주요 모델 회사들의 상황을 정리해봤다.
Anthropic. Claude 시리즈의 tokenizer는 보수적인 성향이 강하다. 내부적으로 BPE를 개조한 전례가 있다(vocab size 변경, special token 설계 변경 등). 바이트 기반에 대한 관심이 가장 클 가능성이 높고, retrofit이 가져오는 부채를 감당할 엔지니어링 문화도 갖췄다. 6~12개월 내 가장 먼저 시도할 확률이 가장 높다.
Google. Gemini 팀의 tokenizer 팀은 업계 최고 수준이며 SentencePiece에 기여한 집단이 바로 그들이다. byte-level adapter는 그들에게 "기존 도구의 새로운 사용법"에 불과하다. 따라잡 확률은 60~70%.
OpenAI. GPT-5 아키텍처 세부 사항은 공개되지 않았다. OpenAI는 안정 버전을 먼저 출시할 가능성이 높고, 바이트 기반 개조는 GPT-5.5나 GPT-6로 미룰 가능성이 크다. 단기 따라잡 확률은 낮다.
Meta. Llama 4는 멀티모달 네이티브 방향으로 가고 있으며, tokenizer 문제는 통합 표현(representation) 레이어로 밀려났다. Meta는 단기적으로 전체 바이트 기반 개조보다 플러그인 식 보완(예: URL/코드 전용 전처리 모듈)을 택할 가능성이 더 크다.
반(反)합의 판단: 바이트 기반은 종착역이 아니라, tokenizer는 다른 형태로 돌아온다
내 판단은 주류와 조금 다르다. 바이트 기반은 종점이 아니라 과도기적 해법이다.
이유는 단순하다. 바이트 기반은 "입력 측" 문제(모델이 원시 데이터를 볼 수 있게 하는 것)는 풀지만, "출력 측"은 여전히 지옥이다.
바이트 기반 생성은 다음 문제를 낳는다.
- 초당 생성되는 byte 수가 크게 떨어져 사용자 경험이 나빠진다.
- 긴 텍스트 생성에서 constrained decoding이 사실상 불가능해진다.
- 코드 생성에서 구조화된 출력(JSON, 코드 블록 등)을 위한 설계가 전부 다시 필요하다.
출력 쪽에는 반드시 뭔가 집계 단위(aggregation unit)가 있어야 한다. character도 byte도 아닌, "learned patch" 같은 형태다. 앞으로 1~2년 안에 다음이 등장할 것으로 본다.
Learned byte-level patch: byte와 token 사이의 중간 형태. 모델이 인접한 byte들을 어떻게 의미 있는 patch로 묶을지 스스로 학습한다.
이는 "분할" 작업을 전처리에서 모델 내부로 옮겨 동적으로 결정하는 방식이다. NVIDIA, Anthropic, xAI 중 한 곳이 먼저 관련 작업을 공개할 가능성이 높다.
편집자의 생각
이 일이 왜 중요한가? "Tokenizer가 죽는다"는 사실 때문이 아니다. 5년 동안 당연하게 받아들여 온 아키텍처 선택이 Nature급 저널에서 공식적으로 의문 제기된 것이 처음이라는 점 때문이다. 이는 LLM 아키텍처 자체에 대한 반성의 신호다.
반합의적 관점: 주류 서사는 "바이트 기반이 미래"라고 말하지만, 나는 바이트 기반이 곧 출력 측의 단단한 벽에 부딪힐 것으로 본다. 진짜 종착역은 모델이 스스로 분할을 학습하는 것이다. BPE 같은 정적 규칙도 아니고, 순수 byte 스트림도 아닌 dynamic learned patch다. 이건 2027년이 돼서야 성숙할 가능성이 높다.
이번이 과거와 무엇이 다른가? ByT5(2021), MegaByte(2023), CANINE(2021)도 바이트 기반 방식이었지만 BPE를 흔들지는 못했다. 차이는 Nature의 보증과 retrofit 방식이 비용을 수용 가능한 수준으로 낮췄다는 점이다. 바이트 기반이 처음으로 "연구 데모"에서 "엔지니어링 옵션"으로 진입했다. 다만 HN의 23점 0 댓글은 엔지니어링 커뮤니티가 아직 소화 중이라는 신호이기도 하다. 당장 폭발적으로 확산될 일은 아니다.
불확실한 지점: 100K 이상의 긴 컨텍스트에서 바이트 기반의 성능은 논문에 데이터가 없다. 이 부분이 무너지면 바이트 기반은 단기간에 production에 못 들어가고, 논의는 곧 식을 것이다.