도구

dettato, 21M 파라미터로 1.3B 음원 변환 모델 추월

dettato는 약 21M 파라미터로 오디오를 MIDI로 변환하며, muscriptor 1.3b 대비 약 1/60 크기의 경량 모델이다. 프로젝트 측 테스트에서는 성능 우위를 주장하지만, 데이터 구성과 효율성 측정 방식은 독립 검증이 남아 있다.

글자 크기

dettato는 약 21M 파라미터로 오디오를 MIDI로 변환한다. 모델 크기는 muscriptor 1.3b의 약 1/60에 불과하다. 이 글에서는 dettato의 엔지니어링 가치, 평가 결과의 의문, 저작권 위험을 살펴본다.

음악을 편집 가능한 MIDI로 바꾸는 일은 ‘변환할 수 있는가’만의 문제가 아니다. 실행 비용도 함께 고려해야 한다.

클라우드에서 대형 모델을 호출할 때 수 초의 지연과 요청당 몇 십厘의 추론 비용은 부담이 크지 않을 수 있다. 하지만 로컬 워크플로에서는 사용자가 녹음 파일을 대량 처리하고, DAW에 연결하며, 자동화 pipeline을 운영한다. 모델이 VRAM에 들어가는지, CPU나 Apple Silicon에서 활용할 수 있는지가 실제 사용 가능한 도구인지 여부를 결정한다.

dettato가 주목받는 이유도 여기에 있다.

개발자는 오픈 웨이트 기반의 음원 변환 MIDI 모델 dettato를 공개하고 연구 페이지도 게시했다. 프로젝트 측 설명에 따르면 dettato의 모델 크기는 muscriptor 1.3b의 약 1/60이며, 효율은 약 60배 향상됐다. 프로젝트에서 사용한 모든 테스트 세트에서도 muscriptor 1.3b를 outperforms했다.

즉, 이 프로젝트는 ‘가장 큰 모델이얼마나 정확하게 변환하는가’라는 논쟁을 ‘파라미터와 연산資源 한 단위당 얼마나 쓸모 있는 결과를 얻는가’로 옮긴 셈이다.

60배 작다는 것은 VRAM 절약만 의미하지 않는다

우선 배포 기준을 살펴본다.

muscriptor 1.3b는 1.3B 파라미터급 모델이고, dettato는 약 21M 규모다. 두 모델의 규모 차이는 거의 60배에 이른다. 이는 단순히 가중치를 저장장치에서 VRAM으로 옮기는 수준을 넘어 엔지니어링 선택 자체를 바꾼다.

  • 클라우드 API에 의존하지 않아도 되므로 로컬 처리가 더 쉬워진다.
  • 대량 음표 변환에서 지연 시간과 추론 비용을 통제하기 쉬워진다.
  • CPU, edge device, Apple Silicon에서 실행할 가능성이 높아진다.
  • 오디오를 로컬에 보관할 수 있어 제3자 서비스로 업로드할 필요가 줄어든다.

FP16으로 단순 계산하면 1.3B 파라미터 모델의 가중치만 약 2.6GB가 필요하다. 21M 파라미터 모델은 약 42MB다. 물론 실제 배포에는 runtime, cache, 입출력 처리도 포함되므로 파일 크기만으로 판단할 수는 없다. 그럼에도 규모 차이는 충분히 크다.

음원 변환 비용은 대개 모델에서만 나오는 것은 아니다. 음악 파일이 길 수 있고, 한 번에 수십 곡을 처리할 수도 있다. 파라미터 수가 줄어지면 batch size, 동시 실행 수, 재시도 전략을 더 aggressively 조정할 수 있다. 개인 개발자와 소규모 팀에는 ‘완료시킬 수 있는가’가 ‘benchmark에서 0.5점을 더 얻는가’보다 실용적이다.

dettato는 정확도 순위만刷新하는 데 그치지 않는다. 모델을 클라우드 서비스의 비싼 구성 요소에서 로컬 도구chain에 삽입할 수 있는 경량 모듈로 바꾸려는 시도다.

muscriptor 1.3b를 추월했다

프로젝트 요약에 따르면 dettato는 모든 테스트 세트에서 muscriptor 1.3b를 outperform했다. 동시에 모델 크기를 약 60배 줄이고 효율을 약 60배 높였다고 animator했다.

두 결과를 함께 볼 때 의미가 생긴다.

작은 모델이 큰 모델을 추월할 때에는 먼저 평가가 공정한지 의심하게 된다. 학습 데이터가 다른가, 전처리가 다른가, 테스트 세트에 data leakage가 있는가, 지표가 실제 사용을 대표하는가.

dettato는 공개 자료를 통해 연구에 접근할 수 있지만 이러한 의문을 모두 없애지는 않았다. 프로젝트 측 결론은 하나의 신호로 활용할 수는 있지만 곧바로 최종 판단으로 받아들여서는 안 된다. 특히 음원 작업에서는 pitch, note duration, pedal, velocity, 음 분리 방식이 결과를 크게 좌우한다. 하나의 집계 점수만으로는 서로 다른 오류 유형이 가려질 수 있다.

이번 공개는 Hacker News 메인 페이지에도 올라가 149점과 26개의 comment를 받았다. 개발자는 모델 가중치와 연구 페이지를 함께 공개했다. 세로형 모델에는 논문 요약만 있는 페이지보다 이러한 공개 방식이 유용하다. 사용자가 모델을 내려받아 실행한 뒤 프로젝트 측 결론을 검증할 수 있기 때문이다.

현재는 충분히 완전한 독립 benchmark가 부족하다. 최소한 동일한 실제 녹음 파일, 동일한 hardware, 동일한 입력 형식, 동일한 후처리 조건에서 비교해야 ‘모델이 더 정확하다’와 ‘전체 시스템이 더 유용하다’를 구분할 수 있다.

저작권 보호 녹음은 학습에 사용하지 않았다

프로젝트 측 설명에 따르면 dettato의 학습 과정에는 저작권 보호 녹음이 사용되지 않았다.

이는 음악 AI에서 중요한 부분이다.

오디오 학습 데이터 세트는 텍스트 corpus보다 정리하기 어렵다. 녹음의 권리 관계에는 연주자, 작사·작곡가, 녹음 제작자, 발행사가 관여할 수 있다. 모델이 특정 오디오를 직접 복제하지 않더라도 보호받는 작품의 melody, 연주, timbral feature를 학습할 가능성이 있다.

데이터 출처가 불투명하면 모델을 상용 제품에 활용할 수 있는지가 달라지고, 연구자가 데이터를 점검하거나 학습 과정을 재현할 수 있는지도 영향을 받는다.

저작권 보호 녹음에 의존하지 않는 방식은 적어도 직접적인 허가 위험을 한 단계 줄인다. 다만 다음 두 개념을 구분해야 한다.

  1. ‘저작권 보호 녹음을 사용하지 않았다’는 사실
  2. ‘완전하고 명확한 학습 데이터 허가를 받았다’는 상태

전자가 후자를 뜻하지는 않는다. 학습 자료에는 MIDI annotation, 합성 오디오, 기존 annotation library, 데이터 생성 코드, 제3자 도구와 소재의 허가 조건도 관여할 수 있다. 모델 가중치를 공개하더라도 데이터 pipeline의 모든 단계에 자동으로 위험이 없게 되는 것은 아니다.

출처가 불분명한 음악 녹음보다 공개되고 감사 가능한 데이터 흐름이 연구와 재활용에는 유리하다. 개발자는 어떤 데이터를 사용했는지, 어떻게 정제했는지, label은 어디에서 왔는지, 특정 작품을 제외했는지 계속 확인할 수 있다.

오픈 웨이트가 낮춰 주는 진입 장벽

오픈 웨이트의 가치는 단순히 ‘무료’라는 데 있지 않다.

모델이 API black box에서 개발자가 직접 관리할 수 있는 로컬 구성 요소로 바뀐다. 사용자는 inference parameter를 조정하고, 후처리를 교체하고, 기존 DAW와 연결하며, 데이터가 본기를 떠나는지 결정할 수 있다. 미발행 작품이 자주 등장하는 음악 제작 workflow에서는 로컬 실행이 단순한 장점이 아니라 제품 설계의 일부다.

dettato는 다음과 같은 구체적인 workflow에 들어갈 수 있다.

  • 흐르거나 부른 녹음, 피아노 녹음, 현장 연주를 MIDI로 변환해 DAW에서 계속 편집한다.
  • 소재 라이브러리에서 melody와 harmony를 대량 추출해 검색하거나 tag를 부여한다.
  • 영상 배경음악, podcast, 게임 프로토타입을 위한 편집 가능한片段을 빠르게 만든다.
  • 자동 음표 변환 pipeline에 연결한 뒤 사람의 교정 단계를 거친다.

오픈 웨이트는 community 검증에도 유리하다. 개발자는 edge case를 발견했을 때 모델 동작을 직접 분석하고 quantization 방식을 조정하거나 특정 악기에 맞춰 데이터를 보강할 수 있다. 업체가 API를 공개하기 전부터 자신의 제품에 적용할 수 있다.

연구 페이지: https://kobi.music/research/dettato

작은 모델의 승리는 모델 구조에서 왔을 가능성이 높다

필자의 판단에 따르면 dettato의 우위는 network 구조보다 data cleaning, 학습 목표, 평가 설정에서 비롯됐을 가능성이 크다.

음원 변환 MIDI에는 여러 세부 작업이 포함된다. rhythm 인식, pitch tracking, chord 판단, pedal 처리, 음과 velocity annotation이 그것이다. 파라미터가 많다고 해서 각 세부 작업이 모두 더 잘 처리되는 것은 아니다. 작은 모델이 MIDI objective에 맞춰 특화 학습되고, 더 깨끗한 데이터와 적절한 후처리를 적용하면, 파라미터는 많지만 학습 목표가 충분히 집중되지 않은 일반 모델을 outperforms할 수 있다.

모델 크기가 60배 작다는 것과 inference가 60배 빠르다는 것은 같은 말이 아니다. 작은 가중치는 loading time과 memory 사용량을 줄이지만 실제 속도는 operator, sequence length, hardware, batch size, 입력 decoding 방식에 달려 있다.

프로젝트는 효율을 약 60배 높였다고 설명한다. 공개된 end-to-end 측정값이 없다면 ‘크기 비율’을 곧바로 ‘속도 비율’이라고 표기해서는 안 된다.

앞으로 다음 세 가지 데이터를 확인해야 한다.

  • 동일한 machine에서 동일한 오디오를 처리한 end-to-end 소요 시간
  • 전체 점수뿐 아니라 pitch, note duration, velocity 등 세부 지표
  • 드럼, 피아노, melody, polyphony, 음성, pedal이 포함된 녹음의 실패 사례

이 결과들이 안정적이라면 dettato의 의미는 ‘21M이 1.3B를 이겼다’为止가 아니다. 세로형 모델이 더 합리적인 자원 배분 방식을 찾았다는 데 있다.

편집 관점

dettato에서 중요한 것은 약 21M 파라미터로 1.3B 모델을 이긴 데 있지 않다. 세로형 AI의 평가 단위를 ‘자원당 산출물’로 바꿨다는 데 있다. 과거 음원 변환 MIDI를 논할 때는 모델 크기, 파라미터 수, 단일 지표의 정확도가 중심이 됐다. 하지만 실제 적용에서는 로컬 지연 시간, 대량 처리 비용, 개인정보, 저작권 출처, 사람의 수정 시간까지 계산해야 한다. 더 작고, 허가가 명확하며, 오프라인 실행이 가능한 모델은 복잡한 sample에서 여전히 오류를 내더라도 제품에 더 적합할 수 있다.

이번 공개의 다른 점은 오픈 웨이트, 공개 연구 페이지, HN community 검증이 함께 제공됐다는 것이다. 덕분에 ‘60배 효율’이라는 표현이 단순한 공개 자료의 주장에 머무르지 않고 직접 내려받아 실행할 수 있는 대상이 생겼다. 향후 음악 도구는 범용 대형 모델 API에 일관되게 의존하기보다 작은 오픈 모델과 특화 데이터를 결합하는 방향으로 더 많이 활용될 것으로 전망된다.

다만 60배라는 수치는 현재 주로 프로젝트 측 주장이다. 파일 크기, 연산량, 전체 process 효율 중 무엇을 뜻하는지는 독립 benchmark가 필요하다. 저작권 friendliness 역시 구체적인 데이터 세트와 허가 문서로 확인해야 한다. dettato는 시험해 볼 가치가 있지만, 결론을 서두르기엔 이르다.

출처: https://kobi.music/research/dettato