Destined AI가 Hugging Face에서 저대역폭 TTS 모델 Hurston-1을 오픈소스로 공개했다. Apache-2.0 라이선스를 적용했다.
Hurston-1은 주로 미국 영어를 대상으로 하며, Southern American와 Regional African English 액센트를 중점적으로 지원한다. 프로젝트는 2021년부터 명확한 승인을 받은 음성 데이터를 수집했다. 총 2만 명 이상의 화자, 100만 개 이상의 녹음, 1,800시간이 넘는 오디오가 확보됐지만, Hurston-1은 실제 그중 136시간만 사용했다.
이 수치는 ‘지원하는 음성 종류가 몇 개인가’보다 더 주목할 만하다. TTS 모델의 차이는 음색의 개수보다 먼저, 데이터를 누가 녹음했는지와 발화 방식이 충분히 다_VARI한지에서 드러난다.
方言 액센트부터 해결한 136시간의 오디오
Hurston-1은 저대역폭 TTS 모델로, Ameriсan English에 집중하면서 Southern American와 Regional African English를 강화하는 방향을 택했다.
저대역폭은 일반적으로 오디오 샘플링 레이트나 주파수 구성이 일반적인 광대역 음성 모델보다 낮은 것을 뜻한다. 대역폭이 제한적이라고 해서 모델의 가치가 낮아지는 것은 아니다. 전화, 고객 상담, 팟캐스트 제작, 임베디드 장치, 실시간 Agent는 녹음실 수준의 음질보다 전송 비용, 응답 속도, 실행 환경을 우선할 수 있다.
Destined AI의 본사는 애틀랜타에 있다. 개발자들은 더 많은 사람들이 음성과 AI를 보다 자연스럽게Interaction하도록 만드는 것이 목표라고|下载한다. 方言 지원은 이 목표를 구체화한 결과다.
범용 영어 TTS는 ‘영어처럼 들린다’는 결과를 만드는 것은 어렵지 않다. 하지만 특정 지역의 발화 속도, 어휘 선택, 발음 습관을 반영하면 모델이 갑자기 현지 사람처럼 들리지 않거나 어색한 음성을 생성할 수 있다.
Hurston-1은 남부 미국 액센트와 Regional African English에서 출발했다. 모든 方言을 포괄한다고 주장한 것이 아니라, 주류 데이터에서 오랫동안 무시되었던 집단을 먼저 다룬 선택이다. 막연한 ‘다양한 액센트 지원’보다 검증하기 쉬운 접근이다.
2만 명 규모의 승인 데이터가 프로젝트의 토대
Destined AI는 2021년부터 음성 데이터를 수집했다. 프로젝트 소개에 따르면 모든 데이터에는 화자의 명시적인 승인이 있었다. 누적 규모는 2만 명 이상의 화자, 100만 개 이상의 녹음, 1,800시간이 넘는 오디오다.
Hurston-1은 이 가운데 136시간의 오디오만 사용했다.
즉, 모델은 전체 데이터를 학습한 것이 아니다. 공개된 수치는 최소한 두 가지를 보여준다. 첫째, 프로젝트가 대규모 승인 말뭉치를 확보했다. 둘째, 이번에 공개한 모델은 그중 일부에 해당하는 작은 구간만 사용했다.
음성 모델에서 승인의 가치는 법적 위험을 줄이는 데 그치지 않는다. 화자가 어떤 상황에서 녹음해도 되는지, 어떤 문장을 사용할 수 있는지, 공개와 파생 사용이 허용되는지가 최종 데이터의 범위에 영향을 준다.
方言의 경우 특히 그렇다. 전국 공통 모델은 ‘평균적인 영어’가 필요하지만, 方言 모델은 서로 다른 지역의 사람들이 실제로 어떻게 말하는지를 알아야 한다. 평균값은 차이를 평평하게 지워버린다. 규모가 크고 다양한 화자는 모델이 한 지역의 액센트를 다른 집단의 특성과 잘못 연결하는 문제를 줄일 수 있다.
다만 2만 명의 화자가 곧 2만 개의 안정적이고 식별 가능한 음색을 의미하지는 않는다. 모델이 실제로 무엇을 학습할 수 있는지는 화자 분포, 녹음 길이, 텍스트 유형, 학습 구간의 표본 추출 방식에 달려 있다. 승인된 데이터의 규모만으로 액센트 정확도를 판단할 수는 없다.
저대역폭 TTS가 음성 가치도 낮다는 뜻은 아니다
저대역폭을 ‘음질이 조금 나쁜 축소판’으로 이해하면 실제 제품의 비용 제약을 놓치게 된다.
语音 상담 시스템이 하루 100만 건의 요청을 처리한다고 가정하자. 오디오 샘플링 규격이 48 kHz에서 더 낮은 수준으로 내려가면 한 건마다 절약되는 데이터는 적더라도, 이를 요청 규모에 적용했을 때 대역폭, 저장소, 추론 비용에 영향을 준다. 실시간 음성 Agent에서는 첫 패킷 지연 역시 중요하다.
저대역폭 모델이 적합한 시나리오는 다음과 같다.
- 전화 및 고객 상담 시스템
- 대역폭이 제한된 지역의 음성 인터페이스
- 비용에 민감한 대량 콘텐츠 생성
- 리소스가 제한된 로컬 또는 엣지 배포
- 액센트 적응 여부를 먼저 검증한 뒤 음질을 높일 business 프로토타입
하지만 저대역폭에는 명확한 대가가 있다. 높은 주파수 디테일의 손실은 치경음, 파열음, 복잡한 모음의 왜곡을 키울 수 있다. 학습 데이터가 부족한 약소 계층의 액센트는 ‘그냥 자연스럽지 않게 들리는 수준’을 넘어 발음 오류를 낳을 수도 있다.
따라서 TTS 검증은 몇 명에게 단순히 들어보게 하는 것으로 끝나서는 안 된다. 액센트별로 화자를 나누고 동일한 테스트 문장을 사용하여 음소 오류율, 발음 오류율, 운율의 자연스러움, 추론 지연을 기록해야 한다.
제품 팀은 두 가지를 구분해야 한다. 모델이 특정 方言의 읽는 방법을 아는가, 그리고 충분히 안정적인 음색을 생성할 수 있는가다. 액센트가 정확해도 모든 화자가 자기 목소리를 알아들을 수 있다는 뜻은 아니다.
오픈소스 모델을 실제 서비스에 쓰기까지 남은 단계
Hurston-1의 Hugging Face 페이지에서 바로 시작할 수 있지만, ‘다운로드할 수 있다’와 ‘운영 환경에 올릴 수 있다’ 사이에는 아직 거리가 있다.
첫째는 추론 스택을 확인해야 한다. 배포 전에 페이지에 나온 Python 패키지, 모델 클래스, 예시 매개변수가 현재 버전 조합에서 재현되는지 검사해야 한다. Transformers, PyTorch, CUDA의 모든 버전 조합이 호환된다고 미리 가정하면 안 된다.
최소한의 환경 검사는 다음과 같이 작성할 수 있다.
python -m venv .venv
source .venv/bin/activate
pip install torch transformers
python -c "import torch, transformers; print(torch.__version__, transformers.__version__)"
이 코드는 핵심 의존성을 import할 수 있는지만 확인하며, 프로젝트 README의 전체 설치 절차를 대신하지 않는다. 실제 배포에서는 의존성 버전을 고정하고 운영체제, Python, PyTorch, Transformers, 모델 revision, GPU 모델을 기록해야 한다.
둘째는 비용을 계산해야 한다. 최소한 다음 항목을 측정한다.
- 실시간 요소, 즉 1초 오디오를 생성하는 데 필요한 계산 시간
- 첫 패킷 지연
- 문장 하나를 생성하는 데 걸리는 시간
- VRAM 또는 메모리 사용량
- 동시 요청 환경에서의 처리량
실시간 음성 Agent에 사용한다면 ASR, 대화 모델, TTS를 포함한 종단 간 지연도 추가해야 한다. TDS만 따로 속도를 측정하면 전체 인터랙션 경험을 과대평가하기 쉽다.
셋째는 方言 성능을 평가해야 한다. ‘어떤 사람처럼 들리는가’라는 주관적 인상을 테스트로 대신해서는 안 된다. 목표 액센트의 화자가 참여하는 맹검사를 진행하고, 동일한 텍스트로 Hurston-1과 범용 모델을 비교하는 편이 좋다.
넷째는 지원 범위의 경계를 확인해야 한다. 페이지는 Southern American와 Regional African English를 중점적으로 지원한다고 설명하지만, 현재 소개만으로 모든 하위 영역이 균형 있게 다뤄졌다고 증명할 수는 없다. 표본 편향, 연령 차이, 성별 차이, 어휘 차이가 결과에 영향을 줄 수 있다.
마지막으로 데이터 사용 허가를 검토해야 한다. Apache-2.0는 코드와 모델에 대한 라이선스지만, 학습 데이터에 포함된 화자의 승인을 모델 라이선스만 보고 한꺼번에 생략할 수는 없다.企业在 도입할 때는 데이터 출처 설명, 동의 기록, 허용된 사용 범위도 보관해야 한다.
원천 정보는 Hugging Face 프로젝트 페이지에서 확인할 수 있다.
편집자 관점
Hurston-1의 중요한 점은 오픈소스 음성이 두 개 늘었다는 데 있지 않다. ‘액센트 지원’을 검증 가능한 데이터 문제로 분해했다는 데 있다. 누가 녹음에 참여했고, 승인이 명확한지, 학습 구간이 어떤 집단을 포함하는지가 핵심이다. 주류 TTS는 대체로 평균적인 듣기를 추구하지만 方言 모델은 분포의 차이를 처리해야 하므로 목표가 본질적으로 더 복잡하다.
앞으로의 경쟁은 음색 개수에 머물지 않고 세 가지로 이동할 가능성이 크다. 方言별로 나눈 평가 데이터셋, 입증 가능한 승인 경로, 지연과 비용을 지키며 작동하는 저대역폭 추론 체인이다. Apache-2.0는 중요하지만 라이선스일 뿐 품질을 증명하는 것은 아니다.
이번 프로젝트가 이전 사례와 다른 점은 대규모 승인 데이터 토대를 먼저 보여준 뒤, 136시간의 오디오만 사용한 저대역폭 모델을 공개했다는 것이다. 전체 규모와 학습 구간을 함께 공개해 개발자가 접근 방식을 판단할 수 있게 했다. 다만 공개된 수치만으로는 각 하위 액센트에서의 정확도를 알 수 없다. 해당 부분은 커뮤니티의 재현과 목표 집단의 참여 평가를 거쳐야 conclusions을 내릴 수 있다.