제품

Dessa 풀 듀플렉스 음성 모델 실전 평가

Block의 Dessa는 사용자의 말 중간에 자연스럽게 끼어들고 새 요청을 반영하는 풀 듀플렉스 음성 모델을 제공한다. 실제 Agent로 활용하려면 지연 시간, 오작동률, 문맥 유지, 과업 완료율을 함께 측정해야 한다.

글자 크기

Block의 Dessa가 풀 듀플렉스 음성 모델을 공개하고 Hacker News 메인페이지에 올랐다. 실시간 음성을 실제로 배포 가능한 Agent로 만들 수 있을까? 아래는 재현 가능한 평가 방법을 정리한 내용이다.

프로젝트 원문: block.xyz/dessa

토론 원문: Hacker News, 92점, 26개 댓글

Dessa는 무엇이 다른가

传统的 음성 대화는 보통 턴 단위로 진행된다.

  1. 사용자가 말을 시작한다.
  2. 시스템이 사용자가 말을 마쳤는지 판단한다.
  3. 사용자가 멈춘 뒤 모델이 응답하기 시작한다.
  4. 사용자는 다음 턴을 다시 기다린다.

Dessa는 여기에 풀 듀플렉스 방식을 적용한다. 모델이 음성을 출력하는 동안에도 새로운 입력을 계속 이해할 수 있다. 사용자가 “아니, 환불은 잠깐만요”라고 말하면, 문장 전체가 끝날 때까지 기다리지 않고 즉시 멈출 수 있다.

프로젝트 페이지는 이 모델을 “the most authentic full-duplex speech model ever built”로 소개한다. 페이지 설명에 따르면 자연스러운 인터럽션을 처리하고, 인터럽션 이후의 문맥을 다음 응답에 반영한다. 단순히 이전 음성 재생을 취소하는 방식과는 다르다.

이는 TTS를 재생하면서 마이크만 연결하는 방식과 같은 것이 아니다. 후자는 소리를 수집할 수 있지만 아직 재생되지 않은 응답을 실시간으로 다시 작성할 수는 없다. 풀 듀플렉스 모델은 다음 세 가지를 동시에 처리해야 한다.

  • 사용자의 입력을 지속적으로 이해한다.
  • 입력이 보충, 반문, 중단 요청 중 무엇인지 판단한다.
  • 새로운 문맥에 맞춰 현재 응답을 조정한다.

고정된 스크립트로 작동하는 음성 봇과의 주요 차이이기도 하다. 스크립트 기반 제품은几句安抚话를 끼워 넣을 수는 있지만, “주소를 상하이로 바꿔줘”처럼 대화 도중에 변경되는 요청을 처리하기는 어렵다.

다만 프로젝트 페이지의 기능 설명만으로 실제 배포 품질을 판단할 수는 없다. 인터럽션을 자주 잘못 판단하는지, 여러 차례의 정보를 안정적으로 유지하는지는 실제 환경에서 검증해야 한다.

92점의 관심背后에 놓인 핵심 문제

92점과 26개의 댓글은 개발자들이 실시간 음성에 실제로 관심이 있다는 뜻이다. 하지만 토론의 인기가 평가를 대신할 수는 없다. 온라인 고객 서비스에서는 하루에 수만 건의 통화가 발생할 수 있다. 잘못된 인터럽션이 한 번 늘 때마다 모델 생성 비용이 낭비되고, 놓친 인터럽션이 한 번 늘 때마다 사용자가 같은 말을 반복해야 한다. 결제 시나리오에서는 이런 문제가 그대로 티켓으로 이어진다.

더 중요한 점은 개발자들이 ‘자연스러움’을 주관적인 인상으로 판단하기 쉽다는 것이다.

어떤 시연에서는 사용자가 말을 시작한 지 300밀리초 이내에 모델이 멈춰 지능적으로 보이곤 했다. 하지만 시끄러운 환경, 긴 문맥, 불안정한 네트워크에서는 결론이 완전히 달라질 수 있다. 자연스러운 대화에는 최소한 다음 세 층위가 필요하다.

  • 응답 속도: 지연 시간이 충분히 낮은가
  • 상호작용 판단: 언제 멈추고 언제 계속해야 하는 아는가
  • 과업 성능: 변경 사항이 생겨도 일을 끝까지 처리하는가

앞의 두 층위를 아무리 잘 구현해도 과업을 실패하면 의미가 없다.

HN 댓글에서 눈여겨볼 만한 부분은 “사람처럼 보인다”는 평가가 아니라, 개발자들이 어떤 지표로 이를 반박했는지다. 실제 제품 팀은 가장 잘된 녹음 몇 개를 고르기보다 실패 사례를 직접 측정해야 한다.

풀 듀플렉스가 자연스러운 대화는 아니다

“the most authentic full-duplex speech model ever built”는 강한 홍보 문구지만, 두 가지 개념을 분리해서 생각해야 한다.

첫째는 풀 듀플렉스다. 이는 모델이 말하는 동안에도 입력을 수신하고 이해하는 통신 방식이다. 정보 흐름을 동시에 처리할 수 있는지를 해결한다.

둘째는 자연스러움이다. 이는 사용자가 기계의 표현 방식을 배울 필요가 없고, 인터럽션할 때마다 고정된 웨이크 워드를 반복하지 않아도 되는 상호작용 결과다.

풀 듀플렉스를 구현했다고 해서 결과가 자연스러운 것은 아니다. 반대의 경우도 마찬가지다. 팀이 사람처럼 보이는 대사를 대량으로 녹음하고, 사용자의 말 속도에 맞춰 끊는 위치를 조정할 수 있다. 그래도 본질은 대본을 한 차례씩 읽고 휴식 타이밍을 잘 조절한 것이다.

평가할 때는 최소한 다음 항목을 분리해 기록해야 한다.

평가 영역 확인할 질문
오디오 경험 음색, 말 속도, 끊김이 연속된 대화에 적합한가
상호작용 경험 말의 끼어들기, 맞장구, 침묵을 올바르게 구분하는가
과업 경험 인터럽션 이후에도 원래 과업을 계속 완료하는가

“사용자가 말하다가 주소를 바꾸는” 영상 하나만으로는 “사용자가 기침한다”, “옆에서 다른 사람이 말한다”, “사용자가 맞장구만 하고 요청을 수정하지 않는다” 같은 일반적인 상황을 모두 검증할 수 없다.

실전 평가에서 무엇을 측정해야 할까

먼저 모델 버전, 오디오 장치, 샘플레이트, 네트워크 조건을 고정한 뒤 다음 다섯 가지 지표를 기록하는 것이 좋다.

1. 첫 음성까지의 지연 시간

사용자가 의도를 끝까지 표현한 시점부터 사용자가 인지할 수 있는 첫 오디오가 재생되기까지의 P50, P90, P95를 측정한다.

평균값만 보고하면 안 된다. 고객 서비스 환경에서는 P95가 대다수 사용자가 실제로 체감하는 대기 시간에 더 가깝다. 네트워크 지연과 모델 지연을 한데 섞으면 문제를 찾는 과정이 크게 느려진다.

2. 인터럽션 이후 복구 시간

사용자가 인터럽션한 이후 두 구간을 측정한다.

  • 중단 지연: 모델이 인터럽션을 받은 뒤 재생 중단까지 걸린 시간
  • 복구 지연: 재생을 멈춘 뒤 다시 유효한 응답을 제공하기까지 걸린 시간

빠르게 멈추는 것과 빠르게 복구하는 것은 다르다. 일부 구현은 즉시 음성을 끈 다음 전체 추론을 다시 수행한다. 이 경우 청취 경험은 여전히 어색할 수 있다.

3. 오작동률

기침, 키보드 소리, 주변 TV 소리, 단순한 맞장구 등 지시자가 아닌 소리를 준비한다.

다음 항목을 함께 보고하는 것이 좋다.

  • 잘못된 재생 중단률
  • 잘못된 계속 재생률
  • 웨이크 워드 외 유효한 지시 누인식률

실제 대화에서는 오작동이 누인식보다破坏적인 경우가 많다. 모델이 갑자기 말을 멈추면 사용자는 바로 전화를 끊을 수 있다.

4. 여러 차례의 문맥 유지

10차례 이상 대화를 연속으로 진행하고, 중간에 핵심 조건을 변경한다.

“내일 상하이 가는 표를 예약해줘.”
“그럼 모레 오후로 바꿔줘.”
“예산은 800위안 이하로.”

이후 모델이 이전 날짜, 도시, 예산을 계속 사용하지 않는지 확인한다.

이러한 테스트는 한 차례의 “기억하는가”를 묻는 테스트보다 까다롭다. 풀 듀플렉스 모델은 오디오 상태를 유지할 수도 있고, 계속 늘어나는 텍스트 문맥만 보유할 수도 있다. 두 방식은 인터럽션 이후表现出 서로 다른 성능을 보인다.

5. 과업 완료율

고객 서비스의 성능은 대화 점수가 아니라 최종 과업 결과로 측정해야 한다.

다음 항목을 최소한 기록한다.

  • 의도 인식 정확도
  • 필수 정보 수집 완료율
  • 도구 호출 성공률
  • 엔드투엔드 과업 완료율
  • 상담원 연결 전환률
  • 평균 처리 시간

실패한 전사 기록도 보관해야 한다. 성공한 녹음만 남기면 실패 분포를 알 수 없다. 그러면 문제가 ASR, 대화 정책, 모델 추론, 하위 API 중 어디에서 발생했는지 파악하기 어렵다.

음성 Agent의 제품 경계

풀 듀플렉스는 사용자의 대기 시간을 줄이는 데 가장 잘 맞는다.

고객 서비스, 예약, 사후 문의에서는 사용자가 긴 답이 끝날 때까지 기다리지 않고 바로 “아니요, 주문은 1234입니다”라고 말할 수 있다. 짧은 과업에서는 특히 가치가 크다.

동반형 제품의 제약은 더 많다. 사용자가 많은 말을 하게 된다고 해서 시스템이 그 내용을 무제한으로 저장하고 활용할 수 있다는 뜻은 아니다. 녹음 보관, 민감 정보 식별, 미성년자 환경, 삭제 mechanisms를 별도로 설계해야 한다.

‘听起来自然’만으로 해결할 수 없는 과업도 있다.

  • 신원 확인
  • 지불 승인
  • 주소와 금액 재확인
  • 개인정보 사용 동의
  • 환불 및 주문 취소

이러한 단계에는 신뢰할 수 있는 도구 체인이 필요하다. 예를 들어 음성 모델은 의도를 수집하고, 상태 머신은 현재 단계를 확인하며, 도구는 실제 동작을 실행한다. 핵심 항목은 사용자가 직접 되읽거나 버튼으로 확인하게 해야 한다.

보다 안정적인 책임 분담은 다음과 같다.

모델은 이해와 표현을 담당하고, 비즈니스 시스템은 상태를 관리하며, 규칙은 승인을 담당한다.

모델이 자연스럽게 인터럽션할 수 있다는 이유로 모든 책임을 동시에 맡겨서는 안 된다. 자연스러운 상호작용과 강한 제약 아래 실행되는 업무는 서로 다른 문제다.

편집자 생각

풀 듀플렉스 음성에서 정말 희소한 부분은 ‘모델이 언제든 끼어들 수 있는가’가 아니다. 이 기능은 이미 명확한 기술적 정의가 있으며, Block의 Dessa도 출시 가능한 제품 기능으로 구현했다.

더 중요한 것은 인터럽션 이후 다시 과업의 흐름을 잡을 수 있는가다. 사용자가 “잠깐만요, 다른 주소로 바꿔줘”라고 말하면 시스템은 단순히 ‘들었다’고 보여주는 데서 멈추지 않고, 어떤 파라미터가 무효가 되었는지, 어떤 단계를 다시 수행해야 하는지 알아야 한다.

이번 제품이 이전의 음성 봇과 다른 점은 경쟁 기준이 자연스러운 스크립트에서 실시간 상태를 사용자 입력에 맞춰 계속 갱신할 수 있는지로 이동했다는 것이다. 따라서 단순한 음성 인터페이스를 넘어 AI Agent에 더 가깝다.

다만 실제 전화 환경에서 Dessa의 오작동률, 긴 문맥에서의 안정성, 엔드투엔드 과업 완료율이 얼마나 되는지는 아직 확인하지 못했다. 92점과 26개의 댓글은 수요가 존재함을 보여줄 뿐, 제품 지표가 충분하다는 증거는 아니다. 완벽한 시연 영상 대신 공개 평가와 실패 사례를 확인할 필요가 있다.

출처: https://block.xyz/dessa