Martin Fowler의 글 LLM Voice는 새로운 모델을 공개한 글이 아니다. LLM을 실시간 음성 애플리케이션에 어떻게 통합할 것인지를 다루는, 더 구체적이면서도 까다로운 주제를 다룬다.
이 글이 Hacker News 메인에 올라간 뒤 210점과 123개의 댓글을 받은 것은 개발자들이 높은 관심을 보였다는 뜻이다. 그러나 popularity가 곧 성숙한 해결책을 의미하지는 않는다. 오히려 댓글에 등장한 구현 비용과 아키텍처를 둘러싼 논쟁은 음성 Agent가 안정적인 제품에 도달하려면 아직 멀었다는 사실을 드러낸다.
원문: https://martinfowler.com/bliki/LLM-Voice.html
Hacker News 토론: https://news.ycombinator.com/item?id=50290177
새 모델 공개가 아닌 논의
Fowler는 새로운 음성 모델을 공개하지 않았고, 새로운 benchmark도 제시하지 않았다. 원문은 streaming 처리, 지연 시간, interrupting, 상태 관리를 중심으로 한 아키텍처와 엔지니어링 방법론에 대한 토론이다.
이 구분이 중요하다.
음성 기능은 ASR, LLM, TTS의 조합으로 구현할 수도 있고, end-to-end 음성 모델에서 가져올 수도 있다. 하지만 제품이 실제로 쓸 만한지는 ‘마지막 답변이 맞느냐’만으로 결정되지 않는다. 사용자가 말을 마친 뒤 2초를 기다려야 Agent가 응답을 시작하거나, 어시스턴트가 답을 읽는 중 사용자가 ‘멈춰’라고 해도 끝까지 계속 말하는 상황은 가끔 어휘가 부정확한 것보다 훨씬 치명적이다.
따라서 LLM Voice를 평가할 때 모델 파라미터나 텍스트 QA 점수만 볼 수는 없다. 실시간 음성은 하나의 시스템 파이프라인이며, 각 단계에서 대기 시간, 음절 누락, 상태 오류가 발생할 수 있다.
반常识: 대화 기능과 제품 가능성은 다르다
가장 흔한 prototype은 다음처럼 구성된다.
- 음성을 녹음한다.
- ASR을 호출해 오디오를 텍스트로 변환한다.
- 텍스트를 LLM에 전달한다.
- 답변을 TTS에 전달한다.
- 오디오를 재생한다.
코드는 동작하고 데모도 만들 수 있다. 하지만 이는 실시간 음성 Agent라기보다 녹음 메세지 재생 파이프라인에 가깝다.
진짜 난점은 세 가지다.
- End-to-end 지연 시간. 사용자가 말을 끝낸 뒤 시스템은 빠르게 사용자의 발화를 확인하고 재생 가능한 음성을 생성하기 시작해야 한다.
- Streaming 출력. 전체 답변을 만든 뒤 합성하면 아키텍처는 단순해지지만 대화 같은 느낌은 사라진다.
- 예기치 않은 interrupting. 사용자는 질문을 바꾸거나, 어시스턴트를 수정하거나, 일시 정지를 요청하거나, 단순히 말을 반복할 수도 있다. Agent는 이러한 행위를 인식하고 기존 작업을 계속 수행하지 않아야 한다.
따라서 ‘ASR, LLM, TTS를 연결하는 것’은 그저 통합 작업일 뿐이다. 제품 경험을 결정하는 것은 연결 이후의 상태 제어다.
아키텍처 분해: 실시간 음성 파이프라인
실시간 음성 파이프라인은 다섯 계층으로 나눌 수 있다.
1. 오디오 수집
이 계층은 사용자가 완전히 말을 끝낸 뒤 제출하는 대신 오디오를 지속적으로 수집해야 한다. 마이크는 보통 20밀리초 또는 30밀리초처럼 고정 길이의 frame을 생성한다.
하지만 수집한 모든 데이터를 곧바로 인식에 보내서는 안 된다. Voice Activity Detection(VAD)은 사용자가 말을 시작하거나 끝냈는지 판단하는 데 도움을 준다. 고정 임계값은 소음, 잠깐의 침묵, 자연스러운 말속도에서 오판하기 쉽다. 더 안정적인 방식은 VAD, ASR 중간 결과, server-side state machine을 결합하는 것이다.
2. 음성 인식
ASR은 streaming 처리가 적합하다. 시스템은 partial transcript를 계속 출력해 application이 사용자가 무엇을 말했는지 파악하고, interrupting이 발생했는지도 최대한 빨리 판단할 수 있어야 한다.
final transcript는 최종 의도를 생성하는 데 사용한다. 여기에는 일반적인 trade-off가 있다. Streaming 인식은 더 빠르지만 문맥 변화에 따라 앞서 나온 텍스트를 수정할 수 있다. 구간별 인식은 상대로 정확하지만 LLM에 요청을 전달하는 시점이 늦어진다.
실제 시스템에서는 두 방식이 함께 필요한 경우가 많다. partial transcript는 실시간 상태 관리에 사용하고, final transcript는 신뢰성 있는 실행에 사용한다.
3. LLM 추론
LLM 역시 token을 streaming 출력하는 방식이 적합하다. 중요한 것은 첫 token을 빨리 생성하는 것만이 아니라, 첫 재생 가능한 음성 조각을 최대한 빨리 만드는 것이다.
이를 위해서는 LLM, 텍스트 정규화, TTS, 재생이 하나의 pipeline을 이루어야 한다. 하나씩 순서대로 기다리는 방식은 안 된다. 첫 문장이 생성되면 곧바로 TTS에 전달할 수 있고, TTS가 첫 오디오 batch를 출력하면 player가 소리를 내기 시작할 수 있다. 이후 문장도 계속 생성과 합성을 진행한다.
답변이 짧다면 효과가 좋다. 하지만 날씨, 주문, 데이터베이스를 호출해야 한다면 지연 구조가 달라진다. 이때는 ‘조회 중입니다’라고 먼저 말하는 것과 tool을 바로 호출하는 것 사이에서 제품 차원을 고려해야 한다.
4. 음성 합성
TTS도 streaming 입력과 출력을 지원해야 한다. 전체 텍스트를 한 번에 합성하면 음질은 안정적이지만 사용자가 완성된 답을 기다려야 한다. 문장 단위로 나누면 더 빨리 말할 수 있지만 부적절한 의미 경계에서 문장이 끊길 수 있다.
실용적인 절충안은 완전한 문장 단위로 세그먼트하는 것이다. 수십 밀리초의 이득 때문에 문단을 들리는 데 단절감 있는 짧은 문장으로 쪼개지는 않도록 해야 한다.
5. 재생
재생 계층은 취소, 버퍼 비우기, 음성 교체 기능을 지원해야 한다. 그렇지 않으면 사용자가 interrupting한 뒤에도 기존 오디오 queue가 계속 재생될 수 있다.
더 까다로운 문제는 echo와 self-interrupting이다. 스피커에서 재생된 어시스턴트의 음성이 마이크에 다시 수집되어 사용자가 말한 것으로 잘못 판단될 수 있다. Agent가 자기 음성 때문에 자신을 interrupting하지 않도록 playback state, AEC 또는 다른 echo suppression 기법이 필요하다.
전체 파이프라인은 다음과 같이 요약할 수 있다.
microphone frames
-> streaming ASR + VAD
-> streaming LLM
-> sentence chunks
-> streaming TTS
-> cancellable audio playback
이것이 유일한 구현은 아니지만, ‘한 번 녹음하고 한 번 답변하는’ 방식보다 실시간 음성 제품에 가깝다.
엔지니어링 난점: interrupting과 상태 관리
Interrupting은 음성 Agent가 넘어야 할 큰 문턱이다.
사용자가 입력을 시작하면 시스템은 최소 세 가지 의도를 고려해야 한다.
- 정보를 보충하는 것
- 기존 요청을 수정하거나 취소하는 것
- 새로운 대화를 시작하는 것
모든 경우를 ‘재생 중지’로 처리할 수는 없다. 시스템은 현재 Agent가 듣는 중인지, 생각하는 중인지, tool을 호출하는 중인지, 응답을 읽는 중인지, 확인을 기다리는 중인지 알아야 한다.
구현 가능한 state machine은 다음과 같이 나눌 수 있다.
IDLE -> LISTENING -> THINKING -> SPEAKING
^ | | |
| +---- USER_INTERRUPT ----+
+-----------------------------------+
하지만 실제 구현에서는 상태명만으로 충분하지 않다. interrupting마다 request ID, playback generation ID, tool 호출 lifecycle도 함께 처리해야 한다.
재생 취소와 요청 취소는 다르다
사용자가 ‘멈춰’라고 말했을 때 음성을 더 듣고 싶지 않은 것일 수도 있고, 작업 전체를 취소하라는 뜻일 수도 있다. 둘을 구분해야 한다.
안정적인 방법은 계층적으로 취소하는 것이다.
- 현재 오디오 재생을 즉시 취소한다.
- 현재 대화 turn을 무효로 표시한다.
- 아직 소비되지 않은 이전 turn의 LLM 및 TTS 출력을 버린다.
- 외부 tool 호출은 별도로 취소 여부를 결정한다.
Context replay
Streaming ASR은 인식 결과를 계속 수정한다. LLM은 이미 오래된 transcript를 바탕으로 요청을 보냈거나 tool 호출을 시작했을 수 있다. 새로운 transcript가 도착했을 때 단순히 새 텍스트를 history 뒤에 붙이면 ‘이전 질문’과 ‘새 질문’이 동시에 남는다.
더 안정적인 방법은 대화 turn마다 ID를 부여하고, 해당 turn에서 사용한 transcript version을 기록하는 것이다. 새로운 인식 결과가 이전 버전을 대체하면, 여전히 유효한 요청만 계속 실행할 수 있다.
이미 전송된 tool 호출에서는 ‘HTTP 요청 취소’와 ‘늦게 도착한 결과 무시’를 구분해야 한다. 후자는 자주 간과된다. tool이 이미 끝났더라도 Agent가 오래된 결과를 새 대화에 끼워 넣을 수 있다.
Agent tool 호출
음성 Agent에는 순수 텍스트 Agent보다 불확실성이 한 층 더 있다. 사용자는 긴 텍스트를 보지 못하고, 현재 어떤 작업이 실행되는지도 확인하기 어렵다.
결제, 삭제, 메시지 전송처럼 중요한 동작에는 짧고 interrupting 가능한 확인 과정이 필요하다. 확인 후 사용자가 말을 바꾸면 기존 확인 상태를 취소하고 작업을 계속하면 안 된다.
Tool 호출 중이라고 해서 완전히 침묵할 필요도 없다. ‘주문을 조회하고 있습니다’ 같은 짧은 상태 안내는 대기 중 느끼는 불안을 줄일 수 있지만, 이 문장 자체에도 지연 시간과 interrupting 문제가 따른다. 음성 안내 여부는 tool 실행 시간에 따라 정하는 편이 좋다. 수십 밀리초 안에 끝나는 작업은 조용히 실행하고, 오래 걸리는 작업은 먼저 상태를 알린다.
평가 방법: 답변 정확도만 보지 말 것
Fowler의 글에는 명확한 새 benchmark나 정량 성능 데이터가 없다. 따라서 이미 완성된적이고 통일된 평가 기준이 있다고 가정해서는 안 된다.
대신 각 팀이 자체적인 시스템 수준 지표를 구축할 수 있다.
First packet latency
사용자가 말을 끝낸 시점부터 시스템이 첫 번째 유효한 음성을 재생하기까지의 시간이다. ‘첫 token 지연 시간’보다 사용자 체감에 가깝다.
측정할 때는 시작점과 종료점을 명확히 정해야 한다. 마지막 오디오 frame이 server에 도착한 시점인가, server가 사용자의 발화가 끝났다고 판단한 시점인가? 첫 TTS 오디오가 기록된 시점인가, 실제 스피커를 통해 재생된 시점인가? 기준이 다르면 결과도 크게 달라진다.
전체 응답 시간
사용자가 말을 끝낸 시점부터 음성 답변이 완성될 때까지의 시간이다. 긴 답변과 tool 호출을 평가하는 데 적합하지만, first packet latency를 대신할 수는 없다.
Interrupting 복구 시간
사용자가 interrupting한 시점부터 기존 오디오가 멈추고 시스템이 올바른 상태로 전환될 때까지의 시간이다. 사용자가 ‘멈춰’라고 한 뒤에도 어시스턴트가 3초 더 말한다면 이 지표는 의미가 없다.
Tool 호출 성공률
최소한 다음 항목을 구분해야 한다.
- 올바른 tool을 선택했는가
- 파라미터가 정확했는가
- interrupting 이후 잘못 실행되지 않았는가
- 늦게 도착한 결과가 현재 대화를 오염시키지 않았는가
- 확인이 필요한 동작을 올바르게 확인하거나 취소했는가
음성과 상태의 일관성
최종 텍스트가 정확해도 실시간 처리 과정이 올바르다는 보장은 없다. 소음, 반복, 말하기 시작, 긴 정지, network jitter, ASR 텍스트 수정도 함께 테스트해야 한다.
간단한 script로 핵심 시점을 기록한 뒤 수동 annotation을 결합해 사용자가 대화를 계속할 의향이 있는지 판단할 수 있다.
from time import perf_counter
start = perf_counter()
first_audio_at = None
# 실제 구현에서는 streaming TTS의 첫 오디오 callback으로 대체
for chunk in audio_chunks():
if first_audio_at is None:
first_audio_at = perf_counter()
print(f"first_packet_ms={(first_audio_at - start) * 1000:.1f}")
play(chunk)
이것은 완전한 평가 framework가 아니라 timing을 시작하는 코드일 뿐이다. Production 환경에서는 request ID, transcript version, interrupting event, tool 호출 상태도 기록해야 한다. 그렇지 않으면 지연 시간이 어느 계층에서 발생했는지 파악하기 어렵다.
편집자 관점: 음성 Agent의 제품 경계
음성은 기존 interface를 단순히 대체하지 않는다. 키보드, 버튼, 웹페이지는 검색과 편집이 편리하고 빠르게 훑어볼 수 있으며, 복잡한 입력 처리에도 적합하다. 음성은 기존 제품에 새로운 진입점이 될 가능성이 더 높지, 유일한 interface가 될 가능성은 낮다.
이번讨论가 과거의 ASR 어시스턴트와 다른 점은 LLM이 실시간 상호작용 loop에 들어온다는 것이다. 기존 시스템은 보통 ‘변환—조회—안내’ 구조였지만, LLM Voice는 이해하고, 추론하고, tool을 실행하면서 사용자의 변심도 즉시 처리해야 한다. 시스템 상태는 일직선으로 이어지는 request chain에서 계속 변화하는 state machine으로 바뀐다.
음성 Agent의 경쟁력은 음색의 자연스러움에 국한되지 않는다. First packet latency, interrupting 복구, 늦은 결과 격리가 더 중요한 product moat이 될 가능성이 크다. 모델은 교체할 수 있지만, 아키텍처와 평가 체계는 필요할 때 즉석으로 보완하기 어렵다.
확실하지 않은 부분은 end-to-end 음성 모델이 ASR—LLM—TTS 구조의 많은 문제를 빠르게 해소할 수 있을지다. 그러하더라도 tool 실행, 권한 제어, 확인 mechanism, 상태 관리는 여전히 application layer에 남는다. 모델이 빨라진다고 요청 취소가 자동으로 신뢰성을 갖게 되지는 않는다.