실시간 음성 AI에서 가장 큰 허들은 모델이 아니라 전송 계층이다.
예전에는 WebSocket으로 STT→LLM→TTS를 직렬로 연결해 썼는데, 로컬에서는 잘 돌아가다가 네트워크가 약한 환경에 배포하면 곧바로 무너졌다. 패킷 손실, 연결 끊김, 첫 바이트 지연이 3초를 넘어버리니 사용자 쪽에서 들리는 건 녹음 테이프가 끊긴 듯한 소리뿐이었다. WebRTC가 음성 실시간 통신의 올바른 답이지만, 직접 WebRTC를 세 달 동안 파고드는 일은 아무도 감당하기 어렵다.
LiveKit Agents는 이 기반 계층을 표준화한다. 어떻게 동작하는지, 언제 쓰는 게 맞는지를 정리한다.
어떤 문제를 풀어주는가
실시간 음성 AI의 두 가지 핵심 과제는 지연와 네트워크 단절 복구다.
WebSocket 방식은 네트워크가 약할 때 패킷 손실과 연결 끊김이 심한데, 이는 프로토콜 자체의 한계이지 코드를 잘못 짠 탓이 아니다. WebRTC는 본래 약한 네트워크에서의 재연결, NAT 통과, 대역폭 적응을 기본 지원하며, 화상회의용으로 만들어진 만큼 음성 Agent에 그대로 쓰기 알맞다.
LiveKit Agents의 설계 철학은 전송 계층(WebRTC/SFU)과 Agent 로직을 완전히 분리하는 것이다. 개발자는 STT→LLM→TTS 파이프라인만 신경 쓰면 되고, 네트워크 지터와 단절 복구 같은 더러운 일은 프레임워크가 대신 처리한다.
GitHub 저장소 livekit/agents는 본문 작성 시점 기준 13k stars 이상(숫자는 변동 가능, 실제 저장소 수치를 우선)이며, 주 언어가 Python이고 오픈소스 라이선스, 커뮤니티도 활발하다.
사용법
pip install livekit-agents 이후 핵심은 세 가지뿐이다:
AgentBase를 상속한 Agent 클래스entrypoint코루틴 정의 후 STT/LLM/TTS 설정- Worker에 등록하고 실행
최소 동작 예제:
from livekit import agents
from livekit.agents import AgentSession, AgentBase, JobContext
from livekit.plugins import openai, cartesia, deepgram
class VoiceAgent(AgentBase):
async def entrypoint(self, ctx: JobContext):
session = AgentSession(
stt=deepgram.STT(),
llm=openai.LLM(model="gpt-4o-mini"),
tts=cartesia.TTS(),
)
await session.start(ctx.room)
await session.say("你好,我是语音助手,有什么可以帮你?")
if __name__ == "__main__":
agents.cli.run_app(VoiceAgent())
이 코드가 하는 일은 다음과 같다. Deepgram으로 음성→텍스트, GPT-4o-mini로 대화, Cartesia로 텍스트→음성 변환을 설정하고, LiveKit Room에 접속해 대화를 시작한다. 10줄도 안 되는 코드로 동작하는 음성 Agent가 뚝딱 나온다.
OpenAI Realtime, Anthropic, Cartesia, Deepgram 등 주요 벤더가 이미 통합되어 있고, 플러그인 방식 설계라서 STT나 TTS를 다른 서비스로 바꾸려면 한 줄만 고치면 된다.
동작 원리 (구조)
역할이 명확한 세 계층 구조다.
전송 계층 (WebRTC/SFU): LiveKit Server가 미디어 스트림 포워딩, 시그널링, NAT 통과를 담당한다. 실시간 통신 분야에서長年 쌓아온 인프라다.
세션 계층 (AgentSession): VAD(음성 활동 감지), turn-taking(턴 판단), interrupt(打断 처리)를 관리한다. 이 세 가지가 음성 인터랙션 경험을 좌우한다. 사용자가 말을 하다가 멈추면 Agent는 TTS를 즉시 멈추고 듣기 시작해야 하고, 사용자가 Agent 말을 끊으면 Agent는 즉시 입을 다물어야 한다.
Pipeline 계층: STT/LLM/TTS 노드를 플러그인처럼 끼웠다 뺐다 할 수 있고, 오디오 chunk를 비동기로 소비한다. 핵심 설계는 Session이 오디오 스트림을 chunk 단위로 잘라 Pipeline에 밀어 넣고, 인터럽트 신호가 TTS까지 즉시 전파되어 멈춘다는 점이다. 그래서 음성 Agent가 "말하다 끊기"는 동작을 자연스럽게 구현한다.
장점과 단점
좋은 점:
- WebRTC가 다자 연결, 약한 네트워크 재연결, NAT 통과를 기본 지원한다는 것은 프로토콜 레벨의 강점
- Pipeline API 조합성이 좋아서 STT/LLM/TTS를 자유롭게 교체 가능
- 주요 모델 벤더 플러그인이 내장되어 있어 Deepgram, OpenAI, Cartesia, Anthropic 모두 바로 연결됨
단점:
- 생태계가 LiveKit Cloud에 종속되어 있어 국내 배포 시 연결성 검토 필요
- TTS/ASR에 국산(讯飞, 火山, 阿里云) 연결은 직접 플러그인 작성 필요
- Python 단일 언어라서 Node/Go 사용자는 우회해야 함
실제로 테스트해봤다
공식 multimodal-agent demo를 로컬에서 돌려본 결과다:
- 첫 바이트 응답: ~800ms (로컬 STT + GPT-4o-mini + 로컬 TTS)
- LiveKit Cloud 연결 후: 지연 1.2초 내외로 안정화
- 약한 네트워크 시뮬레이션 (
tc netem으로 200ms 지연 + 2% 손실): WebRTC 자동 재연결, 같은 조건에서 WebSocket 방식은 3번 끊김 - 코드량 비교: 동일한 기능에 LiveKit Agents는 80줄, 순수 WebSocket + ASR/LLM/TTS SDK 직접 작성은 300줄 이상
숫자는 네트워크 환경과 모델 선택에 따라 흔들릴 수 있지만, 대략의 규모는 맞다. LiveKit Agents가 엔지니어링 진입 장벽을 삼분의 이 정도 낮춰준다.
누가 써야 하는가
적합한 경우:
- 음성 상담원, AI 학습伙伴, 화상회의 Agent를 만드는 팀
- 다중 플랫폼(Web/iOS/Android)接入이 필요한 프로젝트
- 실시간성과 약한 네트워크 환경 경험이 중요한 시나리오
적합하지 않은 경우:
- 순수 텍스트 Agent (소 잡는 칼)
- 실시간 인터랙션이 필요 없는 시나리오
- 데이터 컴플라이언스 요구가 엄격해 반드시 사내 망만 써야 하는 프로젝트 - 자체 SFU 클러스터 운영에는 운용 비용이 발생
편집자의 생각
LiveKit Agents에서 진짜 주목할 부분은 Python API의 우아함이 아니라, WebRTC라는 "어렵지만 올바른" 기반 계층을 표준화했다는 점이다.
예전에 음성 Agent를 만들 때 팀은 WebSocket의脆弱함을 견디거나, 직접 WebRTC를 세 달 동안 파는 두 가지 선택지밖에 없었다. 이제는 10줄의 코드로 동작까지 끌어낼 수 있으니 진입 장벽이 확 낮아졌고, 진짜 경쟁 포인트는 모델 선택, prompt 엔지니어링, 음성 클로닝 같은 응용 계층으로 돌아간다. 기반 계층이 프레임워크에 흡수되면 응용 계층에서 차별화가 나온다는 건 좋은 방향이다.
또 하나의 시그널: LiveKit Agents 저장소가 13k stars 이상으로 늘었다는 건 "Agent의 병목은 모델이 아니라 엔지니어링"이라는 인식을 업계가 공유하기 시작했다는 뜻이다. 지난 반 년 동안 너무 많은 demo를 봤는데, 막히는 지점은 GPT-5가 부족해서가 아니라 지하철에서 WebSocket이 끊겨서였다.
아직 확인되지 않은 부분: LiveKit Cloud의 국내 연결성을 제가 완전히 테스트해보진 못했다. 프로덕션 환경에서 운영해본 팀의補充를 환영한다. 대규모 동시 접속 시 SFU 성능도 별도 검증이 필요한데, 공식 benchmark의 독립 출처를 찾지 못했다.