Together.ai 프롬프트 유출: Agent 데이터 경계 붕괴
Together.ai가 2026년 6월과 7월 일부 요청에서 프롬프트가 유출됐다고 밝혔다. Agent의 데이터 흐름을 분석하고 로그 감사, 필드 비식별화, 도구 권한 관리 점검표를 제시한다.
Together.ai는 공식 글 《Security Event: Prompt Leakage for Requests in June and July of 2026》에서 2026년 6월과 7월 일부 제출 요청에서 프롬프트가 유출됐다고 설명했다.
문제는 단순히 프롬프트 한 문장이 노출됐다는 데 그치지 않는다. 모델 컨텍스트에 들어가는 정보에는 사용자 정보, 검색 결과, 도구 파라미터, 업무 데이터가 함께 담기는 경우가 많다. 기업에서 프롬프트는 더 이상 채팅 텍스트가 아니라 실행 데이터가 됐다.
현재 공개된 요약에는 영향을 받은 요청 수, 유출 기간, 공격 경로, 구체적인 기술적 근본 원인이 제시되지 않았다. 따라서 문제를 특정 테넌트 격리 설정의 오류로 단정하거나 Together.ai의 조사 결과를 대신 추정해서는 안 된다.
하지만 이번 사건은 반드시 해결해야 할 문제를 드러냈다. Agent가 외부 모델을 사용하면 개발자가 관리해야 하는 대상은 API 호출 하나가 아니라 데이터 흐름 전체가 된다.
유출된 것은 문장이 아니라 데이터 체인
먼저 prompt에 담기는 데이터를 분리해 보자.
일반적인 고객 서비스 Agent가 모델에 보내는 요청에는 다음과 같은 정보가 포함될 수 있다.
- 사용자 이름, 주문 번호, 대화 기록
- RAG로 검색한 계약 조각, 데이터베이스 레코드, 사내 지식베이스
- Function Calling의 도구 이름과 파라미터
- 시스템 프롬프트, 규칙, 예시, 업무 배경
- Agent가 앞서 생성한 중간 결과
다음은 구조를 단순화한 예시다.
messages = [
{
"role": "system",
"content": "你是订单客服。不得透露用户隐私信息。"
},
{
"role": "user",
"content": "请查询订单 ORD-2048 的物流,并判断是否需要退款。"
},
{
"role": "tool",
"content": "{\"customer_email\": \"lin@example.com\", \"address\": \"上海市浦东新区某地址\"}"
}
]
이 예시는 짧지만 실제 Agent의 prompt는 훨씬 길 수 있다. 민감한 필드는 도구 반환값, 검색 문서, 과거 상태 안에 숨어 있을 가능성이 크다.
Together.ai가 공개한 유출 대상은 사용자가 플랫폼에 제출한 요청 내용이다. 다시 말해, 어떤 내용이든 prompt에 들어가면 잘못된 로그, 오류 샘플, 디버깅 trace 또는 노출되면 안 되는 다른 저장소로 복제될 수 있었다.
일반 애플리케이션이라면 로그 관리 실수 한 번으로 끝날 수도 있다. Agent의 경우 영향이 워크플로를 따라 계속 확산된다. 오염된 요청은 현재 턴의 대화를 노출하는 데 그치지 않고, 앞선 도구 호출에서 쌓인 컨텍스트까지 포함할 수 있다.
기업 고객이라면 문제는 더 복잡하다. 로그에는 request_id, 계정, 테넌트, 타임스탬프, 모델 파라미터가 함께 남는 경우가 많다. 이 필드들을 조합하면 단독으로 분리된 prompt를 특정 고객과 업무 흐름에 다시 연결할 수 있다.
Agent는 일반 채팅보다 위험하다
단일 턴 채팅의 데이터 경로는 짧다.
사용자 → 애플리케이션 → 모델 → 응답
Agent에는 일반적으로 실행 체인이 하나 더 추가된다.
사용자 → Agent → 검색 / 코드 실행 / 외부 API → 모델 재호출 → 작업 실행
모델을 ‘다시 호출’할 때마다 앞서 도구가 반환한 데이터가 prompt에 다시 결합될 수 있다.
예를 들어 코드 수정 Agent는 저장소 파일을 읽고, 의존성 문서를 검색하고, shell을 호출해 테스트를 실행한 뒤 오류 로그를 모델로 돌려보낸다. 이 과정에서 prompt에는 파일 내용, 환경 변수, 테스트 데이터, 접근 토큰 일부, 내부 경로가 포함될 수 있다.
더 중요한 점은 Agent가 작업을 수행한다는 사실이다. 채팅 모델이 잘못된 텍스트를 출력하면 손상은 보통 그 내용에 머문다. Agent가 도구를 잘못 사용하면 이메일을 발송하거나, 데이터베이스를 변경하거나, 코드를 제출하거나, 과금 API를 호출할 수 있다.
따라서 이번 유출을 평가할 때는 ‘어떤 텍스트가 유출됐는지’만 볼 게 아니라 다음 세 가지를 확인해야 한다.
- 유출된 내용으로 개인이나 고객을 식별할 수 있는가?
request_id를 통해 다른 요청과 연결할 수 있는가?- 실행 가능한 도구의 자격 증명, 파라미터, 상태가 포함됐는가?
답 중 하나라도 ‘예라면’ 일반적인 로그 문제가 아니라 Agent의 권한과 데이터 경계 문제다.
외부 모델 체인은 단일 면책 조항으로 관리할 수 없다
외부 모델을 한 번 호출해도 여러 주체를 거칠 수 있다.
내 애플리케이션 → Together.ai → 상위 추론 인프라
애플리케이션은 무엇을 보낼지 결정하고, 모델 호스팅 업체는 요청을 실행하고 격리하며, 상위 인프라는 계산을 담당한다. 각 계층은 일부 정보만 보유하며 일부분의 책임도 진다.
이는 최종 책임자를 찾자는 말이 아니다. 기업에 필요한 것은 검증 가능한 통제이며, 책임 전체를 계약의 면책 조항으로 넘기려는 접근이 아니다.
관리 체계를 다음 네 가지로 나눈다.
첫째, 데이터 최소화. 모든 과거 메시지를 prompt에 넣지 않는다. 현재 작업에 필요한 필드만 전달한다. 검색 결과는 먼저 필드 단위로 잘라내고, 도구 반환값은 먼저 필요한 항목만 남긴다.
def project_tool_result(result: dict) -> dict:
allowed = {"status", "tracking_number", "estimated_delivery_date"}
return {key: value for key, value in result.items() if key in allowed}
둘째, 비식별화. 이메일, 전화번호, 주소, 신분증 번호, 고객 ID를 외부 모델에 원본 그대로 전달해서는 안 된다. 임시 식별자로 대체할 수 있다면 반드시 대체한다.
셋째, 요청 단위 격리. 테넌트, 사용자, 작업마다 별도 식별자를 발급하고 모델 라우팅, 로그, 캐시, trace 전체에서 같은 식별자를 사용한다. 호출자가 입력한 user 필드에 의존해서는 안 된다. 이는 단순한 라벨일 뿐이다.
넷째, 도구 최소 권한. Agent가 외부 API를 호출할 때 장기 자격 증명을 전달해서는 안 된다. 짧은 수명의 token, 범위 제한, 승인 절차는 여전히 필요하다.
외부 모델 서비스를 구매할 때도 다음을 직접 질문해야 한다. prompt가 trace에 저장되는가? 오류 샘플은 얼마나 오래 보관되는가? 누가 접근할 수 있는가? 고객 정의형 보관 기간을 지원하는가? 테넌트별로 격리된 감사 기록을 제공하는가?
이런 질문이 README에 적힌 benchmark보다 실제 운영 환경의 비용에 훨씬 가깝다.
로그 보관은 가장 큰 유출 노출점 중 하나다
많은 팀이 문제를 찾기 위해 애플리케이션에 trace를 추가한다. Agent가 여러 단계를 실행하면 trace가 없이는 도구가 왜 호출됐는지 파악하기 어렵다.
문제는 관측 가능성 시스템이 전체 내용을 기본적으로 보존하도록 설정된다는 점이다.
messages또는promptcompletiontool_callstool_resultinputs와outputs- 예외 스택에 남은 요청 일부
- 사람이 직접 라벨링하는 eval 데이터셋
서비스를 배포하기 전에는 다음 항목을 하나씩 점검한다.
| 점검 항목 | 확인할 질문 |
|---|---|
| 내용 | 전체 prompt, completion, 도구 반환값을 저장하는가? |
| 식별 정보 | 사용자 ID, 이메일, 주문 번호, 내부 경로가 포함되는가? |
| 자격 증명 | Authorization, API key, Cookie, token을 기록하는가? |
| 테넌트 | 독립적인 tenant_id가 있으며 테넌트 간 쿼리를 차단하는가? |
| 권한 | 개발, 운영, SaaS, 고객 지원이 같은 권한 그룹을 공유하는가? |
| 보관 | 명시적인 TTL, 삭제 절차, 백업 정책이 있는가? |
| 내보내기 | 오류 샘플을 eval로 내보내기 전에 비식별화하는가? |
| 알림 | 민감한 필드가 로그에 예기치 않게 기록될 수 있는가? |
관측 가능성은 무제한 보관을 의미하지 않는다. 먼저 메타데이터만 기록하고, 필요할 때만 내용을 임시로 샘플링할 수 있다.
trace_event = {
"request_id": request_id,
"tenant_id": tenant_id,
"agent_step": step,
"tool_name": tool_name,
"duration_ms": duration_ms,
"status": status,
}
문제 해결에 prompt가 꼭 필요하다면 수집 단계에서 필드 단위 비식별화를 먼저 적용한다. 민감도가 높은 산업에서는 원문 대신 해시, 길이, 모델 버전, 오류 코드만 남길 수 있다.
내보내기 경로도 점검해야 한다. 많은 기업은 내부 로그를 깔끔하게 관리하지만, 잘못된 플랫폼, Sentry, Slack 또는 외부 eval 도구로 데이터를 보내는 순간 원문이 기존 권한 범위를 벗어난다.
Together.ai 사건에 아직 부족한 핵심 답변
Together.ai의 공식 글 제목은 《Security Event: Prompt Leakage for Requests in June and July of 2026》이다. 공개 요약은 사건 기간인 2026년 6월과 7월, 그리고 일부 사용자 제출 요청에서 프롬프트가 유출됐다는 점을 확인해 준다.
제공된 자료에 따르면 해당 사건은 Hacker News 메인 페이지에 올라갔다. 당시 페이지에는 21점과 댓글 8개가 표시됐다. 토론은 빠르게 두 가지 질문으로 이어졌다. 영향을 받은 요청이 정확히 몇 건인지, 그리고 유출된 내용이 어디에 저장됐으며 누가 접근할 수 있는지였다.
현재 공개된 요약만으로는 다음 핵심 답변을 얻을 수 없다.
- 영향을 받은 요청의 정확한 수
- 유출이 시작되고 종료된 시점
- 완전한 공격 경로
- 구체적인 기술적 근본 원인
- 관련된 로그, trace 또는 사내 시스템
- 테넌트 간 접근 여부를 확인할 수 있는지
- 고객에게 제공된 통지,补救 조치, 감사 범위
특히 마지막 두 항목이 중요하다. 현재 근거만으로는 이것이 테넌트 간 격리 실패라고 단정할 수 없다. 설정 오류, 코드 결함, 로그 시스템 노출 등 서로 다른 경로 가능성도 배제할 수 없다.
원본 소스:
- Together.ai: Security Event: Prompt Leakage for Requests in June and July of 2026
- Hacker News: 토론 페이지
편집자 관점
이번 사건의 중요성은 Together.ai가 일시적으로 고객 일부를 잃을 수 있는지가 아니다. 기업용 Agent가 prompt를 업무 데이터 수준으로 승級시켰다는 데 있다. 모델 입력에는 개인정보, 검색 문서, 도구 파라미터, 실행 상태가 동시에 존재할 수 있다. 데이터베이스와 API key만 보호해서는 더 이상 충분하지 않다.
요즘 기업용 모델 서비스의 주요 도입 기준은 요청 단위 격리, 필드 단위 비식별화, 검증 가능한 로그 보관 전략으로 자리 잡을 것으로 본다. 모델 성능은 교체할 수 있지만, 고객 데이터가 잘못된 흐름에 들어간 뒤에는 응답을 철회한다고 해서 이미 남은 기록까지 되돌릴 수 없기 때문이다.
이번 사건은 과거에 흔했던 API key 유출과는 다르다. 키는 보통 즉시 폐기할 수 있지만, prompt에 담긴 업무 컨텍스트는 재구성하거나 다시 배포하지 못할 수 있다. 구체적인 영향은 완전한 조사 결과가 나와야 판단할 수 있다. 그전까지는 근본 원인을 추측하기보다 모델로 들어가는 필드, 로그 접근자, 테넌트 격리 경계를 먼저 파악해야 한다.