9월 18일 CNN이 단독으로 보도한 내용: 미군 내부에서 AI가 생성한 정보 보고서가 목표물을 중국 선박으로 지정했다. 이후 확인 작업 결과, 그 선박은 존재하지 않았다.
단순히 '잘못된 보고서를 만들었다'는 데서 끝났다면 LLM 환각의 일상적 일화 정도로 끝났을 것이다. 그런데 CNN은 이 사건을 close call로 규정했다. 즉, 사람이 검토하는 단계에서 막지 못했다면 이후 군사 행동이 실제로 발동됐을 수 있다는 뜻이다.
이는 'AI 환각 → 실제 군사적 결과 직전까지 갔던' 첫 번째 공개 사례다. 모델이 채팅창에서 쓸데없는 말을 한 게 아니라, 미사일이 날아갈 뻔했다는 이야기다.
Hacker News에서도 222 포인트 / 143개 댓글로 뜨거운 논의가 벌어졌다. 정치권보다 엔지니어 커뮤니티의 반응이 더 빨랐다.
왜 사고가 아니라 close call인가
'Close call'이라는 표현을 따져볼 필요가 있다. 적어도 하나의 방어선이 작동했다는 의미다.
미군 정보 흐름은 원시 데이터 수집부터 지휘관 결재까지 최소 4~5단계로 구성된다.
- SIGINT/IMINT 신호 및 영상 수집
- AI 시스템이 1차 스크리닝과 요약 수행
- 분석관(analyst)이 수동으로 검증
- 부서 간 교차 검증(cross-check)
- 지휘관 결재
보도 어디서도 어느 단계에서 막았는지 명확히 밝히지 않았지만, 미군의 기존 intelligence community 표준 작업 절차(SOP)를 보면 3단계 분석관일 가능성이 높다. AI 보고서를 받은 분석관이 원시 데이터베이스(각종 선박 AIS, 위성 이미지 등)에서 2차 검증을 하던 중 해당 선박의 AIS 신호가 한 번도 존재한 적이 없다는 사실을 발견했다.
만약 그 단계에서 막지 못했다면—예를 들어 분석관이 그날 부재중이거나 시간 압박에 검증 단계를 건너뛰었다면—후속 targeting package가 무기 시스템 결재 흐름으로 넘어갔을 것이고, 결과는 되돌릴 수 없었을 것이다.
이것이 Agent 배포에서 가장 잠이 안 오는 지점이다. 사람 검토 단계의 신뢰성이 AI 오류의 폭발 반경을 직접 결정한다.
환각 문제는 기술 버그가 아니라 배포 설계 오류다
커뮤니티의 많은 댓글이 '모델이 환각을 일으킨다'고 탓하는데, 이건 잘못된 분석이다.
LLM은 정보 요약 시나리오에서 본질적으로 바로 actionable intelligence를 산출하기에 적합하지 않다. 이유는 세 가지다.
- 생성형 출력의 본질: LLM의 핵심은 next-token prediction이지 사실 검색이 아니다. 모델은 그럴듯하지만 존재하지 않는 정보를 '채워 넣는다'. 이건 by design지 bug가 아니다.
- 추적 가능한 증거 체인이 없음: 기존 정보 보고서는 모든 주장에 증거 링크(원본 파일 ID, 수집 시각, 센서 종류)가 붙는다. LLM이 출력한 보고서는 진실과 환각이 텍스트 레벨에서 구별이 안 된다.
- 신뢰도가 문장 톤에 묻혀버림: LLM은 '그 선박이 존재할 확률은 30%다'라고 말하지 않는다. 동일한 자신감으로 '그 선박이 X 좌표로 항해 중이다'라고 쓴다.
모델을 곧장 'actionable intelligence 산출' 자리에 두는 건, 본래 이야기를 만들어내는 시스템에게 판결문을 쓰게 하는 것과 같다. 문제는 시스템 설계에 있고, 모델 자체가 아니다.
올바른 배치는 이렇다. AI는 검색 + 1차 스크리닝 + 후보 정렬을 담당하고, 사람은 사실 검증과 결정을 담당한다. LLM은 copilot이지 pilot이 아니다.
고위험 영역 Agent의 3가지 레드라인
이 사건에서 고위험 영역 Agent 배포의 3가지 레드라인을 도출할 수 있다. 실행 가능한 체크리스트로 만들어봤으니, 비슷한 시스템을 만드는 모든 팀이对照해보기 바란다.
레드라인 1: human-in-the-loop은 생략 불가
Agent가 산출하는 모든 actionable 출력은 반드시 사람의 서명을 받아야 한다. '서명'이란 버튼 한 번 누른다는 뜻이 아니라, 사람이 전체 컨텍스트를 읽고 명확히 사인한다는 의미다. Slack 통합의 'Approve' 버튼은 HITL이 아니다.
구현 레이어의 최소 코드—사람 검토 노드를 강제하는 패턴:
from langgraph import StateGraph, END
from typing import TypedDict, Literal
class IntelState(TypedDict):
raw_data: list
ai_summary: str
human_approved: bool
final_report: str
def ai_summarize(state: IntelState):
summary = llm.invoke(state["raw_data"])
return {"ai_summary": summary}
def human_review(state: IntelState):
decision = wait_for_human_approval(state["ai_summary"])
return {"human_approved": decision["approved"]}
def finalize(state: IntelState):
return {"final_report": state["ai_summary"] if state["human_approved"] else "REJECTED"}
def route_after_review(state: IntelState) -> Literal["finalize", END]:
return "finalize" if state["human_approved"] else END
graph = StateGraph(IntelState)
graph.add_node("ai", ai_summarize)
graph.add_node("human", human_review)
graph.add_node("finalize", finalize)
graph.add_edge("ai", "human")
graph.add_conditional_edges("human", route_after_review)
graph.set_entry_point("ai")
app = graph.compile()
핵심은 human_review가 반드시 동기 차단(synchronous blocking)이어야 한다는 점이다. 비동기 fire-and-forget 방식은 안 된다. LangGraph의 설계가 이런 흐름에 자연스럽게 맞아떨어지며, 필자도 운영 환경에서 이 패턴을 사용 중이다.
레드라인 2: 환각 검출은 생성 모델과 독립적으로
같은 모델(혹은 동일 계열 모델)로 자기 출력의 환각을 검출하지 말 것. 흔한 안티 패턴이다. 권장 방식은 다음과 같다.
- NLI 모델(자연어 추론)로 사실 일관성 검사
- RAG로 각 주장을 원본 데이터 소스에 역추적해 실제 존재 여부 확인
- 규칙 엔진으로 핵심 필드 검증(AIS 선박 ID, 좌표 형식, 타임스탬프)
레드라인 3: 핵심 결정에는 추적 가능한 증거 체인 필수
모든 actionable 결론은 반드시 다음까지 펼쳐볼 수 있어야 한다.
- 데이터 출처(파일 ID, 센서, 시각)
- 추론 단계(어떤 검색을 썼는지, 어떤 prompt를 썼는지)
- 신뢰도(시스템이 계산한 값. 모델이 말하는 값이 아님)
AI 보고서에 '그 선박이 N 21° 34' E 118° 12'에 위치한다'고 적혀 있다면, 시스템은 그 좌표가 어떤 AIS 데이터에서 왔는지 알려줘야 한다. 역추적이 안 되면 기본적으로 환각으로 간주한다.
이번에 미군 AI가 제대로 쓴 부분
이 사건만 보고 'AI를 정보 영역에 쓰면 안 된다'는 결론으로 가지 말자.
CNN 보도에 따르면 미군은 AI를 정보 검색과 1차 스크리닝에 사용했다. 방대한 SIGINT/IMINT 데이터에서 의심스러운 표적을 골라내는 시나리오인데, 이 영역은 AI가 정말 잘한다.
- 규모 문제: 매일 TB 단위의 신호 데이터는 사람이 다 볼 수 없어서, AI의 anomaly detection은 필수다.
- 패턴 인식: 여러 데이터 소스에 걸친 약한 상관관계 발견(예: 그 선박의 AIS가 꺼진 시점 + 같은 시간대 항구 비정상 통신)
- 속도 향상: 분석관을 '10만 개 기록에서 한 개 찾기'에서 'AI가 추린 50개 안에서 깊이 파기'로 바꿔준다.
경계는 명확하다. AI는 '뭘 찾을지'를 담당하고, 사람은 '맞는지'를 담당한다. AI는 레이더, 사람은 판단이다. 레이더가 오보를 낼 수는 있지만, 발사 버튼은 사람 손에 있어야 한다.
이번 사건의 문제는 '미군이 AI를 썼다'가 아니라 'AI 출력이 너무 많은 사람 검토 단계를 건너뛰고 곧장 결재 흐름에 들어갔다'는 점이다. 이것은 배포 설계 오류지 기술적 실패가 아니다.
편집자 소견
왜 이 사건이 OpenAI의 어떤 모델 발표보다 중요한가—이유는 '고위험 시나리오 Agent 배포'에 대한 진짜 비용을 처음으로 명시했기 때문이다.
지금까지 AI 안전 논의는 이론적 existential risk이거나 ChatGPT 채팅창의 무해한 환각이었다. 전자는 너무 멀고, 후자는 너무 가볍다. 이번엔 다르다. 구체적인 보고서, 구체적인 선박, 구체적인 close call, 구체적인 차단 단계가 있다. 진짜 비용이 처음으로 테이블 위에 올려졌다.
내 판단(다수 의견과 다를 수 있다): 이 사건은 미군의 AI 도입 속도를 유의미하게 늦추지 않을 것이다. 이유는 단순하다. 경쟁자도 AI를 쓰고 있어서, 멈추면 뒤처진다. 따라서 더 가능한 전개는 이렇다.
- 단기(6~12개월): 미군이 HITL 강제 규정을 강화하고 서명 단계를 늘릴 것
- 중기(1~2년): 독립적인 환각 검출 모듈(NLI + RAG 검증)이 구매 필수 요건이 될 것
- 장기(3년 이상): 'AI 정보 감사관'이라는 새로운 직종이 등장—지금의 red team과 비슷하지만 AI 출력을 전문적으로 심사하는 역할
이번 사건이 과거 사건들과 다른 점: Microsoft Tay나 Facebook 챗봇 폭주 같은 PR 재난과는 다르다. 이건 기능적 실패이지, 공격성 실패가 아니다. 공격성 실패는 체면만 잃지만, 기능적 실패는 목숨을 앗아간다. HN 댓글에서 '모델 능력'이 아닌 '시스템 설계'에 집중하는 흐름이 보이는 건, 엔지니어들이 이미 GPT가 아니라 GPT를 그 자리에 앉힌 사람에게 책임이 있다는 걸 인식했다는 뜻이다.
불확실한 부분: CNN 보도는 구체적으로 어떤 AI 시스템인지(자체 개발인지 상용 모델인지), 어떤 prompt 엔지니어링을 썼는지, 환각 검출 단계가 존재했는데 우회된 건지 등을 밝히지 않았다. 이 디테일이 나오기 전까지는 '미군 AI 도입 전반의 성숙도'에 대한 판단을 유보해야 한다.
다만 한 가지는 확실하다. 금융·의료·군사 영역에서 Agent를 만드는 모든 팀은 이 사건을 리스크 레지스터에 기록해야 한다. 다음에 PM이 '인건이 너무 느리니까 AI가 직접 보고서를 만들어 고객에게 보내자'고 하면, 이 기사를 던져주자.