실전

미 국방부, AI 과잉 의존 공식 인정 — 이란 학교 미사일 공격의 교훈

Bloomberg 조사에 따르면 미군이 이란 학교를 폭격하기 전 AI 추천을 '참고'가 아닌 '판단 근거'로 사용했다. 국방부 스스로 이를 인정했지만 업계에서는 거의 논의가 없다.

글자 크기

사실관계: Bloomberg이 뭐라고 했나

Bloomberg이 8월 초에 길게 내보낸 조사 기사의 제목은 직설적이었다 — 'Overreliance on AI contributed to missile strike on Iran school – Pentagon'.

핵심 결론은 이렇다. 미 국방부 내부 검토 결과, 이란 학교를 겨냥한 미사일 공격에서 작전 요원이 AI 추천에 과도하게 의존한 것으로 나타났다. AI가 제시한 표적 제안은 '참고 의견'이 아니라 '판단 근거'로 쓰였다.

이 기사는 Hacker News에서 142 포인트, 댓글 65개를 모았다. 군 관련 뉴스 치고는 이례적으로 높은 주목도다. HN 사용자가 해외 군사 작전에 평소 큰 관심을 두는 편이 아니기 때문이다.

출처: Bloomberg 장문 조사

자동화 편향(automation bias)은 새 주제가 아니다, 다만 전장 버전은 더 치명적

이 사건의 기술적 배경은 automation bias다. 정의는 단순하다. 정보가 부족할 때 사람은 기계가 제시한 권고에 따르는 경향이 있다, 자기 의심이 있어도.

이 현상 자체는 새로운 것이 아니다.

  • 민간 항공: 보잉 737 MAX의 MCAS 시스템에서 유사한 논쟁이 있었다. 조종사는 이상 상황에서 기계를 믿도록 훈련받았지만, 기계가 제시한 지시 자체가 틀렸던 케이스다.
  • 의료 AI: 2019년 Science에 발표된 연구에 따르면, 한 상용 의료 위험 예측 알고리즘이 흑인 환자에게 자원을 현저히 적게 배정했다. 알고리즘이 실제 병상이 아닌 과거 의료 지출 패턴을 학습했기 때문이다.
  • 자율주행: Tesla Autopilot이 관련된 여러 치사 사고에서 NTSB 보고서는 운전자 과신 문제를 반복적으로 언급했다.

공통점은 같다. 결정적 순간에 사람이 기계를 제지하지 못했다는 것.

전장 버전의 차이는 명확하다. '재시도' 기회가 없다.

민간 항공 사고에서 조종사에게는 수 초의 대응 윈도우가 있다. 의료 오진은 적어도 다시 확인할 시간이 있다. 미사일은 발사에서 명중까지 분 단위로 진행되며, 표적이 파괴되면 되돌릴 수 없다. AI 추천이 한 번 틀리면, 그 대가는 수십 명의 민간인 목숨이다.

왜 개발자 커뮤니티가 이 사건에 더 주목해야 하는가

'이게 내가 만드는 CRUD 앱이랑 무슨 상관이냐'고 느낄 수 있다.

자동화 편향은 군사용 AI만의 버그가 아니다. 우리가 매일 배포하는 제품 안에 잠재해 있는 위험이다.

실제로 마주친 시나리오 몇 가지:

  1. LLM 코드 리뷰. 팀에 AI PR 리뷰를 도입했는데, 몇 주 지나니 주니어 엔지니어가 리뷰어 피드백을 더 이상 안 본다. 'AI 통과' 표시만 보면 그대로 머지한다. 코드 리뷰가 유명무실해진다.
  2. 고객 응대 챗봇. LLM이 생성한 답변을 그대로 사용자에게 보내고 사람 검토를 거치지 않는다. 환불 시나리오에서 모델이 권한 이상으로 약속을 남발해 회사가 수십만 원대 손해를 봤다.
  3. 추천 시스템. 운영 담당자가 모델이 뱉은 전환율 예측을 그대로 예산 책정에 쓰고 소규모 A/B 실험을 그만뒀다. 그 결과 모델이 롱테일 카테고리에서 체계적으로 편향됐고, 광고주가 예산이 잘못 배정됐다는 사실을 알아챘다.

우리가 만드는 모든 제품은 사용자의 AI 신뢰 형태를 만들어낸다.

  • 신뢰도 점수: 표시할 것인가, 말 것인가. 표시한다면 한가운데에 크게 띄울 것인가, 구석에 작게 띄울 것인가.
  • UI 강조: AI 추천 옵션에 색을 넣을 것인가, 굵게 표시할 것인가, 첫 번째로 둘 것인가.
  • 표현: 'AI 추천'과 'AI 판단'은 사용자가 받아들이는 방식 자체가 다르다.

Bloomberg이 보도한 미군 작전 요원의 화면도 결국 내가 만드는 대시보드와 다를 바 없다. 다만 결과가 '버튼 잘못 누름'에서 '학교 폭격'으로 갈 뿐이다.

군사 AI 업계의 반응: 논쟁보다 침묵이 더 많은 걸 말해준다

Bloomberg 보도가 나온 뒤, 주요 업체들의 공식 입장을 확인했다.

  • Palantir: 별다른 공식 반응은 없었다. 자사의 AIP 플랫폼은 대외적으로 늘 'human-in-the-loop'을 내세웠다.
  • Anduril: Lattice OS는 자율 무기 시스템이 핵심이다. PR 메시지는 여전히 '인간이 루프 안에 있다'다.
  • Scale AI: Defense 부서 단독 입장 표명은 없었고, 모회사 'AI 안전' 일반 성명만 재게시했다.

진짜 성찰은 거의 없다.

대부분의 PR이 구호 수준에 머문다. 'human-in-the-loop'이라는 네 글자가 수백 번 등장하지만, 정작 다음 질문에는 답이 없다.

  • 인간이 어느 단계에서 개입하는가?
  • 개입의 효과를 어떻게 측정하는가?
  • AI 추천 신뢰도가 0.87인데 이에 반박할 도메인 지식이 사람에게 없을 때, 이것이 '인간이 루프 안에 있다'고 할 수 있는가?

예전 Project Maven은 Google 직원들의抗議를 촉발해 일부 군용 계약에서 Google을 이탈시켰다. 그 논쟁이 있고 10년이 지났지만, 군사용 AI 배치 규모는 오히려 10배로 커졌다. 그런데 이번 이란 학교 사건은 공식 기관이 스스로 '과잉 의존이 민간인 사상자를 야기했다'고 인정한 첫 사례다. 이 전례의 무게는 어떤 시위보다 크다.

우리가 할 수 있는 것: 엔지니어 레벨의 구체적 레버

엔지니어로서 미 국방부의 조달 프로세스는 바꿀 수 없다. 다만 내가 맡은 계층의 제품만큼은 제대로 만들 수 있다.

1. 신뢰도는 반드시 표시하고, 눈에 띄게 하라

신뢰도를 툴팁 안에 숨기지 마라. 최소 구현 예시다:

function RecommendationCard({ item, confidence, source }) {
  return (
    <div className="rec-card">
      <h3>{item.title}</h3>
      <p className="source">추천 출처:{source}</p>
      <ConfidenceBar value={confidence} />
      <p className="caveat">
        본 추천은 AI가 생성한 것으로, 의사결정 참고용입니다
      </p>
    </div>
  );
}

핵심은 <ConfidenceBar>가 분명히 보여야 한다는 것, 그리고 <caveat>가 한 줄짜리 작은 글씨 안에 묻히면 안 된다는 점이다.

2. 문구 선택을 조심하라

'AI 제안', 'AI 추천', '시스템 판정' — 이 세 표현은 사용자 순응률이 완전히 다르다.

내부 A/B 테스트를 돌려보면 '시스템 판정'의 클릭률이 'AI 제안'보다 15–20% 높지만, 사용자의 재검토 비율은 30% 낮다. 이건 버그가 아니다. 인지 편향이 그대로 드러난 결과다.

3. A/B 테스트에 역방향 지표를 추가하라

전통적인 AI 제품 지표는采纳率(acceptance rate), 정확도(accuracy)다.

이 지표를 추가로 제안한다. 사용자가 AI 제안을 무시했을 때, 그 판단의 정확률은 얼마인가?

이 숫자가 50%를显著하게 상회한다면, 특정 시나리오에서 AI 제안이 틀렸는데 UI가 사용자를 밀어넣어 받아들이게 했다는 뜻이다.

def evaluate_override_quality(logs):
    overrides = logs.filter(action='user_overrode_ai')
    correct_overrides = overrides.filter(outcome='user_was_right')
    return correct_overrides.count() / overrides.count()

이 숫자가 0.5보다 높게 나오면 제품 설계를 다시 들여다볼 필요가 있다.

4. LLM 리뷰를 만능으로 취급하지 마라

팀에 AI 코드 리뷰 도구를 들이기 전에 먼저 물어보라.

  • 사람 리뷰어의 집중력을 떨어뜨리는가?
  • '제안'이라고 적힌 것들이 무비판적으로 머지될 위험은 없는가?
  • 중요 경로(인증, 결제, 데이터 마이그레이션) PR은 사람 리뷰를 강제하는가?

AI 리뷰는 오타 잡기, 컨벤션 점검에 좋다. 하지만 아키텍처 결정과 권한 변경까지 맡기는 순간, 자동화 편향의 온상이 된다.

편집자 소견

이 사건은 과거의 군사 AI 논쟁(Project Maven에 대한 Google 직원 시위, Palantir 계약 논쟁, AI Ethics 위원회 해체)과 본질적으로 다르다. 공식 기관이 스스로 나서서 'AI 과잉 의존이 직접적으로 민간인 사상자를 낳았다'고 인정한 첫 사례이기 때문이다.

과거의 모든 논쟁은 외부에서 촉발됐다 — 직원 시위, 청문회, 언론 조사. 이번에는 미 국방부 내부의 AAR(After Action Review)이 직접 도출한 결론이다. 이 전례는 책임 소재의 법적 사슬을 가속화한다. 한 번 공식 인정이 내려진 이상, 이후 유사 사건의 피고는 'AI의 역할을 몰랐다'고 주장할 수 없다. 군사용 AI 공급 업체는 더 상세한 감사 로그를 제공할 수밖에 없다. 요원이 어떤 제안을 봤는지, 몇 초간 봤는지, 수동으로 덮어썼는지 — 이 데이터가 이제부터 법정에 들어갈 수 있다. 민간 AI 규제도 이 사례를 참조할 가능성이 크다. EU AI Act의 고위험 조항, 미국 각 주의 알고리즘 책임立法도 이 사건을 증거로 끌어올 가능성이 있다.

판단컨대, 군사 AI의 다음 분기점은 기술 능력이 아니라 누가 공개적으로 자기 잘못을 인정하느냐다.

Bloomberg 보도가 과연 무언가를 바꿀 수 있을까. 신중한 태도를 유지한다. 군 시스템의 조달 주기는 10년 단위고, 문화적 관성은 기술보다 더 바꾸기 어렵다. 다만 한 가지는 확실하다 — 앞으로 어떤 AI 업체가 정부에 제품을 팔든 계약서에 이런 문장이 추가될 가능성이 크다. '본 시스템은 출력 정확성을 보장하지 않으며, 운용자의 독립적 판단이 필요하다.'

이건 진전이다. 다만 아주 작은 진전이다.

출처: https://www.bloomberg.com/graphics/2026-iran-school-attack/