의견

AI가 온콜을 맡기 시작한 뒤, 엔지니어가 시스템을 만지는 감각을 잃고 있다

Hacker News에서 84점을 받은 Sylvain Kalache의 글에서 촉발된 논쟁을 정리한다. AI가 장애 대응을 맡으면서 SRE의 근육 기억이 사라지고 있다는 지적과, 항공업계의 과거 교훈이 그대로 반복되고 있다는 시선까지 다룬다.

글자 크기

AI가 온콜을 맡기 시작한 뒤, 엔지니어가 시스템을 만지는 감각을 잃고 있다

지난주 Hacker News에 올라온 글이 84점, 댓글 51개를 기록했다. 작성자는 Sylvain Kalache(전 SRE 출신, 현재 Red Hat 컨설턴트)다. 핵심 주장만 따로 빼면 이렇게 된다.

AI가 프로덕션 장애를 점점 더 많이 처리하면서, 엔지니어는 시스템 저수준 동작에 대한 직관과 근육 기억을 잃어가고 있다.

댓글 절반은 "드디어 한 사람이 입을 열었다"는 반응이고, 나머지 절반은 "우리 팀도 이렇게 됐다"며 자기 팀의 사연을 털어놨다. 한 사람의 불만이 아니라, 한 집단 전체가 동시에 인정하고 있는 현실이다. 자동화가 SRE라는 직군 자체를 다시 만들고 있다.

출처: HN 원글, Sylvain 블로그 원문.

HN에서 무슨争论가 벌어졌나

원글 댓글은 크게 세 파로 나뉜다.

  • 공감파("우리 팀도 이미 이 지경"): 내부 incident 복기 기록을 그대로 끌어와 보여주는 사례가 있었다. 데이터베이스 커넥션 풀이 가득 차는 같은 장애가 5년간 4번 발생했는데, 최근 2번은 전부 AI가 자동 처리했다는 내용이었다. 엔지니어는 Slack에서 AI의 추론 과정을 읽기만 했다.
  • 반박파("이거 루다이트 사고방식"): 자동차가 마차를 대체했을 때도, CI가 수동 배포를 대체했을 때도 비슷한 우려가 나왔다. 결국 아무 일도 안 일어났다는 논리다.
  • 중간파("상황에 따라 다르다"): 일괄 작업은 풀자동이어도 되지만, 인터랙티브 디버깅은 반드시 사람이 붙어야 한다는 입장이다.

누가 맞고 틀렸는지는 내 관심이 아니다. 댓글에서 계속 반복되는 키워드가 눈에 들어온다. muscle memory, intuition, feel for the system. 5년 전만 해도 SRE 토론에서 거의 등장하지 않던 표현이다. 이 단어가 다시 쓰이기 시작한 것 자체가, 무언가가 실제로 빠져나가고 있다는 신호다.

「자동화 역설」은 새 단어가 아니지만, 이번엔 다르고

Automation complacency라는 개념은 항공 심리학에서 처음 나왔다. 조종사가 autopilot에 오래 의존하면 손수 조종하는 능력이 눈에 띄게 떨어진다. 1990년대 몇몇 항공 사고(예: 에어프랑스 447편) 복지를 계기로, 항공업계는 90일에 한 번씩 수동 비행 훈련 시간을 강제하도록 규정했다. 바로 그 효과를 막기 위해서다.

의료 분야에서도 비슷한 논의가 있다. 임상 의사 결정 지원 시스템(CDSS)을 20년 넘게 써온 결과, 희귀 질환에 대한 의사의 진단 감각이 둔해진 건 사실이다. 2019년 방사선과 의사 대상 연구에서는 AI 보조 판독에 오래 노출된 의사의 독립 판독 정확률이 약 10% 떨어진 것으로 나타났다.

그런데 SRE라는 영역에는 결정적으로 다른 점이 하나 있다.

조종사와 의사는 누군가 만들어놓은 시스템(항공기, 의료 장비)을 상대한다. 세대교체에 따른 지식 단절은 피할 수 없다. 반면 SRE가 상대하는 시스템은 자기 팀이 직접 만든 시스템이다. 코드는 우리 것이고, 아키텍처도 우리 것이고, 런북도 우리가 유지한다. 이론적으로 지식은 항상 팀 안에 있고, "외부 시스템의 알 수 없음"이라는 변수는 존재하지 않는다.

AI가 끼어든 뒤로 이 연결고리가 끊겼다.

AI Agent가 장애를 처리할 때, 그것이 읽는 로그, 실행하는 쿼리, 밟는 런북 단계는 대부분 사람의 뇌를 더 이상 거치지 않는다. 엔지니어의 역할은 「진단자」에서 「감사자」로 바뀌었다. AI 보고서를 한 번 훑어보고, 서명하고, incident를 닫는다. 단기적으로 MTTR(평균 복구 시간)은 실제로 떨어졌다. 장기적으로는 자기 시스템에 대한 이해에 사각지대가 생기기 시작했다.

여기가 결정적 차이다. 자동화 자체가 문제가 아니라, 자동화 방식이 인간의 학습 루프를 우회하고 있다는 점이다.

근육 기억은 어떻게 사라지나: 온콜의 보이지 않는 비용

구체적으로 어떻게 무너지는지, 세 가지 전형적인 시나리오로 본다.

시나리오 1: 알람 자동 억제

예전엔 디스크 알람이 울리면 온콜 엔지니어가 서버에 접속해서, df -h, du -sh /*를 돌려보고, 어느 로그 디렉터리가 부풀었는지 짚어내고, 정리하거나扩容을 했다. 한 번에 15~30분, 한 번 해보면 그 디렉터리의 성격을 기억하게 된다.

지금은 AI Agent가 같은 명령 체인을 자동으로 돌리고, "/var/log/app/ 정리 완료, 12GB 확보"라는 보고서를 Slack으로 띄운다. 엔지니어는 보고서를 보고 incident를 닫는다. 겉으로는 사건이 처리됐지만, 실제로 엔지니어가 한 일은 아무것도 없다.

시나리오 2: 근본 원인 자동 탐지

Prometheus + Alertmanager에서 알람이 쏟아지면, 예전엔 여러 metric을 교차로 대조하고 trace를 열어 어떤 서비스의 어떤 커밋이 원인인지 추적했다. 고통스럽지만 값진 과정이었다. 서비스 사이의 의존 관계를 몸으로 익힐 수밖에 없었다.

이제는 Datadog이나 사내 AIOps 플랫폼에 곧바로 물어볼 수 있다. "원인: svc-order, 커밋 abc123 이후 CPU 이상" 같은 답이 바로 나온다. 엔지니어는 확인 버튼을 누르거나 롤백만 하면 된다.

시나리오 3: 런북 자동 실행

런북이 "사람이 읽는 체크리스트"에서 "AI가 호출하는 API"로 변했다. 이 단계가 가장 위험하다. 런북의 의미는 단계를 실행하는 데 있지 않고, 런북을 작성하는 그 과정 자체에 있다. 런북을 쓸 때는 사고를 복기하고, 전제 조건을 나열하고, 엣지 케이스를 고민한다. 그 사고 과정이 사라졌다.

중국 대기업들의 AIOps 도입은 이르다. 바이트의 지능형 알람, 알리클라우드 ARMS, 메이투안의 CAT(모니터링 알람 플랫폼) 같은 시스템이 2022~2023년쯤 대규모로 적용됐다. 내가 아는 몇몇 중국 SRE 동료들과私下에 이야기해보면, 같은 느낌을 토로했다. 온콜 경험은 확실히 편해졌는데, 승진 면접에서 "우리 시스템에서 가장 깊은 병목이 뭐냐"는 질문을 받으면 갑자기 답이 안 나온다는 거다.

AI가 죽는 날, 누가 이어서 받나

Sylvain 원문에서 가장 날카로운 주장은 여기다.

AI가 스스로 실수하거나 사용 불가 상태가 됐을 때, 엔지니어가 이미 그 자리를 못 메울 수 있다.

이건 공상과학 시나리오가 아니다. 2024년 CrowdStrike의 세계적인 블루스크린 사고 때, 많은 기업의 장애 복구 절차가 벤더 도구에 지나치게 의존하고 있었고, 수동 fallback 경로는 이미 손에 익지 않았다.

SRE 영역으로 옮겨오면 다음과 같은 시나리오가 가능하다.

  • 여러분의 AIOps 플랫폼이 의존하는 LLM API가 rate limit에 걸리거나 죽었을 때(예: OpenAI의 갑작스러운 outage, 혹은 중국에서 해외 모델을 호출할 때의 네트워크 문제)
  • AI가 제시한 "원인"이 틀렸는데, 아무도 재검증하지 않는 경우(모두가 AI를 기본적으로 신뢰하기 때문에)
  • AI가 실행한 런북 단계가 상황을 더 악화시켰는데, 엔지니어가 이미 수동으로 개입할 줄 모르는 경우

어느 시나리오든 production fire다.

댓글에서 제시된 해법 중 두 가지를 골라보자.

  • 「AI 부재일」 제도: 매주 또는 매월 하루씩 AI 보조를 완전히 끄고, 온콜 엔지니어가 전통 방식으로 모든 incident를 처리한다. MTTR은 일시적으로 오를 수 있지만, 팀의 근육 기억을 유지하는 데는 효과적이다.
  • 「포스트모템 역감사」: AI가 처리한 사고도 엔지니어가 사후에 손으로 다시 복기한다. AI 보고서를 읽는 게 아니라, 직접 명령을 돌리고, 직접 로그를 보고, 직접 결론을 내린다. AI의 결론과 자기가 직접 내린 결론이 다르면, 왜 다른지 끝까지 파고든다.

두 방법 모두 본질적으로 항공업계의 「수동 비행 시간」 정책과 같은 발상이다.

중국 대기업의 AIOps는 이미 이 단계까지 왔나

바이트, 알리, 메이투안의 지능형 알람 시스템은 도입한 지 2~3년 됐다. 공개된 기술 블로그를 보면 다음 영역을 대부분 커버한다.

  • 시계열 이상 탐지(통계 모델 또는 경량 ML 기반)
  • 알람 수렴 및 노이즈 감소(하루 수천 건에서 수십 건 수준으로 압축)
  • 근본 원인 분석(그래프 알고리즘 + 서비스 의존성 토폴로지)
  • 일부 시나리오의 자동 복구(K8s pod 재시작, 트래픽 전환 등)

다만 완전 자동 incident response는 중국 대기업에서도 여전히 보기 드물다. 대부분의 시스템이 "AI가 제안, 사람이 확인" 단계에 머물러 있다. 이게 중국 엔지니어에게는 약간의 완충 장치 역할을 한다. 근육 기억 퇴화의 속도는 실리콘밸리보다 한 박자 느릴 수 있다.

하지만 이 완충은 오래가지 않을 것이다. LLM Agent 프레임워크(LangGraph, AutoGen, CrewAI)가 다단계 도구 호출을 안정적으로 수행할 수준으로 성숙하면, "사람이 확인한다"는 단계도 곧 건너뛰게 된다.

편집자 소견

이 이슈가 중요한 이유: 이것은 또 하나의 "AI가 인간을 대체한다"는 막판론이 아니라, 특정 직군(SRE)에서 지금 조용히 진행 중인 출혈이다. 엔지니어가 「진단자」에서 「감사자」로 내려앉는 변화는 매우 조용해서, AI가 죽는 날이 오기 전까지는 아프다는 사람도 없다.

반(反)합의적인 한 가지 판단: 대부분의 사람은 이 문제를 "기술 퇴화"로 분류하지만, 나는 "기술 정의가 이동하는 과정"에 가깝다고 본다. 10년 뒤 "시스템을 안다"는 말은 Linux 커널을 아는 게 아니라 AI 툴체인을 아는 걸 가리킬 가능성이 높다. 마치 오늘날 아무도 자기 테이프 드라이브를 읽는 법을 모른다고 해서 엔지니어 혼을 잃었다고 생각하지 않는 것처럼. 문제는 퇴화가 아니라, 이동 과정에서의 세대 사이 어긋남이다.

과거 사례와 다른 지점: 컴파일러가 대체한 건 육체노동(lexical analysis)이었고, CI가 대체한 건 반복노동(테스트 실행)이었다. AIOps는 처음으로 판단 자체를 대체한다. "이 사고가 무엇인지"조차 AI가 대신 결정한다. 이것은 양적 변화가 아니라 질적 변화다.

불확실한 부분: 「AI 부재일」은 비용 압박이 큰 중소 팀에서는 현실적으로 도입되기 어렵다. SRE 정원을 갖춘 대기업만 할 수 있는 게임이다. 그래서 진짜 질문은 근육 기억을 유지할 것인가가 아니라, 조직이 "쓸 일이 없을 수도 있는" 역량을 위해 비용을 지불할 의향이 있느냐다. 항공업계는 대형 사고를 대가로 그 합의에 도달했다. SRE 업계가 같은 수업료를 기꺼이 지불할지는 미지수다.

출처: https://www.sylvainkalache.com/blog/ai-handles-incidents-engineers-lose-touch-with-their-systems