AI がオンコールを制圧する日、エンジニアはシステムの手触りを失う
先週 Hacker News に投稿されたブログが 84 ポイント、51 コメントを集めた。投稿者は Sylvain Kalache(元 SRE、现 Red Hat コンサルタント)。核心となる主張は耳が痛くなる:
AI がプロダクション障害を処理する比重がどんどん大きくなり、エンジニアはシステム底层の挙動に対する直感と筋肉記憶を失いつつある。
コメント欄は半々が「ようやく誰かが言ってくれた」と共感し、もう半数は自チームの「手動で対処したのはいつだったか」という惨状を共有していた。個人のぼやきではなく、SRE という職業が自動化によって作り変わられつつある事実を、集団で認めている。
出典:HN 原帖、Sylvain のブログ原文。
HN で何が議論されているか
コメント欄はだいたい次の派閥に分かれた:
- 共感派(「うちもうこの状態」):内部の incident 振り返り資料を貼り付けてきた人がいた。ある DB コネクションプールが詰まる障害が過去 5 年で 4 回発生しているが、直近 2 回はずっと AI が自動で処理し、エンジニアは Slack 上で AI の推論ログを眺めているだけだったという。
- 反論派(「これは Luddite 的思考」):自動車が馬車を、CI が手動デプロイを置換したときも同じようにスキル衰退が叫ばれたが、結局何も起きなかった。
- 中間派(「ケース次第」):バッチ処理は完全自動化でいい、ただしインタラクティブなデバッグは必ず人間が残る。
正否よりも目を引かれたのは、コメントに繰り返し出てくる「muscle memory」「intuition」「feel for the system」という語彙だ。5 年前の SRE 議論ではまず出てこなかった言葉が今は頻出する。何かが確実に失われつつある証拠だ。
「自動化のパラドックス」は古いが、今回は質が違う
Automation complacency という概念はもともと航空機操縦の心理学に由来する。パイロットが autopilot に長期間依存すると、手動飛行能力が顕著に衰える。1990 年代の数件の事故(例:エールフランス 447 便)の検証を経て、航空業界はパイロットに 90 日ごとの手動飛行時間を義務化し、この現象に対抗している。
医療でも似た議論がある。臨床意思決定支援システム(CDSS)が 20 年以上使われてきた結果、希少疾患の診断直感が鈍っているとする研究報告がある。2019 年の放射線科医を対象とした研究では、AI 読影補助を長期使用したあと、独立で読影したときの精度が約 10% 下がった。
ただし SRE の文脈には決定的な違いがある。
パイロットも医師も「他人が作ったシステム」(航空機、医療機器)を相手にしている。知識の断絶は避けられない。SRE は自分たちのチームで構築したシステムを見ている。コードも自分たち、架构も自分たち、runbook も自分たちで保守しているはずで、知見は常に内部にあり「外部システムの不透明性」は存在しない。
そこに AI が割り込むことで、この連鎖が断たれる。
AI Agent が障害を処理するとき、読み取る log、走る query、実行する runbook のステップは、もはや人間の頭を通らない。エンジニアは「診断者」から「監査者」へと格下げされ、AI の報告書に目を通してサインし、incident をクローズする。短期的に MTTR(平均復旧時間)は確かに下がる。長期的に見ると、自分のシステムに対する理解に死角が広がり始める。
ここが今回の決定的な違いだ。自動化そのものにあるのではなく、自動化のやり方が人間の学習ループをバイパスしてしまっている。
筋肉記憶はどう消えるか:オンコールの見えないコスト
具体的にどう消えるか。典型的な 3 つのシナリオを見てみる。
シナリオ 1:アラートの自動抑制
以前はディスクのアラートが鳴ると、オンコール担当がサーバーにログインし、df -h、du -sh /* と叩いて、どのログディレクトリが膨張したか特定し、掃除か拡張かを決める。所要 15〜30 分。1 回やればそのディレクトリの気質は身体に残る。
今は AI Agent が同じコマンド列を自動実行し、「/var/log/app/ を掃除、12GB 解放」と Slack に投げる。エンジニアはそれを見て incident を閉じる。表面上は障害が片付いたが、エンジニアは何もやっていない。
シナリオ 2:根本原因の自動特定
Prometheus + Alertmanager のアラートストーム。以前は複数の metric をクロスで照合し、trace を追い、どの service のどの commit が原因かを推測する必要があった。苦痛だが価値ある作業で、サービス間の依存関係を強制的に理解させられる。
AI Agent は Datadog や自社 AIOps プラットフォームを直接叩いて、「根本原因:svc-order の commit abc123 以降で CPU 異常」と出力する。エンジニアは確認かロールバックを選ぶだけ。
シナリオ 3:runbook の自動実行
Runbook が「人間が読む手順書」から「AI が呼ぶ API」に変わった。ここが最も危険だ。Runbook の価値は実行ステップそのものより、runbook を書くという行為にある。書こうとすると事故を振り返り、前提条件を書き出し、境界ケースを考える。その思考プロセスが消える。
中国の大企業では AIOps の導入が早い。バイトダンスのスマートアラート、Alibaba Cloud の ARMS、Meituan の CAT(モニタリング・アラートプラットフォーム)などは、2022〜2023 年には大规模に展開されている。知り合いの中国の SRE と私下で話す機会があるが、感触は共通している。オンコールの負荷は確かに軽くなったが、昇格面接で「システムの最も深いボトルネックはどこか」と問われると、突然答えに詰まる。
AI 自身が落ちた日、誰が引き継ぐのか
Sylvain の原文で最も刺さる指摘がここにある。
AI 自身がミスをしたり利用不能になったとき、エンジニアはもう対処できないかもしれない。
これは SF の話ではない。2024 年の CrowdStrike の世界規模ブルースクリーン事故では、多くの企業の復旧フローがベンダー製ツールに深く依存しており、人手によるフォールバック経路はほぼ失われていた。
SRE の現場に置き換えると:
- AIOps プラットフォームが依存する LLM API がレート制限にかかったり落ちた場合(例:OpenAI の突発的 outage、もしくは国内から海外モデルを呼び出す際のネットワーク問題)
- AI の示す「根本原因」が誤りなのに、誰も検証せず AI を盲信している場合
- AI が実行した runbook ステップが状況を悪化させたのに、エンジニアがもう手動介入できない場合
どのシナリオも production fire になる。
コメント欄で提案されていた解法を 2 つ紹介する。
- 「AI 欠席デー」制度:毎週または毎月、AI 支援を完全にオフにし、オンコール担当は従来どおりの手動で全 incident を処理する。MTTR は一時的に上がるが、筋肉記憶は維持される。
- 「postmortem 逆監査」:AI が処理した障害を、事後にエンジニアが必ず手動で再現する。AI の報告書を見るのではなく、自分でコマンドを打ち、自分で log を確認し、自分で結論を出す。自分の結論と AI のそれが食い違ったとき、根本原因を掘る。
この 2 つは、本質的に航空業界の「手動飛行時間」と同じ発想だ。
中国大企業の AIOps 導入はここまで来ているか
バイトダンス、Alibaba、Meituan のスマートアラートシステムは運用開始から 2〜3 年。公開技術ブログを見るかぎり、概ね以下をカバーしている:
- 時系列異常検知(統計モデルまたは軽量 ML ベース)
- アラート集約とノイズ削減(日数千件→日数十件)
- 根本原因特定(グラフアルゴリズム + サービス依存トポロジ)
- 一部シナリオでの自動復旧(K8s pod 再起動、トラフィック切り替え)
ただし完全に自動化された incident responseは、中国の大企業でもまだ一般的ではない。多くのシステムは「AI が提案、人間に確認」の段階で止まっている。これは中国のエンジニアにある程度の缓冲を残している。筋肉記憶の衰えはシリコンバレーより少し遅いかもしれない。
ただこの缓冲は長くは続かない。LLM Agent フレームワーク(LangGraph、AutoGen、CrewAI)が成熟して多段ツール呼び出しを安定的にこなせるようになれば、「人間の確認」というステップはすぐにスキップされる。
編集後記
なぜこの話を問題として扱うか。「AI が人間を置き換える」という抽象的なナラティブではなく、具体的な職種(SRE)で静かに進行している失血だからだ。エンジニアが「診断者」から「監査者」に劣化していく過程はとても静かで、痛みを訴える人はいない。AI が落ちたその日まで。
反主流派の意見:この問題を多くの人は「スキル衰退」に分類するが、自分は「スキルの定義の移行」と捉えたい。10 年後の「システムを理解する」は、Linux カーネルを知ることではなく AI ツールチェインを理解することを意味するかもしれない。テープドライブを読めないことがエンジニア魂の喪失とは見なされないのと同じだ。衰退ではなく、移行の過渡期における世代間のズレ。
過去との決定的な違い:コンパイラが代替したのは肉体労働(字句解析)、CI が代替したのは反復作業(テスト実行)だった。AIOps は初めて判断そのものを代替する。「この障害は何なのか」まで AI が決めてしまう。これは量的な変化ではなく質的な変化だ。
不確実な点:「AI 欠席デー」はコスト圧の高い中小チームでは導入できないだろう。SRE 専任を抱える大企業しか運用できない。よって真の問題は筋肉記憶を残すかどうかではなく、組織が「使う場面がないかもしれない」スキルに対していお金を払う意志があるかどうかだ。航空業界は事故という代价を経てこの共通認識を得たが、SRE 業界が同じ授業料を払うとは限らない。