觀點

Agent 失控是假議題:被前沿實驗室略過的 5 項安全基本功

Hacker News 517 分熱議:Agent 並未「覺醒」,問題在於沒有做好輸入驗證與沙箱隔離。把責任推給 AI,比 Agent 失控本身更值得警惕。

字級

CSO Online 八月那篇 AI agents aren't going rogue. Frontier labs are skipping security basics 在 Hacker News 首頁拿下 517 分、218 則留言。這數字本身就說明一件事:開發者社群已經不買「AI 覺醒」那套敘事了。

文章裡的觀點很直白——出包不是因為 Agent 自主決策,而是因為前沿實驗室跳過了 Web 安全講到爛的基礎工程:輸入驗證、權限控管、沙箱隔離、稽核日誌、人機協作。

以下把散落在文中的幾條線整理一下,順便加上一些個人判斷。

原文在爭論什麼

CSO Online 的立論邏輯是反敘事的:

  • 預設敘事:Agent 越來越自主 → 不可控 → 失控事件 → 監管
  • 文章主張:Agent 沒失控,是部署方沒做基本功 → 失控事件 → 工程問責

後者對 CISO 更友善。「AI 不可控」是把責任推給模型廠商與監管機構,「你沒做輸入驗證」則是把責任釘在甲方安全團隊身上——但也給了甲方自己把事情做好的路徑。

留言區 218 則,主題集中在三個方向:

  • 這事早說過了,2010 年 Web 應用就是這樣死的
  • 別只罵實驗室,很多開源 Agent 框架更粗糙
  • 真正落地的人都知道,業務方根本不讓加這些安全檢查

第三點是工程現實——下面會展開。

被跳過的 5 項「無聊」基本功

文章列出幾條,依重要性重新排序。每一條都是 Web 安全講了 20 年的老哏,Agent 圈則集體失憶。

1. 工具呼叫的輸入驗證

LLM 拼出來的 SQL 直接餵給資料庫,拼出來的 shell 指令直接執行。這不是假設——Autogen、CrewAI 的預設行為就是這樣,工具簽名只是 prompt 上的提示,執行階段完全沒有 schema 驗證。

# 反面例子:LLM 拼出來的 query 直接執行
def run_sql(query: str):
    return db.execute(query)  # LLM 說 "DROP TABLE users" 你就 drop

# 應該這麼做
from pydantic import BaseModel, Field

class ReadQuery(BaseModel):
    query: str = Field(..., pattern=r"^SELECT.*FROM\s+\w+(\s+WHERE.*)?$")

def run_sql(q: ReadQuery):
    if not q.query.upper().startswith("SELECT"):
        raise ValueError("只允許 SELECT")
    return db.execute(q.query)

2. 最小權限原則

一個 agent 拿到 shell 就能 rm -rf。拿到 email 權限就能群發。LangGraph、AutoGen 的工具註冊介面根本不限制權限細度——要嘛全給,要嘛不給。

3. 沙箱隔離

瀏覽器 agent 跑在宿主行程裡、檔案系統 agent 直接讀寫使用者 home 目錄、程式碼執行 agent 跑在主程式。這些不該上線的東西,現在都在「Demo 階段」就上生產環境了。

4. 稽核日誌

出包沒人知道 agent 做了什麼。LangChain 預設的 verbose=True 只輸出 stdout,OpenAI 的 function calling 預設不記錄呼叫參數。事後追溯?別想了。

5. 人機協作

關鍵動作沒有 confirm。寄信、轉帳、改資料庫——agent 自己拍板。這條單獨拉出來,可能是 2026 年最大的未爆彈。

這五項不是新問題,全是 Web 安全講了 20 年的老哏。Agent 圈集體失憶,有點離譜。

責任錯位:把鍋甩給 Agent 比甩給開發者更輕鬆

實驗室的公關喜歡用「Agent 自主決策」這套敘事,因為能把安全責任轉嫁到「AI 不可控」這個假議題上。一旦出問題,輿論焦點會放在「AI 失控」,而不是「你沒開輸入驗證」。

後者會讓甲方安全團隊被究責。前者則大家都鬆一口氣——「沒辦法,AI 的事嘛」。

點名幾家:

  • Anthropic 的 Claude Code 算做得相對好的,工具呼叫有 schema 驗證、有權限提示,但人機確認預設關閉
  • OpenAI 的 GPT-5 function calling 在嚴謹度上有明顯進步,但同樣沒有強制 confirm
  • 開源框架 LangGraph / AutoGen / CrewAI 基本是裸奔

這不是陰謀論,是激勵機制——出包前沒人願意花時間做輸入驗證,因為做了也沒 KPI 加分;出包後輿論又往「AI 不可控」引導,責任落不到開發者頭上。

對照傳統安全:Agent 圈正在重蹈 2010 年的覆轍

把今天 Agent 的混亂對照 2010 年前後的 Web 應用:

時間狀態後來怎麼救
2010SQL 注入滿天飛,XSS 一打一個準OWASP Top 10 + WAF 普及
2016CSRF、SSRF 遍地同上,標準慢慢補齊
2026Agent 工具呼叫裸奔,權限控管缺失?

Agent 圈現在連個「Agent OWASP」都沒有,各家自訂規範。LangChain 有自己的安全頁面、Anthropic 有 Responsible Scaling Policy,但都是廠商自己寫的,沒有跨廠商共識。

個人判斷:2026 年底之前會有人牽頭做這件事——可能是 OWASP 本人,也可能是某個頭部實驗室。MITRE ATT&CK for AI Agents 這個方向大概率會先動起來。

CISO 現在能做什麼

不要等實驗室給方案。實作清單:

  1. 強制工具白名單:Agent 只能呼叫你明確允許的工具,任何新增工具必須走審核流程
  2. 執行環境必須容器化 + 非 root:瀏覽器 agent、shell agent、code agent 必須在隔離容器內執行,且容器內行程不能是 root
  3. 所有工具呼叫寫稽核:不只是 log,要結構化儲存,能依 agent ID、時間、工具類型回溯
  4. 高風險操作必須人工確認:寫檔、呼叫 API、寄信、轉帳——預設 confirm,不能關
  5. 內部做個「Agent 滲透測試」:把 Agent 當成不信任的第三方,用 Web 滲透的套路打一遍

不性感。但能擋掉 90% 今天新聞裡的事故。

# 一個最小可用的 agent 執行配置範例
agent_sandbox:
  runtime: docker
  image: agent-runtime:1.0
  user: nonroot
  capabilities:
    drop: ALL
  network: isolated
  tools_whitelist:
    - read_file
    - search_web
  tools_require_confirm:
    - write_file
    - send_email
    - execute_sql
  audit:
    enabled: true
    destination: s3
    fields: [agent_id, tool, args, timestamp, user_id]

上面這份配置塞進 LangGraph、AutoGen 或自研框架都行,核心就是:工具白名單 + 容器隔離 + 稽核 + 確認機制。

編輯思考

這件事真正值得警惕的不是 Agent 會不會「覺醒」,而是安全責任正在被敘事稀釋。「AI 不可控」成了新版本的天災論——出事先怨天,不怨己。

判斷未來 12 個月 Agent 安全會從「倫理辯論」轉向「工程問責」,最先被監管盯上的不會是模型本身,會是部署方的安全缺位。理由有三:

  • 監管天然偏好可量化的究責點——「模型太聰明」沒法追,「你沒做輸入驗證」可以追
  • 已經有先例——歐盟 AI Act、美國 EO 14110 都在往「部署方責任」傾斜
  • 事故會越來越多,輿論會從「AI 太厲害」轉向「你怎麼這麼不小心」

這次具體和過去不同的地方在於,這是第一次主流安全媒體(CSO Online)主動把矛頭從「AI 能力」轉向「工程缺位」。以往安全圈討論 AI,要嘛是模型安全(對抗樣本、越獄),要嘛是資料安全(訓練資料外洩)。這次直接點名部署方的工程基本功——這是新角度。

不確定的地方:開源 Agent 框架的安全改進會慢於閉源產品,因為沒有公關壓力也沒有合規預算。如果未來 12 個月真有監管落地,受傷最重的可能是 LangGraph、AutoGen 這類被大量企業直接拿上生產的專案,而不是模型廠商。

參考來源:CSO Online - AI agents aren't going rogue

來源: https://www.csoonline.com/article/4234854/ai-agents-arent-going-rogue-frontier-labs-are-skipping-security-basics.html