CSO Online 八月那篇 AI agents aren't going rogue. Frontier labs are skipping security basics 在 Hacker News 首頁拿下 517 分、218 則留言。這數字本身就說明一件事:開發者社群已經不買「AI 覺醒」那套敘事了。
文章裡的觀點很直白——出包不是因為 Agent 自主決策,而是因為前沿實驗室跳過了 Web 安全講到爛的基礎工程:輸入驗證、權限控管、沙箱隔離、稽核日誌、人機協作。
以下把散落在文中的幾條線整理一下,順便加上一些個人判斷。
原文在爭論什麼
CSO Online 的立論邏輯是反敘事的:
- 預設敘事:Agent 越來越自主 → 不可控 → 失控事件 → 監管
- 文章主張:Agent 沒失控,是部署方沒做基本功 → 失控事件 → 工程問責
後者對 CISO 更友善。「AI 不可控」是把責任推給模型廠商與監管機構,「你沒做輸入驗證」則是把責任釘在甲方安全團隊身上——但也給了甲方自己把事情做好的路徑。
留言區 218 則,主題集中在三個方向:
- 這事早說過了,2010 年 Web 應用就是這樣死的
- 別只罵實驗室,很多開源 Agent 框架更粗糙
- 真正落地的人都知道,業務方根本不讓加這些安全檢查
第三點是工程現實——下面會展開。
被跳過的 5 項「無聊」基本功
文章列出幾條,依重要性重新排序。每一條都是 Web 安全講了 20 年的老哏,Agent 圈則集體失憶。
1. 工具呼叫的輸入驗證
LLM 拼出來的 SQL 直接餵給資料庫,拼出來的 shell 指令直接執行。這不是假設——Autogen、CrewAI 的預設行為就是這樣,工具簽名只是 prompt 上的提示,執行階段完全沒有 schema 驗證。
# 反面例子:LLM 拼出來的 query 直接執行
def run_sql(query: str):
return db.execute(query) # LLM 說 "DROP TABLE users" 你就 drop
# 應該這麼做
from pydantic import BaseModel, Field
class ReadQuery(BaseModel):
query: str = Field(..., pattern=r"^SELECT.*FROM\s+\w+(\s+WHERE.*)?$")
def run_sql(q: ReadQuery):
if not q.query.upper().startswith("SELECT"):
raise ValueError("只允許 SELECT")
return db.execute(q.query)
2. 最小權限原則
一個 agent 拿到 shell 就能 rm -rf。拿到 email 權限就能群發。LangGraph、AutoGen 的工具註冊介面根本不限制權限細度——要嘛全給,要嘛不給。
3. 沙箱隔離
瀏覽器 agent 跑在宿主行程裡、檔案系統 agent 直接讀寫使用者 home 目錄、程式碼執行 agent 跑在主程式。這些不該上線的東西,現在都在「Demo 階段」就上生產環境了。
4. 稽核日誌
出包沒人知道 agent 做了什麼。LangChain 預設的 verbose=True 只輸出 stdout,OpenAI 的 function calling 預設不記錄呼叫參數。事後追溯?別想了。
5. 人機協作
關鍵動作沒有 confirm。寄信、轉帳、改資料庫——agent 自己拍板。這條單獨拉出來,可能是 2026 年最大的未爆彈。
這五項不是新問題,全是 Web 安全講了 20 年的老哏。Agent 圈集體失憶,有點離譜。
責任錯位:把鍋甩給 Agent 比甩給開發者更輕鬆
實驗室的公關喜歡用「Agent 自主決策」這套敘事,因為能把安全責任轉嫁到「AI 不可控」這個假議題上。一旦出問題,輿論焦點會放在「AI 失控」,而不是「你沒開輸入驗證」。
後者會讓甲方安全團隊被究責。前者則大家都鬆一口氣——「沒辦法,AI 的事嘛」。
點名幾家:
- Anthropic 的 Claude Code 算做得相對好的,工具呼叫有 schema 驗證、有權限提示,但人機確認預設關閉
- OpenAI 的 GPT-5 function calling 在嚴謹度上有明顯進步,但同樣沒有強制 confirm
- 開源框架 LangGraph / AutoGen / CrewAI 基本是裸奔
這不是陰謀論,是激勵機制——出包前沒人願意花時間做輸入驗證,因為做了也沒 KPI 加分;出包後輿論又往「AI 不可控」引導,責任落不到開發者頭上。
對照傳統安全:Agent 圈正在重蹈 2010 年的覆轍
把今天 Agent 的混亂對照 2010 年前後的 Web 應用:
| 時間 | 狀態 | 後來怎麼救 |
|---|---|---|
| 2010 | SQL 注入滿天飛,XSS 一打一個準 | OWASP Top 10 + WAF 普及 |
| 2016 | CSRF、SSRF 遍地 | 同上,標準慢慢補齊 |
| 2026 | Agent 工具呼叫裸奔,權限控管缺失 | ? |
Agent 圈現在連個「Agent OWASP」都沒有,各家自訂規範。LangChain 有自己的安全頁面、Anthropic 有 Responsible Scaling Policy,但都是廠商自己寫的,沒有跨廠商共識。
個人判斷:2026 年底之前會有人牽頭做這件事——可能是 OWASP 本人,也可能是某個頭部實驗室。MITRE ATT&CK for AI Agents 這個方向大概率會先動起來。
CISO 現在能做什麼
不要等實驗室給方案。實作清單:
- 強制工具白名單:Agent 只能呼叫你明確允許的工具,任何新增工具必須走審核流程
- 執行環境必須容器化 + 非 root:瀏覽器 agent、shell agent、code agent 必須在隔離容器內執行,且容器內行程不能是 root
- 所有工具呼叫寫稽核:不只是 log,要結構化儲存,能依 agent ID、時間、工具類型回溯
- 高風險操作必須人工確認:寫檔、呼叫 API、寄信、轉帳——預設 confirm,不能關
- 內部做個「Agent 滲透測試」:把 Agent 當成不信任的第三方,用 Web 滲透的套路打一遍
不性感。但能擋掉 90% 今天新聞裡的事故。
# 一個最小可用的 agent 執行配置範例
agent_sandbox:
runtime: docker
image: agent-runtime:1.0
user: nonroot
capabilities:
drop: ALL
network: isolated
tools_whitelist:
- read_file
- search_web
tools_require_confirm:
- write_file
- send_email
- execute_sql
audit:
enabled: true
destination: s3
fields: [agent_id, tool, args, timestamp, user_id]
上面這份配置塞進 LangGraph、AutoGen 或自研框架都行,核心就是:工具白名單 + 容器隔離 + 稽核 + 確認機制。
編輯思考
這件事真正值得警惕的不是 Agent 會不會「覺醒」,而是安全責任正在被敘事稀釋。「AI 不可控」成了新版本的天災論——出事先怨天,不怨己。
判斷未來 12 個月 Agent 安全會從「倫理辯論」轉向「工程問責」,最先被監管盯上的不會是模型本身,會是部署方的安全缺位。理由有三:
- 監管天然偏好可量化的究責點——「模型太聰明」沒法追,「你沒做輸入驗證」可以追
- 已經有先例——歐盟 AI Act、美國 EO 14110 都在往「部署方責任」傾斜
- 事故會越來越多,輿論會從「AI 太厲害」轉向「你怎麼這麼不小心」
這次具體和過去不同的地方在於,這是第一次主流安全媒體(CSO Online)主動把矛頭從「AI 能力」轉向「工程缺位」。以往安全圈討論 AI,要嘛是模型安全(對抗樣本、越獄),要嘛是資料安全(訓練資料外洩)。這次直接點名部署方的工程基本功——這是新角度。
不確定的地方:開源 Agent 框架的安全改進會慢於閉源產品,因為沒有公關壓力也沒有合規預算。如果未來 12 個月真有監管落地,受傷最重的可能是 LangGraph、AutoGen 這類被大量企業直接拿上生產的專案,而不是模型廠商。