Together.ai 在官方文章《Security Event: Prompt Leakage for Requests in June and July of 2026》中披露,2026 年 6 月和 7 月,部分提交請求發生提示詞外洩。
問題不只是一句提示詞被看到了。進入模型的上下文,往往同時帶著使用者資料、檢索片段、工具參數和業務資料。對企業來說,提示詞已經從聊天文字變成了執行資料。
目前公開摘要沒有提供受影響請求數、持續時間、攻擊路徑或具體技術根因。因此,不能直接將問題歸因於某項租戶隔離設定,也不能替 Together.ai 補上調查結論。
但這次事件揭露了一個必須處理的問題:Agent 一旦接上第三方模型,開發者面對的就不只是一個 API 呼叫,而是一條資料鏈路。
外洩的不是一句話,而是一整條資料鏈
先拆解 prompt 裡的資料。
一個一般的客服 Agent,傳送給模型的請求可能包含:
- 使用者姓名、訂單編號和對話紀錄
- RAG 檢索出的合約片段、資料庫紀錄或內部知識庫內容
- Function Calling 的工具名稱與參數
- 系統提示詞、規則、範例和業務背景
- Agent 在前序步驟產生的中間結果
以下是結構化示意:
messages = [
{
"role": "system",
"content": "你是訂單客服。不得透露使用者隱私資訊。"
},
{
"role": "user",
"content": "請查詢訂單 ORD-2048 的物流,並判斷是否需要退款。"
},
{
"role": "tool",
"content": "{\"customer_email\": \"lin@example.com\", \"address\": \"上海市浦東新區某地址\"}"
}
]
這段範例很短。實際 Agent 的 prompt 可能更長,敏感欄位也可能藏在工具回傳值、檢索文件和歷史狀態中。
Together.ai 披露的外洩內容,是使用者提交給平台的請求內容。換句話說,只要內容進入 prompt,就可能被複製到錯誤日誌、錯誤範本、除錯 trace,或其他不該出現的儲存位置。
對一般應用而言,這可能只是一次日誌管理疏失。對 Agent 來說,影響卻會沿著工作流程持續擴散。一個遭污染的請求,不只會暴露當前這輪對話,還可能包含前幾步工具呼叫累積的上下文。
企業使用者尤其棘手。日誌裡通常還保留著 request_id、帳號、租戶、時間戳和模型參數。這些欄位放在一起,足以讓一份單獨的 prompt 重新關聯到特定客戶與業務流程。
Agent 比一般聊天更危險
單輪聊天的資料路徑較短:
使用者 → 應用 → 模型 → 回應
Agent 通常多了一條執行鏈:
使用者 → Agent → 檢索 / 程式碼執行 / 外部 API → 再次呼叫模型 → 執行動作
每一次「再次呼叫模型」,都可能把前面工具回傳的資料重新拼進 prompt。
例如,一個程式碼修復 Agent 會先讀取儲存庫檔案,再檢索相依套件文件,接著呼叫 shell 執行測試,最後將錯誤日誌送回模型。此時 prompt 裡可能出現檔案內容、環境變數、測試資料、存取權杖片段和內部路徑。
更關鍵的是,Agent 會執行動作。聊天模型錯誤輸出一段文字,損失通常止於內容;Agent 錯誤使用工具,則可能繼續寄送郵件、修改資料庫、提交程式碼或呼叫計費 API。
因此,評估這次外洩時,不能只看「哪些文字外洩了」,還要問三個問題:
- 外洩內容能否識別個人或客戶?
- 能否沿著
request_id關聯到其他請求? - 是否包含可執行工具的憑證、參數或狀態?
只要其中一項答案是「是」,這就不只是一般日誌問題,而是 Agent 的權限與資料邊界出了問題。
第三方模型鏈路不能只靠一段免責聲明
一次第三方模型呼叫,可能經過多個參與者:
你的應用 → Together.ai → 上游推論基礎設施
應用決定要傳送什麼,模型託管商負責執行與隔離請求,上游基礎設施則負責運算。每個層級只掌握部分事實,也各自承擔一部分責任。
這不是要找出唯一責任人。企業真正需要的是可驗證的控制措施,而不是將責任全數推給合約中的免責聲明。
我會將治理拆成四個面向。
第一,資料最小化。 不要把所有歷史訊息都塞進 prompt,只傳遞當前任務需要的欄位。檢索結果先依欄位裁剪,工具回傳值先進行投影:
def project_tool_result(result: dict) -> dict:
allowed = {"status", "tracking_number", "estimated_delivery_date"}
return {key: value for key, value in result.items() if key in allowed}
第二,脫敏。 電子郵件、電話、地址、證件號碼和客戶 ID 不應原樣進入第三方模型;能用暫時識別碼取代,就應採用暫時識別碼。
第三,請求級隔離。 為租戶、使用者和任務產生獨立識別碼,並確保它貫穿模型路由、日誌、快取和 trace。不要依賴請求本文中的 user 欄位,因為那只是呼叫端提供的標籤。
第四,工具最小權限。 Agent 呼叫外部 API 時,不應取得長期憑證;短期 token、範圍限制和核准機制仍然有必要。
採購第三方模型服務時,也應直接詢問:prompt 是否會進入 trace?錯誤範本保留多久?哪些人可以存取?是否支援客戶自訂留存期?能否提供依租戶隔離的稽核紀錄?
這些問題比 README 裡的 benchmark,更接近生產環境的真實成本。
日誌留存是最大的洩密面之一
許多人為應用加上 trace,是為了定位問題。Agent 執行多步驟後,沒有 trace 就很難知道工具為何被呼叫。
問題在於,可觀測性系統經常預設保留完整內容:
messages或promptcompletiontool_callstool_resultinputs與outputs- 例外堆疊中的請求片段
- 供人工標註使用的 eval 資料集
上線前,我會逐項檢查以下欄位:
| 檢查項目 | 需要確認的問題 |
|---|---|
| 內容 | 是否儲存完整 prompt、completion 和工具回傳值? |
| 識別碼 | 是否包含使用者 ID、電子郵件、訂單編號或內部路徑? |
| 憑證 | 是否記錄 Authorization、API key、Cookie 或 token? |
| 租戶 | 是否有獨立的 tenant_id,並能阻止跨租戶查詢? |
| 權限 | 開發、維運、SaaS 和客服是否共用同一權限群組? |
| 留存 | 是否有明確的 TTL、刪除流程和備份策略? |
| 匯出 | 錯誤範本進入 eval 前是否經過脫敏? |
| 告警 | 敏感欄位是否可能被意外寫入日誌? |
可觀測性不等於無限期保存。可以先記錄中繼資料,再依需求暫時抽樣內容:
trace_event = {
"request_id": request_id,
"tenant_id": tenant_id,
"agent_step": step,
"tool_name": tool_name,
"duration_ms": duration_ms,
"status": status,
}
若排障確實需要 prompt,應優先在採集端進行欄位級脫敏。對於高敏感產業,可以保留雜湊值、長度、模型版本和錯誤碼,而不保留原文。
還需要檢查匯出路徑。許多公司的內部日誌很乾淨,但一旦傳送到錯誤的平台、Sentry、Slack 或第三方 eval 工具,原文就離開了原有的權限邊界。
Together.ai 事件仍缺少幾個關鍵答案
Together.ai 的官方文章標題為《Security Event: Prompt Leakage for Requests in June and July of 2026》。公開摘要確認事件發生的時間範圍為 2026 年 6 月和 7 月,也確認部分使用者提交的請求發生提示詞外洩。
根據原始資料,該事件登上 Hacker News 首頁。當時頁面顯示 21 分和 8 則留言。討論很快聚焦於兩個問題:究竟有多少請求受到影響,以及外洩內容被儲存在何處、誰能存取。
截至目前公開摘要,仍缺少以下關鍵答案:
- 受影響請求的具體數量
- 外洩開始與結束的時間
- 完整攻擊路徑
- 具體技術根因
- 涉及哪些日誌、trace 或內部系統
- 能否確認曾發生跨租戶存取
- 客戶收到哪些通知、補救措施與稽核範圍
尤其是最後兩點。現有資訊不足以斷言這是一次跨租戶隔離失誤,也無法排除設定錯誤、程式碼缺陷或日誌系統暴露等不同路徑。
原始來源:
- Together.ai:Security Event: Prompt Leakage for Requests in June and July of 2026
- Hacker News:討論頁面
編輯觀察
這次事件的重要性,不在於 Together.ai 是否會暫時失去一批客戶,而在於企業 Agent 已將 prompt 升級為業務資料。模型輸入中可能同時存在個人資訊、檢索文件、工具參數和執行狀態。單純保護資料庫、保護 API key,已經不夠。
我預期,請求級隔離、欄位級脫敏,以及可驗證的日誌留存策略,會逐漸成為企業採購模型服務時的重要指標。原因很簡單:模型能力可以替換,但客戶資料一旦進入錯誤的鏈路,即使撤回回應,也無法取回已經留下的歷史。
這次事件也與過去常見的 API key 外洩不同。密鑰通常可以撤銷,prompt 裡的業務上下文卻未必能重建或補發。具體影響仍須等待完整調查結果。在此之前,應先盤點進入模型的欄位、日誌存取者與租戶隔離邊界,而不是猜測根因。