實戰

Together.ai 提示詞外洩:Agent 資料邊界全面失守

Together.ai 披露 2026 年 6 月至 7 月部分請求發生提示詞外洩。本文拆解 Agent 從資料蒐集、模型呼叫到工具執行的完整鏈路,並提出日誌稽核、欄位脫敏與工具權限治理清單。

字級

Together.ai 在官方文章《Security Event: Prompt Leakage for Requests in June and July of 2026》中披露,2026 年 6 月和 7 月,部分提交請求發生提示詞外洩。

問題不只是一句提示詞被看到了。進入模型的上下文,往往同時帶著使用者資料、檢索片段、工具參數和業務資料。對企業來說,提示詞已經從聊天文字變成了執行資料。

目前公開摘要沒有提供受影響請求數、持續時間、攻擊路徑或具體技術根因。因此,不能直接將問題歸因於某項租戶隔離設定,也不能替 Together.ai 補上調查結論。

但這次事件揭露了一個必須處理的問題:Agent 一旦接上第三方模型,開發者面對的就不只是一個 API 呼叫,而是一條資料鏈路。

外洩的不是一句話,而是一整條資料鏈

先拆解 prompt 裡的資料。

一個一般的客服 Agent,傳送給模型的請求可能包含:

  • 使用者姓名、訂單編號和對話紀錄
  • RAG 檢索出的合約片段、資料庫紀錄或內部知識庫內容
  • Function Calling 的工具名稱與參數
  • 系統提示詞、規則、範例和業務背景
  • Agent 在前序步驟產生的中間結果

以下是結構化示意:

messages = [
    {
        "role": "system",
        "content": "你是訂單客服。不得透露使用者隱私資訊。"
    },
    {
        "role": "user",
        "content": "請查詢訂單 ORD-2048 的物流,並判斷是否需要退款。"
    },
    {
        "role": "tool",
        "content": "{\"customer_email\": \"lin@example.com\", \"address\": \"上海市浦東新區某地址\"}"
    }
]

這段範例很短。實際 Agent 的 prompt 可能更長,敏感欄位也可能藏在工具回傳值、檢索文件和歷史狀態中。

Together.ai 披露的外洩內容,是使用者提交給平台的請求內容。換句話說,只要內容進入 prompt,就可能被複製到錯誤日誌、錯誤範本、除錯 trace,或其他不該出現的儲存位置。

對一般應用而言,這可能只是一次日誌管理疏失。對 Agent 來說,影響卻會沿著工作流程持續擴散。一個遭污染的請求,不只會暴露當前這輪對話,還可能包含前幾步工具呼叫累積的上下文。

企業使用者尤其棘手。日誌裡通常還保留著 request_id、帳號、租戶、時間戳和模型參數。這些欄位放在一起,足以讓一份單獨的 prompt 重新關聯到特定客戶與業務流程。

Agent 比一般聊天更危險

單輪聊天的資料路徑較短:

使用者 → 應用 → 模型 → 回應

Agent 通常多了一條執行鏈:

使用者 → Agent → 檢索 / 程式碼執行 / 外部 API → 再次呼叫模型 → 執行動作

每一次「再次呼叫模型」,都可能把前面工具回傳的資料重新拼進 prompt。

例如,一個程式碼修復 Agent 會先讀取儲存庫檔案,再檢索相依套件文件,接著呼叫 shell 執行測試,最後將錯誤日誌送回模型。此時 prompt 裡可能出現檔案內容、環境變數、測試資料、存取權杖片段和內部路徑。

更關鍵的是,Agent 會執行動作。聊天模型錯誤輸出一段文字,損失通常止於內容;Agent 錯誤使用工具,則可能繼續寄送郵件、修改資料庫、提交程式碼或呼叫計費 API。

因此,評估這次外洩時,不能只看「哪些文字外洩了」,還要問三個問題:

  1. 外洩內容能否識別個人或客戶?
  2. 能否沿著 request_id 關聯到其他請求?
  3. 是否包含可執行工具的憑證、參數或狀態?

只要其中一項答案是「是」,這就不只是一般日誌問題,而是 Agent 的權限與資料邊界出了問題。

第三方模型鏈路不能只靠一段免責聲明

一次第三方模型呼叫,可能經過多個參與者:

你的應用 → Together.ai → 上游推論基礎設施

應用決定要傳送什麼,模型託管商負責執行與隔離請求,上游基礎設施則負責運算。每個層級只掌握部分事實,也各自承擔一部分責任。

這不是要找出唯一責任人。企業真正需要的是可驗證的控制措施,而不是將責任全數推給合約中的免責聲明。

我會將治理拆成四個面向。

第一,資料最小化。 不要把所有歷史訊息都塞進 prompt,只傳遞當前任務需要的欄位。檢索結果先依欄位裁剪,工具回傳值先進行投影:

def project_tool_result(result: dict) -> dict:
    allowed = {"status", "tracking_number", "estimated_delivery_date"}
    return {key: value for key, value in result.items() if key in allowed}

第二,脫敏。 電子郵件、電話、地址、證件號碼和客戶 ID 不應原樣進入第三方模型;能用暫時識別碼取代,就應採用暫時識別碼。

第三,請求級隔離。 為租戶、使用者和任務產生獨立識別碼,並確保它貫穿模型路由、日誌、快取和 trace。不要依賴請求本文中的 user 欄位,因為那只是呼叫端提供的標籤。

第四,工具最小權限。 Agent 呼叫外部 API 時,不應取得長期憑證;短期 token、範圍限制和核准機制仍然有必要。

採購第三方模型服務時,也應直接詢問:prompt 是否會進入 trace?錯誤範本保留多久?哪些人可以存取?是否支援客戶自訂留存期?能否提供依租戶隔離的稽核紀錄?

這些問題比 README 裡的 benchmark,更接近生產環境的真實成本。

日誌留存是最大的洩密面之一

許多人為應用加上 trace,是為了定位問題。Agent 執行多步驟後,沒有 trace 就很難知道工具為何被呼叫。

問題在於,可觀測性系統經常預設保留完整內容:

  • messages 或 prompt
  • completion
  • tool_calls
  • tool_result
  • inputs 與 outputs
  • 例外堆疊中的請求片段
  • 供人工標註使用的 eval 資料集

上線前,我會逐項檢查以下欄位:

檢查項目需要確認的問題
內容是否儲存完整 prompt、completion 和工具回傳值?
識別碼是否包含使用者 ID、電子郵件、訂單編號或內部路徑?
憑證是否記錄 Authorization、API key、Cookie 或 token?
租戶是否有獨立的 tenant_id,並能阻止跨租戶查詢?
權限開發、維運、SaaS 和客服是否共用同一權限群組?
留存是否有明確的 TTL、刪除流程和備份策略?
匯出錯誤範本進入 eval 前是否經過脫敏?
告警敏感欄位是否可能被意外寫入日誌?

可觀測性不等於無限期保存。可以先記錄中繼資料,再依需求暫時抽樣內容:

trace_event = {
    "request_id": request_id,
    "tenant_id": tenant_id,
    "agent_step": step,
    "tool_name": tool_name,
    "duration_ms": duration_ms,
    "status": status,
}

若排障確實需要 prompt,應優先在採集端進行欄位級脫敏。對於高敏感產業,可以保留雜湊值、長度、模型版本和錯誤碼,而不保留原文。

還需要檢查匯出路徑。許多公司的內部日誌很乾淨,但一旦傳送到錯誤的平台、Sentry、Slack 或第三方 eval 工具,原文就離開了原有的權限邊界。

Together.ai 事件仍缺少幾個關鍵答案

Together.ai 的官方文章標題為《Security Event: Prompt Leakage for Requests in June and July of 2026》。公開摘要確認事件發生的時間範圍為 2026 年 6 月和 7 月,也確認部分使用者提交的請求發生提示詞外洩。

根據原始資料,該事件登上 Hacker News 首頁。當時頁面顯示 21 分和 8 則留言。討論很快聚焦於兩個問題:究竟有多少請求受到影響,以及外洩內容被儲存在何處、誰能存取。

截至目前公開摘要,仍缺少以下關鍵答案:

  • 受影響請求的具體數量
  • 外洩開始與結束的時間
  • 完整攻擊路徑
  • 具體技術根因
  • 涉及哪些日誌、trace 或內部系統
  • 能否確認曾發生跨租戶存取
  • 客戶收到哪些通知、補救措施與稽核範圍

尤其是最後兩點。現有資訊不足以斷言這是一次跨租戶隔離失誤,也無法排除設定錯誤、程式碼缺陷或日誌系統暴露等不同路徑。

原始來源:

編輯觀察

這次事件的重要性,不在於 Together.ai 是否會暫時失去一批客戶,而在於企業 Agent 已將 prompt 升級為業務資料。模型輸入中可能同時存在個人資訊、檢索文件、工具參數和執行狀態。單純保護資料庫、保護 API key,已經不夠。

我預期,請求級隔離、欄位級脫敏,以及可驗證的日誌留存策略,會逐漸成為企業採購模型服務時的重要指標。原因很簡單:模型能力可以替換,但客戶資料一旦進入錯誤的鏈路,即使撤回回應,也無法取回已經留下的歷史。

這次事件也與過去常見的 API key 外洩不同。密鑰通常可以撤銷,prompt 裡的業務上下文卻未必能重建或補發。具體影響仍須等待完整調查結果。在此之前,應先盤點進入模型的欄位、日誌存取者與租戶隔離邊界,而不是猜測根因。

來源: https://www.together.ai/blog/security-event-prompt-leakage-for-requests-in-june-and-july-of-2026