工具

AWS Strands Harness 上線:Agent 也能「回放+自動評測」了

AWS 把 Agent 開發中最頭痛的除錯與評測整合成獨立工具 Strands Harness,登上 Hacker News 首頁。本文整理官方部落格內容,說明它解決了什麼問題、適合誰用。

字級

昨天 Hacker News 首頁出現一則 Show HN: Strands Harness 的貼文,討論度不低。我點進去研究了一下,發現 AWS Strands 團隊把「Agent 跑任務 + 跑完打分」這兩件事打包成了一個獨立工具——Strands Harness。

這名字聽起來有點土,但做的事情非常具體:把 Agent 的多步執行過程完整錄下來,失敗了可以從頭回放,跑完一輪直接給評分。Agent 圈子裡喊了很久的「可觀測性」,這次 AWS 終於端出了工具。

Strands Harness 是什麼

一句話講完:Strands Agents 的官方除錯器 + 評測器。

先講背景。Strands Agents 是 AWS 在 2025 年推出的開源 Agent SDK,定位類似 LangGraph 或 CrewAI——讓開發者用 Python 拼出能呼叫工具、執行多步推理的 Agent。這次發布的 Harness 並不是要取代 SDK,而是補齊缺口:SDK 負責「讓 Agent 跑起來」,Harness 負責「看它跑得對不對」。

官網部落格的原文是「multi-agent task execution and evaluation harness」。翻成白話就是:你寫好一段任務描述,Harness 自動調度一組 Agent 執行任務,過程中每一步都記錄 log,跑完再依照你定義的規則打分。

為什麼需要「回放+評測」

我之前用 LangGraph 寫過一個多步 Agent,任務是從 Notion 撈資料、整理成報告、發到 Slack。跑了 50 次,其中有 7 次在第 3 步工具呼叫時炸掉。但 log 只丟出一行「tool call failed」。

至於為什麼 fail、當下 LLM 看到什麼 prompt、上一步傳了什麼參數,都得手動加 print 才有辦法重現。

這種痛點叫做「Agent 黑盒子」:單步 LLM 呼叫還算好除錯,但多步 Agent 跑長鏈任務時,失敗一次幾乎等於要從頭猜起。

Harness 想解決的就是這個問題。官方部落格裡提到一個實際場景:讓 Agent 抓 5 個城市的天氣、生成旅遊建議。多步工具呼叫,每一步都有可能出錯。是 API 回傳 null?是 LLM 解析 JSON 掛掉?還是某一步 token 超限被截斷?傳統 trace 工具(LangSmith、Langfuse)只能看到「每一步的輸入輸出」,但看不到完整的任務脈絡。Harness 跑的是完整任務:把多個 Agent 的軌跡串成一個可重播的故事。

架構拆解:從部落格摳出來的重點

我翻了官網部落格(strandsagents.com/blog/introducing-strands-harness),Harness 的核心元件分為三塊:

1. Task Runner(任務執行器)

接收一個 YAML/JSON 格式的任務描述,內容包含 Agent 設定、工具清單、評測標準。Runner 會調度多個 Agent 實例以平行或序列方式執行,並把每一步的輸入、輸出、耗時、token 數全部記錄下來。

2. Replay Harness(回放器)

這是和現有 trace 工具最大的差別。LangSmith、Langfuse 那類工具屬於事後 trace 檢視——你能看到每一步發生什麼,但沒辦法「重跑那一步、換個 prompt 試試看會怎樣」。

Harness 的回放是確定性的:你能在 UI 裡點任一步驟、修改輸入參數、重跑那一步,觀察下游反應。

官方部落格特別強調這個設計是「end-to-end replay」,而不是單步 trace。對除錯多步 Agent 來說,這代表可以快速定位「到底哪一步的狀態污染了下游」,不必再從頭猜起。

3. Evaluator(評測器)

跑完一輪任務後,Harness 會呼叫一個 LLM judge(預設是 Claude),依據你給的 rubric 評分。rubric 可以是結構化的(例如「最終答案必須包含城市名」),也可以是自然語言(「評估報告的可讀性」)。分數會寫進回放紀錄,方便橫向比較不同 prompt 或模型的表現。

以下是從 README 截錄的程式碼範例(簡化版):

from strands_harness import Harness, Task

# 定義一個多 Agent 任務
task = Task(
    name="weather-report",
    agents=["planner", "weather-fetcher", "writer"],
    tools=["get_weather", "send_to_slack"],
    eval_rubric="最終輸出必須是結構化 JSON,包含 cities 陣列和 summary 欄位",
)

# 執行任務,Harness 自動記錄完整軌跡
result = Harness(task).run(replay=True)

print(result.score)  # 0.85
print(result.replay_url)  # https://harness.example.com/replay/abc123

(以上是簡化示意,完整 API 請參考官方部落格。)

和現有工具的比較

工具核心定位Agent 任務回放內建評測廠商綁定
LangSmithLLM trace + monitoring❌ 單步 trace基礎LangChain
Langfuse開源 LLM observability❌ 單步 trace外掛支援無
HeliconeLLM API 代理 + 日誌❌❌無
Strands HarnessAgent 任務執行+回放+評測✅ 端到端✅ LLM judge 內建AWS/Strands

一眼就能看出 Harness 的差異化:它並非 trace 工具的升級版,而是完整的 Agent 測試平台。跑任務、回放、打分,全在同一個工具裡。

不過綁定也很死——Harness 深度依賴 Strands Agents SDK。如果你的 Agent 是用 LangGraph 或 AutoGen 寫的,基本上用不了(除非另外寫適配器)。這正是 AWS 的如意算盤:把 Agent 開發全流程鎖在 Strands 生態裡,不讓人回到 LangChain 那套工具組合。

編輯觀點

這件事的重要性在哪?我看到的訊號是 Agent 生態正從「能跑」走向「跑得穩」。

2024 年 Agent 框架大戰時期,各家比的是「誰能讓 Agent 跑起來」——LangGraph、AutoGen、CrewAI 都在拼易用性、拼工具呼叫、拼多 Agent 協作。但進入生產環境後,開發者最痛的從來不是「Agent 不會呼叫工具」,而是「Agent 呼叫錯工具了我不知道為什麼」。可觀測性這個賽道一直被 trace 工具(LangSmith、Langfuse)佔據,但 trace 解決的是 LLM 呼叫層面的問題,多步 Agent 的狀態污染、回溯、評測,傳統 trace 工具根本搞不定。

Harness 的意義在於:它把「Agent 任務級可觀測性」這個賽道撕開了一個缺口。端到端回放加上內建 LLM judge 的組合,是 trace 工具沒想清楚(或不想做)的事情。

不過 AWS 這步棋背後的盤算也很明顯——鎖死 Strands 生態。LangChain 當年在 trace 與評測上沒佔到位置,後來由 LangSmith 補位。AWS 現在提前在 Harness 這層卡位,讓採用 Strands SDK 的團隊自然就用 Harness 評測,將來想換回 LangGraph 就要重搭整個評測堆疊。這是平台型打法,不是工具型打法。

我的判斷是:接下來會有 2 到 3 家頭部 Agent 公司(不管是開源還是閉源)推出類似的「任務級評測平台」。LangChain 如果不反擊,LangSmith 會被擠壓到「只是個 trace 工具」的定位——對他們來說絕對不是好消息。

不確定的部分:Harness 目前還很新,文件中沒看到大規模的生產案例。「端到端回放」聽起來很美好,但碰到真正複雜的多 Agent 系統時,狀態管理的複雜度會不會爆炸?這點得等半年看社群回饋。


來源:Strands Harness: Multi-Agent Execution and Evaluation - Strands Agents Blog

來源: https://strandsagents.com/blog/introducing-strands-harness/