工具

AWS Strands Harness 速报:Agent 的「回放+评测」工具上线

AWS 把 Agent 调试和评估做成了一个独立工具,上了 Hacker News 首页。我们扒了下博客,聊聊它到底解决了什么、谁会用。

字号

昨天 Hacker News 首页挂了一条 Show HN: Strands Harness 的帖子,讨论度挺高。我点进去看了眼,发现 AWS Strands 团队把「Agent 跑任务 + 跑完打分」两件事打包成了一个独立工具——Strands Harness。

这名字听着挺土,但做的事情很具体:把 Agent 的多步执行过程完整录下来,失败了一次能从头回放,跑完一轮直接给评分。Agent 圈子里喊了很久的「可观测性」,这次 AWS 把工具端出来了。

Strands Harness 是什么

一句话:Strands Agents 的官方调试器 + 评测器。

先说背景。Strands Agents 是 AWS 在 2025 年推出的开源 Agent SDK,定位类似 LangGraph 或 CrewAI——让开发者用 Python 拼出能调用工具、跑多步推理的 Agent。这次发的 Harness 不替代 SDK,是补全:SDK 负责「让 Agent 跑起来」,Harness 负责「看它跑得对不对」。

官网博客原话是「multi-agent task execution and evaluation harness」。翻译成人话就是:你写一个任务描述,Harness 自动调度一组 Agent 跑这个任务,过程中每一步都打日志,跑完按你定义的规则打分。

为什么需要「回放+评测」

我之前用 LangGraph 写过一个多步 Agent,任务是从 Notion 里捞数据、整理成报告、发到 Slack。跑了 50 次,有 7 次在第 3 步工具调用的时候炸了。但日志只告诉我「tool call failed」。

至于为什么 fail、当时 LLM 看到了什么 prompt、上一步传了什么参数,得我手动加 print 才能复现。

这种痛点叫「Agent 黑盒」:单步 LLM 调用好调试,多步 Agent 跑长链任务,失败一次几乎等于从头猜。

Harness 想解决的就是这个。官方博客里给了一个真实场景:让 Agent 抓 5 个城市天气、生成旅游建议。多步工具调用,每一步都可能出错。是 API 返回 null?是 LLM 解析 JSON 挂了?还是某一步 token 超限被截断?传统 trace 工具(LangSmith、Langfuse)只能看到「每步的输入输出」,但看不到完整任务上下文。Harness 跑的是完整任务:把多个 Agent 的轨迹串成一个可重放的故事。

架构拆解:博客里抠出来的

我扒了下官网博客(strandsagents.com/blog/introducing-strands-harness),Harness 的核心组件是这三块:

1. Task Runner(任务运行器)

接收一个 YAML/JSON 定义的任务描述,里面包含 Agent 配置、工具列表、评测标准。Runner 会调度多个 Agent 实例并行或串行执行,把每一步的输入、输出、耗时、token 数全记下来。

2. Replay Harness(回放器)

这是和现有 trace 工具最大的区别。LangSmith、Langfuse 那种是事后 trace 视图——你能看到每步发生了什么,但没法「重跑那一步试试换个 prompt 会怎样」。

Harness 的回放是确定性的:你能在 UI 里点任意一步,改输入参数,重跑那一步,看下游怎么反应。

官方博客里强调这个设计是「end-to-end replay」,不是单步 trace。对于调试多步 Agent 来说,这意味着光可以快速定位「到底是哪一步的状态污染了下游」,而不是从头猜。

3. Evaluator(评估器)

跑完一轮任务,Harness 会调用一个 LLM judge(默认是 Claude)按你给的 rubric 打分。rubric 可以是结构化的(比如「最终答案必须包含城市名」),也可以是自然语言(「评估报告的可读性」)。分数会写进回放记录里,方便横向对比不同 prompt/模型的表现。

下面是从 README 拿的真代码示例(简化版):

from strands_harness import Harness, Task

# 定义一个多 Agent 任务
task = Task(
    name="weather-report",
    agents=["planner", "weather-fetcher", "writer"],
    tools=["get_weather", "send_to_slack"],
    eval_rubric="最终输出必须是结构化 JSON,包含 cities 数组和 summary 字段",
)

# 运行任务,Harness 自动记录全部轨迹
result = Harness(task).run(replay=True)

print(result.score)  # 0.85
print(result.replay_url)  # https://harness.example.com/replay/abc123

(这是简化示意,完整 API 见官方博客。)

和现有工具的对比

工具 核心定位 Agent 任务回放 内置评测 厂商绑定
LangSmith LLM trace + monitoring ❌ 单步 trace 基础 LangChain
Langfuse 开源 LLM observability ❌ 单步 trace 插件支持 无
Helicone LLM API 代理 + 日志 ❌ ❌ 无
Strands Harness Agent 任务执行+回放+评测 ✅ 端到端 ✅ LLM judge 内置 AWS/Strands

一眼能看出 Harness 的差异化:它不是 trace 工具的升级版,是完整的 Agent 测试平台。跑任务、回放、打分,全在一个工具里。

但绑定也很死——Harness 深度依赖 Strands Agents SDK。如果你的 Agent 是用 LangGraph 或 AutoGen 写的,基本用不了(除非写适配器)。这是 AWS 的算盘:把 Agent 开发全流程绑死在 Strands 生态里,不让人回到 LangChain 那边的工具组合。

编辑思考

这事重要在哪?我看到的是 Agent 生态正在从「能跑」走向「跑得稳」。

2024 年 Agent 框架大战的时候,大家比的是「谁能让 Agent 跑起来」——LangGraph、AutoGen、CrewAI 都在比易用性、比工具调用、比多 Agent 协作。但真到生产环境,开发者最痛的不是「Agent 不会调工具」,而是「Agent 调错工具了我不知道为什么」。可观测性这个赛道一直被 trace 工具(LangSmith、Langfuse)占着,但 trace 解决的是 LLM 调用层面的问题,多步 Agent 的状态污染、回溯、评测,传统 trace 工具搞不定。

Harness 的意义在于:它把「Agent 任务级可观测性」这个赛道撕开了一个口子。端到端回放 + 内置 LLM judge 的组合,是 trace 工具没想清楚(或不想做)的事情。

但 AWS 这一步棋背后的算盘也很明显——绑死 Strands 生态。LangChain 当年是在 trace/评测上没占住,被 LangSmith 补位。AWS 现在提前在 Harness 这层卡位,让用 Strands SDK 的团队天然就用 Harness 评测,回头想换 LangGraph 就要重新搭评测栈。这是平台型打法,不是工具型打法。

我的判断是:接下来会有 2-3 家头部 Agent 公司(不管是开源还是闭源)推出类似的「任务级评测平台」。LangChain 如果不反击,LangSmith 会被挤压到「只是 trace 工具」的定位——这对他们来说不是好事。

不确定的地方:Harness 目前还很新,文档里没看到大规模生产案例。「端到端回放」听起来好,但真到复杂多 Agent 系统,状态管理的复杂度会不会爆炸?这点得等半年看社区反馈。


来源:Strands Harness: Multi-Agent Execution and Evaluation - Strands Agents Blog

来源: https://strandsagents.com/blog/introducing-strands-harness/