ツール

AWS「Strands Harness」登場:Agent の“再生+評価”が一発で済むツール

AWS が Agent のデバッグと評価を一体化したツールを Hacker News で公開。公式ブログをもとに、何を解決するのか、誰に必要なのかを整理する。

文字サイズ

Hacker News の首页に昨日 Show HN: Strands Harness のスレッドが上がり、議論が賑わっている。のぞいてみると、AWS の Strands チームが「Agent にタスクを走らせる」「終わったら採点する」を独立ツールにまとめた Strands Harness を公開していた。

地味な名前だが、やることははっきりしている。Agent のマルチステップ実行を丸ごと録画し、失敗したら頭からリプレイ、1 クール走らせたら即スコア付け。Agent 界隈で長らく叫ばれてきた「可観測性(observability)」に対し、AWS がツールの形で答えを出した形だ。

Strands Harness とは何か

ひと言で言えば、Strands Agents の公式デバッガ+エバリュエーター。

背景から。Strands Agents は AWS が 2025 年に発表したオープンソースの Agent SDK で、LangGraph や CrewAI と同類の位置にある。Python でツール呼び出しや多段推論を持つ Agent を組み立てるためのものだ。今回の Harness は SDK を置き換えるのではなく補完する。SDK が「Agent を走らせる」役割なら、Harness は「正しく走っているかを見る」役割を担う。

公式ブログでは「multi-agent task execution and evaluation harness」と表現されている。平たく言うと、タスクの記述を渡せば Harness が複数の Agent を自動で動かし、各ステップをログし、定義したルールで評価を下してくれる。

なぜ「再生+評価」が必要なのか

以前 LangGraph でマルチステップ Agent を組んだことがある。Notion からデータを取り出し、レポートに整形して Slack に投げる、という流れだ。50 回走らせて、7 回が 3 ステップ目のツール呼び出しで落ちた。ログには tool call failed としか出ない。

なぜ失敗したのか、そのとき LLM に見えていたプロンプトは何か、前段から何が渡されていたかを知るには、結局 print を仕込んで再現するしかない。

この痛みが俗に言う「Agent のブラックボックス」問題だ。LLM の単発呼び出しはデバッグしやすいが、長いチェーンを走るマルチステップ Agent は、一度崩れるとほぼゼロから推測するしかない。

Harness が解こうとしているのはまさにここだ。公式ブログには実例として、5 都市の天気を取得して旅行プランを生成する Agent が登場する。マルチステップのツール呼び出しは各段で失敗しうる。天気 API が null を返したのか、LLM 側の JSON パースが落ちたのか、トークン上限で出力が切れたのか。LangSmith や Langfuse のような従来型 trace ツールは「各段の入出力」は見せてくれるが、タスク全体の文脈は追えない。Harness はタスクを丸ごと走らせ、複数 Agent の軌跡を一つのリプレイ可能な物語としてつなぐ。

アーキテクチャの内訳:公式ブログから拾う

公式ブログ(strandsagents.com/blog/introducing-strands-harness)を読み込むと、Harness のコアは大きく 3 つに分かれる。

1. Task Runner(タスクランナー)

YAML または JSON で定義されたタスク記述を受け取る。記述には Agent 構成、ツール一覧、評価基準が含まれる。Runner は複数の Agent インスタンスを並列・直列にスケジュールし、各ステップの入力・出力・所要時間・トークン数をすべて記録する。

2. Replay Harness(リプレイ層)

既存の trace ツールとの最大の違いがここにある。LangSmith や Langfuse は事後的な trace ビューであり、各段で何が起きたかは見えるが、「あの段だけプロンプトを変えて再走させる」ということはできない。

Harness のリプレイは決定論的だ。UI 上の任意のステップを選び、入力を書き換えてその段だけ再走できる。下流がどう反応するかまで含めて確認できる。

公式ブログではこの設計を「end-to-end replay」、単なるステップ単位の trace ではないと説明している。マルチステップ Agent のデバッグにおいて、これは「下流を汚染したのはどの段の状態か」を一気に特定できるということで、頭から推測する日々から解放される。

3. Evaluator(評価器)

タスクを 1 クール走らせると、Harness は LLM judge(デフォルトは Claude)を呼び出し、与えた rubric で採点する。rubric は構造化形式(「最終出力に都市名を含むこと」など)でも自然言語(「レポートの可読性を評価せよ」など)でもよい。スコアはリプレイ記録に書き戻され、別プロンプト・別モデルでの横串比較がしやすくなる。

以下は README から取った簡略化したコード例。

from strands_harness import Harness, Task

# マルチ Agent タスクを定義
task = Task(
    name="weather-report",
    agents=["planner", "weather-fetcher", "writer"],
    tools=["get_weather", "send_to_slack"],
    eval_rubric="最終出力は cities 配列と summary フィールドを含む構造化 JSON であること",
)

# タスクを実行。Harness が全軌跡を自動記録
result = Harness(task).run(replay=True)

print(result.score)  # 0.85
print(result.replay_url)  # https://harness.example.com/replay/abc123

(簡略化したイメージ。完全な API は公式ブログを参照。)

既存ツールとの比較

ツール主な役割Agent タスクのリプレイ内蔵の評価機能ベンダー依存
LangSmithLLM trace + monitoring❌ 単段 trace のみ基礎的LangChain
Langfuseオープンソース LLM observability❌ 単段 trace のみプラグイン対応なし
HeliconeLLM API プロキシ + ログ❌❌なし
Strands HarnessAgent タスク実行+リプレイ+評価✅ エンドツーエンド✅ LLM judge 内蔵AWS / Strands

Harness の差別化はひと目でわかる。trace ツールの強化版ではなく、Agent 専用のテストプラットフォームだ。タスク実行、リプレイ、採点が 1 つのツールに揃う。

ただし依存関係も深い。Harness は Strands Agents SDK と強く結びついている。LangGraph や AutoGen で書いた Agent には基本的にそのまま使えない(アダプタを書かない限り)。AWS の狙いは明確で、Agent 開発の上流から下流までを Strands エコシステムに固着させ、LangChain 側のツール構成に戻らせないことにある。

編集部の見立て

この動きはどこに効いてくるか。見えているのは、Agent のエコシステムが「走る」から「安定して走る」へと軸足を移し始めたことだ。

2024 年の Agent フレームワーク戦争では、各社が「Agent を走らせる」を競っていた。LangGraph、AutoGen、CrewAI が使いやすさ、ツール呼び出し、マルチ Agent 協調を競い合っていた。しかし本番運用に乗せると、開発者が一番痛いのは「Agent がツールを呼べない」ではなく「Agent がツールを間違えた理由がわからない」だった。可観測性のカテゴリはずっと trace ツール(LangSmith、Langfuse)が押さえてきたが、trace が解いてきたのは LLM 呼び出しレイヤーの話であり、マルチステップ Agent の状態汚染・遡行・評価は従来型 trace では手に負えない。

Harness の意義は、「Agent のタスクレベル可観測性」というカテゴリに切り口を作ったことにある。エンドツーエンドのリプレイと内蔵 LLM judge の組み合わせは、trace ツールが考えてこなかった(あるいはやりたくなかった)領域だ。

同時に、AWS の手の内は見え見えでもある。Strands エコシステムへのロックインだ。LangChain はかつて trace/評価の層を押さえ切れず、LangSmith がそれを補った。AWS は今回 Harness という層に先回りしてポジションを取り、Strands SDK を使うチームにはそのまま Harness で評価を回させる。LangGraph に乗り換えるなら評価スタックを一から組み直す羽目になる。これはプラットフォーム型の打ち手であって、ツール型の打ち手ではない。

筆者の見立てでは、これから半年〜1 年で 2〜3 社の主要 Agent ベンダー(オープンソースか閉鎖的かを問わず)が似た「タスクレベル評価プラットフォーム」を出してくるはずだ。LangChain が反撃しないと、LangSmith は「ただの trace ツール」ポジションに押し込まれる。これは LangChain にとって芳しくない。

不確実な点もある。Harness はまだ出たばかりで、公式ドキュメントにも本番運用での大規模な事例は見当たらない。「エンドツーエンドのリプレイ」は聞こえがいいが、複雑なマルチ Agent システムで状態管理の複雑度が爆発しないか。半年ほどコミュニティの反応を見る必要がありそうだ。


出典:Strands Harness: Multi-Agent Execution and Evaluation - Strands Agents Blog

出典: https://strandsagents.com/blog/introducing-strands-harness/