어제 Hacker News 1면에 Show HN: Strands Harness 글이 올라왔다. 댓글도 꽤 달려있길래 들어가봤더니, AWS Strands 팀이 「Agent가 태스크를 돌리고, 끝나면 점수를 매기는」 두 가지를 한 묶음으로 정리한 도구 — Strands Harness — 를 내놓았다.
이름은 좀 스러운데, 하는 일은 꽤 구체적이다. Agent의 여러 단계 실행 과정을 전부 녹화해서 한 번 실패하면 처음부터 다시 리플레이할 수 있고, 한 라운드 끝나면 바로 점수를 매겨준다. Agent 쪽에서 한참 외쳐온 「관측 가능성」을, 드디어 AWS가 도구 형태로 꺼낸 셈이다.
Strands Harness가 뭔데
한 줄 요약: Strands Agents의 공식 디버거 + 평가기.
배경부터 짚자. Strands Agents는 AWS가 2025년에 오픈소스로 공개한 Agent SDK로, 포지션은 LangGraph나 CrewAI와 비슷하다. Python으로 도구 호출하고 여러 단계 추론하는 Agent를 조립하게 해준다. 이번에 나온 Harness는 SDK를 대체하는 게 아니라, 빈 자리를 채우는 용도다. SDK는 「Agent를 굴리게 하는」 역할, Harness는 「잘 도는지 보는」 역할이다.
공식 블로그 표현은 「multi-agent task execution and evaluation harness」. 한국어로 풀면 이렇다: 태스크 설명을 적어주면 Harness가 여러 Agent를 자동으로 돌리고, 매 단계마다 로그를 찍고, 끝나면 정의한 규칙대로 점수를 매긴다.
왜 '리플레이+평가'가 필요한가
예전에 LangGraph로 여러 단계짜리 Agent를 하나 만든 적이 있다. Notion에서 데이터 긁어와서 정리하고, Slack으로 보내는 태스크였다. 50번 돌렸는데 7번이 3단계 도구 호출에서 터졌다. 그런데 로그는 「tool call failed」 한 줄만 남겼다.
왜 실패했는지, 그때 LLM이 어떤 prompt를 봤는지, 전 단계에서 어떤 파라미터가 넘어갔는지는 print를 직접 박아 넣어야만 재현할 수 있었다.
이런 고통스러운 지점을 「Agent 블랙박스」라고 부른다. LLM 단일 호출은 디버깅이 쉬운데, 여러 단계 Agent가 긴 체인 태스크를 돌다가 한 번 실패하면 거의 처음부터 추리해야 한다.
Harness가 풀려고 하는 게 바로 이 지점이다. 공식 블로그에서 든 실제 시나리오가 있다. Agent에게 5개 도시 날씨를 가져오고 여행 추천을 짜오라고 시키는 것. 여러 단계 도구 호출이 일어나고, 매 단계마다 뭔가 깨질 수 있다. API가 null을 반환한 건지, LLM이 JSON 파싱에 실패한 건지, 특정 단계에서 토큰 한도를 넘어 잘린 건지. LangSmith, Langfuse 같은 기존 trace 도구는 「각 단계의 입출력」까지만 보여주고, 태스크 전체 컨텍스트는 못 본다. Harness는 태스크 한 바퀴를 통째로 돌린다. 여러 Agent의 궤적을 리플레이 가능한 하나의 이야기로 묶는다.
아키텍처 분해: 블로그에서 뽑아낸 내용
공식 블로그(strandsagents.com/blog/introducing-strands-harness)를 살펴보니, Harness의 핵심 컴포넌트는 세 가지다.
1. Task Runner (태스크 러너)
YAML/JSON으로 적힌 태스크 설명을 받는다. 여기엔 Agent 설정, 도구 목록, 평가 기준이 들어간다. Runner는 여러 Agent 인스턴스를 병렬 또는 순차로 스케줄링하고, 매 단계의 입력, 출력, 소요 시간, 토큰 수를 전부 기록한다.
2. Replay Harness (리플레이어)
이게 기존 trace 도구와 가장 큰 차이다. LangSmith, Langfuse는 사후 trace 뷰다. 각 단계에서 뭔 일이 있었는지는 보이지만, 「그 단계에서 prompt만 바꿔서 다시 돌려보면 어때?」 같은 건 안 된다.
Harness의 리플레이는 결정론적이다. UI에서 아무 단계나 찍고, 입력 파라미터를 고쳐서, 그 단계만 다시 돌리고, 하위가 어떻게 반응하는지 볼 수 있다.
공식 블로그에서 이 설계를 「end-to-end replay」라고 강조한다. 단일 단계 trace가 아니다. 여러 단계 Agent를 디버깅할 때, 이건 꽤 의미가 있다. 「어느 단계의 상태가 하위를 오염시킨 건지」 빛을 빠르게 잡을 수 있고, 추리하는 시간을 줄여준다.
3. Evaluator (평가기)
태스크 한 바퀴가 끝나면 Harness는 LLM judge를 호출한다. 디폴트는 Claude다. 사용자가 준 rubric대로 점수를 매긴다. rubric은 구조화된 형태(예: 「최종 답변에 도시 이름이 반드시 포함돼야 함」)도 되고, 자연어(예: 「리포트의 가독성 평가」)도 된다. 점수는 리플레이 기록에 함께 들어가서, prompt나 모델을 바꿔가며 가로로 비교하기 편하다.
README에서 가져온 실제 코드 예시다 (축약 버전).
from strands_harness import Harness, Task
# 멀티 Agent 태스크 정의
task = Task(
name="weather-report",
agents=["planner", "weather-fetcher", "writer"],
tools=["get_weather", "send_to_slack"],
eval_rubric="최종 출력은 구조화된 JSON이어야 하며, cities 배열과 summary 필드를 포함해야 한다",
)
# 태스크 실행, Harness가 모든 궤적을 자동 기록
result = Harness(task).run(replay=True)
print(result.score) # 0.85
print(result.replay_url) # https://harness.example.com/replay/abc123
(축약된 예시이며, 전체 API는 공식 블로그 참고.)
기존 도구와 비교
| 도구 | 핵심 포지션 | Agent 태스크 리플레이 | 내장 평가 | 벤더 종속 |
|---|---|---|---|---|
| LangSmith | LLM trace + monitoring | ❌ 단일 단계 trace | 기본 | LangChain |
| Langfuse | 오픈소스 LLM observability | ❌ 단일 단계 trace | 플러그인 지원 | 없음 |
| Helicone | LLM API 프록시 + 로그 | ❌ | ❌ | 없음 |
| Strands Harness | Agent 태스크 실행+리플레이+평가 | ✅ 엔드투엔드 | ✅ LLM judge 내장 | AWS/Strands |
한눈에 보이지만 Harness의 차별점은 명확하다. trace 도구의 업그레이드 버전이 아니라 Agent 테스트 플랫폼 그 자체라는 점이다. 태스크 실행, 리플레이, 점수 매기기를 한 도구에서 다 처리한다.
다만 종속성도 꽤 강하다. Harness는 Strands Agents SDK에 깊이 묶여있다. LangGraph나 AutoGen으로 짠 Agent는 어댑터를 직접 쓰지 않는 한 거의 못 쓴다. 여기서 AWS의 계산이 읽힌다. Agent 개발 전 과정을 Strands 생태계에 묶어두고, LangChain 쪽 도구 조합으로 돌아가지 못하게 막겠다는 거다.
에디터 노트
이게 왜 중요하냐면, Agent 생태계가 「돌아간다」에서 「안정적으로 돈다」 쪽으로 이동하고 있기 때문이다.
2024년 Agent 프레임워크 전쟁 때는 모두가 「누가 Agent를 쉽게 돌리게 하느냐」를 비교했다. LangGraph, AutoGen, CrewAI가 사용성, 도구 호출, 멀티 Agent 협업을 놓고 경쟁했다. 그런데 실제 프로덕션에서는 개발자가 가장 아프게 느끼는 지점이 따로 있다. 「Agent가 도구를 잘못 부른 이유를 모른다」는 것. 관측 가능성이라는 영역은 그동안 trace 도구(LangSmith, Langfuse)가 점유하고 있었다. 그런데 trace가 해결하는 건 LLM 호출 레이어의 문제지, 여러 단계 Agent의 상태 오염, 롤백, 평가는 전통 trace 도구가 못 하는 영역이다.
Harness의 의미는 「Agent 태스크 레벨 관측 가능성」이라는 트랙에 처음으로 금을 그었다는 데 있다. 엔드투엔드 리플레이 + LLM judge 내장이라는 조합은, trace 도구가 제대로 생각 못했거나 일부러 안 하던 일이다.
다만 AWS의 수읽기도 너무 명확하다. Strands 생태계 락인. LangChain은 옛날에 trace/평가 쪽에서 자리를 못 잡아서, 그걸 LangSmith로 때웠다. AWS는 이번에 Harness 레이어에서 먼저 자리 잡고, Strands SDK 쓰는 팀이 자연스럽게 Harness로 평가까지 쓰게 만든다. 나중에 LangGraph로 갈아타려면 평가 스택을 다시 쌓아야 한다. 이건 툴 플레이가 아니라 플랫폼 플레이다.
내 예상은 이렇다. 앞으로 2~3개 Agent 회사(오픈소스든 클로즈드든)가 비슷한 「태스크 레벨 평가 플랫폼」을 내놓을 것이다. LangChain이 반격하지 않으면 LangSmith는 「그냥 trace 도구」 포지션으로 밀릴 거다. 그쪽 입장에서는 좋은 소식이 아니다.
불확실한 부분도 있다. Harness는 아직 나온 지 얼마 안 됐고, 문서에서 대규모 프로덕션 사례는 못 봤다. 「엔드투엔드 리플레이」라고 들으면 좋지만, 복잡한 멀티 Agent 시스템에서 상태 관리 복잡도가 폭발하지는 않을지. 이건 커뮤니티 피드백을 반년쯤 더 봐야 알겠다.
출처: Strands Harness: Multi-Agent Execution and Evaluation - Strands Agents Blog