Agent Harness가 모델에 흡수되고, 남은 외피는 누가 입나
핵심 판단은 Latent Space의 The Evolution of the Agent Harness에서 가져왔다.
“Models keep absorbing the harness into their weights — soon, it will be a harness for human attention rather than for the model.”
Harness란 무엇이며, 왜 이제서야 주목받는가
Harness는 쉽게 말해 모델을 감싸는 접착제다.
- prompt 템플릿
- tool calling schema
- memory 관리
- retrieval
- retry와 fallback
- 다중 모델 라우팅
- 권한, 승인, 상태 영속화
2023년까지만 해도 Harness는必需品였다.
당时的 GPT-3.5는 함수를 호출하는 데 필요한 JSON을 안정적으로 출력하지 못했다. 개발자는 형식 제약과 예외 분기, 정규식 추출, 재시도 로직을 직접 작성해야 했다. ugly했지만 동작은 했다.
GPT-4o와 Claude 3.5 Sonnet에 이르러 모델은 tool call을 네이티브로 처리하기 시작했다. 모델은 단순한 답변만 생성하는 대신 어떤 도구를 사용할지, 어떤 인자를 채워 넣을지 판단했다.
Harness에 있던 기능이 모델 파라미터 안으로 들어간 것이다.
これは単純な 업그레이드가 아니라 추상화 계층의 이동이다.
모델이 Harness를 한 입씩 삼키고 있다
OpenAI가 2023년 6월 function calling을 발표했을 당시, 개발자들은 여전히 이를 API 주변부 메커니즘으로 여겼다. 모델은 자연어를 담당하고 애플리케이션은 구조화된 호출을 파싱하는 구조였다.
当时의 일반적인 중간 계층은 다음과 비슷했다.
import json
import openai
def classify_ticket(text: str) -> dict:
response = openai.chat.completions.create(
model="gpt-3.5-turbo-0613",
messages=[
{
"role": "system",
"content": (
"Return JSON with keys `category` and `priority`. "
"Category must be one of: billing, technical, account. "
"Priority must be high, medium, or low."
),
},
{"role": "user", "content": text},
],
)
return json.loads(response.choices[0].message.content)
이 코드는 프로토콜을 system prompt에 넣는다. 모델은 유효한 JSON을 직접 생성하고, 애플리케이션은 누락된 필드와 잘못된 enum, 형식 드리프트를 처리해야 한다.
GPT-4o 시기에 OpenAI는 tool calling을 모델 네이티브 인터페이스로 바꿨다. 애플리케이션에 필요한 것은 함수 선언과 실행뿐이다.
import json
import openai
client = openai.OpenAI()
tools = [
{
"type": "function",
"function": {
"name": "classify_ticket",
"description": "Classify a customer support ticket",
"strict": True,
"parameters": {
"type": "object",
"properties": {
"category": {
"type": "string",
"enum": ["billing", "technical", "account"],
},
"priority": {
"type": "string",
"enum": ["high", "medium", "low"],
},
},
"required": ["category", "priority"],
"additionalProperties": False,
},
},
}
]
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{"role": "user", "content": "I was charged twice this month"}
],
tools=tools,
)
arguments = json.loads(
response.choices[0].message.tool_calls[0].function.arguments
)
print(arguments)
형식 제약이 사라진 것은 아니다. Prompt에서 schema로 이동한 뒤, 모델의 네이티브 tool call 인터페이스가 이를 소비한다.
Anthropic도 같은 방향을 걸었다. Claude 3.5 Sonnet의 tool use는 production에서 사용할 수준에 도달했다. 네이티브 기능이 하나씩 늘수록 외부의 Harness는 하나씩 얇아진다.
Llama 3의 instruction following도 마찬가지였다. Few-shot은 예전에는 작업 형식을 보여 주는 수단이었다. 이제는 structured output, 함수 호출, 긴 지시문 따르기가 모델 안에 점차 학습된다.
LangChain이 겪은 변화가 이 흐름을 가장直观적으로 보여 준다.
LangChain은 2023년 빠르게 성장했다. Agent에 필요한 도구와 기억, chain이 부족했고 개발자에게 통합 인터페이스가 필요했기 때문이다. 2024년 들어 커뮤니티에서는 “LangChain은 over-engineered 아닌가”라는 논의가 반복됐다. GitHub star 증가 속도가 느려졌고 “LangChain 겨울”이라는 말까지圈内에서 쓰였다.
논쟁을 API 사용성 탓으로만 돌릴 수는 없다. 더 깊은 원인은 모델이 프레임워크가 담당하던協調 작업越来越多的部分を接管하고 있다는 데 있다.
다음 Harness의 서비스 대상이 뒤집힌다: 모델에서 인간으로
Latent Space의 판단에서 가장 valuable한 부분은 “LangChain이 사라진다”가 아니다.
역할이 뒤집힌다는 점이다.
차세대 Harness는 더 이상 모델만을 위한 것이 아닐 수 있다. 그 대상은 인간의 주의가 된다.
모델이 한 번에 20쪽의 코드, 항목 50개짜리 계획, 10,000자의 분석을 출력한다. 기존 UI는 이런 내용을 채팅 창에 담을 뿐이다. 스크롤은 계속 내려가고 사용자는 차이와 위험, 다음에 할 일을 직접 찾아야 한다.
하지만 인간에게 진정으로 부족한 것은 attention이지 context window가 아니다.
새로운 인터페이스는 모델이 계속 실행되는 동안 사용자에게 다음 정보를 알려줘야 한다.
- 어떤 코드 줄이 바뀌었는지
- 어떤 내용이 아직 초안인지
- 어떤 작업에 승인이 필요한지
- 해결되지 않은 위험이 어디에 있는지
- 다음에는 무엇을 살펴야 하는지
- 어떤 내용을 무시해도 되는지
Latent Space는 이를 “모델을 위한 Harness”가 아니라 “인간의 주의를 위한 Harness”라고 표현한다.
이 차이는 크다.
모델을 위한 프레임워크는 token 소비량, 도구 선택, 재시도 횟수를 최적화한다.
사람을 위한 인터페이스는인지 부담, 정보 밀도, 의사결정节奏를 최적화한다.
前者는 학습 데이터와 모델 능력으로 흡수될 수 있다. 後者는 사람이 무슨 일을 하고 있는지 이해해야 한다.
Orchestrator 시장의 진입장벽은 얼마나 남았나
LangChain, LlamaIndex, CrewAI, AutoGen이 그저 “prompt를 보기 좋게 포장”하는 일만 한다면 진입장벽은 거의 zero다.
ここは分けて考える必要がある.
오케스트레이션은 사라지지 않는다
복잡한 Agent에는 여전히 상태, 조건 분기, 동시 실행, timeout, 영속화, 복구가 필요하다. 현실의 비즈니스 복잡성이 모델 성능만으로 사라지지도 않는다.
하지만 “LLM과 도구를 연결할 수 있다”는 능력의 가치는越来越低다. 모델 API가 이미 structured output과 네이티브 tool use를 제공하고, SDK도 일반적인 디자인 패턴을 흡수하고 있다.
정말 부족한 것은 피드백 루프다
남아 있는 기능은 다음과 더 가깝다.
- evaluation: 실제 작업 세트를 실행해 성공률, 비용, latency 측정
- observability: 각 단계의 prompt, tool call, 상태 변화, 실패 원인 기록
- human-in-the-loop: 중요한 지점에서 모델이 계속 실행되지 않고 사람이 승인
- 권한과 보안: Agent가 무엇을 읽고 쓸 수 있는지 통제
- 상태 복구: 프로세스가 중단된 뒤 어디서부터再開할지 관리
이런 기능은 모델과 가깝지만 완전히 모델 가중치 안으로 들어가지 않았다.
外部 시스템, 실제 사용자, 조직 프로세스에 의존하기 때문이다. 모델이 커질수록 개발자는 모델이 언제 실패하는지 더 잘 알아야 하며, 단순히 while True를 하나 더 작성해서는 안 된다.
그 때문에 LangGraph 같은 상태 기반 runtime은 여전히 공간이 있다. 이는 “LLM을 호출한다”를 파는 것이 아니라 상태 전환과 복구를 검사 가능한 엔지니어링 시스템으로 만드는 것이다.
진입장벽은 추상화의 개수가 아니라 observability에 있다.
엔지니어는 무엇에 베팅해야 하나
세 가지 조언을 제시한다.
1. 새로운 orchestrator 추상화를 만들지 않는다
state graph, tool decorator, prompt chaining을 작성할 수 있다는 이유만으로 또 다른 프레임워크를 만들지 않는다.
먼저 더 구체적인 질문에 답해야 한다. 기존 모델, SDK, protocol이 빠진 것은 무엇인가?
답이 “LLM 호출을 통합 인터페이스로 감싼다”라면 그 가치는 보통 하나의 모델 업그레이드 주기를 넘기지 못한다.
2. 평가와 observability에 집중한다
모든 Agent 프로젝트에는 demo만 있는 것이 아니라 작업 세트가 있어야 한다.
최소한 다음 내용을 기록한다.
from dataclasses import asdict, dataclass, field
from time import perf_counter
@dataclass
class Trace:
task_id: str
model: str
input_tokens: int = 0
output_tokens: int = 0
tool_calls: int = 0
latency_ms: int = 0
success: bool = False
tags: list[str] = field(default_factory=list)
def trace_agent_run(task_id: str, run) -> Trace:
started = perf_counter()
result = run()
return Trace(
task_id=task_id,
model=result.model,
input_tokens=result.input_tokens,
output_tokens=result.output_tokens,
tool_calls=len(result.tool_calls),
latency_ms=round((perf_counter() - started) * 1000),
success=result.exit_code == 0,
tags=result.tags,
)
프레임워크的宣传页보다 실제 benchmark가 유용하다.
같은 작업 세트에서 모델 버전, prompt, 도구 정의, 재시도 전략을 비교한다. 실패 사례는 회귀 테스트에 포함해야 한다. 그렇지 않으면 Agent는 “시연할 때만 성공”하고上线 뒤에는 사람이 불을 끄는 상황이 된다.
3. 인간의 주의 관리 방식을 연구한다
제품 형태는 이미 나타나고 있다.
OpenAI는 2024년 10월 ChatGPT Canvas를推出了. Canvas는 단순히 텍스트를展示하는 것이 아니다. 수정할 영역을指出하고 직접 편집할 수 있으며局部的 내용만 따로 처리한다. 사용자는 채팅 기록에서 버전을 찾을 필요가 없다.
Anthropic은 2024년 6월 Claude Artifacts를推出了. 코드와 문서, 작은 웹페이지를 생성하면 Artifact가 결과를 독립된 작업 공간에 넣는다. 사용자는 모델 대화旁边에서 결과를 보고 수정하고 반복할 수 있다.
두 제품 모두 같은 문제를解决한다. 10,000자의 답변을 하나의 스크롤 창에 밀어 넣지 않는 것이다.
다음 Agent 제품들이 경쟁할 가치 있는 지점은 다음과 같다.
- 반복되는 내용을 자동으로 접기
- 사실이 불확실한 문단을 표시
- diff와 증거, 실행 결과를 원래 위치에 함께 보여 주기
- 위험한 작업을 승인받기
- 긴 작업에서는 중요한 상태만推送
- 전체를 다시 생성하지 않고 사용자가 원하는 위치에서 수정
남은 외피는 누가 입나
Harness는 사라지지 않는다.
계속해서 모델에 흡수될 뿐이다.
prompt 템플릿은 instruction following에, JSON 추출은 structured output에, 도구 선택은 native tool use에, 단기 기억은 long context에 흡수된다.
最後に 남는 것은 더 복잡한 Agent class가 아니다.
두 종류의 외부 시스템이다.
- 기계 측의 상태, 권한, 평가, observability
- 인간 측의 주의, 이해, 의사결정
前者는 Agent가 신뢰성 있게 실행되는지를 결정한다. 後者는 사람이 계속 사용하려는지를 결정한다.
모델 능력이 강해질수록 개발자는 prompt를 다시 포장하는 데 시간을 쓰지 않아야 한다.
Harness가 흡수된 뒤 남은 구멍을 메우는 일이 필요하다.