Agent Harnessはモデルに呑み込まれる──最後に残るのは誰のための皮か?
核心となる見立てはLatent Spaceの The Evolution of the Agent Harness から:
「Models keep absorbing the harness into their weights — soon, it will be a harness for human attention rather than for the model.」
Harnessとは何か、そして今なぜ語られるのか
Harnessは難しくない。モデルの外側を覆う糊だと考えればよい。
- promptテンプレート
- tool callingのスキーマ
- memory管理
- retrieval
- retryとfallback
- 複数モデルのルーティング
- 権限、承認、状態の永続化
2023年時点では必需品だった。当時のGPT-3.5は、関数呼び出しに必要なJSONを安定して出力できなかった。開発者はフォーマット制約を書き、例外分岐を組み、正規表現で抽出し、リトライを書いた。見栄えは悪いが、動く。
GPT-4oとClaude 3.5 Sonnetになると、モデルはtool callをネイティブに処理し始めた。モデルは単に回答を生成するだけでなく、どのツールを使うか、どの引数を埋めるかまで判断する。Harnessに閉じ込められていた能力が、モデルのパラメータに取り込まれ始めた。
これは単なるアップデートではない。抽象層の移行である。
モデルはharnessを少しずつ呑み込みつつある
2023年6月、OpenAIがfunction callingを発表した頃、開発者はなおそれをAPI周辺の機構として見ていた。モデルは自然言語を担当し、アプリケーションが構造化された呼び出しを解析する。
当時の典型的な中間層は次のようなものだ。
import json
import openai
def classify_ticket(text: str) -> dict:
response = openai.chat.completions.create(
model="gpt-3.5-turbo-0613",
messages=[
{
"role": "system",
"content": (
"Return JSON with keys `category` and `priority`. "
"Category must be one of: billing, technical, account. "
"Priority must be high, medium, or low."
),
},
{"role": "user", "content": text},
],
)
return json.loads(response.choices[0].message.content)
このコードでは、プロトコルがsystemプロンプトに詰め込まれている。モデル自身が有効なJSONを生成し、アプリケーション側が欠損フィールドや不正なenum値、フォーマットの揺れを後処理する。
GPT-4oの段階で、OpenAIはtool callingをモデルのネイティブインターフェースにした。アプリケーション側に必要になるのは、関数の宣言と実行だけになる。
import json
import openai
client = openai.OpenAI()
tools = [
{
"type": "function",
"function": {
"name": "classify_ticket",
"description": "Classify a customer support ticket",
"strict": True,
"parameters": {
"type": "object",
"properties": {
"category": {
"type": "string",
"enum": ["billing", "technical", "account"],
},
"priority": {
"type": "string",
"enum": ["high", "medium", "low"],
},
},
"required": ["category", "priority"],
"additionalProperties": False,
},
},
}
]
response = client.chat.completions.create(
model="gpt-4o",
messages=[
{"role": "user", "content": "I was charged twice this month"}
],
tools=tools,
)
arguments = json.loads(
response.choices[0].message.tool_calls[0].function.arguments
)
print(arguments)
フォーマット制約は消えていない。プロンプトからスキーマへ移り、モデルのネイティブtool callインターフェースによって消費される形になった。
Anthropicも同じ道を歩んだ。Claude 3.5 Sonnetのtool useは本番運用に耐える水準に達した。ネイティブ能力が一段積み重なるたびに、外側のharnessは一段薄くなる。
Llama 3のinstruction followingも同じ動きを見せた。few-shotはかつて、タスクの形式を例示するために使われていた。今では、構造化出力、関数呼び出し、長文の指示追従が徐々にモデルに訓練されつつある。
LangChainがたどった道筋は、この変化をもっとも端的に示している。
2023年に急成長した背景には、Agentにツールも記憶もチェーンも足りず、開発者に統一インターフェースが本当に必要だったことがある。2024年になると、「LangChainはover-engineeredではないか」がコミュニティで繰り返し論じられるようになった。GitHubのstar増加率は鈍化し、「LangChain寒冬(冬の時代)」という言葉が巷で囁かれた。
論争の根源をただ「APIが使いにくい」だけに帰すのは正確ではない。より深い問題は、モデルが従来フレームワークが担ってきた調整作業の多くを飲み込み始めたという事実にある。
次のharnessは誰のためにあるのか──モデルから人間への主役交代
Latent Spaceの見立てで最も価値があるのは、「LangChainは消える」という部分ではない。本質は役割の反転にある。
次世代のharnessは、もはやモデルを中心に据えるものではない。人間の注意力に奉仕する側に回る。
モデルは一度に20ページのコード、50項目のプラン、10,000字の分析を出力する。従来型のUIはそれらをただチャット欄の中に流し込む。スクロールは止まらない。利用者が自分で差分を見つけ、リスクを見つけ、次の一手を探す。
だが、現実的に希少な資源はコンテキストウィンドウではなく、人間の注意力である。
新しいインターフェースは、モデルがまだ稼働している最中に、ユーザーに次の情報を届けなければならない。
- どの数行のコードが変更されたか
- どの内容が単なる下書きか
- どの操作が承認を必要とするか
- どこに未解決のリスクがあるか
- 次にどこを見るべきか
- どの内容を無視してよいか
Latent Spaceはこれを「モデル向けのharness」ではなく「人間の注意力向けのharness」と表現している。この区別は大きい。
モデル中心のフレームワークは、トークン消費量、ツール選択、リトライ回数を最適化する。
人間中心のインターフェースは、認知負荷、情報の密度、判断のリズムを最適化する。
前者は学習データとモデルの能力で吸収できる。後者は人間が今何をしているかを理解する必要がある。
Orchestrator系プロダクトの堀はあとどれだけ残っているか
LangChain、LlamaIndex、CrewAI、AutoGenが「プロンプトをもっと見栄えよく包む」だけの存在になった瞬間、その堀はほぼ消える。
ここでは分けて考える必要がある。
オーケストレーション自体は死なない
複雑なAgentには依然として、状態、条件分岐、並行処理、タイムアウト、永続化、復旧が求められる。現実の業務はモデルが強くなったからといって消えてくれない。
だが、「LLMとツールを接続できる」という価値自体はどんどん下がっている。モデルAPI自体が構造化出力やネイティブtool useを備え、SDKもよくある設計パターンを吸収し始めた。
真に希少なのはフィードバックの閉ループ
生き残るのは、おおよそ次のような能力に近い。
- evaluation:現実的なタスク集合で実行し、成功率・コスト・レイテンシを計測する
- observability:各ステップのprompt、tool call、状態変化、失敗原因を記録する
- human-in-the-loop:重要なノードで人間に承認を仰ぎ、モデルに一直線に実行させない
- 権限とセキュリティ:Agentが何を読み、何を書けるかを制御する
- 状態の復旧:プロセスが落ちたとき、どこから再開するか
これらの能力はモデルに近い位置にある一方で、モデルの重みの中には完全には取り込まれていない。外部システムや実際のユーザー、組織のワークフローに依存するためだ。モデルが大きくなるほど、開発者にとって重要になるのは、いつ失敗したかを知ることであって、もう一つ while True を書き足すことではない。
LangGraphのようなステートフル実行基盤にまだ余地があるのも、この理由による。LangGraphが売りにしているのは「LLMを呼び出せること」ではなく、状態遷移と復旧を検査可能なエンジニアリングシステムとして提供することだ。
堀は抽象の多さではなく、可観測性にある。
エンジニアはどこに賭けるべきか
三つだけ提案する。
1. 新しいorchestratorの抽象はもう書かない
state graphも、tool decoratorも、prompt chainingも、書けるからといって書かない。
まず問い直すべきは、より具体的な問いだ。既存のモデル、SDK、プロトコルの何が足りないのか。
もし答えが「LLM呼び出しを統一インターフェースにまとめること」なら、その価値は通常、モデルが一度アップデートされる周期すら持たない。
2. 評価とobservabilityに工数を振り向ける
あらゆるAgentプロジェクトには、デモだけでなくタスク集合が必要だ。最低限、次のような記録を残したい。
from dataclasses import asdict, dataclass, field
from time import perf_counter
@dataclass
class Trace:
task_id: str
model: str
input_tokens: int = 0
output_tokens: int = 0
tool_calls: int = 0
latency_ms: int = 0
success: bool = False
tags: list[str] = field(default_factory=list)
def trace_agent_run(task_id: str, run) -> Trace:
started = perf_counter()
result = run()
return Trace(
task_id=task_id,
model=result.model,
input_tokens=result.input_tokens,
output_tokens=result.output_tokens,
tool_calls=len(result.tool_calls),
latency_ms=round((perf_counter() - started) * 1000),
success=result.exit_code == 0,
tags=result.tags,
)
フレームワークの宣传ページより、実走のスコアの方がよほど役に立つ。
同じタスク集合の上で、モデルバージョン、prompt、ツール定義、リトライ戦略を比較する。失敗ケースはリグレッションテストに組み込む。そうしなければ、Agentは「デモでは成功」だけで、本番では人力の火消しに頼ることになる。
3. 人間の注意力管理を研究する
プロダクトの形はすでに出始めている。
OpenAIは2024年10月にChatGPT Canvasを発表した。これは単にテキストを表示するだけの機能ではない。Canvasは修正が必要な箇所を示し、その場で直接編集できるようにし、部分ごとに独立して扱える。ユーザーはチャット履歴の中から該当バージョンを見つけ出す必要がない。
Anthropicは2024年6月にClaude Artifactsを公開した。コードやドキュメント、小規模なWebページを生成した後、Artifactは結果を独立した作業領域に置く。ユーザーはモデルとの対話の隣で内容を確認し、編集し、イテレーションを回せる。
両者が解いているのは同じ問題だ。10,000字の回答を一つのスクロール窓に詰め込まないこと。
これは次に生まれるAgent製品群が戦う価値領域でもある。
- 重複する内容を自動で畳み込む
- 事実が不確かな段落にフラグを付ける
- diff、根拠、実行結果を元の位置に戻す
- 危険な操作は承認を要求する
- 長時間のタスクでは重要な状態だけを通知する
- 全文を再生成させず、任意の位置からユーザーが修正できるようにする
最後に残った皮は、誰に着せるのか
Harnessは消えない。
一層ずつ、モデルに呑み込まれていく。
promptテンプレートはinstruction followingに呑み込まれる。JSON抽出はstructured outputに呑み込まれる。ツール選択はnative tool useに呑み込まれる。短期記憶は長いコンテキストに呑み込まれる。
最後に残るのは、より複雑なAgentクラスではない。二つの外部システムだ。
- 機械側の状態、権限、評価、可観測性
- 人間側の注意力、理解、意思決定
前者はAgentが安定して動くかを決める。後者は人間が使い続けるかどうかを決める。
モデルの能力が上がるほど、開発者が費やすべきはプロンプトの包装の練り直しではない。
harnessに呑み込まれた後に空いた穴を、埋める側に回るべきだ。