觀點

Agent Harness 正在被模型吞噬,留下的外殼該由誰接手?

LangChain 這類框架終將被模型權重吸收。下一層抽象的核心任務不再是替模型管理上下文,而是替人類管理注意力——這是 Latent Space 最近的關鍵觀察。

字級

Harness 是什麼,為何現在才被拿來討論

Harness 概念不難理解。

它是黏在模型外層的膠水,負責串接各種機制:

  • prompt 模板
  • tool calling schema
  • memory 管理
  • retrieval
  • retry 與 fallback
  • 多模型路由
  • 權限、審批與狀態持久化

2023 年時,它還是必需品。

當時的 GPT-3.5 無法穩定輸出函式呼叫所需的 JSON。開發者得自寫格式約束、例外處理、正則抽取、重試機制。程式碼很醜,但能跑。

到了 GPT-4o 與 Claude 3.5 Sonnet,模型開始原生處理 tool call。模型不再只產出一句答案,而是自行判斷該呼叫哪個工具、該填入哪些參數。

Harness 裡的能力開始被收進模型參數中。

這不是一次升級,而是一次抽象層的遷移。

模型正在一口一口吞掉 harness

OpenAI 在 2023 年 6 月發表 function calling 時,開發者仍把它視為 API 的外掛機制:模型負責自然語言,應用端負責解析結構化呼叫。

那個年代常見的中介層寫法類似這樣:

import json
import openai

def classify_ticket(text: str) -> dict:
    response = openai.chat.completions.create(
        model="gpt-3.5-turbo-0613",
        messages=[
            {
                "role": "system",
                "content": (
                    "Return JSON with keys `category` and `priority`. "
                    "Category must be one of: billing, technical, account. "
                    "Priority must be high, medium, or low."
                ),
            },
            {"role": "user", "content": text},
        ],
    )

    return json.loads(response.choices[0].message.content)

這段程式把協議硬塞進 system prompt。模型得自己想辦法生出合法 JSON,應用端再處理缺欄位、錯列舉值與格式飄移。

到了 GPT-4o 階段,OpenAI 已將 tool calling 變成模型原生介面。應用端只需要提供函式宣告與執行邏輯:

import json
import openai

client = openai.OpenAI()

tools = [
    {
        "type": "function",
        "function": {
            "name": "classify_ticket",
            "description": "Classify a customer support ticket",
            "strict": True,
            "parameters": {
                "type": "object",
                "properties": {
                    "category": {
                        "type": "string",
                        "enum": ["billing", "technical", "account"],
                    },
                    "priority": {
                        "type": "string",
                        "enum": ["high", "medium", "low"],
                    },
                },
                "required": ["category", "priority"],
                "additionalProperties": False,
            },
        },
    }
]

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "user", "content": "I was charged twice this month"}
    ],
    tools=tools,
)

arguments = json.loads(
    response.choices[0].message.tool_calls[0].function.arguments
)
print(arguments)

格式約束沒有消失,只是從 prompt 搬進 schema,再由模型原生 tool call 介面接手。

Anthropic 走了同樣的路。Claude 3.5 Sonnet 的 tool use 達到生產可用等級。原生能力每多一層,外層 harness 就少一層。

Llama 3 的 instruction following 也做了同樣的事。few-shot 原本用來示範任務格式,如今結構化輸出、函式呼叫、長指令遵循都逐漸被訓練進模型本身。

LangChain 的遭遇,是這段變化最直觀的縮影。

它在 2023 年快速崛起,因為當時 Agent 缺工具、缺記憶、缺鏈,開發者確實需要統一介面。2024 年起,社群開始反覆討論「LangChain 是否 over-engineered」。GitHub star 增速放緩,「LangChain 寒冬」成了圈內說法。

爭議不能只歸因於 API 難用。更深層的問題是:模型正在接手越來越多原本由框架負責的協調工作。

下一層 harness 的服務對象翻轉:從模型到人類

Latent Space 的判斷最有價值的地方,不是「LangChain 會消失」。

而是角色翻轉。

下一代 harness 可能不再主要服務模型,而是服務人類的注意力。

模型一次輸出 20 頁程式碼、一份 50 項的計畫,或一萬字的分析報告。傳統 UI 只會把這些內容塞進聊天室。滾輪繼續往下捲,使用者自己找差異、找風險、找下一步。

但人類真正稀缺的從來不是上下文窗口,而是注意力。

新的介面需要在模型仍於背景執行時告知使用者:

  • 哪幾行程式碼被改動了
  • 哪些內容只是草稿
  • 哪個操作需要審批
  • 哪裡存在尚未解決的風險
  • 下一步該看什麼
  • 哪些內容可以忽略

Latent Space 把這個概念概括為「面向人類注意力的 harness」,而非「面向模型的 harness」。

這個區別很大。

一個面向模型的框架,優化的是 token 消耗、工具選擇、重試次數。

一個面向人的介面,優化的是認知負擔、資訊密度與決策節奏。

前者可以靠訓練資料與模型能力被吸收。後者必須理解人正在做什麼。

Orchestrator 賽道的護城河還剩多少

如果 LangChain、LlamaIndex、CrewAI、AutoGen 只做「把 prompt 包得更好看」這件事,護城河基本歸零。

這裡要拆開來看。

編排不會消失

複雜 Agent 依然需要狀態、條件分支、並發、超時、持久化與還原機制。現實業務也不會因為模型變強就自動消失。

但「能把 LLM 跟工具接起來」這件事越來越不值錢。模型 API 本身已提供結構化輸出、原生 tool use,常見設計模式也被 SDK 逐步吸收。

真正稀缺的是回饋閉環

能留下來的能力更接近以下幾項:

  • evaluation:在真實任務集上跑分,量測成功率、成本與延遲
  • observability:記錄每一步的 prompt、tool call、狀態變化與失敗原因
  • human-in-the-loop:在關鍵節點讓人類審批,而非讓模型一路執行到底
  • 權限與安全:控管 Agent 能讀什麼、能寫什麼
  • 狀態還原:行程崩潰後,能從哪個節點繼續

這些能力離模型很近,卻又沒完全進入模型權重。

因為它們依賴外部系統、真實使用者與組織流程。模型越大,開發者越需要知道它何時會失敗,而不是只會再寫一個 while True。

這也是 LangGraph 這類有狀態執行框架仍有空間的原因。它賣的不是「會呼叫 LLM」,而是把狀態轉換與還原做成可檢查的工程系統。

護城河不在抽象層的多寡,在於可觀測性。

工程師該怎麼押注

我給三條建議。

1. 別再發明新的 orchestrator 抽象

不要因為能寫 state graph、tool decorator 與 prompt chaining,就再造一個框架。

先回答更具體的問題:現有模型、SDK 與協議,到底缺了什麼?

如果答案是「把 LLM 呼叫包成統一介面」,這個價值通常撐不過一次模型升級週期。

2. 把精力轉向評測與 observability

每個 Agent 專案都該有任務集,不只是 demo。

至少要記錄:

from dataclasses import asdict, dataclass, field
from time import perf_counter

@dataclass
class Trace:
    task_id: str
    model: str
    input_tokens: int = 0
    output_tokens: int = 0
    tool_calls: int = 0
    latency_ms: int = 0
    success: bool = False
    tags: list[str] = field(default_factory=list)

def trace_agent_run(task_id: str, run) -> Trace:
    started = perf_counter()
    result = run()

    return Trace(
        task_id=task_id,
        model=result.model,
        input_tokens=result.input_tokens,
        output_tokens=result.output_tokens,
        tool_calls=len(result.tool_calls),
        latency_ms=round((perf_counter() - started) * 1000),
        success=result.exit_code == 0,
        tags=result.tags,
    )

真實跑分比框架的宣傳頁有用。

在同一個任務集上,比較模型版本、prompt、工具定義與重試策略。失敗案例要進入回歸測試。否則 Agent 只會「示範成功」,上線後靠人肉救火。

3. 研究人類注意力管理

產品形態已經出現了。

OpenAI 在 2024 年 10 月推出 ChatGPT Canvas。它不只是展示文字,Canvas 會指出需要修改的區塊,支援直接編輯,並能單獨處理局部內容。使用者不必在聊天紀錄裡翻找某個版本。

Anthropic 在 2024 年 6 月推出 Claude Artifacts。當生成程式碼、文件或小型網頁後,Artifact 會把結果放進獨立工作區,使用者可在模型對話旁查看、編輯與迭代。

兩者都在解決同一個問題:不要把一萬字的答案塞進同一個滾動視窗。

下一批 Agent 產品值得競爭的方向也在這裡:

  • 自動收合重複內容
  • 標註事實不確定的段落
  • 把 diff、證據與執行結果放回原位
  • 審批具風險的操作
  • 在長任務中只推送關鍵狀態
  • 讓使用者從任意位置修改,而不是重新生成全文

剩下的那層皮,給誰穿?

Harness 不會消失。

它會一層一層被模型吞掉。

prompt 模板被 instruction following 吞掉。JSON 抽取被 structured output 吞掉。工具選擇被 native tool use 吞掉。短記憶被長上下文吞掉。

最後剩下的,不是另一個更複雜的 Agent 類別。

而是兩套外部系統:

  • 機器側的狀態、權限、評測與可觀測性
  • 人類側的注意力、理解與決策

前者決定 Agent 能否可靠運作。後者決定人是否願意使用它。

模型能力越強,開發者越不該把時間花在重新包裝 prompt 上。

該去補的是 harness 被吞掉後留下的洞。

參考資料:The Evolution of the Agent Harness — Latent Space

來源: https://www.latent.space/p/attention-interface