實戰

Claude Opus 準確率不變,推理成本降至四分之一

Hightouch 採用輕量級 JEV 先處理身分解析,僅在低置信度或高風險情境下改由 Claude Opus 判定。公開實驗顯示,整體準確率接近直接使用 Opus,但總推理成本約降至四分之一。

字級

直接將 Claude Opus 換成更便宜的小模型,通常就得付出準確率下滑的代價。

Hightouch 採取另一種做法:保留 Opus,但不再讓每一筆記錄都送進模型。

他們打造了一套可依需求呼叫 Claude Opus 的 JEV(Judgment / Judge / Evaluator 類輕量模型),先判斷身分解析結果是否可靠。只有遇到模糊、衝突或高風險樣本,系統才會升級至 Claude Opus。

根據 Hightouch 公開的實驗、提示詞與評測細節,JEV 的任務準確率接近 Claude Opus,推理成本則約為單獨使用 Opus 的四分之一。換句話說,成本降幅約為 75%。

這不是少用 25% 的 Opus,而是讓大多數請求在升級前就完成處理。

兩層模型不是冗餘設計

常見的多模型系統會同時詢問兩個模型,再透過投票或裁判機制決定答案。問題在於,簡單樣本也被重複計費,延遲還會疊加。

Hightouch 的做法不是平行執行兩次,而是採取串行分工。

第一層是輕量級 JEV,由它先完成身分解析,並輸出結果與置信度。JEV 並非固定模型,而是一個路由層:依據任務難度與自身判斷,決定是否需要呼叫 Claude Opus。

第二層才是 Claude Opus,負責處理 JEV 認為不確定的記錄,並對最終判斷負責。

這套設計最容易抄錯的不是模型名稱,而是請求流程:

record -> JEV -> confidence check
                    |-> high confidence: accept JEV result
                    |-> low confidence: request Claude Opus

若所有樣本都升級,串接就沒有成本效益;若升級條件過於嚴格,錯誤可能直接漏掉。真正需要測量的項目包括:

  • JEV 單獨處理時的準確率;
  • 升級至 Opus 的比例;
  • 升級前後的錯誤分布;
  • 每次解析的平均成本;
  • P95 延遲,而非只看平均值。

Hightouch 公開了實驗設定、提示詞與評測細節,也提供可量化的準確率及成本比較,這一點相當關鍵。否則,「準確率不變、成本降低 75%」只不過是一句無法重現的產品宣傳。

原始文章:LLM Judges for Identity Resolution

四分之一成本如何算出

約 75% 的降幅並非憑空而來的折扣,而是請求結構改變的結果。

假設單獨使用 Claude Opus 完成一次批次身分解析需要 100 個單位的推理成本。在兩層架構中,JEV 先處理全部記錄,只有比例為 p 的樣本會升級至 Opus。兩層模型的綜合成本可粗略寫成:

總成本 ≈ JEV 批量處理成本 + p × Opus 升級成本

關鍵在於 p。如果大多數身分匹配都能由簡單規則或輕量模型穩定處理,升級比例就會很低,Opus 的費用自然大幅下降。最終報告口徑顯示,總推理成本約為單獨使用 Opus 的四分之一。

這組數據不能直接解讀為「Opus 價格降低 75%」。模型單價沒有改變,改變的是呼叫量:系統提前處理掉不需要 Opus 的判斷。

還有一個工程細節值得注意。身分解析任務中,簡單記錄通常占很高比例。電子郵件、 手機號等識別欄位格式明確時,候選實體往往很少;真正棘手的則是姓名拼寫差異、欄位缺失、家庭成員共用地址,以及多個候選實體分數接近。JEV 適合先消化前一類記錄,把後一類交給 Opus。

這也是為何實驗數據比架構圖更重要。JEV 使用什麼提示詞、如何定義置信度、何時升級,都會直接影響那 75% 的降幅。

身分解析為何適合模型級聯

身分解析不是自由問答。它有相對明確的目標:在客戶資料庫中判斷兩筆記錄是否指向同一個實體。

但這項任務同時存在大量模糊邊界。

例如,「John Smith」可能對應多名客戶。地址相同不能證明身分相同,電子郵件不同也不一定代表兩人。規則系統適合處理完全匹配,卻難以涵蓋跨系統欄位缺失、暱稱變化與輸入錯誤。若直接讓 Opus 處理全部資料,昂貴模型就得承擔大量機械式判斷。

模型級聯正好利用了這種分布:

  • 格式規則明確、候選唯一:直接匹配或交給輕量模型;
  • 欄位輕微不一致,且 JEV 能判斷:由 JEV 直接回傳結果;
  • 候選衝突、欄位缺失嚴重:升級至 Claude Opus;
  • 高風險業務樣本:無論置信度多高,都交由人工或更強模型複核。

最後一點很重要。低置信度路由不能取代合規審查。如果身分合併會影響計費、帳戶復原或隱私存取,升級條件就應由業務風險決定,而不能只看模型自行回報的分數。

相關討論也登上 Hacker News 首頁,獲得 165 分與 40 則留言。原始討論連結為 Hacker News item 50397429。留言區真正值得關注的,不是「模型會不會取代資料工程師」,而是升級門檻該如何設定,以及這套方法能否移植到其他任務。

比直接換模型更值得借鑑的是 JEV 路由

直接換成便宜模型,通常會犧牲能力。模型級聯保留升級路徑,因此更適合生產環境。

這套思路可以移植到幾個常見任務。

客服品質檢核:JEV 先檢查工單是否違反規則,明顯合規的樣本直接放行,語氣複雜、缺少上下文或涉及賠償的樣本再交給 Claude Opus。

資料清洗:輕量模型先處理標準格式、重複項目與確定性格式錯誤,語意去重及衝突合併再行升級。

程式碼審查:JEV 先執行靜態檢查並篩出低風險變更,架構影響、安全漏洞與跨模組邏輯則交給更強的模型。

移植時該複製的是路由機制,而不是 Claude Opus 與某個 JEV 的固定組合。

我會依照以下四個步驟建立最小可行版本:

  1. 先建立單模型 baseline,記錄準確率、成本與延遲。
  2. 讓輕量模型同時輸出結果、理由與置信訊號。
  3. 從真實錯誤反推升級條件,避免憑感覺設定門檻。
  4. 使用同一批樣本進行消融實驗,比較不同升級比例下的效益。

簡單的路由偽程式如下:

def resolve(record, jev, opus):
    result = jev.judge(record)

    needs_opus = (
        result.confidence < 0.72
        or result.candidate_count > 1
        or "identity" in result.risk_flags
    )

    if needs_opus:
        return opus.judge(record, candidate_result=result)

    return result

這裡的 0.72 只是示範,並非 Hightouch 的實驗參數。上線前必須使用自己的標註集進行校準。更好的做法是將置信度與業務風險分開:即使模型再有信心,也不能凌駕於明確的合規門檻之上。

編輯觀察

這次實驗比「用小模型取代大模型」更值得關注。它顯示,生產環境中的 AI 系統,優化單位或許不是單次請求,而是整條決策鏈。

我的判斷是,模型級聯接下來會從 Agent 內部技巧,逐漸演變為成本控制層。客服、品質檢核、資料清洗與程式碼審查都有共同結構:請求難度分布不均,少數困難樣本造成大多數錯誤,也更適合消耗昂貴的推理預算。

這與過去的參數微調不同。微調主要改變單一模型的能力邊界;級聯則讓系統能動態選擇成本。Hightouch 公開的材料也提供了提示詞與評測細節,使結果至少具備重現的入口。

不過,目前公開的數據仍不足以證明 75% 的降幅能移植到所有任務。身分解析有明確答案,也有相對穩定的難度分層;開放式寫作與複雜規劃則未必如此。路由門檻一旦失準,省下的成本可能轉化成返工與人工複核。值得追蹤的不只是推理帳單,還包括 P95 延遲、升級比例、誤判類型,以及預算上限被突破時的系統行為。

來源: https://hightouch.com/blog/llm-judges-identity-resolution