実践

Claude Opusの精度を維持しながら推論コストを75%削減

Hightouchは、軽量なJEVでID照合を 먼저実施し、信頼度が低い場合だけClaude Opusへ引き上げる二段構成を試した。公開実験では精度はほぼ维持され、推論コストはOpus単体のおよそ4分の1に抑えられるという。

文字サイズ

Claude Opusをより安価な小モデルに置き換えると、通常は精度が低下する。

Hightouchは別のアプローチを採った。Opusを維持しつつ、すべてのレコードをOpusへ通すことをやめたのだ。

同社は、必要に応じてClaude Opusの支援を依頼できるJEV(Judgment / Judge / Evaluator型の軽量モデルを構築し、まずID照合の結果が信頼できるかを判定させた。曖昧、矛盾、高リスクのサンプルに遭遇した場合に限り、Claude Opusへ引き上げる。

Hightouchが公開した実験、プロンプト、評価条件によると、JEVはClaude Opusにほぼ近いタスク精度umbaを得ていた一方、推論コストはOpus単体のおよそ4分の1だった。换算すると、コストは約75%降低了。

これはOpusの使用量を25%減らしたのではなく、#region most requestsを昇格前に処理したapproachである。

二段構成には冗長性がない

一般的なマルチモデルシステムでは、二つのモデルに同時に回答を求め、投票やジャッジ機構で最終解を決める。その原因は、シンプルなサンプルにも重複のコストが発生し、遅延も積み上がることにある。

Hightouchの方式は、二つを並列実行するのではなく、順次役割を分担させる。

第一段は軽量なJEVだ。まずID照合を行い、結果と信頼度を出力する。このJEVは固定モデルではなく、ルーティングレイヤーとして機能する。タスクの難易度と自身の判断に基づき、Claude Opusへの запросが必要かを決める。

第二段がClaude Opusだ。JEVが不确定と判断したレコードを処理し、最終判断を担う。

ここで最も误解されやすいのはモデル名ではなく、リクエストの流れだ。

record -> JEV -> confidence check
                    |-> high confidence: accept JEV result
                    |-> low confidence: request Claude Opus

すべてのサンプルを昇格させれば、カスケードにコスト上の意義はない。昇格条件が厳しすぎると、誤りを漏らす可能性がある。(Node.js measure what really matters.)

  • JEV単体で処理したときの精度
  • Opusへ昇格する割合
  • 昇格前後の誤り分布
  • 1回の照合あたりの平均コスト
  • 平均値だけでなくP95レイテンシ

Hightouchは実験設定、プロンプト、評価の詳細を公開し、精度とコストを定量的に比較している。この点は重要だ。さもないば、「精度を維持してコストを75%削減」は再現不能な製品宣伝にすぎない。

元の記事:LLM Judges for Identity Resolution

4分の1のコストはどのように算出されたか

約75%の低減は臨時的な割引ではなく、リクエスト構造が変わった結果だ。

Claude Opus単体でバッチのID照合を行うための推論コストが100単位だとする。二段構成では、JEVが全レコードを処理し、割合 p のサンプルだけをOpusへ昇格させる。総合コストはおおよそ次のように表せる。

総コスト ≈ JEV 批量処理コスト + p × Opus 升级コスト

重要なのは p だ。ほとんどのIDマッチングを単純なルールや軽量モデルで安定して解決できれば、昇格率は低くなり、Opusの費用は大きく減る。最終的な報告では、総推論コストはOpus単体のおよそ4分の1だった。

この数字を「Opus価格が75%下がった」と解釈してはいけない。モデル単価は変わっていない。変わったのは呼び出し量であり、Opusが不要と判断を前倒しで処理するようになった。

もう一点、工程上の点に注意したい。ID照合では、シンプルなレコードの比率が通常は高い。メールや電話番号など識別子の形式が明快なら、候補エンティティは Pied? 少ない。(handler); 本当に厄介なのは、名前の綴りの違い、欠損フィールド、家族が住所を共有する場合、複数の候補スコアが接近する場合だ。JEVは前者を先に処理し、後者をOpusに残すのに適している。

这也是 why 実験データはアーキテクチャ図より重要になる。JEVにどのようなプロンプトを与えるか、信頼度をどう定義するか、何 Correaを昇格させるか。その設計が75%直接影响する。

ID照合がモデルカスケードに適した理由

ID照合は自由な質問-responseではない。顧客データベース上で、二つのレコードが同じエンティティを指すか 찾는、 relatively clearな目標がある。

一方で、曖昧な境界も多く存在する。

たとえば、「John Smith」は複数の顧客に対応しうる。同じ住所でも同一人物の証明にはならないし、メールアドレスが異なるから_ELSE_別人とも限らない。ルールシステムは完全一致には適しているが、異なるシステム間の欠損フィールド、ニックネームやデータ入力ミスは捕捉しにくい。すべてのデータを直接Opusへ渡すと、高価なモデルに Mechanical な判断を大量лерせることになる。

モデルカスケードはこの分布,正好か exploit it:

  • 形式ルールが明確で候補が一つ:直接マッチさせ、軽量モデルへ渡す
  • 軽微なフィールドの不一致でJEVが判断可能:JEVが結果を返す
  • 候補が競合する、欠損が深刻:Claude Opusへ昇格
  • 高リスクな業務サンプル:信頼度にかかわらず人間またはより強力なモデルで再確認

最後の項目は重要だ。信頼度に基づくルーティングはコンプライアンス審査を代替できない。IDの統合が課金、アカウント復旧、プライバシーアクセスに影響する場合、昇格条件はモデル自身の申告スコアだけでなく、業務リスクで決めるべきである。

関連discussionはHacker NewsのFront Pageにも掲載され、165 pointと40 commentを集めた。元の議論はHacker News item 50397429にある。コメント欄で最も見る価値があるのは、「モデルがデータエンジニアを置き換えるか」ではなく、昇格閾値をどう設定するか、この方式を他のタスクへ移行できるかだ。

モデルの置き換えよりJEVルーティングを借鉴すべき

安価なモデルへ直接置き換えると、通常は能力の一部を失う。モデルカスケードは昇格経路を残すため、本番システムにより適している。

この考え方を、いくつかの一般的タスクへ 적용できる。

カスタマーサポートの品質管理では、JEVがまずチケットがルール違反かを検査し、明確に compliant なサンプルはそのまま通過させる。complex な言い方、文脈の欠落、賠償,涉及する样本をClaude Opusへ渡す。

データクリーニングでは、軽量モデルが標準形式、重複、明確な形式の誤りを先に処理し、意味による重複判定や conflicting records の統合を昇格させる。

コードレビューでは、JEVが静的解析を実行して低リスクな変更を絞り、アーキテクチャへの影響、セキュリティ脆弱性、モジュール横断のロジックをより強力なモデルに任せる。

移行すべきはルーティングの仕組みであり、Claude Opusと特定のJEVの固定の組み合わせではない。

最小限の構成なら、次の四段階で組み立てられる。

  1. まず単一モデルのbaselineを作り、精度、コスト、レイテンシを記録する。
  2. 軽量モデルが結果、理由、信頼度シグナルを同時に出力するようにする。
  3. 実際の誤りから昇格条件を逆算し、感覚的な閾値を避ける。
  4. 同じサンプル群でablation experimentを行い、異なる昇格率における効果を比較する。

簡単なルーティングの擬似コードは次のようになる。

def resolve(record, jev, opus):
    result = jev.judge(record)

    needs_opus = (
        result.confidence < 0.72
        or result.candidate_count > 1
        or "identity" in result.risk_flags
    )

    if needs_opus:
        return opus.judge(record, candidate_result=result)

    return result

ここで使った 0.72 はデモンストレーション用であり、Hightouchの実験パラメータではない。本番導入前に自身の annotation set で較正しなければならない。より良い方法は、信頼度と業務リスクを分離することだ。モデルがどれだけ自信を持ってい.byte配信、明確なコンプライアンス基準を上書きすることはできない。

編集者の視点

この実験は、「小モデルで大モデルを置き換える」ことよりも重要なことを示している。本番AIシステムの最適化単位は、単一リクエストではなく、意思決定の連鎖全体にある可能性が高い。

モデルカスケードは、Agent内部の技巧からコスト管理層へと移行すると考えられる。カスタマーサポート、品質管理、データクリーニング、コードレビューには共通した構造がある。リクエストの難易度分布には偏りがあり、少数難しいサンプルが誤りの大部分を占めるだけでなく、高価な推論予算を消費するのに適している。

これは以往のパラメータ fine-tuning とは異なる。Fine-tuning は主に一つのモデルの能力境界を変える。一方、カスケードはシステムがコストを動的に選べるようにする。Hightouchの公開資料にはプロンプトと評価詳細も含まれ、少なくとも結果を再現する入口は用意されている。

ただし、現時点の公開データだけで75%をすべてのタスクへ移行できるとは証明できない。ID照合には明確な答えがあり、難易度の層も比較的安定している。open-endedな執筆や複雑な planning には当てはまらない。ルーティング閾値がずれると、削減したコストが手戻りや人手による再確認に変わる可能性がある。推論費用だけでなく、P95レイテンシ、昇格率、誤判定の種類、予算上限を突破したときのシステム挙動も注視すべきだ。

出典: https://hightouch.com/blog/llm-judges-identity-resolution