Red Hat 上個月轉載了一份基準報告,直接對「決策 AI」這個新品類開刀。結論很殘酷:Jev 這類專用決策模型,在護欄測試集上既打不贏 LLM-as-a-judge,也打不贏傳統分類器。
這件事值得細看——特別是當你在做內容安全、合規攔截這類工程選型時。
Red Hat 這次測了什麼
報告全名為 Benchmarking AI decision models against traditional guardrails,刊載於 developers.redhat.com,在 Hacker News 上也引發過討論。
測試情境為 AI guardrails——內容安全、合規護欄這一類規則判斷。輸入是一段文字 + 一組策略(例如「不能包含 PII」、「不能涉及醫療建議」),輸出為 PASS/REJECT 加理由。
三組選手:
- 專用決策模型(代表是 Jev)
- LLM-as-a-judge(用通用大模型評分)
- 傳統分類器(SVM、規則引擎、輕量 ML pipeline)
Jev 是誰,為何被當靶子打
Jev 將自身定位為「decision AI」——介於規則引擎與大模型之間,主打「比 LLM 穩定,比規則靈活」,專門處理需要可解釋的二元決策。這套敘事過去一年被 VC 反覆推銷:LLM 太貴、太慢、太不可控;規則引擎又寫不完整所有邊界,中間需要一層專用模型。
Red Hat 這份報告,可理解為平台廠商親自下場做獨立評估——不是行銷稿,而是工程團隊認真跑的基準。
基準結果:三類方法誰強誰弱
Red Hat 測了三組關鍵指標:準確率、誤報率、單次推理成本。定性結論大致如下:
- 準確率最高的是 LLM-as-a-judge,但成本貴了一個量級
- 傳統分類器誤報率最低,成本幾乎可忽略
- Jev 卡在尷尬的中間地帶:準確率不領先,誤報率最高,成本比傳統分類器貴上數倍
Red Hat 工程師在報告中寫得很直白:在結構化護欄任務上,傳統分類器在「已知規則」區間反而最穩;LLM-as-a-judge 在模糊語意上更強;Jev 這類專用模型兩邊都不討好。
(具體數字以原報告表格為準,此處不複述以免轉錄錯誤)
為何這個結論違背主流共識
過去 18 個月,VC 圈與廠商 PR 一直在推「decision AI」、「reasoning model」的新故事。邏輯鏈是這樣的:
規則引擎 → 不夠靈活 → 需要 LLM → LLM 太貴 → 需要專用模型 → decision AI 是新品類
聽起來很順。但報告數據暗示了一個問題:中間那一層可能根本不需要。
工程實況是:護欄規則裡 80% 是結構化的(「不能出現 SSN 格式」、「不能承諾退款」),傳統分類器 + 正則就夠;剩下 20% 模糊地帶,丟給 LLM-as-a-judge 加上人工 review。中間硬塞一個專用模型,既增加延遲,又增加維運成本,準確率卻沒有提升。
HN 討論串中有工程師留言:
「護欄不是 reasoning——它是 classification。」
護欄場景到底該用什麼
報告沒有明說,但數據指向清晰的選型建議:
- 高風險、規則明確(PII、信用卡號、違禁關鍵字):傳統 ML + 正則,別碰 LLM
- 語意模糊、需要上下文理解(歧視性暗示、微妙的政策邊界):LLM-as-a-judge,接受其成本
- 中間地帶:先做 AB 測試,很可能「規則 + LLM 兜底」就已足夠
專用決策模型的位置?沒有獨立位置。
這與筆者在生產環境中觀察到的現象一致:大多數護欄系統在推進到生產前,最終都收斂成「規則引擎 + LLM 二審」的兩段式架構。中間硬塞一個 Jev,通常只是多了一個調參對象。
編輯觀點
這份報告值得認真看待,不是因為結論多麼驚艷——護欄任務用傳統分類器更穩,許多第一線工程師早就心裡有數。真正值得注意的是誰轉的這份報告。
Red Hat Developer 是平台廠商的內容頻道,轉載這類獨立基準,通常代表他們自己在生產選型時發現「專用決策模型」這條路划不來,因此把數據攤開來談。這比學術論文更具參考價值——驅動它的是維運成本,不是引用數。
筆者的預測:接下來 6 個月,會有更多平台廠商(Cloudflare、Datadog,或許還有 AWS)復刻這類基準。每多一份,decision AI 這個品類的估值就要被砍一刀。Glean、Decagon 這類把「decision model」當核心敘事的公司,不重新定位,下一輪募資的故事會很難講。
這次具體和過去哪裡不同?過去「AI 取代 ML」的對比,大多是 AI 廠商自己發的(LLM 廠商說「我們比 BERT 強」)。這次是被取代的一方(傳統平台 / 工具廠商)反過來說「我們不用 AI 也行」。立場反轉,數據的可信度天然高一個量級。
不確定的地方:報告測試集是英文政策文件,並未涵蓋中文、長尾產業(醫療、金融)的真實流量。如果某家決策 AI 公司在垂直場景擁有數據優勢,這份基準測不到——但那種優勢也撐不起一個獨立品類。
資料來源:Benchmarking AI decision models against traditional guardrails - Red Hat Developer