產品

Dayjob Tax 實測:AI Agent 的稅務能力能上線嗎?

Surges 透過 50 項專業稅務任務評測 AI Agent,檢驗它在資料缺漏、計算追溯、引用可靠度與權限控管上的表現。這份評測不只看總分,更關注 Agent 能否可靠完成可交付、可複核的合規流程。

字級

稅務場景很適合用來檢驗 AI Agent 的真實能力。

問題看似明確,結果也能以文字交付;實際執行時,卻會遇到資料是否完整、計算是否正確、依據能否追溯,以及結果是否便於複核等問題。

這比一般問答多了一層要求:答案不是終點,而是一段具有責任邊界的交付流程。

Surges 發布的 Dayjob: Tax,正是為了測試這項能力。它設計了 50 項專業稅務任務,任務環境貼近實務,並帶有明確的合規要求。

50 道稅務題,不只是答题測驗

Dayjob: Tax 並不是要模型解釋稅務概念,也不是回答幾道常見問題。

它設置的是 50 項專業稅務任務,通常需要整合多個步驟:

  • 尋找並讀取業務資料;
  • 辨識適用規則與計算口徑;
  • 呼叫計算或查詢工具;
  • 將結果整理成可交付文件;
  • 標示依據,供人工複核。

一般問答只要一次生成成立,就算完成;專業任務的標準更嚴格。只要少一項必要輸入,或引用錯誤規則,即使數字看似合理,也可能無法交付。

這也是 Agent 與聊天機器人的直觀差異:Agent 不只生成答案,還要使用工具、維護脈絡,並處理中途失敗的情況。

Dayjob: Tax 將這項差異放進稅務環境中。稅務工作既需要專業判斷,也要求結果能夠解釋。提交一份無法追溯的稅表,與提交一份依據完整、但仍待修正的稅表,風險完全不同。

因此,看這份評測時不能只盯著總體正確率,還要了解它測了哪些任務、允許 Agent 使用哪些工具,以及交付物是否包含複核所需的資訊。

Agent 的短板,可能藏在流程縫隙

單次回答正確,不代表端到端任務可靠。

Agent 處理稅務任務時,常會在流程中途出狀況。

1. 資料缺漏時,它會不會繼續算

真實工作很少收到欄位齊全、命名整齊的附件。

收入可能藏在郵件裡,抵扣憑證放在 PDF 中,稅率調整則寫在另一份政策文件中。Agent 如果無法取得資料,應該回報缺口,而不是自行補上一個看似合理的數字。

最危險的失敗並非報錯,而是無聲地進行猜測。

2. 多步計算能否維持一致

稅務計算通常是一條完整的計算鏈:先以收入扣除准許扣除項目,再依適用規則算出應稅金額,最後處理預繳、抵免或附加項目。

任何一步採用錯誤口徑,最終結果都可能出錯。更棘手的是,Agent 可能只呈現最終數字,不揭露中間值。

人無法複核一個黑盒數字。至少應保留關鍵中間值、計算公式與資料來源。

3. 引用依據是否真正支持結論

「附上幾個連結」不等於提供了充分依據。

Agent 需要說明引用的是哪條規則、適用於哪些條件,以及它如何影響計算。引用內容與結論不一致,往往比完全沒有引用更難察覺。

在合規場景中,引用不是裝飾,而是稽核路徑的一部分。

4. 是否留下複核入口

專業交付不能讓使用者自行猜測最後一步。

較可靠的做法,是同時輸出結論、計算過程、原始依據與待確認事項。人員可以迅速找到需要判斷的地方,不必從頭重做。

這也是 Dayjob: Tax 比常規 benchmark 更接近企業工作的地方:它測的是可交付性,而不只是「答對了沒有」。

高合規場景不能只看平均分

50 項任務的平均分適合橫向比較,但不足以單獨證明 Agent 可以投入生產環境。

假設某個 Agent 答對 45 項,平均正確率為 90%,仍有 5 項失敗。如果其中 3 項涉及錯誤申報、資料遺漏或無法追溯的結論,影響並不小。

在高合規場景中,我會觀察四項指標。

第一,最差任務的表現。除了平均分,也要看最低分任務。Agent 在哪些輸入條件下會失靈,比整體排名更有參考價值。

第二,嚴重錯誤率。錯誤應加以分級。結論錯誤、引用錯誤、計算錯誤與遺漏確認事項,不該全部混成同一個數字。

第三,可追溯性。每項結論能否回到輸入資料、計算步驟與原始依據。如果做不到,即使平均正確率很高,也難以向外承擔責任。

第四,失敗方式。好的失敗會明確指出「缺少 2025 年抵扣憑證,因此無法確認此筆金額」;壞的失敗則是繼續計算,並給出過度自信的答案。

這四項指標共同決定的,不是 Agent 聰不聰明,而是企業敢不敢再交給它下一項任務。

生產系統還應採取更小的權限邊界。能讀取資料,不代表能提交申報;能進行計算,不代表能選擇最終申報口徑。讓 Agent 產出結果,再由系統規則或專業人員確認,通常比授予開放式權限更穩妥。

HN 的 73 分與 46 則留言代表什麼

該專案登上 Hacker News 首頁,獲得 73 分與 46 則留言。

這組數字算不上驚人的熱度,但足以顯示開發者願意認真討論它。

73 分代表專案獲得一定能見度;46 則留言則表示討論不只停留在轉發榜單。開發者會追問任務是否貼近真實工作、評分是否可信、錯誤如何分類,以及企業部署時有哪些限制不能規避。

原始評測在這裡:Dayjob: Tax

討論連結在這裡:Hacker News 討論

開發者關心的不是又一張模型排行榜,而是一個更實際的問題:Agent 在真實企業工作流程中,能否承擔一段具有明確責任的專業任務。

這也是專業 Agent 評測接下來需要補上的內容。公開更多失敗案例,說明每項任務所需的資料與工具,並訂定可供複核的交付標準。否則,一個漂亮的總分仍可能掩蓋最昂貴的錯誤。

編輯觀察

Dayjob: Tax 最重要的訊號,不是 50 項任務得了多少分,而是專業評測開始從「答案對不對」轉向「流程能不能交付」。它與過去的通用問答評測不同:稅務任務無法脫離資料完整性、計算鏈、引用依據與人工複核,單獨呈現正確率的意義有限。

我的判斷是,下一階段真正可用的 AI Agent 不會擁有無限權限,而會在風險點主動停下。企業需要的可能不是更敢執行的 Agent,而是權限更小、驗證更嚴格的工作流程。

目前仍有部分評測細節尚待確認。如果任務輸入被過度整理,或失敗嚴重程度未經嚴格區分,可追溯性可能只是表面項目。現有資料能確認的是,Surges 建立了 50 項專業任務評測;它能否預測真實申報風險,仍須等待後續案例驗證。

來源: https://surgehq.ai/blog/dayjob-tax