Surges는 50개의 전문 세무 과제로 AI Agent를 테스트했다. 이 글은 단순한 총점과 달리, Agent가 컴플라이언스 절차 안에서 신뢰성 있게 결과물을 제시할 수 있는지 분석한다.
세무는 AI Agent의 실력을 검증하기에 적합한 환경이다.
문제는 명확해 보이고 결과도 텍스트로 전달할 수 있다. 하지만 실제로 업무를 수행하면 자료가 완전한지, 계산이 정확한지, 근거를 추적할 수 있는지, 결과를 검증할 수 있는지를 확인해야 한다.
일반적인 질의응답보다 한 단계 더 demanding한 점이 바로 여기에 있다. 답변은 종점이 아니라 책임 범위가 명확한 업무 프로세스이기 때문이다.
Surges가 공개한 Dayjob: Tax은 바로 이 역량을 평가한다. 50개의 전문 세무 과제를 구성했으며, 각 과제에는 전문적인 환경과 명시적인 컴플라이언스 요구사항이 포함됐다.
50개의 세무 문제, 단순한答题시험을 넘어서
Dayjob: Tax은 모델에게 세무 개념을 설명하거나 일반적인 질문을 몇 개 풀게 하는 평가가 아니다.
50개의 전문 세무 과제를 통해 여러 단계를 조합해야 한다.
- 업무 자료를 찾아 읽는다.
- 적용되는 규정과 계산 기준을 파악한다.
- 계산 또는 조회 도구를 호출한다.
- 결과를 전달 가능한 문서로 정리한다.
- 근거를 표시해 사람이 검토할 수 있도록 한다.
일반적인 질의응답은 답을 한 번 생성하면 완료된다. 전문 과제는 훨씬 엄격하다. 필요한 입력 하나가 빠지거나 규정을 잘못 인용하면, 숫자가 그럴듯해 보여도 결과물을 전달할 수 없다.
这也是 Agent와 챗봇을 직관적으로 구분할 수 있는 지점이다. Agent는 답변만 생성하는 것이 아니라 도구를 사용하고, 맥락을 유지하며, 중간에 실패한 상황을 처리해야 한다.
Dayjob: Tax은 이러한 차이를 세무 환경에 적용했다. 세무 업무에는 전문적인 판단뿐 아니라 결과를 설명할 수 있어야 한다. 추적 불가능한 세금申报서를 제출하는 것과, 완전한 근거가 갖춰졌지만 수정이 필요한 세금申报서를 제출하는 것은 위험도가 전혀 다르다.
따라서 이 평가를 볼 때는 전체 정답률만 살펴봐서는 안 된다. 어떤 과제를 평가했고, Agent가 어떤 도구를 사용할 수 있었으며, 결과물에 사람이 검토하는 데 필요한 정보가 포함됐는지도 확인해야 한다.
Agent의 약점은 업무 공백에 숨어 있을 수 있다
한 번의 응답이 정확하다는 사실이 엔드투엔드 업무의 신뢰성을 보장하지는 않는다.
Agent가 세무 과제를 수행할 때 문제가 생기는 지점은 대개 중간 과정에서다.
1. 자료가 없을 때에도 계산을 계속하는가
실제 업무에서는 모든 항목이 채워져 있고 이름도 정돈된 첨부파일을 받는 경우가 드물다.
수입 내역은 이메일에 있고, 공제 증빙은 PDF에 있으며, 세율 조정은 별도의 정책 문서에 적혀 있을 수 있다. Agent가 자료를 확보하지 못했다면 숫자를 임의로 채우는 대신 누락된 정보를 반환해야 한다.
가장 위험한 실패는 오류를 내는 것이 아니라 조용히 추측하는 것이다.
2. 여러 단계의 계산에서 일관성을 유지하는가
세무 계산은 일반적으로 하나의 계산 사슬로 이루어진다. 수입에서 공제 가능한 항목을 빼고, 적용 규칙에 따라 taxable 금액을 산출한 다음, 선급세나 세액공제 또는 가산금을 처리한다.
중간 단계 하나에서 계산 기준을 잘못 쓰면 최종 결과가 틀릴 수 있다. 더 문제가 되는 것은 Agent가 최종 숫자만 보여 주고 중간 값을 공개하지 않는 경우다.
사람은 black box로 계산된 숫자를 검토할 수 없다. 적어도 핵심 중간값, 계산식, 데이터 출처는 유지해야 한다.
3. 인용한 근거가 결론을 뒷받침하는가
‘링크 몇 개를 첨부했다’는 근거 제공을 의미하지 않는다.
Agent는 어떤 규정을 인용했는지, 어떤 조건에 적용되는지, 그 근거가 계산을 어떻게 바꾸는지 설명해야 한다. 인용과 결론이 일치하지 않는 경우는 아예 인용하지 않은 경우보다 발견하기 어렵다.
컴플라이언스 환경에서 인용은 장식이 아니다. 감사 경로의 일부다.
4. 검토할 수 있는 경로를 남기는가
전문적인 결과물은 마지막 확인 과정을 사용자의 추측에 맡겨서는 안 된다.
신뢰할 수 있는 방식은 결론, 계산 과정, 원본 근거, 확인 대기 항목을 함께 제공하는 것이다. 사람은 판단이 필요한 부분을 빠르게 찾아낼 수 있고, 처음부터 다시 계산할 필요가 없다.
Dayjob: Tax이 일반적인 benchmark보다 기업 업무에 가깝다는 점도 여기에 있다. ‘정답을 맞혔는가’뿐 아니라 결과물을 실제로 전달할 수 있는지를 평가한다.
고도의 컴플라이언스가 필요한 환경에서는 평균 점수만으로 부족하다
50개 과제의 평균 점수는 여러 제품을 비교하는 데는 유용하지만, Agent를 production에 투입할 수 있다는 사실을 단독으로 증명하지는 못한다.
어떤 Agent가 50개 중 45개를 맞혔고 평균 정답률이 90%라고 하자. 여전히 5개는 실패했다. 그중 3개가 잘못된 신고, 누락된 서류, 추적 불가능한 결론과 관련된다면 영향은 작지 않다.
고도의 컴플라이언스가 필요한 환경에서는 다음 네 가지 지표를 살펴본다.
첫째, 가장 낮은 점수의 과제에서 나타난 성능이다. 평균 점수뿐 아니라 최저 점수를 받은 과제도 확인해야 한다. Agent가 어떤 입력 조건에서 실패하는지 파악하는 편이 전체 순위보다 유용하다.
둘째, 심각한 오류의 비율이다. 오류를 분류해야 한다. 결론 오류, 인용 오류, 계산 오류, 확인 누락을 하나의 숫자로 합치면 안 된다.
셋째, 추적 가능성이다. 모든 결론을 입력 데이터, 계산 단계, 원본 근거로 되돌릴 수 있어야 한다. 그렇지 못한다면 평균 정답률이 아무리 높아도 책임을 외부에 맡기기 어렵다.
넷째, 실패 방식이다. 좋은 실패는 ‘2025년 공제 증빙이 없어 해당 금액을 확인할 수 없다’처럼 이유를 명확히 설명한다. 나쁜 실패는 계산을 계속하면서 지나치게 확신에 찬 답을 내놓는 것이다.
이 네 가지 지표가 함께 가리키는 것은 Agent가 얼마나 똑똑한지가 아니라, 기업이 다음 업무를 맡길 수 있는가이다.
production 시스템에는 더 좁은 권한 범위도 적용해야 한다. 자료를 읽을 수 있다는 이유로 신고서를 제출할 수 있는 것은 아니다. 계산할 수 있다는 이유로 최종 신고 기준을 선택할 수 있는 것도 아니다. Agent가 결과를 제시한 뒤 시스템 규칙이나 담당자가 확인하도록 하는 편이 개방형 권한보다 안정적이다.
Hacker News의 73점과 46개 코멘트가 의미하는 것
该项目는 Hacker News 메인에 올라가 73점과 46개의 댓글을 받았다.
이 수치가 매우 큰 인기를 뜻하지는 않지만, 개발자들이该项目를 진지하게 논의할 만큼의 관심은 충분하다는 뜻이다.
73점은 프로젝트가 노출됐음을 나타내며, 46개의 코멘트는 단순히榜-single 링크를 넘어 논의가 이어졌다는 것을 보여 준다. 개발자들은 과제가 현실적인지, 평점이 신뢰할 만한지, 오류를 어떻게 분류했는지, 기업에 deploying할 때 어떤 제한을 우회할 수 없는지 물었다.
개발자들이 궁금한 것은 또 하나의 모델 순위표가 아니다. Agent가 실제 기업 workflow 안에서 책임 경계가 명확한 전문 업무를 수행할 수 있는가라는 더 현실적인 문제다.
원문 평가: Dayjob: Tax
토론 링크: Hacker News discussions
편집자의 생각
Dayjob: Tax에서 가장 중요한 신호는 50개 과제의 점수가 아니라, 전문 평가가 ‘답이 맞았는가’에서 ‘업무 프로세스를 완수할 수 있는가’로 이동하기 시작했다는 점이다. 이는 과거의 범용 질의응답 평가와 다르다. 세무 업무에는 자료의 완전성, 계산 사슬, 인용 근거, 사람의 검토가 모두 필요하므로 정답률만 단독으로 보여 주는 것만으로는 의미가 제한적이다.
제 판단에는 다음 단계에서 실제로 쓸 수 있는 AI Agent는 무한한 권한을 갖기보다 위험 지점에서 스스로 멈추게 된다. 기업에 필요한 것은 더 과감하게 행동하는 Agent가 아니라 권한은 더 좁고 검증은 더 엄격한 workflow일 가능성이 크다.
현재로서는 평가의 세부 사항이 여전히 불확실하다. 과제 입력이 지나치게 정돈되거나 실패의 심각도를 엄격히 구분하지 않았다면, 추적 가능성이 단순한 전시 항목에 그칠 수 있다. 공개된 자료로 확인할 수 있는 것은 Surges가 50개 전문 과제로 구성된 평가를 만들었다는 사실까지다. 실제 신고 위험을 예측할 수 있는지는 후속 사례를 기다려야 한다.