도구

LLM 심사위원 unanimous면 믿어도 될까? Amazon이 다중 모델 투표의 환상을 깨다

Amazon Science의 새로운 연구에 따르면, 여러 LLM 심사위원이 같은 답을 내더라도 그 답이 틀릴 수 있다. 다중 모델 투표는 생각보다 신뢰할 수 없는 평가 방식이다.

글자 크기

Amazon Science가 최근 블로그 《When LLM judges agree, should we believe them?》를 공개했다. 제목 그대로의 질문이다.

어이없어 보이는 질문이지만, 업계 전반이 지금 다중 모델 투표를 사실상 ground truth처럼 사용하고 있다는 점을 떠올리면 얘기가 달라진다.


일치한다는 건 정확하다는 뜻이 아니다

배경부터 짚자. LLM-as-Judge는 지난 2년간 가장 남용된 평가 방식 중 하나다. GPT-4, Claude, Gemini 같은 모델에게 다른 모델의 출력물을 점수 매기게 하고, 평균이나 다수결로 "자동 평가 결과"를 만들어낸다.

논리 자체는 그럴듯하다.

  • 사람이 라벨링하는 건 비용이 너무 크다
  • 강한 모델 여러 개가 같은 답이라면 꽤 정확하지 않을까?

그런데 Amazon 연구팀이 던진 질문은 단순하다. 그렇게 모두 합의했을 때, 정말 맞는 답인가?

연구 결과는 놀랍진 않지만 꽤辛辣하다. 여러 LLM 심사위원이 일치하는 판단을 내릴 때, 특정 작업에서는 ground truth로부터 체계적으로 벗어난다는 것이다. 즉, 모두 함께 틀릴 수도 있다.

이게 중요한 이유는 현재 LLM 평가 체계 전반에 영향을 주기 때문이다. RLHF, Reward Model 학습, 공개 벤치마크의 자동 채점 파이프라인 어디에나 "다중 모델 투표"가 들어가 있다. 전제 자체가 흔들리면 그 위에 쌓은 것도 다시 살펴봐야 한다.

Amazon은 어떻게 검증했나

논문 본문은 확인하지 못했지만, 블로그 요약과 Hacker News 토론을 종합하면 방법론은大致 이렇다.

여러 LLM 심사위원에게 같은 샘플을 채점하게 한 뒤 두 가지 축을 분석한다.

  1. Inter-judge agreement (심사위원 간 일치도): 모델 A, B, C가 서로 얼마나 일치하는가
  2. Calibration (보정): 모든 심사위원이 일치할 때, 그 일치 결론이 실제 정답과 얼마나 연관되는가

함께 언급되는 키워드로 bias propagation (편향 전파)이 있다. 심사위원들이 학습 데이터 출처를 공유한다면, 같은 종류의 오류에서 집단으로 넘어질 수 있다는 뜻이다.

공개된 요약 기준으로 추론한 실험 설계는 다음과 같다.

  • 상용/오픈소스 LLM 여러 종을 심사위원으로 배치
  • "일치할 때 정확도" vs "불일치할 때 정확도"를 비교
  • QA, 요약, 추론 등 다양한 작업 유형을 횡단

Hacker News에서 누군가 깔끔하게 정리한 한 줄이 있다.

"Consensus among LLM judges ≠ ground truth. They can all be confidently wrong together."

Hacker News 댓글에서 눈에 띄는 시각

이 글은 Hacker News 메인에서 37 포인트, 댓글 20개를 기록했다 (HN id 49699590). 폭발적인 화제성은 아니지만 댓글의 질은 높았다. 공감 많이 받은 의견 몇 가지를 정리하면 다음과 같다.

1. 순환 의존 문제

누군가 이렇게 지적했다.

"This study uses LLMs to evaluate LLM judges. How is that not circular reasoning?"

추천을 꽤 받았다. "LLM 심사위원이 맞는지"를 검증하려면 결국 LLM을 써야 하는 상황이라는 것. 닭이 먼저냐 달걀이 먼저냐 문제가 여기서도 그대로 나타난다.

2. 학습 데이터 편향

자주 등장한 관점이다. 모든 LLM 심사위원은 결국 비슷한 웹 데이터에서 학습됐기 때문에, 같은 패턴을 만나면 본능적으로 같은 실수를 한다. "정답처럼 보이지만 사실 함정인" 문제 앞에서 여러 모델이 같이 당할 수 있다는 얘기다.

3. "적절한 용도" 문제

더 깊이 있는 댓글도 있었다. 일치 ≠ 정확이라 하더라도, 적어도 명백한 이상한 출력을 솎아내는 용도로는 쓸 수 있다. 따라서 진짜 질문은 "LLM judge를 쓸 것인가"가 아니라 "어디까지, 어느 정도까지 믿을 것인가"다.

엔지니어링 실무에 미치는 충격

구체적으로 어떤 평가 파이프라인이 영향받을까.

RLHF와 Reward Model 학습

RLHF의 "선호도 데이터" 상당 부분이 LLM 라벨링에서 나온다. 그 라벨 자체에 체계적 편향이 있다면, 학습된 Reward Model도 그 편향을 그대로 물려받는다. Amazon의 결론이 맞다면, 모든 RLHF 팀에 이런 경고가 내려지는 셈이다. 모델의 "가치관"은 사실 편향 함수의 출력일 수 있다.

벤치마크 자동 채점

공개 리더보드의 많은 벤치마크가 이미 LLM judge로 사람 평가를 대체했다. 그런데 모든参赛 모델이 같은 LLM 심사위원단에 의해 채점되고, 그 심사위원단이 공유 편향을 갖고 있다면, 순위는 모델 능력이 아니라 "심사위원에게 잘 보이는 능력"을 반영할 수도 있다.

현업에서 쓸 수 있는 기준

필자의 판단은 단계별로 나누는 것이다.

상황LLM judge 사용 여부비고
고위험 의사결정 (의료, 법률, 금융)❌ 반드시 사람타협 불가
RLHF 선호도 라벨링⚠️ 신중히사람 spot check 병행
빠른 반복 개발기의 내부 벤치마크✅ 사용 가능사람 샘플링 검증은 유지
공개 리더보드⚠️ 신중히혼합 채점 + 심사위원 일치도 지표 공개 권장

추가로 하나 기억해 둘 엔지니어링 팁이 있다. "일치 여부"만 보지 말고 신뢰도를 분리해서 봐야 한다. 여러 심사위원이 일치했지만 신뢰도가 낮다면, 일치하면서 신뢰도도 높은 경우보다 의심해야 한다. 일치는 필요조건이지 충분조건이 아니다.

편집자 생각

이 연구의 진짜 가치는 "LLM judge가 신뢰되지 않는다"는 데 있지 않다. 이 업계에서 일하는 사람은 다 안다. 필자도 RLHF 프로젝트를 몇 개 따라가봤지만, 매번 "사람 라벨링 비율을 얼마나 둘 것인가"를 두고 팀 안에서 한 차례 싸움이 붙었다.

Amazon 블로그의 진짜 가치는 따로 있다. 업계에서 뒤에서 수군거리기만 하던 주제를 정식 연구로 만들어 공개했다는 점이다. 대기업이 자기 평가 체계의 문제를 인정해 세상에 내놓는다는 행위 자체가, 결론보다 더 중요하다.

반대 논점에서 한 가지 더 꺼내고 싶다. "LLM judge를 믿을 수 없다"보다 더 가치 있는 질문은 "우리는 도대체 어떤 평가 체계를 필요로 하는가"다.

현재 평가 패러다임의 근본적 결함은, "참고 답에 가까운가"를 최적화하지 "문제를 실제로 해결하는가"를 최적화하지 않는다는 점이다. LLM judge는 이 결함을 확대할 뿐, 근본 원인은 judge 자체가 아니다. 차세대 평가 체계에는 아마 이런 요소가 들어가야 한다.

  • 작업 차원의 세분화: 작업별로 다른 심사위원 조합을 사용
  • 일치도를 정답이 아닌 신호로 취급: feature로 다루고 label로 다루지 않기
  • 대립적 샘플 도입: "심사위원단이 집단으로 넘어지는" 시나리오를 의도적으로 테스트

불확실한 부분도 적어두자. 필자가 읽은 것은 Amazon 블로그 요약과 커뮤니티 토론이지, 논문 전체가 아니다. 연구 방법론 자체에 허점(예: 샘플 선택 편향)이 있다면 결론의 강도는 깎인다. 다만 방향 자체는 맞다. 이 문제는 업계 전체가 정면으로 다뤄야 할 주제다.

마지막으로 한 줄. HN 37 포인트는 메인 페이지 기준 중상위热度다. 이렇게 방법론 지향적인 글이 메인에 올라갔다는 것 자체가 커뮤니티의 관심을 방증한다.

출처: https://www.amazon.science/blog/when-llm-judges-agree-should-we-believe-them