거대 언어 모델

Anthropic의(formal) 추론 검증: LLM 신뢰성 확보 새 접근

Anthropic은 LLM의 추론 결과에 형식적 보증을 적용하는 방법을 연구하고 있다. 이 접근의 경계와 함께 Agent 배포에 필요한 검증,拒答, 사람 개입 설계까지 살펴본다.

글자 크기

Anthropic은 LLM의 신뢰성 문제를 점수 경쟁에서 형식적 검증으로 옮기고 있다. 이 연구의 방향과 경계를 분석하고, Agent 배포에 적용할 수 있는 검증 및 종료 설계를 제시한다.

Anthropic은 《Progress on provable inference for large language models》를 공개했다. 핵심 질문은 ‘모델이 몇 문제를 맞혔는가’에서 ‘이 추론 결과를 형식적으로 검증할 수 있는가’로 바뀌었다.

흥미로운 방향이지만 과장되기 쉬운 주제이기도 하다.

일반적인 benchmark는 경험적 성능을 측정한다. 즉, 고정된 데이터셋에서 모델이 몇 점을 획득하는지를 본다. 반면 provable inference는 다른 목표를 겨냥한다. 특정 과제에 대해 명확한 경계와 검증 가능한 신뢰성 보장을 시스템이 제시할 수 있는가에 초점을 둔다.

이 접근은 Claude를 오류가 전혀 없는 모델로 만드는 것이 아니다. 추론 과정에 감사 가능한 증명을 덧붙이는 데 가깝다.

Provable inference가 해결하는 문제

먼저 두 가지 개념을 구분해야 한다.

경험적 평가는 다음 질문에 답한다.

이 테스트 문제들에서 모델은 어떻게 수행하는가?

이 방법은 표본 분포에 의존한다. 테스트셋이 바뀌면 결론도 달라질 수 있다. 특정 benchmark에서 높은 점수를 받은 모델이 실제 운영 환경의 낯선 입력도 안정적으로 처리한다고 자동으로 도출되지는 않는다.

Provable inference는 다음 질문에 답한다.

과제, 가정, 경계 조건이 명확할 때 모델 출력의 정확성이나 실패 위험을 시스템이 증명하거나 제한할 수 있는가?

예를 들어 프로그램 분석 Agent가 입력 코드가 정해진 안전 속성 집합을 만족하는지 판단한다고 하자. 엔지니어링 팀이 필요한 것은 ‘비슷한 과제 1,000건을 처리했을 때 정확도가 98%였다’가 아니라, 어떤 입력까지 증명 범위에 포함되는지, verifier가 결과를 어떻게 확인하는지, 범위를 벗어났을 때 시스템이 어떻게拒答하거나 사람에게 넘기는지다.

이는 전통적인 소프트웨어 검증에 더 가깝다. 컴파일러는 ‘대부분의 코드가 컴파일된다’는 사실만으로 신뢰성을 선언하지 않는다. 타입, 규칙, 검사 가능한 증명 조건에 의존한다.

Anthropic의 연구는 대언어 모델이 추론 결과에 형식적 보장을 제공할 수 있는지, 그리고 그러한 보장을 더 큰 규모의 언어 모델로 확장할 수 있는지를 다룬다.

따라서 이 연구는 기존 평가표에 총점을 하나 더하는 작업이 아니다. 질문 자체가 바뀐다.

모델 출력과 형식적 증명 사이에는 어떤 인터페이스가 필요한가?

Anthropic 연구의 접근점

연구 제목인 ‘Progress’가 중요하다. 범용 대언어 모델이 이미 증명 가능한 정확성을 획득했다고 발표하는 것이 아니라, 이 방향에서 어디까지进展했는지를 보고하는 연구다.

공개된 초록을 보면 Anthropic은 두 가지 핵심 문제에 집중한다.

  1. 대언어 모델이 추론 결과에 형식적 보장을 제공할 수 있는가
  2. 이러한 보장을 더 큰 규모의 언어 모델로 어떻게 확장할 수 있는가

두 번째 문제는 특히 어렵다.

형식적 검증에는 명확한 대상이 필요하다. 상태 공간, 전환 규칙, 속성, 불변 조건이 이에 해당한다. 그러나 LLM은 열린 언어, 자연 세계의 정보, 모호한 과제를 마주한다. 모델이 커질수록 행동 공간을 전부 열거하기는 더욱 어려워진다.

Anthropic이 택한 접근은 모든 행사에 대한 증명을 요구하는 대신 검증 가능한 범위를 줄이는 것이다.

합리적인 엔지니어링 구조는 다음과 같다.

  • LLM은 자연어 문제를 후보 추론 단계로 변환한다.
  • 형식적 시스템이 해당 단계가 제약을 만족하는지 검사한다.
  • 증명이 통과하지 않으면 재시도, 검색 공간 축소, 상위 단계 처리를 실행한다.
  • 최종 출력에는 보장이 성립하는 전제와 범위를 함께 제시한다.

대언어 모델 자체가 증명 대상이 되는 것은 아니다. 후보 해와 자연어 인터페이스를 생성하는 구성요소에 가깝다.

이는 강화학습의 ‘검증 가능한 보상’과도 유사하지만 목표는 더 엄격하다. RL은 테스트 결과로 모델을 학습시킬 수 있지만, 형식적 검증은 결과와 정확성 사이의 논리적 관계를 직접 구축하려 한다.

다음 연구는 Anthropic이 공개한 자료로, 대언어 모델 추론의 신뢰성, 검증 가능성, 안전한 배포를 직접 다룬다.

Progress on provable inference for large language models

증명 범위가 실제 가치를 결정한다

이론적 보장이 실제 배포의 열린 환경을 포괄할 수 있는지부터 확인해야 한다.

형식적 증명에서 가장 위험한 상황은 전제(product requirement보다 훨씬 좁게)가 Product requirement보다 훨씬 좁게 설정되는 것이다. 예를 들어 Agent가 구조화된 데이터베이스와 고정된 API 집합에서만 동작하도록 제한하면 증명이 성립할 수 있다. 하지만 실제 Agent는 변화하는 웹페이지, 비정상 권한, 도구 시간 초과, 의존 서비스 업데이트, 모호한 사용자 입력을 마주한다.

Production 시스템이 가장关心하는 것은 증명 범위 밖에서 어떤 일이 벌어지는지다.

둘째로 ‘provable’가 정확히 무엇을 보장하는지 알아야 한다.

최종 답변이 특정 속성을 만족하는 것만 보장할 수 있으며, 과제 수행에 필요한 모든 단계를 모델이 찾았다는 것은 보장하지 않을 수 있다. 전체 Agent trajectory가 아니라 국소적인 추론 단계만 검증 범위에 포함될 수도 있다.

단순히 ‘모델이 정확하다고 증명할 수 있다’라고 적으면 가장 중요한 한정 조건을 잃는다. 어떤 과제에서 어떤 가정 아래, 얼마의 검증 비용을 지불하면서 보장되는가?

이론적 기반이 받아들여졌다고 해서 팀이 production architecture를 변경할 willingness가 생기는 것은 아니다. 엔지니어링 팀은 verifier와 실제 시스템 사이의 인터페이스 비용도 검토해야 한다.

Agent 배포에 미치는 실제 영향

AI Agent의 위험은 보통 한 번의 응답에서 문장 하나가 틀리는 데서 끝나지 않는다. 오류가 누적되는 경로에 가깝다.

用户意图 → 工具选择 → 参数生成 → API 返回 → 状态更新 → 下一步决策

어느 단계에서든 편차가 생기면 그 결과가 뒤로 전달될 수 있다. Agent가 삭제 작업을 잘못 실행했다면 앞선 언어 추론이 모두 합리적이더라도 시스템은 손해를 발생시킨다.

이런 이유로 국소적인 provability가 먼저 적용될 가능성이 높다.

도구 호출

Agent가 항상 올바른 도구를 선택한다고 증명하려 하기보다, 먼저 위험도가 높은 호출을 제한하는 편이 현실적이다.

  • 도구 이름은 등록된 목록에서만 사용할 수 있게 한다.
  • 매개변수는 schema 검증을 통과하도록 한다.
  • 금액, 수신자, 리소스 범위에 엄격한 제한을 둔다.
  • 삭제, 결제, 게시 작업에는 2차 확인을 요구한다.

LLM은 ‘무엇을 하고 싶은지’를 결정한다. 결정론적 코드는 ‘무엇을 허용할지’를 결정한다.

코드 실행

코드 Agent에는 ‘생성—검사—실행’ 구조가 더 적합하다. 모델이 후보 프로그램을 작성하면 테스트, 타입 검사, 정적 분석, sandbox 정책이 문제를 차단한다.

여기서 보장을 완전한 ‘수학적 증명’으로 포장할 필요는 없다. 재현 가능한 테스트, 명확한 정적 규칙, 통제된 실행 환경만으로도 엔지니어링상의 신뢰 경계를 만들 수 있다.

긴 경로의 과제

과제가 길수록 전체 end-to-end 보장은 어려워진다. 각 단계의 국소적 신뢰성이 99%에 불과해도 10단계가 모두 올바를 확률은 약 0.99^10 ≈ 90.4%에 그친다.

이는 엄밀한 증명은 아니다. 다만 LLM의 자율적 자기 교정에 신뢰를 맡기는 방식이 취약하다는 점을 보여준다. 더 현실적인 방법은 핵심 지점에 상태 검사, idempotent operation, 사람 승인, 실패 시 rollback을 추가하는 것이다.

따라서 provable inference가 Agent 배포에 주는 주요 가치는 ‘절대로 오류가 나지 않는’ 시스템을 자동 획득하는 데 있지 않을 수 있다. 대신 여러 단계를 구분하게 해준다. 어떤 단계에는 수학적 보장이 필요한지, 어떤 단계에는 엔지니어링 제약만 있으면 되는지, 어떤 단계에는 반드시 사람이 개입해야 하는지를 명확히 한다.

평가 체계에 필요한 새로운 지표

모델의 신뢰성을 정확도로만 측정할 수 없다면 평가표에 새로운 항목을 추가해야 한다.

보장 커버리지

전체 대상 과제 중 형식적 보장을 받을 수 있는 과제는 얼마인가?

이 수치는 전체 정확도보다 배포 위험도에 더 가깝다. 예를 들어 어떤 모델이 열린 질의응답에서는 높은 정확도를 기록하지만, 검증 가능한 업무 과제는 12%에 불과할 수 있다. 후자가 결제, 컴플라이언스, 운영과 같은 고위험 프로세스에 진입할 수 있는지를 결정한다.

여기서 12%는 예시 값이며 Anthropic 연구의 결론이 아니다.

검증 비용

증명을 위해 얼마나 많은 전산 자원과 시간이 필요한가?

수 시간의 검증이 필요한 정리는 온라인 Agent의 모든 단계에 적합하지 않다. 엔지니어링 팀은 검증 지연, token 소비량, 도구 호출 횟수, 검증 결과의 캐시 가능 여부를 알아야 한다.

가정의 완전성

보장은 어떤 전제에 의존하는가?

예를 들어 도구 schema의 안정성, 데이터베이스 transaction semantics의 명확성, 환경 변수의 제약이 전제일 수 있다. 전제를 검증 결과에 명시하지 않으면 해당 보장을 안전 의사결정에 직접 사용할 수 없다.

실패 경계

검증이 실패하면 시스템은 어떻게 대응하는가?

좋은 시스템은 다음 상태를 명확히 구분해야 한다.

  • 증명이 통과함
  • 증명이 실패함
  • 검증 가능한 범위를 벗어남
  • verifier 자체에서 오류가 발생함

이 네 가지 상태를 모두 하나의 ‘실패’로 묶으면 안 된다. Agent는 상태에 따라 재시도, graceful degradation, 사람 인계를 선택해야 한다.

따라서 새로운 평가 문제는 ‘Claude가 다른 모델보다 몇 점 더 높은가’만이 아니다.

어떤 과제에서 어떤 보장을 제시할 수 있는가? 그 보장은 무엇에 의존하는가? 한 번 검증하는 데 얼마가 필요한가? 실패할 때는 어떻게 종료하는가?

이 문제들에 대한 통일된 산업 기준은 아직 없다.

편집자 관점

Provable inference의 중요성은 Claude를 더 높은 점수의 leaderboard에 올리는 데 있지 않다. ‘모델이 대체로 믿을 만하다’는 표현을 감사 가능한 엔지니어링 조건으로 바꾸는 데 있다. Production 시스템에 부족한 것은 정확도 수치 하나가 아니라 과제 범위, 전제, 비용, 실패 경로에 답할 수 있는 인터페이스다.

제 판단으로는 단기간에 이 접근은 고위험 도구 호출, 코드 검사, 승인 지점에 먼저 적용될 가능성이 높다. 열린 환경에서 Agent 전체 경로를 대체하지는 않을 것이다. 이는 과거와 다른 점이다. Benchmark는 서로 다른 모델을 동일한 채점 규칙에 넣지만, provable inference는 과제별로 보장을 분할하고 어떤 부분에서는 반드시拒答하거나 사람에게 넘겨야 하는지를 명시한다.

남겨야 할 불확실성도 있다. Anthropic의 연구가 보장을 더 큰 모델로 확장할 수 있는지, 그리고 검증 비용이 온라인 지연 시간에 맞출 수 있는지가 관건이다. 보장 커버리지가 낮은 상태가 장기간 이어진다면 이는 주류 배포 기준이 아니라 연구 방향에 더 가깝게 남을 것이다.

출처: https://www.anthropic.com/research/provable-inference