거대 언어 모델

Anthropic의 LLM 기반 증명 생성,形式적 검증의 벽을 넘을 수 있을까

Anthropic은 LLM을形式적 소프트웨어 검증에 적용해 증명 초안과 tactic 생성을 보조하고 있다. 다만 반복 가능한 성능 수치와 실제 활용 범위는 별도의 검증이 필요하다.

글자 크기

Anthropic은 LLM을形式적 소프트웨어 검증에 활용하고 있다. 반복 시행을 줄일 수는 있지만, 명세 작성, 증명 설계, 검증 비용은 여전히 넘어야 할 과제다.

Anthropic의 LLM 기반 증명 생성,形式적 검증의 벽을 넘을 수 있을까

Anthropic은 최근 LLM과形式적 소프트웨어 검증에 관한 연구를 공개했다. 공개된 자료에서는 연구 방향만 확인할 수 있으며, 이 글에서 검증할 수 있는 완전한 실험 수치는 제공되지 않았다.

이 연구는 coding agent의 평가 기준에 직접 영향을 준다. 평가 범위가 ‘테스트 통과’에서 ‘기계적으로 검사할 수 있는 명세를 충족하는가’까지 확장될 가능성이 있기 때문이다.

원문 연구: https://www.anthropic.com/research/formal-verification

Copilot에서形式적 증명까지: LLM이 해결하는 문제가 달라졌다

Copilot, Devin과 다수의 coding agent는 주로 다음 문제를 다룬다.

주어진 작업을 바탕으로 실행 가능한 코드를 생성할 수 있는가? 가능하면 테스트까지 통과하는가?

形式적 검증은 문제를 바꾼다.

주어진 명세를 바탕으로 프로그램이 그 명세를 만족함을 확인할 수 있는 기계 검사용 증명을 구성할 수 있는가?

Lean, Coq, Isabelle 같은 ITP(인터랙티브 정리 증명기)를 사용할 때 개발자가 처리해야 하는 요소는 다음과 같다.

  • spec: 프로그램이 만족해야 하는 속성
  • proof script: 결론을 단계별로 도출하는 증명
  • tactic: 증명기가 특정 하위 목표를 탐색하도록 지시하는 명령
  • 보조 정의와 보조 정리: 프로그램을 추론하기 쉬운 형태로 바꾸는 요소

정렬 알고리즘의 정당성을 증명하려면 ‘결과가 정렬되어 있다’, ‘길이가 변하지 않는다’, ‘원소의 순서만 바뀐다’ 같은 속성을 다뤄야 한다. 이런 작업은 과거에形式적 방법론 전문가가 손으로 진행했으며, 경우에 따라 수주가 필요했다.

LLM이 개입할 수 있는 지점은 구체적이다. 증명 초안을 작성하고, tactic을 보완하며, 실패한 단계를 다시 작성하고, 자연어로 표현된 명세를 형식적 표현으로 정리하는 작업을 맡을 수 있다.

일반적인 코드 완성은 ‘다음 코드 조각이 합리적인가’를 추측한다. 반면 증명 완성은 ‘다음 단계가 증명기에 의해 수용되는가’를 추측한다. 후자는 명확한 기계 피드백을 제공하지만 탐색 공간도 훨씬 가혹하다.

形式적 검증이 어려운 이유와 LLM의 한계

Lean, Coq, Isabelle, Dafny 같은 시스템은 이미 상당히 성숙했다.

形式적 검증을 막는 요인은 대체로 세 가지다.

1. 코드보다 명세 작성이 어렵다

코드는 먼저 작성한 뒤 테스트를 보완할 수 있지만 명세는 그렇지 않다. 무엇이 ‘올바른 동작’인지 먼저 명확히 정의해야 한다.

‘비밀번호는 안전해야 한다’는 검증 가능한 명세가 아니다. 입력 길이, 허용 문자, 검증 알고리즘, 실패 시 동작, 경계 조건까지 정의해야 한다.

더 문제가 되는 점은 명세를 잘못 작성하면 기계가 틀린 결론을 성실히 증명할 수 있다는 것이다.

2. 증명 탐색에서 조합 폭발이 발생한다

증명기가 마주하는 것은 일직선짜리 탐색이 아니라 거대한 검색 트리다. 각 단계에서 새로운 보조 정리나 중간 목표가 생길 수 있다.

개발자는 정의를 펼칠지, 기존 theorem을 재사용할지, 다른 induction 전략을 사용할지도 결정해야 한다.

tactic이 실패했다고 해서 증명이 존재하지 않는 것은 아니다. 현재 탐색 경로가 부적절할 수도 있다. LLM은 국소적인 실패를 전체 방향의 오류로 잘못 판단하기 쉽다.

3. 실패 정보도 사람에게 친절하지 않다

Coq나 Lean이 오류를 내뿜을 때 보통 목표 상태, 국소 가정, 해결되지 않은 하위 목표를 제시한다.

정보는 정확하지만 이해하기 쉬운 것은 아니다. LLM은 tactic 수준에서 오류를 설명하고 후보 단계를 제안한 뒤 증명기가 검사하도록 할 수 있다.

다만 고수준 증명 설계에는 여전히 익숙하지 않을 수 있다.

  • 이 invariant가 성립하는 이유는 무엇인가
  • 명세가 실제 요구 사항을 빠짐없이 반영했는가
  • 다른 유도 방법을 사용하면 증명이 더 짧아지는가

이 문제는 몇 줄의 tactic을 추가하는 것만으로 해결되지 않는다.

모델은 hallucination을 일으킬 수도 있다. 존재하지 않는 theorem을 만들어 내거나, 없는 lemma를 인용하거나, 명세의 빈틈을 무관한 증문으로 감출 수 있다.

形式적 검증은 증명 자체를 검사할 수 있지만, 명세 자체가 올바름을 자동으로 증명해 주지는 않는다.

이번 연구는 무엇을 했으며 재현이 가능한가

공개 자료에서 확인할 수 있는 것은 Anthropic의 연구가 LLM을 활용해形式적 명세, 증명 초안, 검증 관련 코드를 보조했다는 점이다.

하지만 현재 공개된 초안에는 실험 과제, 표본 수, 성공률, 사람의 개입 방식, benchmark를 독자가 검증할 만큼 충분한 정보가 없다. 이 수치들을 임의로 만들어서는 안 된다.

초안에는 Hacker News 링크도 포함되어 있다: https://news.ycombinator.com/item?id=50202217.

여기서 11 points, 1 comment는 동적으로 변하는 페이지 정보다. 공개 전에 링크를 다시 열어 확인해야 한다. 검증할 수 없다면 구체적인 수치는 삭제하고 ‘공개된 논의가 제한적이다’고 표현하는 편이 낫다.

진정으로 재현 가능한 자료에는 최소한 다음 항목이 포함돼야 한다.

  • 과제 집합
  • pass@k
  • 모델과 샘플링 설정
  • 허용된 사람의 개입 방식
  • 실패 궤적
  • 훈련 데이터 오염을 막기 위해 새 과제를 사용했는지 여부

현재 이 연구는 이미 검증된 제품 기능이라기보다 계속 따라가 볼 가치가 있는 공학 방향으로 보는 것이 적절하다.

효과가 확인된다면 AI 프로그래밍 평가 기준은 어떻게 달라질까

현재 coding agent를 비교할 때는 얼마나 많은 코드를 생성했는지, 몇 개의 파일을 다뤘는지, SWE-bench를 통과할 수 있는지를 본다.

이 지표들은 결과가 특정 테스트를 통과하기만 하면 된다. 테스트가 다루지 않은 분기, 동시성 경쟁 상태, 메모리 문제, 명세의 모호함은 코드에 남아 있을 수 있다.

SWE-bench와 HumanEval은 주로 코드가 실행되는지와 지정된 테스트를 통과하는지를 검사한다. 완전한 형식적 정당성을 요구하지는 않는다.

LLM이 증명 작성에 안정적으로 참여할 수 있다면 평가 기준에 ‘기계적으로 검사할 수 있는 명세를 만족하는가’라는 층이 추가될 수 있다.

기존 benchmark의 일부 해석력은 약해지겠지만, 형식적 검증이 기존 benchmark를 단순히 대체할 수는 없다.

SWE-bench는 실제 저장소에서 issue를 해결하는 능력을 측정한다. 반면形式적 검증은 개발자가 먼저 정확한 명세를 제시해야 한다. 두 방식은 서로 다른 상황을 다룬다.

가치 있는 제품도 독립형 ‘Lean 코드를 작성하는 채팅창’보다는 IDE와 CI에 통합되는 형태일 가능성이 크다.

  1. 코드와 issue를 읽어 후보 명세를 생성한다.
  2. Lean이나 Coq에서 증명을 탐색한다.
  3. 실패 로그를 모델에 반환해 수정한다.
  4. 통과한 proof artifact를 코드 저장소에 남긴다.
  5. CI에서 명세가 계속 성립하는지持续적으로 검사한다.

실제 적용을 가를 세 가지 관건

1. 전문가가 LLM을Lead하는가, LLM이 독립적으로 수행하는가

두 방식의 차이는 크다.

전문가가 계속 theorem을 선택하고 목표를 분해하며 잘못된 경로를 수정한다면 최종 효율 향상분을 전부 모델의 성과로 볼 수는 없다.

연구를 읽을 때는 최종 pass rate보다 먼저 intervention protocol을 확인해야 한다.

2. 훈련 데이터가 오염됐는가

공개된形式적 증명 말뭉치는 자연어 코드보다 훨씬 작다.

Lean, Coq, Isabelle의 인기 theorem과 proof가 훈련 데이터에 반복해서 등장할 수 있다. 이미 존재하는 theorem만 검사하면 새 과제를 처리하는 모델 성능을 지나치게 평가하기 쉽다.

3. 일반적인 엔지니어링 팀은 무엇을 얻을 수 있는가

학술 ITP 사용자들은 이미 명세와 증명을 작성하는 데 많은 시간을 투자해 왔고, 자동화 지원을 받아들이는 데 별다른 저항이 없다.

일반적인 엔지니어링 팀은 종종 요구 사항의 경계를 명확히 말하지 못한다. 이들에게 병목은 proof search보다 ‘무엇을 증명해야 하는가’일 가능성이 크다.

검증 비용도 사라지지 않는다. 모델이 사람의 반복 시행을 줄이더라도 proof checker, 빌드 환경, theorem library의 비용이 함께 낮아진다는 뜻은 아니다.

편집자 관점

이 연구가 중요한 이유는 LLM이 이미形式적 방법론 전문가를 대체했기 때문이 아니라, coding agent의 목표를 ‘코드가 동작한다’에서 ‘증명이 검사될 수 있다’로 옮겼기 때문이다. 과거 Copilot은 주로 코드 생성을 앞당겼고, reviewer와 테스트가 실수를 막았다. 이제 증명기는 더 엄격한 피드백을 제공하지만, 명세, 증명 설계, 사람의 개입 문제는 여전히 남아 있다.

제가 예측하기로는 단기적으로 가장 먼저 이익을 볼 분야는 암호학, 컴파일러, 기타 안전 핵심 코드다. 주류 개발 흐름이 이를 받아들이는지는 LLM이 단순히 tactic을 몇 번 더 시도하는 수준을 넘어 사람의 설계 작업을 줄일 수 있는지에 달려 있다. 형식적 검증은 ‘그럴듯하게 보인다’는 답을 받아들이지 않고, 기계가 검사할 수 있는 추론만 요구한다.

다만 엄격한 사람의 개입 조건에서 원래 실험이 어느 정도의 성능을 보였는지는 아직 확신할 수 없다. 공개 전에 논문 데이터와 HN 페이지의 동적 정보를 먼저 검증해야 한다.

출처: https://www.anthropic.com/research/formal-verification