실전

LLM 역방향 분석 실전, 시간을 아끼는 핵심은 검증

LLM은 함수 이름 일괄 지정, 제어 흐름 해석, 검증 방향 제안에 활용될 수 있지만 분석 비용이 사라진 것은 아니다. 그 비용은 디버깅과 결과 검증, 격리 환경 구축으로 이동했다.

글자 크기

핫한 이슈는 새로운 모델이 아니다

Hacker News 메인 페이지에 올라온 뜨거운 게시글에는 LLM을 바이너리 분석에 참여시키는 워크플로가 소개됐다. 코드 읽기와 맥락 정리에는 시간을 절약할 수 있지만, 가장 비싼 단계는 여전히 제시된 답을 검증하는 작업이다.

이번 Hacker News 메인 페이지에 오른 것은 새로운 모델도, 새로운 benchmark도 아니었다.

논의의 출발점은 Slow Chronicle의 LLM assisted reverse engineering라는 글이다. 이 글은 대규모 언어 모델을 바이너리 역방향 엔지니어링에 참여시키는 방법을 담고 있다. 함수 이름 지정, 제어 흐름 해석, 의사 코드 생성, 의심스러운 로직 식별 사례가 포함됐다.

원문 링크: https://www.slowchronicle.com/posts/llm-assisted-reverse-engineering

이에 대응하는 Hacker News 토론도 메인 페이지에 올라가 172점과 댓글 44개를 기록했다.

https://news.ycombinator.com/item?id=50553225

주목할 이유는 모델의 점수가 얼마나 올랐는지가 아니다.

이 사례는 개발자에게 구체적인 질문을 던졌다. 분석 대상이 낯선 바이너리, 난독화된 코드 또는 소스가 없는 프로그램일 때 LLM은 실제로 어떤 작업을 대신할 수 있는가?

답은 ‘완전 자동 크래킹’에 있지 않다. 더 현실적으로는 LLM이 익숙한 코드베이스를 분석하는 시간을 줄일 수 있지만 검증 비용은 그대로 남아 있다는 것이다.

LLM은 실제로 어떤 단계를 맡는가

이러한 워크플로는 보통 정적 분석에서 시작한다. 분석자가 먼저 도구를 이용해 바이너리를 디컴파일 코드에 가까운 형태로 변환한 뒤 함수, 호출 관계, 제어 흐름을 모델에 전달한다.

아래 Python 코드는 파일만 읽기 때문에 역방향 분석 자체는 아니다.

from pathlib import Path

source = Path("sample.c")
if not source.exists():
    raise SystemExit("sample.c not found")

text = source.read_text(encoding="utf-8")
print(f"Loaded {len(text)} characters")

실행 결과는 다음과 같다.

Loaded 42 characters

실제 흐름은 일반적으로 다음 단계로 구성된다.

  1. 디컴파일 결과에서 함수 하나를 추출한다.
  2. LLM이 함수의 목적을 추론하고 가독성이 높은 이름을 제안하게 한다.
  3. 분기, 반복문, 간접 호출을 모델에 해석하도록 요청한다.
  4. 해석을 바탕으로 의사 코드 또는 테스트 가설을 생성한다.
  5. -breakpoint, 디버거, 실제 입력을 이용해 검증한다.

첫 번째 단계는 특히 LLM에 적합하다.

디컴파일러가 다음과 같은 결과를 내놓았다고 하자.

int sub_401230(int a, int b) {
    if (a < 0) {
        return sub_401190(b);
    }
    return a * b + 7;
}

모델은 이를 calculate_weighted_value라고 이름 붙일 수 있다. 이 이름이 정확한지는 이름 자체로는 아직 증명할 수 없다. 다만 매개변수와 반환값을 바탕으로 일련의 가설을 추출했다는 의미일 뿐이다.

제어 흐름 해석도 비슷하다. 모델은 다음 코드를 빠르게 자연어로 정리할 수 있다.

if ((flags & 4) != 0) {
    result = decrypt_buffer(data);
} else {
    result = copy_buffer(data);
}

설명하면 ‘플래그 비트가 데이터 처리 경로를 제어한다’는 의미가 된다.

하지만 이것도 결국 의미 번역에 불과하다.

분석자에게 LLM이 가장 가치 있을 수 있는 부분은 최종 답을 직접 내놓는 것이 아니라, 검증할 가치가 있는 가설을 대량으로 만들어 내는 작업일 수 있다.

  • 어떤 함수가 복호화, 검증, 네트워크 통신을 담당하는가?
  • 특정 매개변수는 길이, 키 인덱스, 상태 코드 중 무엇일 가능성이 있는가?
  • 서로 무관해 보이는 두 호출 경로가 같은 프로토콜을 처리할 수 있는가?
  • 어떤 예외 분기가 안티디버깅이나 환경 탐지에 대응할 수 있는가?

원문의 토론도 바로 이런 실무 흐름을 다뤘다. LLM이 코드 분석, 함수 이름 지정, 로직 해석에서 어느 정도 도움을 줄 수 있는지 확인하는 것이 핵심이었다.

중요한 것은 모델이 한 번에 정확히 맞히는지가 아니다.

도구를 오가며 코드를 읽고 맥락을 정리해야 하는 분석자의 반복 작업 시간을 단축할 수 있는지가 더 중요하다.

역방향 분석 현장에서 가장 어려운 일은 검증이다

역방향 엔지니어링에서 잘못된 함수 이름은 위험한 가짜 진전을 만들어 낼 수 있다.

분석자가 sub_401230을 decrypt_payload라고 이름 붙였다고 하자. 이후 주석, 호출 그래프, 검색 결과가 모두 이 가설을 중심으로 전개된다. 몇십 줄이 지난 뒤에는 그 이름 하나가 분석 경로 전체를 오염시킬 수 있다.

LLM의 문제점은 논리 추론 오류에 국한되지 않는다.

더 흔한 원인은 네 가지다.

  1. 런타임 맥락의 부재: 모델은 실제 매개변수, 메모리 레이아웃, 외부 입력을 볼 수 없다.
  2. 의미가 삭제된 난독화 코드: 변수 이름이 컴파일러가 생성한 것일 수 있고, 제어 흐름도 최적화되어 있을 수 있다.
  3. 존재하지 않는 의도의 보완: 모델은 ‘그럴듯해 보인다’는 사실을 ‘실제로 그렇다’고 해석하기 쉽다.
  4. 분석 체인을 따라 전파되는 오류: 이후 함수 이름은 앞선 잘못된 결론을 참조한다.

따라서 모델의 설명은 주석에 기록된 사실이 아니라 검증이 필요한 가설로 다뤄야 한다.

다음 Python 도구는 텍스트에 아직 검증하지 않은 판단이 섞여 있는지 확인하는 데 쓸 수 있다. 역방향 분석 결론을 검증하는 도구는 아니지만, 분석자가 가설을 명시적으로 기록하도록 유도할 수 있다.

from pathlib import Path

path = Path("notes.md")
if not path.exists():
    raise SystemExit("notes.md not found")

notes = path.read_text(encoding="utf-8")
markers = ("TODO", "HYPOTHESIS", "UNVERIFIED")

for number, line in enumerate(notes.splitlines(), start=1):
    if any(marker in line for marker in markers):
        print(f"{number}: {line}")

HYPOTHESIS: this function decrypts the payload가 포함된 메모에 실행하면 다음 결과가 출력된다.

2: HYPOTHESIS: this function decrypts the payload

진짜로 유용한 검증은 결국 동적 실행으로 돌아온다.

  • 핵심 호출 지점에 breakpoint를 설정한다.
  • 매개변수와 반환값을 관찰한다.
  • 입력을 변경해 출력 변화와 비교한다.
  • sanitizer, hook, 심볼릭 실행으로 경계 조건을 검사한다.
  • 서로 다른 운영체제와 아키텍처에서 동작을 재현한다.

LLM이 가속하는 것은 ‘다음 질문을提出하는 작업’이다.

‘답이 맞는지 확인하는 작업’을 없애지는 않는다.

낯선 악성 샘플을 다룰 때는 검증 환경 구축에도 비용이 든다. 네트워크 격리, 가상머신 준비, 스냅샷 보존, 신뢰할 수 없는 코드 실행 방지가 필요하다. 모델은 몇 초 만에 분석 단서 열 개를 제시할 수 있지만, 그 경로 열 개를 통제된 환경에서 안전하게 실행하는 작업까지 대신할 수는 없다.

보조 분석을 자동 언패킹으로 착각하지 말아야 한다

이 워크플로와 완전 자동 악성코드 분석 사이에는 여전히 넓은 간극이 있다.

보조 분석에서는 보통 전문가가 목표를 정한다. 어떤 함수부터 볼지 정하고, 어디에 breakpoint를 설정할지 결정한다. LLM은 코드를 읽고, 이름을 붙이고, 가설을 정리하는 역할을 맡는다.

반면 ‘자동 언패킹’은 시스템이 전체闭环을 스스로 수행해야 한다. 샘플 식별, 도구 선택, 스크립트 생성, 디버깅 환경 조작, 예외 처리, 결과에 따른 전략 수정을 모두 자동화해야 한다. 후자의 목표에는 프롬프트 품질만 관여하지 않는다.

최소한 다음 요소가 필요하다.

  • 반복 실행 가능한 격리 환경
  • 되돌릴 수 있는 가상머신이나 컨테이너 스냅샷
  • 신뢰할 수 있는 프로그램 동작 기록
  • 기계가 검사할 수 있는 중간 결론
  • 시스템 호출, 파일 시스템, 네트워크 동작에 대한 체계적인 관측

자주 간과되는 문제도 있다. 많은 오류는 특정 분기에 실행될 때만 드러난다. 모델은 코드를 해석할 수 있지만, 정적 텍스트만으로 숨은 경로가 절대 실행되지 않는다는 것을 증명할 수는 없다.

그래도 LLM을 취약점 연구, 국내 소프트웨어 호환성 분석, 보안 컴플라이언스 작업에 활용하는 데 아무 문제가 없다. 오히려 이러한 업무에서 반복적으로 발생하는 잡무를 처리하는 데 더 적합하다.

  • 심볼과 호출 관계를 대량으로 정리한다.
  • 수천 개 함수에 대한 후보 이름을 생성한다.
  • 의심스러운 로직에 대해 여러 해석을 제안한다.
  • Ghidra, IDA 또는 디버깅 스크립트의 초안을 작성한다.
  • 분산된 증거를 전문가가 검토할 수 있는 보고서로 정리한다.

다만 보고서에는 증거 수준을 유지해야 한다. 모델의 추측, 정적 추론, 동적 검증은 같은 수준의 결론으로 기록해서는 안 된다.

취약점 연구에서도 컴플라이언스 경계는 분명하다. 코드 분석, 이중 샘플 예제 작성, 수정 제안은 대체로 위험도가 낮다. 하지만 생성 가능한 exploit, 지속성 메커니즘, 탐지 회피 기능으로 워크플로가 바뀐다면 승인 범위를 별도로 평가해야 한다.

LLM은 진입 장벽을 낮추지만 사용자가 승인 책임을 대신 져 주지는 않는다.

편집자의 생각

이번 논의에서 진짜 중요한 것은 LLM이 역방향 엔지니어링을 할 수 있다는 것을 입증하는 일이 아니라, 지식 노동의 새로운 비용 구조가 드러난 점이다. 답을 생성하는 비용은 점점 낮아지고, 답을 증명하는 비용은 점점 높아진다. 특히 역방향 분석에서는 함수 이름을 잘못 정하면 이후의 모든 판단이 오염된다.

내 판단에는 LLM의 가장 큰 가치는 숙련된 역방향 엔지니어의 대체가 아니라 가설의 대량 생성과 맥락 정리 시간의 단축이다. 성숙한 팀은 모델 출력을 검증해야 할 단서로 다뤄야 한다. 핵심 결론에는 그럴듯한 설명을 바로 받아들이지 말고, 증거 출처, 검증 방법, 재현 절차를 함께 제시하도록 요구한다.

이는 과거의 ‘AI에게 코드 작성시키기 논의와 다르다. 코드에는 적어도 컴파일러, 테스트, CI가 판정을 내릴 수 있다. 반면 바이너리 동작은 특정 시스템 상태에 의존하는 경우가 많아 정적 해석에 자연스러운 심판이 없다. 이 차이는 완전 자동화를 제한하며, 격리 환경과 실험 기록을 핵심 구성 요소로 만든다. 현 단계에서 더 신뢰할 수 있는 경로는 사람이 방향을 제시하고, 모델이 탐색 범위를 넓히며, 디버거가 최종 판단을 내리는 방식이다.

출처: https://www.slowchronicle.com/posts/llm-assisted-reverse-engineering