실전

Claude로 줄이는 공격면, 보안 연구 도구도 보안부터

Anthropic은 Claude를 코드 공격면 분석에 도입해 발견, 검증, 완화까지 지원하는 절차를 제안했다. 그러나 이러한 연구 도구 자체가 코드·권한·데이터 흐름을 새롭게 노출할 수 있어, 효과보다 도구의 안전성이 함께 다뤄진다.

글자 크기

Anthropic은 Claude를 활용해 소프트웨어 코드의 공격면을 줄이는 연구를 공개했다.

이번 연구의 핵심은 코드 생성이 아니라 보안 연구 절차에 Claude를 포함해 공격 식별과 검증, 공격면 축소에 참여시키는 방식이다.

가장 주목할 점은 AI가 몇 개의 취약점을 찾아냈느냐가 아니다.

공격면 검토 자체가 높은 권한을 요구하는 작업이기 때문이다. 모델은 코드를 읽고 도구를 호출하며 수정안을 제시하고, 심지어 자동 수정까지 실행할 수 있다. 각 단계에서 로그, prompt, 의존성, 권한, 데이터 흐름이 늘어날 가능성이 있다.

보안 도구 스스로 안전하다는 증거를 내지 못한다면 production 환경에 바로 투입하기 어렵다.

원문 연구: Anthropic

Anthropic 연구의 접근 방식

Anthropic의 연구는 세 가지 변화를 중점으로 다룬다.

  • 새로 추가된 코드가 외부 진입점을 만들지 않는지
  • 새 의존성이 supply chain과 runtime 노출 범위를 확대하지 않는지
  • 새 기능이 권한, 데이터 흐름 또는 신뢰 경계를 바꾸지 않는지

이는 단순히 CVE를 찾아 수정할 버전을 알려 주는 방식과 차이가 있다.

취약점은 일반적으로 명확한 결함 하나에 대응한다. 반면 공격면은 훨씬 넓다. 사용되지 않는 network listener, 과도하게 넓은 IAM 권한, 중복되는 데이터 출구, third-party SDK, 기본값으로 활성화된 debugging interface, 코드에 새로 추가된 credential 전달 경로 등이 모두 포함된다.

Anthropic은 코드 생성과 취약점 질의응답만 보여 주는 대신 Claude를 전체 검토 절차에 넣었다. 이 차이는 중요하다.

모델이 request.args[...]에 injection 문제가 있을 가능성을 정확히 지적하더라도, 해당 interface가 노출되어야 하는지, 호출자를 신뢰할 수 있는지, 수정이 호환성에 영향을 미치는지, 새 dependency가 더 큰 유지보수 위험을 가져올 수 있는지는 별도로 판단해야 한다.

연구 과정에서는 보안 수정 자체가 새로운 위험을 도입하는지도 평가한다. 이는 모델이 똑똑하다는 말보다 실제 engineering 문제에 가깝다.

보안 검토는 취약점 스캐너가 아니다

AI 보안 검토를 취약점 스캐너로 이해하면 문제를 지나치게 좁게 볼 수 있다.

전통적인 스캐너는 표현 가능한 규칙을 이용한 결정론적 matching에 적합하다.

# 이는 완전한 제품 수준의 보안 검사가 아니다.
# 스캐너가 일반적으로 표현 가능한 규칙에 의존한다는 점을 보여 준다.
import re

RULES = [
    (re.compile(r"eval\s*("), "dynamic evaluation"),
    (re.compile(r"shell=True"), "shell command execution"),
]

source = open("app.py", encoding="utf-8").read()

for pattern, label in RULES:
    for match in pattern.finditer(source):
        line = source.count("\n", 0, match.start()) + 1
        print(f"{label}: app.py:{line}")

규칙은 의심스러운 패턴을指出할 수 있지만, 누가 이를 실행할 수 있는지, 공격자가 무엇에 접근할 수 있는지, 수정 후 다른 경로가 생기는지를 온전히 설명하기는 어렵다.

공격면 검토는 시스템 modeling에 더 가깝다.

  1. 어떤 input 진입점이 추가됐는가?
  2. input은 어떤 service와 dependency를 거쳐가는가?
  3. 각 service는 어떤 권한을 갖는가?
  4. 데이터는 최종적으로 어디로 흐르는가?
  5. 장애가 발생하면 더 느슨한 동작으로 fallback되는가?
  6. 기존 경로를 제거한 뒤에도 공격자가 cache, queue, log를 통해 내부 resource에 접근할 수 있는가?

LLM이 이러한 작업에서 가질 수 있는 잠재적 가치는 여러 file을 동시에 읽고, 호출 경로를 따라 가정을 정리한 뒤, 위험을 자연어로 설명하는 능력이다.

하지만 분명한 한계도 있다. 코드 context가 불완전할 수 있고, dependency 관계가 prompt에 반영되지 않았을 수 있으며, configuration과 infrastructure 정보가 repository 밖에 있을 수 있다. 모델이 제시한 결론은 반드시 test와 사람의 검토를 거쳐야 한다.

AI 도구도 새로운 위험을 만든다

Claude를 보안 절차에 연결하면 이전에는 없던 경로가 하나 생긴다.

예를 들어 모델이 private repository를 읽은 뒤 코드 일부를 cloud API로 전송할 수 있다. 기업은 다음 사항을 고려해야 한다.

  • 코드에 secret, token 또는 customer data가 포함돼 있는가
  • prompt가 logging system에 완전히 저장되는가
  • 모델 제공업체가 input과 output을 보관할 수 있는가
  • 조직이 source code를 외부 service로 전송하도록 허용하는가
  • 자동 수정이 main branch에 바로 반영되는가
  • 코드 제안에 malicious dependency나 안전하지 않은 command가 포함될 수 있는가

보안 검토 도구는 악용될 수도 있다. 공격자가 입력 코드를 수정할 수 있다면, 검토 Agent가 특정 directory를 무시하거나 오해를 유발하는 수정 결과를 생성하도록 유도할 수 있다.

이는 공격자가 통제할 수 있는 자료를 검토 담당자에게 건네는 상황과 비슷하다. 따라서 검토 절차는 prompt injection, 도구 호출 권한, 결과의 무결성을 함께 고려해야 한다.

자동 수정에는 특히 sandbox, 최소 권한, 사람의 승인과 rollback 가능한 commit이 필요하다. 그렇지 않으면 모델이 medium 또는 high 위험 문제를 다른 위험으로 바꿔 버릴 수 있고, team이 실제 위험이 감소했는지도 파악하기 어렵다.

HN에서 23점이 나온 이유

이 연구 링크가 Hacker News 전면에 올라왔을 때 페이지에는 23 points와 댓글 6개가 표시됐다.

23 points는 Hacker News에서 커뮤니티의 폭넓은认可的를 보여 주는 점수로는 부족하다. 누군가 링크를 열어 봤지만 강한 consensus가 형성되지는 않은 소규모 논의에 가깝다.

HN 논의에서는 보통 다음과 같은 질문을 한다.

  • 연구를 재현할 수 있는가?
  • dataset을 공개했는가?
  • 사용한 model version은 무엇인가?
  • human security team과 비교했는가?
  • false positive rate와 false negative rate은 얼마인가?
  • code review 결과를 독립적으로 검증했는가?

개발자 입장에서 AI 보안은 또 다른 경계심을 자극한다. 보안 제안에는 보통 높은 신뢰가 필요하다. 모델이 잘못 판단하자 수정 작업 자체가 system behavior를 바꿀 수 있기 때문이다.

따라서 HN의 신중한 반응이 반드시 Claude를 부정하는 것은 아니다. 오히려 다음 두 문제를 구분하려는姿态일 가능성이 크다. Claude가 연구를 보조할 수 있는가, 그리고 보안 책임을 독립적으로 떠질 수 있는가.

현재 공개된 정보만으로는 두 번째 질문에 답하기 어렵다.

공개 benchmark 없이는 효과를 논할 수 없다

현재 보도 요약에는 다음 정보가 제시돼 있지 않다.

  • 발견된 취약점 수
  • 공격면 감소 폭
  • benchmark 수치
  • 구체적인 코드 사례
  • false positive와 false negative 데이터
  • human review 또는 전통적인 도구와의 비교 결과

따라서 이 연구만으로 Claude의 전반적인 보안 효과를 단정할 수 없다.

연구 자체의 가치가 없다는 뜻은 아니다. 최소한 더 현실적인 방향을 보여 준다. 모델을 모든 취약점을 자동으로 찾아 주는 보안 전문가로 포장하기보다 공격면 검토에 참여시키는 것이다.

하지만 절차를 보여 주는 것과 능력을 증명하는 것은 별개다.

효과를 판단하려면 최소한 task set, 입력 코드 범위, model version, 도구 권한, 평가 기준, 각 발견 사항의 후속 검증 결과를 공개해야 한다.

그렇지 않으면 읽자는 Claude가 어떤 절차에 참여했다는 사실만 보게 될 뿐, 재현 가능한 조건에서 위험을 얼마나 줄였는지는 알 수 없다.

간단한 평가 기록은 다음과 같은 형태일 수 있다.

result = {
    "task_id": "api-route-001",
    "finding": "new endpoint accepts untrusted input",
    "evidence_file": "src/routes/export.py",
    "verified": True,
    "introduced_new_risk": False,
    "reviewer": "security-engineer-2",
}

진정한 benchmark는 발견한 항목 수만 세어서는 안 된다. 제안이 올바른지, 수정이 실제로 효과적인지, 공격면이 증가하지 않았는지, 사람에게 들인 시간이 얼마나 되는지도 기록해야 한다.

편집자 관점

AI가 보조하는 보안 연구의 핵심 병목은 모델이 전문적으로 보이는 위험 보고서를 작성할 수 있는가가 아니다. 위험을 줄인다는 추천을 증명하면서도 system에 새로운 위험을 가져오지 않을 수 있는가가 핵심이다.

이번 연구는 과거의 모델 취약점 탐지 시연과 방식이 다르다. Anthropic은 개별 CVE보다 새로 추가된 코드, dependency, 기능, 권한 변화와 system의 노출 범위에 초점을 두었다. 또한 보안 수정 자체도 새로운 위험을 만들 수 있음을 인정했다.

제 판단에 따르면 앞으로 가장 실용적인 보안 Agent는 production 환경에 대한 write 권한을 바로 갖지 않는다. read-only 분석을 먼저 수행하고, 검토 가능한 patch를 생성하는 방식이 될 것이다. 권한이 낮을수록 평가하기 쉽고, logging이 충실할수록 결과를 재현하기 쉬워진다.

지난 AI 보안 시연들과 비교했을 때 구체적인 차이는 Anthropic이 모델을 취약점 스캐너 대체제로 제시하지 않고 절차의 참여자로 위치를定했다는 점이다. 따라서 논점도 도구 자체의 보안성으로 이동했다.

현재는 공개 benchmark, 취약점 수, 공격면 감소 폭이 없으므로 결론은 절차 수준에서 멈춘다. Claude가 security team에 유효한 도구가 될 수 있는지는 홍보 자료가 아니라 독립적인 검증에 달려 있다.

출처: https://www.anthropic.com/research/attack-surface-reduction