실전

AI 에이전트에게 Rust 최적화를 시켜봤다: 7회 반복 후 발견한 것들

'make it faster' 한마디만 던져놓고 에이전트가 코드를 수정하고 benchmark를 돌리도록 했다. 7회 반복에서 진짜 논의할 가치가 있는 건 최적화 수치가 아니라 그 loop가 드러낸 엔지니어링 디테일이다.

글자 크기

Max Woolf가 흥미로운 실험을 했다. Rust 코드를 어떻게 최적화할지 일절 알려주지 않고, "make it faster" 한마디만 던진 뒤 에이전트가 스스로 코드를 고치고, benchmark를 돌리고, 유지할지 버릴지 결정하게 맡긴 것이다.

7회 반복을 돌린 결과는 "AI가 SIMD 흑마법을 자동으로 뽑아냈다" 같은 화려한 모습이 아니었다. 대신 평소 잘 드러나지 않는 엔지니어링 디테일이 줄줄이 드러났다. 원문은 minimaxr.com/2026/09/agentic-iteration에 있고, Hacker News에서는 78점 / 댓글 38개로 메인에 올랐다.

실험 구성

Woolf의 prompt는 꽤 절제돼 있다. "SIMD 써서 최적화해"도 "메모리 할당 줄여"도 아닌, 그냥 열린 목표 하나뿐이다.

Make this Rust program faster.

그리고 에이전트가 직접 loop를 돌린다.

  1. 현재 코드 읽기
  2. 최적화 가설 제시
  3. 코드 수정
  4. benchmark 실행 (원문에서는 Rust 표준 bench 도구인 criterion 사용)
  5. 숫자 비교 후 더 나은 버전 유지

한 loop당 대략 5~10분. 7회 반복에서 멈추는 상한을 두고, 중간에 사람이 개입하거나 방향을 잡아주지 않았다.

이 설계의 핵심은 prompt의 교묘함이 아니라 "신뢰할 수 있는 검증의 존재"다. benchmark는 criterion이 돌리고, 숫자는 기계가 읽고 기계가 판정한다. 에이전트에게 "이 최적화가 좋은지" 알려줄 사람이 필요 없다. 숫자가 결정한다.

에이전트가 정말 인간이 놓치는 병목을 찾았나

7회 반복 동안 에이전트는 직접 여러 최적화를 적용했다. 대표적인 것들을 추려보면 다음과 같다.

첫 번째 유형: 메모리 할당 전략

  • Vec::push를 미리 용량을 잡아두는 Vec::with_capacity로 교체
  • 频繁한 작은 할당을 SmallVec이나 arena allocator로 대체
  • 문자열 결합을 format! 대신 String::with_capacity + 수동 push로 변경

두 번째 유형: 제로코스트 추상화 교체

  • trait object(dyn Trait)를 enum 디스패치로 바꿔 동적 디스패치 회피
  • iterator chain을 명시적 loop로 풀어서 컴파일러가 인라이닝하기 쉽게 만들기
  • Option<Box<T>>를 Option<NonNull<T>> 같은 unsafe하지만 더紧凑한 표현으로 교체

세 번째 유형: 데이터 레이아웃

  • struct 필드 재배치로 자주 쓰는 필드를 같은 cache line에 모으기
  • #[repr(C)]로 ABI 레이아웃 제어
  • #[repr(align(N))]으로 cache line 경계에 정렬

들어보면 그럴듯하다. 문제는 이 중 어떤 게 초보가 못 떠올리고, 어떤 게 베테랑이 한눈에 보이는지다.

내 판단으로는 앞 두 유형은 거의 다 교과서급 최적화다. Rust를 반년만 써도 with_capacity가 push보다 빠르다는 건 안다. trait object를 enum으로 바꾸는 것도 Rust performance wiki 첫 페이지에 적혀 있는 내용이다.

진짜 흥미로운 건 세 번째 유형, 데이터 레이아웃이다. 이건 정말 profiler를 돌려봐야 발견할 수 있는 영역이다. struct의 어느 필드가 hot access고 어느 필드가 cold access인지를 알아야 재배치 여부를 판단할 수 있다. 이번 에이전트는 실제로 perf를 돌리지 않고 "상식적 가정"에 기대어 움직였기 때문에 적중률이 들쭉날쭉했다.

7회 반복 후 어떤 일이 벌어졌나

성능이 단조롭게 상승하지는 않았다. 중간에 짚어볼 만한 사건이 두 개 있었다.

Plateau: 4회차에서 5회차 사이에 거의 변화가 없었다. 에이전트가 제시한 "최적화"가 benchmark 노이즈 범위 안에서 움직인 것이다. 그런데 굳이 의미 없는 수정을 이어가지 않고 방향을 바꿨다.

회귀: 6회차에서 에이전트가 "더 우아해 보이는" 버전을 적용했다. unsafe 블록을 safe API로 감싼 것이다. 결과적으로 benchmark가 8% 느려졌고, 에이전트가 스스로 rollback했다.

이 두 사건은 "에이전트가 얼마나 잘 최적화했는가"보다 더 논의할 가치가 있다.

첫째, 에이전트는 영감이 아니라 숫자에 기대어 움직인다. "이 최적화가 이론상 빨라야 한다"는 모르고, benchmark만 믿는다. 그래서 plateau에 부딪혀도 억지로 밀어붙이지 않고, 회귀가 와도 억지 부리지 않는다.

둘째, benchmark 노이즈는 실제로 문제다. criterion의 기본 노이즈 임계값이 5%라서, 5% 이내의 개선은 에이전트가 아예 구분을 못 한다. Rust 성능 엔지니어링의 "마지막 5%"는 이런 loop에서 사실상 보이지 않는다.

셋째, 안전한 추상화 자체에 비용이 있다. Rust의 safe wrapper는 공짜가 아니다. bound check 한 층, panic 분기 한 층이 추가된다. unsafe를 정확히 쓰면 0코스트지만, safe로 감싸는 순간 비용이 돌아온다. 에이전트가 이번에 부딪힌 건 Rust 안전 모델의 본질적 문제지, 에이전트가 멍청해서가 아니다.

이 방식이 Cursor / Copilot와 다른 점

핵심 차이는 "모델이 얼마나 강한가"가 아니라 loop의 주어가 누구인가다.

Cursor와 Copilot의 핵심 상호작용은 이런 식이다.

  • 사람이 코드를 쓰면 AI가 자동완성
  • 사람이 tab을 누르면 AI가 제안
  • 사람이 수락 여부를 결정

Loop의 주어는 사람이다. AI는 도구다.

Woolf 실험의 loop 주어는 에이전트다.

  • 에이전트가 코드를 읽는다
  • 에이전트가 코드를 고친다
  • 에이전트가 benchmark를 돌린다
  • 에이전트가 유지 여부를 결정한다

사람은 마지막에 결과만 한 번 훑어본다.

이번 에이전트는 길고 새로운 기능을 쓰지 않았다. 전부 작은 폭의 재작성 + benchmark 검증이었다. 이는 꽤 반직관적인 방향을 가리킨다. 미래 coding agent의 핵심 능력은 "얼마나 빨리 쓰느냐"가 아니라 "loop를 얼마나 안정적으로 도느냐"다.

코드 작성은 1회성 의사결정이다. loop는 다회성 의사결정 + 상태 관리 + 오류 복구다. 후자가 훨씬 어렵다.

Rust 성능 엔지니어링에 어떤 의미인가

Rust 커뮤니티는 늘 "사람 손으로 SIMD 바이트 하나하나 까보는" 문화였다. Rust performance talk를 하나만 열어봐도, 발표자는 unsafe를 손으로 쓰고, #[repr(align)]으로 정렬 맞추고, std::arch::asm!로 인라인 어셈블리를 박는 이야기를 한다.

만약 에이전트가 상용 최적화 70%——할당 전략, iterator 재작성, trait object 교체——를 자동화할 수 있다면, 엔지니어의 일은 두 가지로 바뀐다.

  1. 에이전트용 benchmark를 설계한다
  2. 에이전트용 목표를 정의한다

코드 자체를 쓰는 게 아니다.

이 변화는 매끄럽게 들리지만 숨은 전제가 하나 있다. benchmark가 올바르게 작성돼야 한다는 점이다.

benchmark가 잘못되면 에이전트는 중요하지 않은 시나리오를 미친 듯이 최적화한다. "실제 사용" 경로를 최적화하라고 시킨 줄 알았는데, 실제로는 benchmark 안의 micro-task만 깎고 있는 상황이 생긴다. 이런 garbage in / garbage out 문제를 AI가 자동으로 해결해 주지는 않는다.

편집자 소견

"AI가 코드를 쓴다"보다 더 짚어볼 만한 지점이 있다. agentic coding의 가치는 생성 능력에서 오는 게 아니라 검증 폐쇄회로에서 온다는 점이다.

테스트를 스스로 돌리고, 숫자를 스스로 보고, 스스로 롤백할 수 있는 에이전트는 1000줄짜리 코드를 쓸 수 있는 에이전트보다 "자동화된 엔지니어"에 한층 가깝다. 전자는 인간의 판단력을 기계의 객관적 척도에 아웃소싱하고, 후자는 인간의 타이핑 속도를 기계의 확률적 샘플링에 아웃소싱할 뿐이다.

다만 전제가 있다. benchmark가 올바르게 작성돼야 한다는 점인데, 이건 결국 책임이 사람에게 돌아온다.

조금 더 반(反)합의적인 관점에서 보면, Woolf 실험이 보여주는 가장 큰 가치는 아마 "Rust 에이전트가 Rust를 최적화한다"가 아닐 것이다. agentic loop가 ground truth가 없는 영역에서 실패한다는 사실을 보여줬다는 점이 더 중요할 수 있다. Rust 성능에는 benchmark라는 ground truth가 있어서 loop가 돌아간다. 설계, 제품 의사결정, 사용자 연구——이런 영역에는 ground truth가 없으니 agentic loop는 그냥 공회전한다.

앞으로 12~18개월 동안 눈여겨볼 것은 "어떤 에이전트가 더 빨리 코드를 쓰느냐"가 아니다. 어떤 영역에서 신뢰할 수 있는 검증 폐쇄회로를 만들 수 있느냐다. 만들 수 없는 영역에 에이전트를 투입해도 996이다.

출처: https://minimaxir.com/2026/09/agentic-iteration/