도구

StarSling, AI Agent가 늘리는 CI 비용 어떻게 막나

StarSling은 임시 샌드박스와 병렬 CI, 지속적인 최적화 Agent를|●YPT了大量机器 PR에 필요한 테스트와 빌드 부하를 분산한다. Launch HN 사례에서는 Mastra가 매월 1,800개가 넘는 PR을 병합했지만, 실제 절감 효과는 아직公开 데이터로 확인되지 않았다.

글자 크기

Agent는 코드를 쓰고, CI는 그 비용을 치른다.

AI Agent가 PR을 대량으로 제출하면 CI는 단순한 파이프라인을 넘어 코드 저장소의 비용 센터가 된다. StarSling은 임시 샌드박스, 병렬 실행, 지속적인 최적화 Agent를 통해 이 비용을 감축하려 한다.

StarSling 깊이 분석: AI Agent가 CI 비용을 억제하는 방식

Agent는 코드를 쓰고, CI는 그 비용을 치른다.

AI Agent가 하루에 수십에서 수백 개의 PR을 제출하면 저장소 관리자는 AI와는 전혀 관련 없어 보이는 문제에 곧 부딪힌다. GitHub Actions의 실행 시간이 부족해지는 것이다.

테스트, 빌드, Lint, 컨테이너 이미지, 크로스 플랫폼 매트릭스는 모두 실행 시간에 따라 과금된다. Agent의 병렬 처리 능력이 강할수록 CI 비용도 함께 빠르게 늘어난다.

StarSling이 해결하려는 대상은 바로 이 비용 문제다. 별도의 코드 생성 Agent도, Claude Code나 Cursor의 대체품도 아니다. Agent가 생성한 PR 전용으로 설계된 CI 인프라 계층에 가깝다.

  • 독립적인 임시 샌드박스에서 테스트 실행
  • 여러 Agent PR의 동시 실행 지원
  • 지속적으로 최적화되는 Agent가 테스트와 GitHub Actions 워크플로 수정

평범한 ‘CI 속도향’ 플러그인이 아니다. 정확히 말하면 코드 생성 능력을 이용해 저장소의 테스트 시스템 자체를 개선하는 방식이다.

기본 정보는 Launch HN 공개 게시물에서 확인할 수 있다. StarSling은 Yonas와 Daniel이 개발했으며 YC P25 프로젝트다. 대량의 Agent PR을 처리해야 하는 코드 저장소를 대상으로 한다.

출처: StarSling on Launch HN

모든 CI 작업은 임시 샌드박스에서 실행된다

전통적인 CI의 기본 가정은 개발자가 하루에도 몇 번 PR을 제출하면 CI도 그만큼 실행된다는 것이다.

Agent는 이 가정을 깨뜨렸다. 하나의 Agent가 파일을 대량으로 수정하고 PR을 생성한 뒤, 테스트 실패를 기다리고 다시 수정본을 제출할 수 있다. 저장소 하나에서 실행되는 CI 작업은 하루 수십 회에서 수백 회로 늘어날 수 있다.

StarSling은 모든 CI job을 독립적인 ephemeral sandbox에서 실행한다. 샌드박스는 일회용이며 작업이 끝나면 바로 폐기된다. 장시간 유지되는 빌드 머신에 의존하지 않아 작업 사이의 상태 오염도 발생하지 않는다.

하드웨어 사양도 처리량과 대기 시간을 단축하는 데 초점을 둔다. Zen 5 프로세서와 NVMe Disk를 사용한다.

두 구성은 각각 다른 병목에 대응한다.

  • Zen 5는 계산 처리량을 높여 컴파일과 테스트 단계의 CPU 대기 시간을 줄인다
  • NVMe는 checkout, 의존성 설치, 캐시 복원, 빌드 산출물 입출력 시간을 단축한다

가장 중요한 구성은 StarSling이제공한다고 밝힌 unlimited concurrency다. 공식 설명에 제시된 용도는 명확하다. Agent가 생성한 여러 PR의 CI를 동시에 실행할 수 있도록 하는 것이다.

다만 이는 ‘제공한다고명한’ 기능이지, 모든 저장소가 무조건 무료로 무한 동시 실행을 받는다는 보장은 아니다. 실제 동시 실행 한도는 인프라 용량, 저장소의 작업 유형, GitHub API 제한, 공급자의 스케줄링 정책에 따라 달라진다.

하지만 제품 설계 관점에서는 전통적인 Actions Runner와 접근 방식이 다르다.

전통적인 CI는 먼저 개별 작업을 최대한 빠르게 만들고, 큐를 통해 동시 실행 수를 조절한다. StarSling은 한 배치의 작업이 동시에 완료될 수 있는지를 더 중시한다. Agent 입장에서는 CI 지연이 한 사람의 대기 시간이 아니라 곧바로 Agent의 피드백 루프에 들어가기 때문이다.

한 번의 전체 반복 과정이 다음과 같다고 하자.

  1. Agent가 패치 생성
  2. PR 제출
  3. CI가 테스트 실행
  4. Agent가 실패 로그 확인
  5. 패치를 수정해 다시 제출

CI에 20분이 걸리면 Agent는 그 20분 동안 사실상 할 일이 없다. 그렇다고 동시 실행 수가 많을수록 좋은 것은 아니다. 실패한 PR을 빠르게 대량 제출하면 rework와 비용만 늘어난다.

따라서 StarSling이 최적화하는 대상은 ‘개별 job’이 아니라 Agent의 전체 반복 주기다.

CI를 최적화하는 Agent가 직접 PR을 제출한다

StarSling에서 가장 주목할 부분은 CI harness다.

핵심은 지속적으로 최적화되는 Agent loop이다. 이 Agent는 PR을 생성해 테스트, GitHub Actions 워크플로, CI의 전체 속도와 비용을 개선한다.

여기에는 매우 현실적인 피드백 순환이 존재한다.

어떤 저장소에서 lint 실행에 매번 8분이 걸리고, 그중 6분을 의존성 재설치에 사용한다고 하자. CI Agent는 워크플로를 수정해 캐시 가능한 단계를 알맞은 위치로 옮길 수 있다. 테스트를 분할하는 방식도 바꿔 불필요한 전체 실행을 줄일 수 있다.

변경 사항은 이후 PR로 제출된다. 저장소 관리자가 이를 검토하고 테스트한 뒤 병합 여부를 결정한다.

다른 LLM에게 업무 코드 작성을 맡기는 방식과 크게 다르지 않다. 차이는 대상이 생산 시스템 자체라는 점이다. 빌드 의존성, 작업 순서, 캐시 정책, 테스트 범위, runner 설정이 여기 포함된다.

따라서 위험도 인프라 계층에 더 가까워진다.

업무 코드 Agent가 함수를 잘못 작성하면 일반적으로 CI가 막아준다. 반면 CI Agent가 테스트를 잘못 삭제하거나 중요한 검사를 건너뛰거나, 잘못된 산출물을 캐시로 커밋하면 결과가 훨씬 간접적인 형태 나타날 수 있다.

합리적인 안전 경계에는 최소한 다음 항목이 포함돼야 한다.

  • 테스트를 조용히 건너뛰지 못하도록 제한
  • 워크플로 파일 변경에 대한 명시적 검토
  • Agent가 사용할 수 있는 runner 권한과 네트워크 권한 제한
  • 캐시 키와 산출물 출처에 대한 검증
  • 모든 Agent 변경에 대해 롤백 가능한 기록 유지

StarSling의 공개 설명은 속도와 비용의 자동 개선에 집중한다. 그러나 엔지니어링 관점에서는 ‘비용 최적화’와 ‘검증 강도 저하’를 별도로 측정해야 한다. 그렇지 않으면所谓 절감은 필요한 검사 횟수를 줄인 것에 불과하다.

Mastra, 매달 1,800개가 넘는 PR 병합

StarSling의 공식 자료에 따르면 Mastra는 이 시스템을 통해 매달 1,800개가 넘는 PR을 병합하고 있다.

이 수치를 세분화해 볼 필요가 있다.

매달 1,800개가 넘는 PR은 하루 평균 60개를 넘는 셈이다. Agent가 가끔 보조적으로 패치 하나를 제출하는 수준을 넘어, 지속적으로 코드 변경 흐름을 만들어내고 있음을 보여 준다.

하지만 이 사례의 핵심은 PR 수 자체가 아니다.

모든 PR을 사람이 직접 한 줄씩 검토한다면 1,800개의 PR을 안정적으로 처리할 수 없다. 관리자는 검토, CI 대기, 실패 진단, 병합 정책을 함께 기계 생성 코드에 맞는 흐름으로 바꿔야 한다.

즉, 코드 생성 규모가 커지면 병목은 ‘코드 작성’에서 ‘코드 검증’으로 이동한다.

StarSling은 바로 이 지점에 positioned된다. Agent가 무엇을 작성할지 결정하지 않고, 대량의 기계 생성 패치에서 발생하는 테스트와 빌드 부하를 처리한다.

빠뜨리기 쉬운 결론도 하나 있다. Agent는 자신을 위해 작동하는 도구를 수정하고 있다는 점이다.

과거의 CI는 사람을 위한 도구였다. 사람은 빨간 실패 표시를 보고 로그를 읽고 문제를 고쳤다. 오늘의 Agent는 실패한 PR을 생성한 뒤 로그를 분석하고 워크플로를 조정해 다음 검증 시간을 줄일 수 있다.

도구가 생산자에 맞춰 적응하기 시작한 것이다.

비용 헤지이며 속도향 플러그인이 아니다

실행 시간에 따라 과금되는 전통적인 CI 방식은 일반적인 개발팀에 충분한 경우가 많다.

이유는 단순하다. 동시 실행은 가능해도 PR 수가 제한되고 작업이 근무 시간에 집중되기 때문이다. Agent 저장소는 다르다.

Agent는 하루 종일 실행할 수 있다. 동시에 열 개의 작업을 시작하고, 결과를 읽은 뒤 다음 작업을 계속 열 수도 있다. 실행 시간에 작업 수를 곱하면 비용이 뚜렷하게 증가한다.

더 문제는 Agent가 실패한 작업을 빠르게 재시도한다는 점이다. 쓸모없는 빌드가 많아지면 CI가 소비하는 자원은 주로 유효한 검증이 아니라 탐색 과정이다.

StarSling의 비용 구조는 두 단계의 헤지로 볼 수 있다.

첫 번째 단계는 작업별 비용을 줄이는 것이다.

  • Zen 5로 계산 효율 향상
  • NVMe로 I/O 대기 시간 단축
  • ephemeral sandbox으로 환경 드리프트와 복잡한 정리 작업 방지
  • 워크플로 최적화로 반복 단계 감소
  • Agent가 테스트와 Actions 설정을 자동 조정

두 번째 단계는 배치 처리량을 높이는 것이다.

  • unlimited concurrency로 여러 Agent PR을 동시에 테스트
  • CI 대기 시간을 줄여 Agent loop의 회전 속도 향상

첫 번째 단계는 실행별 비용을 낮추고, 두 번째 단계는 병렬 완료량을 높인다. 둘을 결합해야 Agent 트래픽 급증으로 발생하는 추가 비용을 상쇄할 수 있다.

전통적인 ‘CI 가속기’와는 본질적으로 다르다.

후자는 보통 저장소가 절약하는 시간을 몇 분 줄이는 데 초점을 둔다. StarSling의 목표는 PR 수가 한 자릿수 이상 증가할 때 CI 비용 곡선이 함께 폭발하지 않게 하는 것이다.

다만 Launch HN에 공개된 정보만으로는 다음 세 가지를 확인할 수 없다.

  1. unlimited concurrency의 구체적인 제한 조건과 과금 경계
  2. 언어, monorepo, 복잡한 Actions 워크플로에 따른 실제 절감률
  3. CI Agent가 워크플로 PR을 생성할 때의 검토 및 롤백 방식

이러한 데이터가 없으면 ‘运行 비용 절감’을 보편적으로 성립하는 결론으로 볼 수 없다. StarSling은 비용 헤지라는 제품 방향을 제시했으며, Mastra의 매월 1,800개가 넘는 PR 병합 사례를 통해 생산 환경에서의 활용 가능성을 보인 셈이다.

편집자 관점

이 사례가 중요한 이유는 CI가 빨라졌기 때문만은 아니다. Agent가 인프라 비용을 무시할 수 없는 수준까지 끌어올렸기 때문이다. 과거에는 AI 프로그래밍 도구를 평가할 때 생성 속도, 한 번에 통과하는 비율, 개발자 만족도를 봤다. 이제는 성공한 PR 하나에 CPU, I/O, 캐시, 사람의 검토가 얼마나 소비되는지도 함께 봐야 한다.

제 판단으로는 다음 AI Agent 인프라는 ‘기계가 생성한 코드 흐름’을 중심으로 설계될 것이다. GitHub Actions를 단순히 복제하는 방식은 아니다. CI는 일부 스케줄링, 격리, 정책 실행을 담당하고, Agent는 자동 검증이 가능한 영역을 계속 수정한다.

이는 과거 Copilot식 코드 완성과는 다르다. 과거에는 사람이 IDE 안에서 제안을 받아들였지만, 이제는 대량의 기계 제출물이 같은 저장소에 들어온다. CI를 역방향으로 개선하는能力은 Agent가 데모를 넘어 장기적으로 운영될 수 있는지를 결정한다. 하지만 ‘unlimited concurrency’가 ‘무한히 낮은 비용’을 뜻하지는 않으며, 현재 공개 데이터로는 Mastra의 절감 효과가 일반 저장소에도 그대로 적용된다고 보기 어렵다. 최적화 PR 자체가 성공적인 병합 한 번당 비용을 안정적으로 낮출 수 있는지가 진짜 관찰할 지점이다.

출처: https://news.ycombinator.com/item?id=50536468