도구

Grace Blackwell 스케줄링 실전, 같은 랙에서 GPU 27% 더 쓰기

SkyPilot이 Grace Blackwell 클러스터의 스케줄링 방식을 바꾼 결과, 기존 랙에서 활용 가능한 GPU 자원이 27% 늘었다. 이 수치가 어떤 조건에서 나온 것인지와 실제 환경에 적용할 때 확인해야 할 요소를 살펴본다.

글자 크기

SkyPilot이 스케줄링 전략을 조정한 뒤에는 동일한 Grace Blackwell 랙에서 활용 가능한 GPU 자원이 27% 늘었다. 컴퓨팅 자원을 조달하고 클러스터를 운영하는 사람들에게 이 수치는 단일 GPU의 벤치마크보다 더 의미가 있다.

Grace Blackwell의 병목은 GPU가 아니라 스케줄링에 있을 가능성이 크다.

SkyPilot은 Grace Blackwell needs a new scheduler에서 NVIDIA Grace Blackwell 클러스터에는 새로운 스케줄링 방식이 필요하다고 밝혔다.

제시한 수치는 다음과 같다. 동일한 랙에 스케줄링 전략을 적용한 결과, 활용 가능한 GPU 자원이 27% 증가했다.

단일 GPU의 벤치마크가 27% 빨라졌거나 모델 학습 속도가 27% 향상됐다는 뜻은 아니다. 클러스터 수준의 자원 활용률을 측정한 결과다.

같은 하드웨어에서도 일정 시간 동안 여러 작업이 해당 자원을 효과적으로 사용하지 못하는 경우가 있다. 스케줄링을 개선하면这部分 자원을 다시 활용할 수 있게 된다.

이 내용은 Hacker News 메인 페이지에 올라가 101점과 15개의 댓글을 받았다. 토론 링크는 HN item 50290912다.

27%는 어디에서 나왔나

먼저 가장 쉽게 오해할 수 있는 지점부터 살펴본다.

27%는 동일한 Grace Blackwell 랙에서 나온 수치다. 스케줄링 전략을 조정한 뒤 활용 가능한 GPU 자원이 늘었다는 의미이며, 칩 사양이 달라졌거나 CUDA kernel을 최적화한 결과가 아니다. 작업과 하드웨어를 연결하는 방식이 달라진 결과다.

클러스터를 두 가지 장부로 생각할 수 있다.

첫 번째는 하드웨어 장부다. 랙에 GPU가 몇 장 있고 각 카드에 메모리가 얼마나 있으며 GPU끼리는 어떻게 연결돼 있는지 기록한다.

두 번째는 시간 장부다. 특정 시점에 각 GPU가 실제 작업에 할당돼 있는지 기록한다.

Grace Blackwell은 더 비싸다고 해서 스케줄링이 쉬워지는 것은 아니다. GPU, CPU, 메모리, 네트워크, 랙 토폴로지가 모두 제약 조건이 되면 작업을 시작할 수 있는지, 자원을 충분히 활용할 수 있는지는 스케줄러가 이를 적절한 granularity로 나눌 수 있는지에 달렸다.

기존 스케줄링은 흔히 노드 전체를 할당한다. 학습 작업에 GPU 8장이 필요하면 8장이 모두 비어날 때까지 기다린다. 추론 작업은 GPU 2장만 필요하지만 노드 전체를出租하는 방식 때문에 훨씬 오래 기다릴 수도 있다.

정적인 bin packing은 정돈돼 보이지만 실제로는 결합할 수 없는 자원을 많이 남긴다.

이러한 파편화는 실험 작업을 함께 실행할 때 특히 두드러진다. 한 작업에는 GPU 4장, 다른 작업에는 6장이 필요하다고 하자. 각각의 작업은 시작할 수 있지만 노드에는 GPU 3장과 5장만 남을 수 있다. 어느 쪽도 충분하지 않지만 전체적으로는 놀랍도록 많은 GPU가 유휴 상태다.

따라서 SkyPilot의 27%는 클러스터 스케줄링 실험의 결과에 가깝다. 스케줄링을 개선한 뒤 자원 활용 가능량이 얼마나 달라졌는지를 보여주는 값이지, 모든 클러스터에 적용되는 고정 할인율은 아니다.

모델, 작업 구성, 테넌트 정책에 따라 결과는 달라진다.

기존 스케줄러가 왜 실패했나

전통적인 스케줄러는 보통 ‘노드’가 아니라 ‘자원 조각’을 기준으로 동작한다.

흔히 쓰이는 방식은 세 가지다.

  • 노드 전체 할당: 작업 제출 후 완전한 노드를 기다리게 하며, 자원 활용률은装箱 알고리즘의 운에 달려 있다.
  • 정적装箱: 고정된 조합에 따라 자원을 미리 나누는 방식이다. 장기적으로 안정적인 워크로드에는 적합하지만 작업 요구 사항이 바뀌면 적합하지 않다.
  • 거친 granularity의抢占: 노드 전체나 작업 전체를抢占해 자원을 해제한다. 해제되는 자원은 많지만 재시작 비용도 높다.

이 방식들은 단일 테넌트가 동종 하드웨어에서 학습 작업을 장시간 실행하는 환경에서는 아직 작동한다. Grace Blackwell 랙에서는 문제가 더 뚜렷해진다.

이유는 GPU 수가 많아졌기 때문만은 아니다. 한 랙의 자원 제약에는 GPU 수, GPU 토폴로지, 메모리 용량, CPU, 메모리, 노드 간 네트워크 대역폭이 동시에 포함될 수 있다.

작업에 필요한 자원 조합도 ‘GPU가 있는가’만 확인하는 차원을 넘어선다. ‘필요한 GPU들이 적절한 토폴로지와 속도로 함께 사용할 수 있는가’를 확인해야 한다.

그 결과 클러스터의 최대 하드웨어 성능은 높지만 유효 처리량은 높지 않은 역설적인 현상이 생긴다.

GPU가 기다리고 작업도 기다린다. 스케줄러는 양쪽에 ‘조금만 더 기다려라’라고 알릴 뿐이다.

이것이 더 빠른 카드를 구매해도 자원 활용률 문제가 자동으로 해결되지 않는 이유다. 새로운 하드웨어는 자원 풀을 넓혔지만 자원을 배분하는 방식은 바꾸지 않았다.

SkyPilot의 스케줄링 접근법

SkyPilot은 스케줄링 대상을 고정된 노드에서 작업 요구 사항에 더 가까운 자원 조합으로 바꿨다.

원문은 NVIDIA Grace Blackwell GPU의 랙 단위 배포와 이질적 워크로드 관리를 다룬다. 핵심 문제는 모든 작업을 동일한 구성으로 실행하게 하는 것이 아니라, 작업 요구 사항, GPU 수, 자원 제약을 바탕으로 적절한 실행 위치를 정하는 데 있다.

SkyPilot 같은 클라우드 추상화 계층에서는 작업이 먼저 필요한 자원을 설명한다. GPU 몇 장, 메모리 얼마나, 특정 인스턴스나 가속기 유형이 필요한지를 선언한다.

시스템은 제약을 충족하는 가용 자원을 찾은 뒤 배치 위치를 결정한다.

여기서 두 가지 변화가 생긴다.

첫째, 자원 매칭이 ‘노드 수준’에서 ‘GPU와 자원 제약 수준’으로 내려간다. 소규모 작업은 큰 노드 전체를 기다릴 필요가 없으며, 스케줄러는 더 작은 가용 조합을 찾을 수 있다.

둘째, 이질적인 작업을 같은 자원 풀에 넣을 수 있다. 학습, 추론, 온라인 서비스, 실험 작업이 각각 격리된 클러스터를 따로 운영할 필요가 없다. 스케줄러는 서로 다른 작업의 lifecycle,抢占 경계, 우선순위를 처리해야 한다.

다만 27%를 곧바로 배포收益으로 약속할 수는 없다. 재현할 때는 반드시 세 가지를 확인해야 한다.

  1. ‘가용 GPU’를 구체적으로 어떻게 정의했는가? 유휴 상태, 할당된 상태, 아니면 작업 완성에 필요한 유효 자원을 의미하는가?
  2. 대조군과 실험군이 완전히 동일한 랙, 작업 모음, 실행 시간을 사용했는가?
  3. 작업 대기 시간, GPU의 실제 실행 시간, 이전이나 재시작 비용을 통계에 포함했는가?

GPU 활용률 그래프만 보면 대기 시간을 놓치기 쉽다.

어떤 노드가 GPU 100% 사용 상태로 표시되더라도 모든 요청이 low latency 서비스를 받은다는 뜻은 아니다. 반대로 짧은 작업이 빠르게 끝나면 GPU 활용률이 과소평가될 수도 있다.

AI 인프라의 병목을 읽는 사례

관점을 단일 GPU의 최대 성능에서 랙 단위 처리량으로 옮기면 AI 인프라의 병목은 전혀 다른 모습으로 나타난다.

학습 작업은 보통 몇 시간에서 며칠씩 실행되며 자원 형태가 안정적이다. 추론 작업은 lifecycle이 짧고 메모리와 latency 제약이 더 가혹하다. 온라인 서비스는 용량을 보장해야 한다. 실험 작업은 몇 분 만에 끝나면서 특정 GPU 모델을 요구하기도 한다.

이 작업들이 같은 랙에서 함께 실행될 때 가장 쉽게 낭비되는 것은 고정된 대형 자원 하나가 아니라 크기가 서로 다른 ‘남은 조각’이다.

재현 가능한 엔지니어링 판단 다섯 가지를 제시할 수 있다.

  • 먼저 GPU가 유휴 상태인 이유를 집계한다. utilization만 기록하지 말고 자원 대기, 큐 대기, 데이터 준비, 프로세스 시작, 통신 차단으로 구분해야 한다.
  • 작업 granularity를 관찰한다. 소규모 작업과 대규모 작업을 섞어 실행하면 노드 단위 할당의 대기 비용이 일반적으로 더 커진다.
  • 유효 처리량을 핵심 지표로 삼는다. 단일 GPU의 FLOPS를 비교하는 것보다 작업별 완료 시간, GPU-time 사용량, 실제 완료 작업 수를 비교하는 편이 클러스터 가치를 더 잘 보여준다.
  • 토폴로지 제약을 확인한다. GPU 수가 같아도 NUMA, 노드, 랙을 넘나드는 통신 비용은 완전히 다를 수 있다.
  • 실패와抢占 비용을 계산에 포함한다. 스케줄러가 더 많은 자원을 해제하더라도 작업 이전이 빈번하면 checkpoint 복원으로 이익이 상쇄될 수 있다.

또 하나의 흔한 오해는 GPU utilization을 그대로 업무 utilization으로 보는 것이다.

100% utilization은 장치가 계산 중이라는 뜻일 뿐, 그 계산이 가치 있는 요청을 처리하고 있다는 뜻은 아니다. 자원 파편화, 대기, 소규모 작업의 시작 오버헤드 때문에 이 지표는 좋아 보여도 업무 처리량은 함께 늘지 않을 수 있다.

따라서 27%는 스케줄링 설계에 관한 실험 신호로 보는 편이 적절하다. 같은 하드웨어 안에 생각보다 많은 가용 용량이 숨어 있을 수 있다는 의미다.

반면 ‘Grace Blackwell을 구매하면 비용이 자동으로 27% 절감된다 doesn’t’t는 장부 결론에 쓰기에 부적절하다.

어떤 환경에 적합한가

세 가지 환경의 우선순위는 서로 다르다.

다중 테넌트 클러스터

다중 테넌트 클러스터의 핵심은 격리와 공정성이다. 세밀한 자원 분할은 가치가 있지만, 한 테넌트가 대량의 짧은 작업을 제출해 자원을 점유해서는 안 된다.

테넌트별 GPU-time,抢占 횟수, 작업 대기 시간, 자원 파편화율을 중점적으로 관찰해야 한다. 스케줄링 정책은 단일 작업의 상한과 테넌트별 동시 실행 상한을 함께 제한해야 한다.

내부 공유 클러스터

내부 팀은 보통 총 처리량을 더 중시한다. 학습, 평가, 추론 작업이 서로 다른 프로젝트에서 오는 경우가 많아 작업 형태의 차이가 뚜렷하다.

여기에는 우선순위 큐,抢占, backfill을 적용하기 적합하다. 다만抢占된 작업의 복구 비용을 기록해야 한다.

이미 많은 학습 단계를 끝낸 작업을 바로 종료하고 재시작하는 편이 계속 기다리는 것보다 비쌀 수 있다.

단일 팀

단일 팀이라고 해서 워크로드도 단일한 것은 아니다. 팀 내부에도 장기 학습과 임시 평가라는 두 종류의 작업이 있을 수 있다.

자원 유형이 제한적이라면 노드 전체 할당만으로 충분할 수 있다. GPU 모델과 토폴로지가 다양해지면 GPU 수와 자원 제약에 맞춰 매칭하는 스케줄링을 도입할 만하다.

실험을 재현할 때는 완료한 작업 수, 총 GPU-time, 평균 대기 시간, P95 대기 시간을 함께 기록해야 한다.

어떤 환경이든 먼저 소규모 대조 실험을 진행하는 것이 좋다.

작업 목록과 자원 풀을 고정하고 스케줄링 전략만 바꾼 뒤 같은 지표로 비교한다. 하드웨어나 모델을 먼저 변경해서는 안 된다. 그렇지 않으면Improved된 수익이 스케줄링 때문인지 다른 변수 때문인지 판단할 수 없다.

편집자 생각

27%의 의미는 ‘GPU를 몇 장 더 효율적으로 사용한다’뿐 아니라 인프라 팀에 용량 확보 장부를 다시 계산하라는 점을 알려주는 데 있다. 과거 용량 확보는 보통 성능 병목 때문에 더 빠른 칩이 필요한지부터 물었다. 작업이 계속 대기하고 자원 파편을 결합할 수 없는 상태라면, 더 빠른 단일 GPU도 스케줄링 손실에 먹힐 수 있다.

이번 사례의 다른 점은 SkyPilot이 논의를 Grace Blackwell 랙과 이질적 워크로드에 연결했다는 것이다. 더 보기 좋은 모델 benchmark를 보여주는 데 그치지 않고 자원 활용률을 시스템 수준으로 되돌려놓았다. 다음 클러스터 최적화는 ‘GPU 유형별로 풀을 나누는 방식’에서 ‘작업의 자원 형태별로 풀을 나누는 방식’으로 이동할 것이라고 본다. 스케줄러가 이해해야 하는 대상은 GPU 수뿐 아니라 메모리, 토폴로지, 작업 지속 시간까지이다.

다만 27%를 보편적인 개선 효과로 받아들이지는 않는다. 특정 문서와 특정 대조 방법에서 나온 수치다. 장기 학습, 강한 토폴로지 결합, 높은 격리 요구가 있는 환경에서는 이익이 훨씬 작을 수 있으며,抢占이 복구 비용을 늘릴 수도 있다. 다음 단계에서는 대기 시간, 작업 처리량, 복구 비용이 함께 개선되는지 검증해야 한다. 이 지표들이 동시에 좋아질 때만 27%를 용량 확보 장부에 반영할 수 있다.

출처

https://skypilot.ai/blog/grace-blackwell-needs-a-new-scheduler

출처: https://skypilot.ai/blog/grace-blackwell-needs-a-new-scheduler