같은 NVIDIA H100이라도 공개된 시간당 rental 요금은 2.69달러에서 12.29달러까지 varied한다. 하지만 실제 청구액은 단가만으로 결정되지 않는다. I/O, 대기 시간, 선점, 그리고 workload의 특성까지 함께 계산해야 한다.
GPU rental 페이지에서 가장 먼저 보이는 정보는 대개 시간당 가격이다.
정작 계산해야 할 질문은 다음과 같다. 실험 하나를 끝내는 데 얼마가 드는가? 요청 묶음을 처리하는 데 얼마가 드는가? 작업이 실패해 다시 실행하면 비용이 얼마나 늘어나는가?
datareceipts/data-receipts의 109-gpu-pricing 디렉터리에 따르면, 동일한 NVIDIA H100의 공개 시간당 rental 요금은 2.69달러에서 12.29달러까지이며 최고 약 4.57배 차이가 난다.
이 데이터는 게시된 가격에 뚜렷한 차이가 있음을 보여준다. 다만 저렴한 선택지의 실제 총비용이 더 낮다는 것을 곧바로 증명하지는 않는다.
같은 H100인데 왜 4.57배 가격 차이가 나는가
먼저 가격을 정리하면 다음과 같다.
- 저가档: 시간당 2.69달러
- 고가档: 시간당 12.29달러
- 배율:
12.29 / 2.69 ≈ 4.57
여기서 비교하는 대상은 동일한 H100이다. H100, H200 또는 다른 모델 간의 비교가 아니다.
가격은 GPU SKU만으로 결정되지 않는다. 공급 지역, 머신 구성, 공급업체의 정책, 거래 시점에 따라 최종 견적이 달라질 수 있다. GPU가 같다고 계산 환경까지 같지는 않다.
또 하나 놓치기 쉬운 문제는 페이지에 표시된 ‘카드당 시간당’ 요금이 보통 GPU 대여료만을 가리킨다는 점이다.
두 머신이 각각 초 단위와 정시 단위로 과금된다면, 20분 동안 실행한 동일한 작업의 청구액이 완전히 달라질 수 있다. 선점형 인스턴스를 사용하는 경우에는 작업 중단, checkpoint 재작성, 데이터 재전송 비용도 포함해야 한다.
따라서 4.57배는 모든 상황에서 나타나는 실제 비용 차이는 아니다. 이 수치가 먼저 보여주는 것은 GPU 게시 가격은 안정적이고 균질한 제품 가격이 아니라는 사실이다.
GPU 단가만 보지 말아야 한다
선택할 때는 먼저 총비용을 다음과 같이 분리한다.
총비용 = GPU 사용 시간
+ 디스크 및 네트워크 비용
+ 대기 및 작업 시작 손실
+ 선점이나 장애로 인한 재실행 비용
+ 데이터 준비 및 이전 비용
1. 디스크와 I/O
훈련 데이터셋은 일반적으로 모델 checkpoint보다 훨씬 크다. 오브젝트 스토리지 트래픽, 임시 디스크 용량, 읽기·쓰기 속도, 초기화 시간이 GPU가 데이터를 기다리게 만들 수 있다.
저렴한 인스턴스를 사용하면서 매 실험마다 데이터 준비를 위해 30분을 추가로 기다린다고 가정하자. 시간당 2.69달러를 적용하면 한 번에 추가되는 비용은 다음과 같다.
2.69 × 0.5 = 1.345 달러
작업 실행 시간이 2시간이라면 단가상 이득의 일부가 이미 데이터 준비 비용으로 상쇄된다.
2. CPU, 메모리, 네트워크
훈련 전에 tokenizer 처리, 데이터 정제, 데이터 병렬화를 수행하려면 GPU만으로 부족하다. CPU 코어 수, 메모리 대역폭, 노드 간 연결 성능에 따라 멀티 GPU 훈련에서 H100을 충분히 활용할 수 있는지가 달라진다.
추론도 마찬가지다. 모델 로딩, 첫 token 지연, 요청 대기, 동적 batching, KV Cache 사용량은 인스턴스 하나의 실제 처리량에 영향을 준다.
nominally 8 GPU라고 해서 8 GPU 머신이 동일한 데이터 처리량을 갖는다는 뜻은 아니다.
3. 선점 정책
Spot 인스턴스는 오류를 허용할 수 있고 재시도가 가능한 batch 작업에 적합하다. 예를 들면 embedding 대량 생성, 오프라인 평가, parameter sweep 등이 그렇다.
유일한 checkpoint를 임시 디스크에 저장해 두고 인스턴스가 회수된 뒤에 처리해서는 안 된다.
더 안전한 방법은 checkpoint를 정기적으로 저장하고 복구 로직을 작업에 포함하는 것이다.
from pathlib import Path
import json
checkpoint_dir = Path("checkpoints")
checkpoint_dir.mkdir(parents=True, exist_ok=True)
payload = {
"step": 12000,
"loss": 0.184,
"model_state": model.state_dict(),
}
checkpoint_path = checkpoint_dir / "step-12000.pt"
torch.save(payload, checkpoint_path)
Path("checkpoints/latest.json").write_text(
json.dumps({"path": str(checkpoint_path)}),
encoding="utf-8",
)
이 코드는 checkpoint 저장의 기본 형태만 보여준다. production 환경에서는 atomic write, 오브젝트 스토리지 업로드, 상태 검증도 처리해야 한다. 파일이 존재한다는 사실이 복구까지 반드시 성공한다는 뜻은 아니다.
4. 과금 단위와 최소 사용량
공급업체를 선택하기 전에 네 가지 질문을 먼저 확인한다.
- 초, 분, 시간 중 어떤 단위로 정산하는가?
- 1시간 미만을 사용해도 1시간으로 청구하는가?
- 최소 소비액이나 최소 구매량이 있는가?
- 디스크, 트래픽, 공인 IP는 별도로 과금되는가?
실험 하나에 12분만 필요하더라도 최소 사용량이 1시간일 수 있다. 단가가 5배 싸다고 해서 단기 작업 비용도 5배 저렴한 것은 아니다.
훈련과 추론에는 같은 기준을 적용하면 안 된다
훈련과 추론 모두 H100을 사용할 수 있지만 최적화 목표는 다르다.
훈련: 안정적인 처리량과 장애 손실
훈련은 한 차례 실행 비용을 다음 방식으로 추정하는 것이 적합하다.
한 차례 실행 비용 = GPU 시간당 단가
× GPU 수
× 실제 실행 시간
× 유효 실행 비율
유효 실행 비율에서는 초기화, 데이터 대기, checkpoint 저장, 장애로 인한 재실행 시간을 제외해야 한다.
여러 시간이 계속된 뒤의 유효 처리량은 peak FLOPS보다 더 중요하다. 저렴한 인스턴스가 빈번하게 선점된다면 현재 단계의 손실뿐 아니라 데이터 로딩과 통신 buffer 재초기화 비용까지 발생한다.
이전할 가치가 있는지 판단하는 데는 간단한 기준을 사용할 수 있다.
cheap_rate = 2.69
expensive_rate = 12.29
cheap_overhead_hours = 0.5
expensive_overhead_hours = 0.05
cheap_runtime_hours = 2.0
expensive_runtime_hours = 2.0
cheap_cost = cheap_rate * (cheap_runtime_hours + cheap_overhead_hours)
expensive_cost = expensive_rate * (
expensive_runtime_hours + expensive_overhead_hours
)
assert expensive_cost < cheap_cost
이 가정에서 시간당 12.29달러인 인스턴스가 추가 오버헤드가 더 적어 오히려 저렴할 수 있다. 이 수치는 계산 방식만 보여주기 위한 것으로 특정 공급업체의 견적을 평가한 것은 아니다.
추론: 지연 시간과 동시 처리량
추론은 ‘백만 token당 비용’이나 ‘1,000개 요청당 비용’을 계산하는 것이 적합하다.
백만 token당 비용
= (인스턴스 총비용 + 추가 리소스 비용) / 유효 처리 token 수
여기서 가장 놓치기 쉬운 변수는 세 가지다.
- batch size가 안정적인가?
- 첫 token 지연 시간이 사용자의 대기 시간에 영향을 주는가?
- 트래픽 부족으로 GPU가 장시간 유휴 상태에 있는가?
온라인 추론은 최소 지연 시간만 추구할 필요가 없으며, p95, p99, 동시 처리 목표도 충족해야 한다. 훈련에서는 작업이 중단 없이 완료될 수 있는지가 더 중요하다.
동일한 저가 GPU 공급업체가 오프라인 batch 추론에는 적합해도 온라인 서비스에는 적합하지 않을 수 있다.
공개 가격표 활용법
109-gpu-pricing 디렉터리는 1차 후보 선별에는 적합하지만 구매 계약으로 바로 사용하기에는 부적절하다.
보통 다섯 단계로 처리한다.
- 단위 통일: 달러/GPU/시간으로 환산하고 디스크, 네트워크, 공인 IP 포함 여부를 기록한다.
- 사양 통일: GPU 모델, VRAM, CPU, 메모리, 노드 수, 네트워크 조건을 확인한다.
- 작업 조건 입력: 예상 실행 시간, 시작 시간, 오류 허용 기준, 지연 목표를 입력한다.
- 유효 비용 계산: 대기, 선점, 데이터 이전, 실패 후 재실행을 반영한다.
- 소규모 부하 테스트: 실제 workload로 한 번 실행한 뒤 장기 자원을 결정한다.
공개 데이터가 CSV나 JSON으로 제공된다면 먼저 필드를 정규화할 수 있다. 다음 Python 코드는 CSV를 읽고 GPU 시간당 가격순으로 정렬한다.
import csv
from pathlib import Path
path = Path("gpu_pricing.csv")
rows = []
with path.open(newline="", encoding="utf-8") as file:
for row in csv.DictReader(file):
if row.get("gpu") != "H100":
continue
rate = float(row["price_per_hour"])
rows.append({
"provider": row["provider"],
"region": row.get("region", ""),
"price_per_hour": rate,
})
for item in sorted(rows, key=lambda item: item["price_per_hour"]):
print(
f'{item["provider"]:20} '
f'{item["region"]:12} '
f'${item["price_per_hour"]:.2f}/h'
)
이 스크립트는 CSV에 gpu, price_per_hour, provider 필드가 있어야 작동한다. 저장소의 필드명이 다르다면 먼저 매핑해야 한다. 스크립트를 실행하기 위해 가격을 하드코딩해서는 안 된다.
최종 선택 결과에는 게시 가격, 예상 유효 비용, 위험 조정 비용의 세 열을 유지하는 것이 좋다. 의사결정에는 마지막 열을 사용한다.
편집자 관점
이 문제의 핵심은 H100 견적에 4.57배 차이가 난다는 사실만으로 충분하지 않다. GPU rental 시장이 계층화되고 있다는 신호라는 점이다. 페이지의 시간당 요금은 표준화된 것처럼 보이지만 실제로 판매되는 것은 중단 없이 사용할 수 있는 계산 시간이다. 훈련은 안정성을, 추론은 지연 시간과 처리량을, batch 작업은 중단될 수 있지만 복구 가능한 compute를 구매한다.
앞으로 견적에 대기 시간, 선점률, 인스턴스 사양, 데이터 전송 비용이 점차 포함될 가능성이 크다. 최저 시간당 요금만 내세우고 작업 완료 비용을 설명하지 않으면 플랫폼은 대형 고객 일부를 잃게 될 수 있다. 공급업체도 완료 시간, 유효 token, 작업 성공률을 기준으로 정산하는 상품을 늘릴 수 있다.
이는 과거의 클라우드 사업자 인스턴스 목록만 비교하는 방식과는 다르다. 공개 가격 snapshot은 가격 차이를 쉽게 드러내지만 실시간 재고, 모든 지역, 추가 비용까지 포괄하지는 못한다. 후보를 찾는 데는 적합하지만 부하 테스트와 계약 조건을 대신할 수는 없다. 현재 선택지가 실제로 저렴한지는 결국 자신의 workload로 측정해야 확인할 수 있다.