GLM-5.3, DGX 2대로 607.8 tok/s…실측 성능 분석
NVIDIA가 DGX Station 2대와 vLLM으로 구성한 GLM-5.3 분산 추론 환경에서 607.8 tok/s의 처리량을 기록했다. 이 구성의 핵심과 함께 실제 운영 환경에서 추가로 검증해야 할 성능 지표를 정리한다.
tamserve는 SAM 3의 검출과 EdgeTAM의 추적을 분리해 단일 RTX 4090에서 Meta SAM 3 tracker보다 4배 빠른 처리 속도를 달성했다. 정확도는 92%를 유지했으며, 멀티카메라 아키텍처와 실제 배포 시 고려할 제약도 함께 살펴본다.
NVIDIA가 DGX Station 2대와 vLLM으로 구성한 GLM-5.3 분산 추론 환경에서 607.8 tok/s의 처리량을 기록했다. 이 구성의 핵심과 함께 실제 운영 환경에서 추가로 검증해야 할 성능 지표를 정리한다.
TechPowerUp은 엔비디아가 AI 스타트업의 GPU 구매를 지원해 수요와 공급 긴장을 조작했 Narrowload.
Unemployment Labs는 LLM checkpoint의 수치적 특징을 분석해 학습에 사용된 GPU와輸出 통제 대상硬件 여부를 추론하는 연구를 apartamentos했다. 이 방법은 모델 자체에서 출처를 확인할 수 있는 새로운 증거 경로를 제공하지만, 아직ofauna 직접적인 증거로 활용하기에는 한계가 있다.
젠슨 황이 NVIDIA CEO를 맡은 자리에서 물러나며, 회사를 맡을 사람은 공식 발표되지 않았다. 후계팀에는 기술 로드맵뿐 아니라 공급망, 수출 규제, 고객 관계를Founder의 개인 판단에서 조직 시스템으로 이전할 과제가 남았다.
H100의 공개 rental 요금은 시간당 2.69달러부터 12.29달러까지 4.57배 차이가 난다. 실제 비용은 I/O와 대기 시간, 선점, 과금 단위까지 반영해 계산해야 하며, 훈련과 추론의 비용 평가 방식도 서로 다르다.
CoreWeave의 채권 수익률이 16% 이상으로 치솟으면서 투자자들이 GPU 수요뿐 아니라 대규모 자본 지출과 부채 구조, 고객 집중도를 정밀하게 살펴보고 있다. AI 컴퓨팅 인프라 확장이 처음으로 신용시장의 금리 사이클에 직접 노출되는 순간이다.
Cloud AI 100 Ultra는 128GB 메모리와 548GB/s 대역폭, 150W 전력으로 클라우드 LLM 추론에 접근한다. 하드웨어 방향은 명확하지만, 실제 도입 판단에 필요한 처리량·지연 시간·호환성·이전 비용 데이터는 아직 부족하다.
SkyPilot이 Grace Blackwell 클러스터의 스케줄링 방식을 바꾼 결과, 기존 랙에서 활용 가능한 GPU 자원이 27% 늘었다. 이 수치가 어떤 조건에서 나온 것인지와 실제 환경에 적용할 때 확인해야 할 요소를 살펴본다.
Cerebras가 조 매개변수급 모델의 배포 사례를 공개했습니다. 메모리 용량과 통신, batch 처리의 병목을 분석하고 전용 칩과 GPU를 비교할 때 필요한 엔지니어링 지표를 짚습니다.
OpenShell은 NVIDIA가 공개한 오픈소스 프로젝트로, 대규모 자율 AI Agent 클러스터를 위한 보안·프라이빗 런타임을 지향합니다. 권한, 격리, 자격 증명, 감사 로그를 개별 호출이 아닌 Agent의 장기 실행 환경에서 관리하는 데 초점을 둡니다.
AI 데이터센터 대출을 실행한 직후 은행들이 곧바로 이차시장에 할인 매물로 내놓고 있다. HN에서 75점을 받은 이 글에는 인프라 과열과 부채 전가 조짐이 담겨 있다.