GLM-5.3 跨兩台 DGX 部署實測:吞吐上看 607.8 tok/s
NVIDIA 以兩台 DGX Station 搭配 vLLM 部署 GLM-5.3,測得 607.8 tok/s 推理吞吐。這次測試呈現的是多機服務的擴展路徑,但正式上線前仍須驗證延遲、併發量、長度情境與節點故障表現。
tamserve 將 SAM 3 的目標偵測與 EdgeTAM 的追蹤拆成兩套流程,在單張 RTX 4090 上達成 Meta SAM 3 tracker 4 倍的處理速度,同時維持 92% 準確率。本文解析其多攝影機架構、資源共享方式與實際部署限制。
NVIDIA 以兩台 DGX Station 搭配 vLLM 部署 GLM-5.3,測得 607.8 tok/s 推理吞吐。這次測試呈現的是多機服務的擴展路徑,但正式上線前仍須驗證延遲、併發量、長度情境與節點故障表現。
TechPowerUp 報導指出,英伟達被指以資金補助 AI 新創公司採購 GPU,藉此放大晶片需求與供應吃緊。相關指控涉及投資條件、採購承諾、關聯交易,以及廠商是否藉資本手段「製造稀缺」。
Unemployment Labs 研究如何從 LLM checkpoint 的數值特徵辨識訓練環境中的 GPU。這類方法可為出口管制與 AI 合規審查提供模型端的輔助證據,但目前仍不足以取代完整的硬體與供應鏈查核。
黃仁勳辭去 NVIDIA CEO 職位,但繼任人選、權責範圍與交接時程尚未公布。NVIDIA 真正的挑戰,是如何將技術路線、供應鏈與出口管制等關鍵判斷,從創辦人的個人能力轉化為新團隊可持續運作的制度。
NVIDIA H100 的公開時租價從 2.69 美元到 12.29 美元,差距可達 4.57 倍。評估實際成本時,還須納入 I/O、等待時間、搶占風險與計費方式,才能比較訓練與推理方案的效益。
CoreWeave 債券殖利率升至 16% 以上,顯示投資人開始嚴格檢視 AI 算力業的資本支出、負債結構與客戶集中風險。GPU 需求依然強勁,但算力能否轉化為穩定現金流,已成為市場新的評估重點。
Cloud AI 100 Ultra 以 128GB 記憶體、548GB/s 頻寬與 150W 功耗切入雲端 AI 推理,主打高記憶體容量與部署密度。其硬體規格已清楚勾勒產品方向,但實際吞吐、延遲、模型相容性與軟體遷移成本仍待實測驗證。
SkyPilot 調整 Grace Blackwell 叢集的資源配置方式,讓可用 GPU 資源增加 27%。這項成果反映的是叢集級排程效率,而非單卡效能或模型訓練速度提升。
Cerebras 公開了兆參數級模型的部署架構,涵蓋模型切分、跨裝置通訊、記憶體容量與批次處理。專用 AI 加速器能否在實際推論成本與服務效率上勝過 GPU,仍須仰賴更完整的基準測試。
NVIDIA 開源專案 OpenShell 專為大規模自治 AI Agent 集群設計,將權限控管、執行隔離、凭证管理與稽核紀錄納入 runtime 層。它能否讓 Agent 安全地長期運行,仍有待完整的隔離測試與生產環境驗證。
AI 資料中心貸款剛簽完,銀行立刻在二級市場打折拋售。Hacker News 一則 75 分熱帖背後,反映的是基建過熱與債務轉嫁的訊號。