先把數字攤開:33.78 倍怎麼來的
先把數字擺上桌——在 Jetson Thor 上跑 LingBot-VA,光靠執行階段優化就拿到 1.2x–7.9x 加速。疊加上蒸餾過的 few-step diffusion scheduler 之後,端到端 33.78x。
這個 33x 不是單一優化做出來的,是兩層疊加:
- 執行階段層:1.2x–7.9x。這部分主要吃 Thor 的 tensor core 頻寬、運算子融合、記憶體複用,屬於 inference framework 的基本功。但能在邊緣 GPU 上跑出這個區間,代表 General Instinct 真的在 Jetson 上 profile 過,不是只在 A100/H100 跑完再 backport。
- 排程器層:把擴散步數從 25 visual / 50 action steps 砍到 2 / 4 steps。這一步才是真正的槓桿——步數砍掉 12.5x,疊加 runtime 的 ~2.7x,正好湊出 33.78x。
HN 原帖裡 Guanming 自述的口徑是「from the original 25 visual / 50 action steps to 2 / 4 steps」。所以這個數字不是行銷話術,是從原配置出發的實測。
讀者第一眼要判斷的是:這事值不值得繼續看?值得——因為它解決的是端側機器人最痛的 latency budget。
為何選 Jetson Thor 而不是 4090
選 Thor 而非消費級 4090,背後是有判斷的。
LingBot-VA 是一個 5B 參數級的 world-action 模型(HN 標題與摘要都點明了這個尺寸)。5B 配上 diffusion policy,在 4090 上跑理論可行,但 4090 不是為機器人本體設計的:功耗 450W、需要主動散熱、體積塞不進大多數人形或移動機器人的機身。
Thor 的賣點:
- INT8/FP8 tensor core 頻寬,正好對到 5B 量級的 on-device 推論需求
- 與 NVIDIA Isaac 生態綁定(Isaac Lab、Isaac Sim、Isaac ROS),做 sim2real 的工具鏈是現成的
- 功耗落在機器人可接受範圍
這代表 General Instinct 瞄準的不是「讓你在雲端跑更快」,而是 讓模型直接跑在機器人本體上,延遲低於控制迴路週期。Diffusion policy 最大的工程門檻就是取樣步數——50 步取樣,機械手臂早就甩過頭了。砍到 2/4 步之後,即時性才有機會實現。
所以「5B + 端側 + few-step diffusion」這套組合,服務的是同一個目標:把機器人策略部署的 latency 與算力門檻,拉低到本體嵌入式平台扛得住的水準。
AGPL-3.0 是雙刃劍
打開倉庫會發現授權是 AGPL-3.0。這不是隨便選的。
AGPL-3.0 的核心約束:只要你改了程式碼並透過網路提供服務,就必須開源你的修改。這直接堵死雲端廠商「套個殼就開賣」的路徑。
對照一下:
- Llama 系列:寬鬆授權,允許商業衍生,只要月活躍使用者不超過某個門檻
- Mistral 系列:Apache 2.0,幾乎不管你怎麼用
- AGPL-3.0:管你最狠的那一種
機器人賽道選 AGPL,背後有兩層盤算:
- 防禦雲端廠商白嫖。機器人模型的訓練資料、sim2real 流程、硬體調參經驗,都是高成本累積。雲端廠商若直接拿開源權重開 API 收費,前期投入方完全分不到。AGPL 把這條路堵死。
- 逼商業用戶選邊站——要嘛買官方服務(General Instinct 自己賣),要嘛把改動貢獻回上游(企業用 AGPL-3.0 程式碼改進後必須回流)。
代價也很明顯——AGPL 在企業裡出了名難用,法務會卡。所以 InstinctFlash 的採用速度不會像 Llama 那麼順。但作者顯然不在乎,他在乎的是 不被雲端廠商榨乾價值。
90.5% 是怎麼測出來的,可信嗎
聊到這個數字,得先看評測規模。
- 基準:Robotwin2.0
- 任務數:50 個
- 每個設定跑 1153 episodes
這是什麼概念?目前主流 VLA(Vision-Language-Action)論文裡的評測,多半是 10–30 個任務、每任務幾十條 trajectory。50 個任務 × 1153 episodes,這個評測規模比多數 RL/VLA 論文紮實得多——不是 toy benchmark。
在這個規模下,2/4 步設定達到了 90.5% 任務成功率。
我的解讀:
- 90.5% 代表 few-step 蒸餾不是「為了快而快」的妥協。步數砍了 12.5x,成功率還能維持在九成以上,說明排程器蒸餾的品質過關。
- 但要注意——「任務成功率」是 aggregate 指標。具體到長尾動作(精細抓取、柔性物體操作),few-step 是否會掉點,目前 README 裡沒有 breakdown。
- 蒸餾加速方法的潛在風險:任務泛化、未見過的物體配置、長尾技能,都可能因 distillation gap 出現 regression。需要看後續是否有 per-task breakdown 資料。
我的判斷:90.5% 對學術 demo 夠用,對工業部署還不夠。工業場景裡九成成功率往往代表每 10 次操作就有 1 次需要人工介入。所以 few-step 蒸餾是「可行」,不是「完工」。
編輯觀察
這件事為何重要:機器人策略部署的 latency 與算力門檻,在 2026 年正被快速拉低。InstinctFlash 把 5B diffusion policy 在 Jetson Thor 上跑到即時,代表「端側機器人本體裝一個 5B 世界模型」不再是 PPT。這是 sim2real 部署走向量產的一個具體訊號。
反共識觀察:開源推論框架在 12 個月內可能比模型本身更捲。過去兩年,機器人與 VLA 領域的關注點都在「誰家出了更大的模型」(Pi0、RT-2、OpenVLA 等)。但模型再大,跑不動就是跑不動。InstinctFlash 這類 serving framework 把部署門檻砍一個數量級,價值可能比下一個 7B 模型更大——因為它直接解鎖了 on-device 部署,而不只是又刷了一個 benchmark。
這次和過去 VLA 模型發布有何不同:從「模型發布」到「服務堆疊發布」的轉折訊號。過去大家發的都是權重加論文;InstinctFlash 的發布形態是 framework 加蒸餾 scheduler 加授權策略的整套組合。這顯示機器人賽道的關注點正從「訓出來」轉向「跑起來」。
我還看不清的點:端側 5B 在複雜多工下的穩定性。單任務 90.5% 我信,但少樣本切換、多工並發、長時序任務的累積誤差,這些 few-step diffusion 在端側能不能扛住,目前沒有資料。這也是我會盯著後續 per-task breakdown 與 generalization test 的原因。