觀點

Agent 訓練的轉折點:模擬器便宜百倍,為何沒人敢全面採用?

RL 社群流傳一個數字:模擬器訓練的策略,效果只差 10%,成本卻只有真機的 1%,速度快上萬倍。技術上已可行,真正的阻力其實來自組織與信任成本。

字級

RL 圈最近在傳一個數字:模擬器訓出來的策略,效果只差 10%,成本掉兩個數量級,速度快一萬倍。

這個比例不是我編的,來自 Latent Space 那篇《10% worse, 100x cheaper, 10000x faster》。但它也不是某篇論文的實驗結果——更像是研究者社群這半年累積出來的經驗共識。

問題不是能不能用,而是為什麼還沒人敢全切。

那個 10/100/10000 的數字從哪來的

Latent Space 的 AINews 欄目把這件事講得很清楚:這不是 benchmark 跑出來的,是一群做 RL 的研究者坐在一起聊出來的體感。

原話大概是:在模擬器裡訓一個策略,效果比真機差 10% 左右,成本只有 1%,速度是一萬倍。換句話說,原本要燒十萬美元、跑一個月的實驗,模擬器裡可能只要一千美元、跑四十秒。

數字能傳開,是因為它不偏不倚——既不說模擬器完美,也不說模擬器是玩具。10% 的效能差距,對多數工業級 Agent 來說可以接受;但一百倍成本和一萬倍速度,是實實在在能改寫預算的東西。

社群裡討論這個數字的人,從做機器手臂的到做 LLM Agent 評估的都有。共識部分是:模擬器訓練的邊際成本接近零,瓶頸只在前期搭建 sim 的工程投入。一旦 sim 跑起來,後面每多訓一個 epoch 就是淨賺。

RSI 不只是訓練階段的事了

很多人對 RSI(Reinforcement Learning from Self-play/Simulation Interaction)的認知還停在「這是個訓練技巧」。

錯。

現在 RSI 在 Agent 的整個生命週期裡都在用——規劃、評估、回歸測試,全是它的事。原文裡有一句直接打在標題裡:Did you think RSI stopped at model training?

舉兩個例子。

NVIDIA Isaac Sim 現在不只是機器人訓練的沙盒,它已經是整條 pipeline 的底座——從策略生成、sim-to-real transfer,到部署前的整合測試,全跑在裡面。Google 的 Genie 走得更激進,直接從模型生成可互動的模擬環境,把環境本身的搭建也納入生成式流程——不過目前還偏 2D demo 性質,離工業級 sim 還遠。

我之前寫過的一個 demo:用一個開源的 LLM agent 在本地 sandbox 裡跑了五千次規劃實驗,統計哪些 prompt pattern 比較容易讓 agent 跑飛。整個過程花了一晚,電費大概兩塊錢。換成人工 review 五千次?做夢。

程式碼長這樣(虛擬碼示意):

# 虛擬碼:示意 RSI 在評估階段的用法
# 真實實作需要替換為具體框架的 API

sandbox = LocalSandbox(env="ubuntu:22.04")

def plan_step(state):
    result = sandbox.exec(state["plan"], timeout=30)
    return {"outcome": result.exit_code, "log": result.stdout}

graph = StateGraph()
graph.add_node("plan", plan_step)
graph.add_edge("plan", END)  # END 是框架內建節點
app = graph.compile()

# 跑 5000 次,做 prompt pattern 評估
for i in range(5000):
    app.invoke({"plan": generate_plan(i)})

這就是 RSI 在評估階段的真實用法——不是跑模型,是跑整個 agent 系統。

為什麼明明便宜一百倍,還是有人在罵

反共識的角度:模擬器訓練的真正阻力不是 sim-to-real gap。

是「信任成本」。

我接觸過幾個做具身智能的小團隊,帳面上 GPU 預算其實撐不起大規模真機訓練。但他們的負責人跟我抱怨:老闆每週要看 demo 影片,不接受螢幕上一堆 3D 渲染的物體在動。

這是組織行為問題,不是技術問題。

模擬器裡的 policy 跑得再快、再便宜,決策者看不到「真實機器人動了」這個畫面,就不願意簽核。這種偏見在傳統製造、機器人、醫療器材領域尤其嚴重。模擬器做得再好,在他們眼裡是「玩具」。

另一個阻力:sim-to-real gap 被高估了。

很多團隊聽過幾次「sim2real 不可靠」的 seminar,就把整個方向否了。但實際上 10% 的效能差距,對於 80% 的應用場景根本不是問題。問題是沒人願意花時間量化自己場景裡這 10% 到底影響什麼。

第三個阻力:人才。真正懂得怎麼搭 sim pipeline 的工程師,比懂真機系統的還稀缺。薪資倒掛嚴重。

三個正在發生的遷移訊號

嘴上還在罵,但錢和人在動。

訊號一:具身智能新創把 80% 訓練預算從真機搬到 Isaac Sim。
去年我聊過的幾家早期團隊,真機訓練還佔預算大宗;今年再去問,已經降到 20% 以下。原因是 NVIDIA 的 Isaac Lab 和 Isaac Gym 把 sim-to-real 的工具鏈打通了,團隊不用自己造輪子。

訊號二:LLM Agent 評估用沙盒模擬取代人工 review。
之前 Anthropic、OpenAI 發 Agent benchmark,多少都靠人打分。現在新一批 benchmark 已經大量用 sandbox 跑 agent 軌跡,自動評估成功率、token 消耗、步數。人工 review 只用來校驗 sandbox 本身的合理性。

訊號三:自動駕駛回歸測試幾乎全在模擬器裡跑。
Waymo、Cruise、Apollo 這些團隊,每個 PR 都要過大量模擬場景才能 merge(業界通行做法,具體數字各家不公開)。模擬器覆蓋率是衡量 CI 品質的核心 KPI。

模擬器訓練的邊界在哪

老實說哪些場景目前還搞不定。

長尾物理互動。柔性物體、流體、軟組織形變——這些模擬器要不是精度不夠,要不就是慢得離譜。機器人手術、織物操作、食物處理,真機還是繞不過去。

使用者真實行為分佈。模擬器裡的「使用者」都是腳本生成的,分佈和真實人類差很遠。做 toC 的 Agent 如果完全靠模擬資料訓,上線會被真實使用者的多樣性打懵。

跨模態回饋。觸覺、嗅覺、精細力回饋——這些模態的模擬器要不是沒有,要不就是擬真度太差。能訓視覺策略,但訓不出好的抓取力控制。

我的判斷:未來兩到三年,模擬器訓練會吃掉 80% 的訓練預算、50% 的評估預算、30% 的回歸測試預算。剩下那部分,是真機的不可替代性。

但很多團隊還在用 2021 年的認知做事——覺得 sim 是輔助,真機才是正道。這個認知差,就是接下來十八個月最大的工程紅利。


參考來源:

來源: https://www.latent.space/p/ainews-10-worse-100x-cheaper-10000x