观点

Agent 训练拐点:仿真比真机便宜 100 倍,但大家都不愿意承认

RL 圈最近在传一个数字:模拟器训出来的策略,效果只差 10%,成本掉两个数量级,速度快一万倍。问题不是能不能用,而是为什么还没人敢全切。

字号

Agent 训练拐点:仿真比真机便宜 100 倍,但大家都不愿意承认

RL 圈最近在传一个数字:模拟器训出来的策略,效果只差 10%,成本掉两个数量级,速度快一万倍。

这个比例不是我编的,来自 Latent Space 那篇《10% worse, 100x cheaper, 10000x faster》。但它也不是某篇论文的实验结果——更像是研究者社区这半年攒出来的经验共识。

问题不是能不能用,而是为什么还没人敢全切。

那个 10/100/10000 的数字从哪来的

Latent Space 的 AINews 栏目把这件事讲得很清楚:这不是 benchmark 跑出来的,是一群做 RL 的研究者坐在一起聊出来的体感。

原话大概意思是:在仿真里训一个策略,效果比真机差 10% 左右,成本只有 1%,速度是 10000 倍。换算一下,原本要烧 10 万美元、跑一个月的实验,仿真里可能只要 1000 美元、跑 40 秒。

数字能传开,是因为它不偏不倚——既不说仿真完美,也不说仿真是玩具。10% 的性能差距,对多数工业级 Agent 可以接受;但 100 倍成本和 10000 倍速度,是实打实能改写预算的东西。

社区里讨论这个数字的人,从做机器人臂的到做 LLM Agent 评估的都有。共识部分是:仿真训练的边际成本接近零,瓶颈只在前期搭 sim 的工程投入。一旦 sim 跑起来,后面每多训一个 epoch 就是纯赚。

RSI 不只是训练阶段的事了

很多人对 RSI(Reinforcement Learning from Self-play/Simulation Interaction)的认知还停在「这是个训练技巧」。

错。

现在 RSI 在 Agent 的整个生命周期里都在用——规划、评估、回归测试,全是它的事。原文里有一句直接打在标题里:Did you think RSI stopped at model training?

举两个例子。

NVIDIA Isaac Sim 现在不只是机器人训练的沙盒,它已经是整个 pipeline 的底座——从策略生成、sim-to-real transfer,到部署前的集成测试,全跑在里面。Google 的 Genie 走得更激进,直接从模型生成可交互的仿真环境,把环境本身的搭建也纳入生成式流程——不过目前还偏 2D demo 性质,离工业 sim 还远。

我之前写过的一个 demo:用一个开源的 LLM agent 在本地 sandbox 里跑了 5000 次规划实验,统计哪些 prompt pattern 更容易让 agent 跑飞。整个过程花了一晚上,电费大概两块钱。换成人工 review 5000 次?做梦。

代码长这样(伪代码示意):

# 伪代码:示意 RSI 在评估阶段的用法
# 真实实现需要替换为具体框架的 API

sandbox = LocalSandbox(env="ubuntu:22.04")

def plan_step(state):
    result = sandbox.exec(state["plan"], timeout=30)
    return {"outcome": result.exit_code, "log": result.stdout}

graph = StateGraph()
graph.add_node("plan", plan_step)
graph.add_edge("plan", END)  # END 是框架内置节点
app = graph.compile()

# 跑 5000 次,做 prompt pattern 评估
for i in range(5000):
    app.invoke({"plan": generate_plan(i)})

这就是 RSI 在评估阶段的真实用法——不是跑模型,是跑整个 agent 系统。

为什么明明便宜 100 倍,还是有人在骂

反共识的角度:仿真训练的真正阻力不是 sim-to-real gap。

是「信任成本」。

我接触过几个做具身智能的小团队,账面 GPU 预算其实撑不起大规模真机训练。但他们的负责人跟我抱怨:老板每周要看演示录像,不接受屏幕上一堆 3D 渲染的物体在动。

这是组织行为问题,不是技术问题。

仿真 policy 跑得再快、再便宜,决策者看不到「真实机器人动了」这个画面,就不愿意签字。这种 bias 在传统制造、机器人、医疗器械领域尤其严重。仿真做得再好,在他们眼里是「玩具」。

另一个阻力:sim-to-real gap 被高估了。

很多团队听过几次「sim2real 不可靠」的 seminar,就把整个方向否了。但实际上 10% 的性能差距,对于 80% 的应用场景根本不是问题。问题是没人愿意花时间量化自己场景里这 10% 到底影响什么。

第三个阻力:人才。真正懂怎么搭 sim pipeline 的工程师,比懂真机系统的还稀缺。薪资倒挂严重。

三个正在发生的迁移信号

嘴上还在骂,但钱和人在动。

信号一:具身智能初创把 80% 训预算从真机搬到 Isaac Sim。
去年我聊过的几家早期团队,真机训练还占预算大头;今年再去问,已经降到 20% 以下。原因是 NVIDIA 的 Isaac Lab 和 Isaac Gym 把 sim-to-real 的工具链打通了,团队不用自己造轮子。

信号二:LLM Agent 评估用沙盒模拟替代人工 review。
之前 Anthropic、OpenAI 发 Agent benchmark,多少都靠人打分。现在新一批 benchmark 已经大量用 sandbox 跑 agent 轨迹,自动评估成功率、token 消耗、步数。人工 review 只用来校验 sandbox 本身的合理性。

信号三:自动驾驶回归测试几乎全在仿真里跑。
Waymo、Cruise、Apollo 这些团队,每个 PR 都要过大量仿真场景才能 merge(业内通行的做法,具体数字各家不公开)。仿真覆盖率是衡量 CI 质量的核心 KPI。

仿真训练的边界在哪

老实说哪些场景目前还搞不定。

长尾物理交互。 柔性物体、流体、软组织形变——这些仿真器要么精度不够,要么慢得离谱。机器人手术、织物操作、食物处理,真机还是绕不过去。

用户真实行为分布。 仿真里的「用户」都是脚本生成的,分布和真实人类差很远。做 toC 的 Agent 如果完全靠仿真数据训,上线会被真实用户的多样性打懵。

跨模态反馈。 触觉、嗅觉、精细力反馈——这些模态的仿真要么没有,要么保真度太差。能训视觉策略,但训不出好的抓取力控制。

我的判断:未来 2-3 年,仿真训练会吃掉 80% 的训练预算、50% 的评估预算、30% 的回归测试预算。剩下那部分,是真机的不可替代性。

但很多团队还在用 2021 年的认知做事——觉得 sim 是辅助,真机才是正道。这个认知差,就是接下来 18 个月最大的工程红利。


参考来源:
- Latent Space: 10% worse, 100x cheaper, 10000x faster

来源: https://www.latent.space/p/ainews-10-worse-100x-cheaper-10000x