見解

Agent訓練の転換点:シミュレーションは実機の100倍安い、それでも誰も認めない

RLコミュニティで話題になっている数値がある。シミュレータで学習したポリシーは性能が10%落ちるだけで、コストは2桁、速度は4桁違う。安さの証明はもう済んでいる。問題はなぜ全面移行に踏み切れないかだ。

文字サイズ

RLコミュニティで最近ひとつの数字が回っている。シミュレータで学習したポリシーは、実機と比べて性能が約10%落ちるだけ、コストは1%、速度は1万倍になる、というものだ。

この数字は私の捏造ではない。Latent Spaceの『10% worse, 100x cheaper, 10000x faster』が出典元だ。ただ、特定の論文の実験結果というよりも、ここ半年ほど研究者コミュニティに蓄積された経験則に近い。

問題は「使えるかどうか」ではない。「なぜ全面移行できないのか」だ。

10/10000/10000という数字の出どころ

Latent SpaceのAINewsコーナーはこの話をかなり明快に整理している。これはベンチマークで出てきた数値ではなく、RL研究者たちが集まって語り合った中で出てきた体感値だ。

おおむねこういう意味だ。シミュレーションでポリシーを学習すると、性能は実機より10%ほど落ちるが、コストは1%、速度は1万倍。つまり従来10万ドルと1か月がかかっていた実験が、シミュレーションなら1000ドルと40秒で済む可能性がある。

この数字が広がったのは、極端な主張を避けているからだ。シミュレーションを万能とも、おもちゃとも言っていない。10%の性能差は多くの産業向けAgentなら許容範囲だが、100倍のコスト差と1万倍の速度差は予算の組み方そのものを変える。

この数字を議論している面々は、ロボットアームを扱う研究者からLLM Agent評価チームまで幅広い。共通認識となっているのは、シミュレーション学習の限界コストはほぼゼロで、ボトルネックはsim環境の構築という先行投資だけだという点だ。一度simが動き出せば、以降の各epochは完全に得しかない。

RSIは訓練フェーズだけの話ではない

RSI(Reinforcement Learning from Self-play/Simulation Interaction)に対する認識の多くは、まだ「訓練のテクニック」レベルにとどまっている。

それは違う。

いまやRSIはAgentのライフサイクル全体、つまり計画立案、評価、回帰テストすべてで使われている。原文にはタイトル直下のフレーズがある。Did you think RSI stopped at model training?

具体例を2つ挙げる。

NVIDIA Isaac Simはいまやロボット学習のサンドボックスだけでなく、パイプライン全体の基盤になりつつある。ポリシ生成からsim-to-real transfer、デプロイ前の統合テストまで全部そこで回っている。GoogleのGenieはさらに踏み込んで、モデルから直接インタラクティブなシミュレーション環境を生成し、環境構築自体にも生成系プロセスを持ち込む。ただし現状は2D demo寄りで、産業用simとはまだ距離がある。

以前私が書いたデモでは、オープンソースのLLM agentをローカルsandboxで動かし、5000回分の計画実験を回して、どのprompt patternがagentを暴走させやすいかを統計的に調べた。所要時間は一晩、電気代はおよそ数十円程度。人力レビューで5000件やることを想像してほしい。無理だ。

コードはこうなる(疑似コード)。

# 疑似コード:RSIを評価フェーズで使う例
# 実実装では使うフレームワークのAPIに置き換える

sandbox = LocalSandbox(env="ubuntu:22.04")

def plan_step(state):
    result = sandbox.exec(state["plan"], timeout=30)
    return {"outcome": result.exit_code, "log": result.stdout}

graph = StateGraph()
graph.add_node("plan", plan_step)
graph.add_edge("plan", END)  # ENDはフレームワークの組み込みノード
app = graph.compile()

# 5000回回してprompt patternを評価
for i in range(5000):
    app.invoke({"plan": generate_plan(i)})

これが評価フェーズでのRSIの実際の使い方だ。モデル単体ではなく、agentシステム全体を走らせる。

100倍安いのに、なぜ現場は不満を言うのか

反主流派の視点を入れると、シミュレーション学習の本当の障壁はsim-to-real gapではない。

「信頼コスト」だ。

私が話を聞いたEmbodied AIのスタートアップ数社は、帳簿上のGPU予算では大規模実機学習を回せない。ところが経営者は毎週デモ映像を見たい人で、画面の中の3Dレンダリングが動いているだけでは納得しない。

これは組織行動の問題であり、技術の問題ではない。

シミュレーションのポリシーがどれだけ速くて安くても、意思決定者が「本物のロボットが動いている」映像を見なければGOサインは出ない。このバイアスは従来の製造業、ロボット、医療機器領域で特に根強い。どれだけ良いシミュレーションを作っても、彼らの目には「おもちゃ」に映る。

もうひとつの障壁は、sim-to-real gapが過大評価されていることだ。

「sim2realは信用できない」というセミナーを何回か聞いただけで、その方向性ごと否定するチームが多い。だが実際には、10%の性能差は8割の応用シナリオでは問題にならない。問題は、自分の現場でその10%が何を壊すのかを定量化しようとする時間がないことだ。

3つ目の障壁は人材だ。sim pipelineをきちんと組めるエンジニアは、実機システムを理解するエンジニアよりさらに希少で、給与水準の逆転が起きている。

いま起きている3つの移行シグナル

不満を言いながらも、予算と人件費は確実に動いている。

シグナル1:Embodied AIのスタートアップが学習予算の8割を実機からIsaac Simへ移した。
昨年話をしたアーリーステージのチームは、まだ実機学習が予算の大半を占めていた。今年聞き直すと、すでに2割以下になっている。理由はNVIDIAのIsaac LabとIsaac Gymがsim-to-realのツールチェーンを整備し、チームが車輪の再発明をする必要がなくなったからだ。

シグナル2:LLM Agent評価でsandboxシミュレーションが人力レビューを置き換えた。
以前AnthropicやOpenAIがAgent benchmarkを公開したとき、人の手によるスコアリングが一定程度入っていた。新世代のbenchmarkでは、agent軌跡をsandboxで走らせて成功率・トークン消費・ステップ数を自動評価するのが主流になっている。人力レビューはsandbox自体の妥当性を確認するためにしか使われない。

シグナル3:自動運転の回帰テストはほぼ完全にシミュレーションで回っている。
Waymo、Cruise、Apolloなどのチームでは、各PRごとに大量のシミュレーションケースを通過しないとmergeできない(業界では一般的だが具体的な数字は非公開)。シミュレーションカバレッジ率がCI品質を測る中核KPIになっている。

シミュレーション学習の限界はどこか

率直に言って、現状まだうまくいかない領域がある。

ロングテールの物理相互作用。柔軟物体、流体、軟組織の変形。これらを扱うシミュレータは精度が足りないか、異常に遅い。ロボット手術、繊維の操作、食品加工では実機が避けられない。

ユーザー行動の真の分布。シミュレーション内の「ユーザー」はすべてスクリプト生成で、実際の人間の分布とはかなり違う。toC向けAgentを完全にシミュレーションだけで学習すると、本番で実ユーザーの多様性に対応できずに沈む。

クロスモーダルなフィードバック。触覚、嗅覚、精密な力覚。これらモダリティのシミュレーションは存在しないか忠実度が低すぎる。視覚ポリシは学習できても、よい把持力制御は学習できない。

私の見通しでは、今後2〜3年でシミュレーション学習が学習予算の8割、評価予算の5割、回帰テスト予算の3割を取り込む。残りはいずれも実機の不可替性に関わる領域だ。

ところが多くのチームは2021年の感覚で動いている。simは補助、本流は実機。そう考えている。この認識差こそが、今後18か月の最大のエンジニアリング红利になる。


参考:
- Latent Space: 10% worse, 100x cheaper, 10000x faster

出典: https://www.latent.space/p/ainews-10-worse-100x-cheaper-10000x