RLコミュニティで最近ひとつの数字が回っている。シミュレータで学習したポリシーは、実機と比べて性能が約10%落ちるだけ、コストは1%、速度は1万倍になる、というものだ。
この数字は私の捏造ではない。Latent Spaceの『10% worse, 100x cheaper, 10000x faster』が出典元だ。ただ、特定の論文の実験結果というよりも、ここ半年ほど研究者コミュニティに蓄積された経験則に近い。
問題は「使えるかどうか」ではない。「なぜ全面移行できないのか」だ。
10/10000/10000という数字の出どころ
Latent SpaceのAINewsコーナーはこの話をかなり明快に整理している。これはベンチマークで出てきた数値ではなく、RL研究者たちが集まって語り合った中で出てきた体感値だ。
おおむねこういう意味だ。シミュレーションでポリシーを学習すると、性能は実機より10%ほど落ちるが、コストは1%、速度は1万倍。つまり従来10万ドルと1か月がかかっていた実験が、シミュレーションなら1000ドルと40秒で済む可能性がある。
この数字が広がったのは、極端な主張を避けているからだ。シミュレーションを万能とも、おもちゃとも言っていない。10%の性能差は多くの産業向けAgentなら許容範囲だが、100倍のコスト差と1万倍の速度差は予算の組み方そのものを変える。
この数字を議論している面々は、ロボットアームを扱う研究者からLLM Agent評価チームまで幅広い。共通認識となっているのは、シミュレーション学習の限界コストはほぼゼロで、ボトルネックはsim環境の構築という先行投資だけだという点だ。一度simが動き出せば、以降の各epochは完全に得しかない。
RSIは訓練フェーズだけの話ではない
RSI(Reinforcement Learning from Self-play/Simulation Interaction)に対する認識の多くは、まだ「訓練のテクニック」レベルにとどまっている。
それは違う。
いまやRSIはAgentのライフサイクル全体、つまり計画立案、評価、回帰テストすべてで使われている。原文にはタイトル直下のフレーズがある。Did you think RSI stopped at model training?
具体例を2つ挙げる。
NVIDIA Isaac Simはいまやロボット学習のサンドボックスだけでなく、パイプライン全体の基盤になりつつある。ポリシ生成からsim-to-real transfer、デプロイ前の統合テストまで全部そこで回っている。GoogleのGenieはさらに踏み込んで、モデルから直接インタラクティブなシミュレーション環境を生成し、環境構築自体にも生成系プロセスを持ち込む。ただし現状は2D demo寄りで、産業用simとはまだ距離がある。
以前私が書いたデモでは、オープンソースのLLM agentをローカルsandboxで動かし、5000回分の計画実験を回して、どのprompt patternがagentを暴走させやすいかを統計的に調べた。所要時間は一晩、電気代はおよそ数十円程度。人力レビューで5000件やることを想像してほしい。無理だ。
コードはこうなる(疑似コード)。
# 疑似コード:RSIを評価フェーズで使う例
# 実実装では使うフレームワークのAPIに置き換える
sandbox = LocalSandbox(env="ubuntu:22.04")
def plan_step(state):
result = sandbox.exec(state["plan"], timeout=30)
return {"outcome": result.exit_code, "log": result.stdout}
graph = StateGraph()
graph.add_node("plan", plan_step)
graph.add_edge("plan", END) # ENDはフレームワークの組み込みノード
app = graph.compile()
# 5000回回してprompt patternを評価
for i in range(5000):
app.invoke({"plan": generate_plan(i)})
これが評価フェーズでのRSIの実際の使い方だ。モデル単体ではなく、agentシステム全体を走らせる。
100倍安いのに、なぜ現場は不満を言うのか
反主流派の視点を入れると、シミュレーション学習の本当の障壁はsim-to-real gapではない。
「信頼コスト」だ。
私が話を聞いたEmbodied AIのスタートアップ数社は、帳簿上のGPU予算では大規模実機学習を回せない。ところが経営者は毎週デモ映像を見たい人で、画面の中の3Dレンダリングが動いているだけでは納得しない。
これは組織行動の問題であり、技術の問題ではない。
シミュレーションのポリシーがどれだけ速くて安くても、意思決定者が「本物のロボットが動いている」映像を見なければGOサインは出ない。このバイアスは従来の製造業、ロボット、医療機器領域で特に根強い。どれだけ良いシミュレーションを作っても、彼らの目には「おもちゃ」に映る。
もうひとつの障壁は、sim-to-real gapが過大評価されていることだ。
「sim2realは信用できない」というセミナーを何回か聞いただけで、その方向性ごと否定するチームが多い。だが実際には、10%の性能差は8割の応用シナリオでは問題にならない。問題は、自分の現場でその10%が何を壊すのかを定量化しようとする時間がないことだ。
3つ目の障壁は人材だ。sim pipelineをきちんと組めるエンジニアは、実機システムを理解するエンジニアよりさらに希少で、給与水準の逆転が起きている。
いま起きている3つの移行シグナル
不満を言いながらも、予算と人件費は確実に動いている。
シグナル1:Embodied AIのスタートアップが学習予算の8割を実機からIsaac Simへ移した。
昨年話をしたアーリーステージのチームは、まだ実機学習が予算の大半を占めていた。今年聞き直すと、すでに2割以下になっている。理由はNVIDIAのIsaac LabとIsaac Gymがsim-to-realのツールチェーンを整備し、チームが車輪の再発明をする必要がなくなったからだ。
シグナル2:LLM Agent評価でsandboxシミュレーションが人力レビューを置き換えた。
以前AnthropicやOpenAIがAgent benchmarkを公開したとき、人の手によるスコアリングが一定程度入っていた。新世代のbenchmarkでは、agent軌跡をsandboxで走らせて成功率・トークン消費・ステップ数を自動評価するのが主流になっている。人力レビューはsandbox自体の妥当性を確認するためにしか使われない。
シグナル3:自動運転の回帰テストはほぼ完全にシミュレーションで回っている。
Waymo、Cruise、Apolloなどのチームでは、各PRごとに大量のシミュレーションケースを通過しないとmergeできない(業界では一般的だが具体的な数字は非公開)。シミュレーションカバレッジ率がCI品質を測る中核KPIになっている。
シミュレーション学習の限界はどこか
率直に言って、現状まだうまくいかない領域がある。
ロングテールの物理相互作用。柔軟物体、流体、軟組織の変形。これらを扱うシミュレータは精度が足りないか、異常に遅い。ロボット手術、繊維の操作、食品加工では実機が避けられない。
ユーザー行動の真の分布。シミュレーション内の「ユーザー」はすべてスクリプト生成で、実際の人間の分布とはかなり違う。toC向けAgentを完全にシミュレーションだけで学習すると、本番で実ユーザーの多様性に対応できずに沈む。
クロスモーダルなフィードバック。触覚、嗅覚、精密な力覚。これらモダリティのシミュレーションは存在しないか忠実度が低すぎる。視覚ポリシは学習できても、よい把持力制御は学習できない。
私の見通しでは、今後2〜3年でシミュレーション学習が学習予算の8割、評価予算の5割、回帰テスト予算の3割を取り込む。残りはいずれも実機の不可替性に関わる領域だ。
ところが多くのチームは2021年の感覚で動いている。simは補助、本流は実機。そう考えている。この認識差こそが、今後18か月の最大のエンジニアリング红利になる。