ツール

RivetのActor設計でAgentの沙箱コスト الباحث

RivetはS3で状態を保持するActorと休止機能を用い、待機時間が長いAgentの無駄なリソース消費を抑えます。一方、状態復元、同時実行時の整合性、安全分離は利用側で検証する必要があります。

文字サイズ

Rivetは各AI Agentを軽量なActorに配置し、SQLiteの状態をS3へ永続化します。主に待機時間が長いAgentのアイドルコストを削減できますが、状態復元、同時実行時の整合性、安全分離は利用側で検証する必要があります。

RivetはYC W23に採択されたプロジェクトです。公式には、agentic workloads向けの高密度で拡張性のあるオーケストレーターと位置付けられ、基盤となる Rutherford actor model幹となるactor modelが採用されています。リポジトリはrivet-dev/rivetにあります。

Agentごとに沙箱を用意しない理由

通常のAgent実行環境では、主に二つの手法が採用されます。

一つは、同じマシン上で複数プロセスを動かし、コンテナや権限の境界で分離する方法です。もう一つは、Agentごとに完全な沙箱を起動する方法です。

後者は分離 adequately優れており、ブラウザやコードインタープリターといった重い依存関係も容纳できます。ただし、長時間動くタスクでは、複数のAgentが同時に稼働することがあります。沙箱を解放しない限り、計算、ネットワーク、ストレージのコストは増え続けます。

Rivetが選ぶのは、「lightweight actor backed by S3」です。公式の説明も明確で、各Agentのheavyweight sandboxを実行するのではなく、各AgentがS3に支えられた軽量Actorを使う設計です。

ここでは二つの概念を区別する必要があります。

  • Actorは実行環境における状態単位であり、Agentの推論ロジックを置き換えるものではありません。
  • S3は状態のバックエンドであり、モデルのスケジューリングやAgentの意思決定を担当するのではありません。

したがって、Rivetが削減するのは常駐する実行環境であり、沙箱機能を削除したわけではありません。Agentが信頼できないコードを実行したり、システムツールを呼び出したりする場合も、プロジェクトには外部の実行層が必要です。

Rivetの利点が活きるのは、異なるワークロードです。Agentのターンが長く、ツールの応答やユーザー入力、他の参加者との同期を待つ時間が大部分を占める場合です。そのような負荷では、各インスタンスに重い環境を常駐させる割に合うとは限りません。

S3に支えられたActorが何Muj解决方法

RivetのActorは、以下の能力を組み合わせます。

  • 長いAgentターンに対応する長寿命プロセス
  • コンテキストを保持するインメモリの状態
  • 複数人での共同作業,面向したWebSocketサービス
  • S3に支えられた永続化SQLiteストレージ
  • アイドル時のhibernation

重要なのは「Actorがチャットできる」ことではなく、タスク状態の所属が明確になることです。

長いタスクを再起動すると、従来の実装ではコンテナを再構築し、依存関係をインストールし、ログを復元してからチェックポイントから再生することがaldiあります。Rivetは複数のターンに残すデータをActorの状態に格納し、SQLiteのデータをS3へ永続化します。復元時に実行環境全体を常に持ち続ける必要がなくなります。

WebSocketサービスは別の課題を解決します。複数のユーザーや複数のAgentが、同じ状態に基づいて相互作用できることです。HTTP workerのようにリクエストを受け取ってテキストを返すだけではありません。サーバーとクライアントの間で接続を維持し、Actorがインメモリにセッション状態を保持できます。

このモデルはCloudflare Durable Objectsに似ています。どちらも、すべての бизネスロジックを一つの巨大なプロセスで共有するのではなく、ロジックと状態をアドレス指定可能なactorに結び付けます。Durable Objectsは更像托管されたプラットフォーム内のステートフルな計算単位であり、Rivetはopen sourceとself-hostableを重視します。

違いもここにあります。

Cloudflareは、プラットフォームとの統合、エッジロケーション、托管运维を提供します。Rivetは、セルフホストできるコードと、より自由なバックエンド選択を提供します。その代わり、チームはインフラ、アップグレード、障害復旧を自行する必要があります。

長いターンのタスクで重要なのはモデルではない

モデルのコンテキストウィンドウを拡大しても、タスクの状態問題は自動的には解決しません。

たとえば、Agentが複数リポジトリにまたがる障害を修正する場面を考えます。最初にコードを閲覧し、仮説を立て、テストを実行してCIを待ちます。途中で人が追加情報を与えると、そのフィードバックを既存の判断へ統合しなければなりません。プロセス全体は数時間続く可能性があります。

実際に難しいのは、通常次の四点です。

  1. どの情報をインメモリにのみ保持すべきか。
  2. どの構造化結果を確実にディスクへ永続化すべきか。
  3. プロセスが中断された場合にどう復元するか。
  4. 複数人が同時に操作した場合、誰が最新の状態を持つか。

actor modelが示す答えは「より多くの履歴を保存する」ことではなく、状態を実行単位とともに移動させることです。

短期データはインメモリに置けます。構造化された状態はSQLiteへ書き込みます。プロセスやマシンをまたいで保持する必要がある場合は、S3が永続化の基盤を提供します。複数ターンのタスクは、空の実行環境から毎回開始する必要がありません。

休眠機能もこのワークフローに適しています。Agentに新しいイベントがしばらく発生しなければ、実行資源を解放します。後のリクエストが到着すると、永続化された状態からコンテキストを復元するため、アイドルのプロセスがCPUとメモリを占有し続けることはありません。

研究目的のAgentには特に有用です。数十の候補案を並行に実行し、それぞれを複数のターンに分けて走らせ、その後人が選別するワークロードは珍しくありません。各候補に重い沙箱を常駐させる場合、リソースの収支は通常 unfavorableになります。

共有ワークスペースやリアルタイム共同作業が必要な场景にも適しています。一つのActorがWebSocketを公開し、複数のクライアントが同じ状態に接続できるため、アプリケーション層で繰り返し同期する手間が省けます。

ただし、これは「モデル?family接続すれば動く」Agentフレームワークではありません。Rivetが扱うのは実行時間と状態のオーケストレーションです。モデル呼び出し、ツール権限、Prompt、再試行戦略は、引き続きアプリケーション側で定義する必要があります。

オープンソースオーケストレーターの現実的な境界

S3、SQLite、Actorの組み合わせは軽量ですが、コストがゼロではありません。

まず状態|latencyを考えます。Actorのホット状態はインメモリにあり、コールド状態はS3へ保存されます。タスクの復元が十分高速かどうかは、実際のデータ量、リクエストパターン、閲覧経路でキャッシュが効いているかどうかに依存します。公式リポジトリにはデプロイと設定の手段providedがありますが、READMEのアーキテクチャ説明が自行のload testingを代行するものではありません。

次にSQLiteです。単一のActor内部にある構造化状態には適していますが、数十のActorが同じデータベースへ同時に書き込む用途には適しません。S3が永続化バックエンドを提供しても、同時書き込みの競合が自動的には解決されません。アプリケーションでは、冪等な操作、状態のバージョン、復旧の境界を設計する必要があります。

セキュリティ境界も別に考慮する必要があります。

軽量なActorは、本質的に安全な沙箱ではありません。Actorがshellを実行したり、credentialsにアクセスしたり、第三者のコードを動かしたりできる場合、コンテナ、分離されたアカウント、ネットワークポリシー、監査ログが依然として必要です。ローカルGPU、複雑な依存関係、高強度の計算が本当に必要なタスクを、「軽量」であることを理由にActorへ押し込むべきではありません。

どのチームがまず恩恵-Frankう.cross吗。

  • 長時間動作し、状態を頻繁に保存するAgentプロダクト
  • 短命または待機型タスクを大量に同時実行するチーム
  • WebSocketによるリアルタイム共同作業が必要な研究ツール
  • セルフホストを望み、一部の運用作業を自分で引き受けるオープンソースユーザー

どのシーンでは、まだ移行すべきでないでしょうか。

  • 各Agentに完全なLinuxツールチェーンとブラウザ沙箱が必要な場合
  • ローカルGPU推論や高スループット計算が必要な場合
  • 単一writer transactionを強く依存する既存のデータベースシステムがある場合
  • 分散状態、monitoring、復旧の仕組みを維持できる体制がないチーム

私の提案は、小さなprojectsで三点を先に検証することです。 namely、Actorのコールドスタートからの復元時間、同時イベントにおける状態の整合性、長時間運用後のS3コスト。只走正常路径是远远不够的。強制終了Actor、メッセージの再送、SQLite書き込み失敗の模擬など、Demonstrationを正常完了させるより情報量が多いものです。

元のプロジェクトとアーキテクチャ説明は、Rivet GitHubリポジトリを参照してください。

編集者の視点

Rivetが注目に値するのは、さらに別のAgentフレームワークを作ったからではありません。本当に見るべきは、Agentのruntimeを永続化可能で休止できる状態単位へ分割した点です。この選択は、従来の「Agentごとに一台のマシン」という考え方とは異なります。重点は、computeの分離から状態の連続性へ移っています。

研究型タスクやmulti-agentワークフローには、まず影響が出る.Ordinalいチャットアプリケーションについては、既存バックエンドで十分なケースが多い 见込みです。前者では待機、復旧、人による介入が多く、状態コストがより明確になります。後者では-models側の問題よりも既存アーキテクチャで解決できることがsalients.

ただし、公式説明にある「高密度」と「拡張可能」を、そのまま性能評価へ置き換えることはできません。Actor数が増えた場合のスケジューリングと復元のコスト、休止閾値の妥当性は、実際のワークロードで測定する必要があります。これらのコストを許容できる範囲まで抑えられるなら、この設計は、ツール呼び出しのラッパーを一层追加するよりも長期的な価値を生む可能性があります。

出典: https://github.com/rivet-dev/rivet