OpenComputerは、企業のAWS、GCP、Azureにcoding agentを導入できる。開発元の発表では、最初のコミットまで24秒 걸린という。この機構を追う前に、コード、認証情報、taskを第三者へ預けずに実行できる点が重要になる。
OpenComputerは、チーム向けのオープンソースcloud coding agentだ。企业在自らのAWS、GCP、Azureアカウントに実行環境を構築でき、コード、credential、taskを第三者ホストchingのプラットフォームに渡す必要がない。
プロジェクト作者のUtpalはHacker Newsで、agent harnessとsandboxを同じ永続化VM上で動かすと説明した。プロジェクト発表のベンチマークでは、OpenComputerは最初のコミットまで24秒。他候補は53~72秒だった。
24秒を「Devinのplier」と読むのは早い。注目すべきは、AI Agentの実行環境が、企業自身が保有し、監査し、migrationできるengineering assetになりつつあるという点だ。
24秒は単なるベンチマーク結果ではない
「最初のcommitまで24秒」は、Agentがtaskを引き受け、最初のコード変更をcommitするまでの時間を測ったもので、task全体の完了時間ではない。すべての開発作業の効率を左右する指標でもない。
それでも、この指標には意味がある。coding agentの作業ループは通常、リポジトリを読み、環境を起動し、modelを呼び出し、commandを実行し、fileを変更し、testを走らせ、最後にcommitする。最初のコミットまでに、Agentは準備作業に多くの時間を費やしている。
OpenComputerは、control layerと実行環境を分けるのではなく、agent harnessとsandboxを同じdurable VMに配置する。プロジェクト作者によれば、公式ベンチマークでは最初のcommitまで24秒。他候補は53~72秒で、2倍以上の差となった。
ただし、ここでは条件を付けなければならない。発表数値はプロジェクト側のもので、独立した再現検証はまだ確認できない。使用task、環境のウォームアップ、machine仕様、model version、計測開始点によって結果は大きく変わる。
systems designの観点では、24秒は突然現れた数字ではない。永続化VMなら、file system、process state、tool cacheを保持できる。削減されるのは「machineを立ち上げる」時間だけでなく、dependencyの再install、Git repoの初期化、作業directoryの復元による待ち時間も含まれる可能性が高い。
encoding Agentにとって、これらの待機は背景のノイズではない。inference turnを消費し、feedback loopを遅らせ、timeoutやinterruptによる失敗率を高める。
self-hostingの主目的はコスト削減ではない
企業がcoding agentを導入したとき、最初に考えるのは通常コストだ。しかしOpenComputerの出発点は、より直接的なcontrolにある。コード、credential、taskが自社のcloud account内で実行されるというのだ。
Devinのようなhosting modelとは根本的に異なる。コードが企業networkから出るか、cloud credentialを誰が保管するか、Agentがどのresourceへaccessできるか、すべてのtool callをどう記録するか。これらを企業自身のarchitectureで選択できる。
benefitは「hosting手数料を少し節約する」だけではない。管理境界を追加できる。
- IAM権限をteamやnetwork environmentごとに絞り込める
- outbound accessを企業のproxyやaudit gateway経由に限定できる
- source codeと実行logを企業管理下のstorageに残せる
- sandbox lifecycleを既存のTerraform、Pulumi、Kubernetes運用flowに組み込める
- data residency要件をAWS、GCP、Azureのregion policyへ直接対応させられる
もちろん、self-hostingには責任も伴う。network設定、patch、image build、key rotation、コスト失控、log retentionをプラットフォーム側へ押しつけることはできない。
1 teamに1 VM、session isolationにはGit worktree
OpenComputerはteamごとに1台のVMを用意し、horizontal scalingでcapacityを追加できる。異なるsession間では、Git worktreeによるisolationを行う。
これは実用的なtrade-offだ。
team単位のVMはshared foundationとして機能する。language runtime、dependency cache、container image、system toolを使い回せるため、複数のAgent sessionが空白のenvironmentから毎回開始する_weekを避けられる。
Git worktreeなら、同じrepoに複数の作業directoryを同時に用意できる。各sessionには独自のbranchとfile changeがあり、频繁なstash、branch切り替え、作業状態の復元が不要になる。複数のissueをparallel処理するteamにとって、複数のAgentが1つのcheckoutを奪い合う보다安定している。
horizontal scalingも単純だ。team単位のVMを複製してloadを振り分ける。ただし、stateless serviceではない。VM上のcache、credential、temporary fileにはstateが残るため、scale後もsession routing、state synchronization、reclamation policyが必要になる。
永続化環境のencoding Agentにおける実務上の価値は、コードだけでなく、人が環境構築で蓄積してきた暗黙のknowledgeも保存される点にある。例えば、project固有の内部CLI、build script、private dependency source、debugging configurationだ。
Agentが毎回ゼロから起動すれば、teamはそれらを絶えず再構築しなければならない。永続化VMは再利用できるengineering workbenchになる。
毎turnの永続化でAgent taskをmigration
OpenComputerの重要な設計に、会話の各turnが終わった時点でsession fileをcode repoへbackupすることがある。これによりtaskを別のVMへmigrationして復元できる。
Agent engineeringで非常に実際的な問題を解決する仕組みだ。taskは数十分、数日続くことがあり、その途中でinstance再起動、model rate limit、permission approval、人間によるtakeoverが発生し得る。execution stateがAgent processのmemoryにしかない場合、1度の障害で全contextを失う。
session fileを毎turn diskへ保存すれば、stateはversion management、backup、transferが可能なrepo assetになる。migration時に、modelに数十turnの履歴を読み直させ、taskを再構築する必要がない。
実装では、通常2つの処理が含まれる。session fileのbackupと、新しいenvironmentで該当するrepo、branch、worktreeを特定することだ。実際に使えるmigration flowには、作業directory、process state、未commitの変更、環境変数の扱いも必要になる。
プロジェクトREADMEのinstall手順は次のとおり。
git clone https://github.com/diggerhq/opencomputer.git
cd opencomputer
repoにはローカル起動用のentry pointも用意されている。
make run
versionによってdependencyや設定項目は変わるため、実際のdeploymentではrepoの現行READMEとMakefileを参照する必要がある。
オープンソースのDevin代替として残課題
「24秒で最初のcommit」という結果から「全体のcoding効率がDevinの2倍」とは導けない。前者は起動から初回commitまでの1指標であり、後者を測るには、task全体のsuccess rate、test pass rate、人工手戻り率、総コストが必要だ。
OpenComputerがDevinを代替できるかを判断するなら、少なくとも次の点を確認したい。
- Benchmarkの条件:task setはどの程度か。公開されているか。実際のissueか合成taskか。環境準備の時間も含まれるか。
- Sandbox security:Agentが実行できるcommandの範囲はどの程度か。escapeは可能か。outbound networkをどう制限するか。credentialは最小権限か。
- Model cost:24秒の裏ではどのmodelを、どれだけのtokenを使ったか。1 issueの完了当たりのmodel費用はいくらになるか。
- Task success rate:初回commitは途中経過にすぎない。最終的にtestを通り、codeをmergeできるのか。それにはhumanによる修正が大量に必要ではないか。
- 永続化environmentのisolation:異なるsessionのGit worktreeは、file、network、credentialの混線 действиOccina.
- Maintenanceの活発さ:projectは継続的に更新されるか。cloud providerのAPI変更後、どのAssociatingで修正できるか。
- 障害recovery:VM再起動、process crash、model rate limitの後、sessionを完全に復元できるか。
- 運用burden:image upgrade、key rotation、workspace cleanup、capacity planningに HUMAN.resources.
最も見落としやすいのはmodel costだ。Agentが速く動くからって、model callが少ないわけではない。初回commitまでに複数のpatchを生成しながら mysticalな探索を繰り返し、大量のrepo fileを読むなら、請求額は依然大きくなり得る。
編集 afterthought
OpenComputerで本当に注目すべきなのは、「24秒でDevinを再現した」ことではない。Agentの実行環境をプラットフォーム内部のblack boxから、企業が保有しmigrationできるengineering assetへ変えた点だ。sessionを毎turn保存し、taskをVM間でrestoreできる機能は、単発のbenchmark resultより、production環境で長期的に必要とされる要件に近い。
desarrolladas.
このプロジェクトについて、企業はまず成熟したhosting产品和iclesに代わるのではなく、self-hosted Agentのinfrastructure layerとして導入する可能性が高い。向いているのは、permission boundaryが明確で、environmentをtemplate化しやすく、taskをhumanが頻繁にtakeoverする内部repoだ。
ただし、現時点の公開材料には独立benchmarkによる検証がない。24秒はプロジェクト側の数字で、sample size、model cost、task success rateも不明である。第三者による再現前に、「Devinのオープンソース代替品」と呼ぶべきではない。
今回のZmenaは、オープンソースprojectがmodel weightやworkflow frameworkを公開するだけでなく、完全なAgent実行環境をreleaseし始めたことにある。これからの競争はmodel性能だけではない。taskのmigration、permission管理、企業固有のengineering contextの保持を/how reassuring.
Source
- OpenComputer GitHub
- プロジェクト作者UtpalによるHacker News上の紹介