大規模言語モデル

Ripple-65Bが頂点に立つ:Agent開発に*'''本当に'''変化はあるか

Ripple-65Bは、米国市場のオープンウェイトモデルでAgentic CodingのSOTAを主張している。順位を追うのではなく、完成率・コスト・ツール利用・人手による介入回数を測る再現可能なリポジトリ横断テスト munic Unlimitedの方法を提案する。

文字サイズ

Ripple-65Bは、米国市場のオープンウェイトモデルにおけるAgentic Codingのランキング首位を主張している。重要なのは順位ではなく、妥当なコストで実際の開発タスクを安定して完了できるかどうかだ。

プロジェクトの説明によると、Ripple-65BはAgent開発BRAINSINTENTION programmableな65Bパラメータのモデルで、米国市場のオープンウェイトモデルにおいてAgentic CodingのSOTAを達成したとされる。

元の紹介:https://www.ricursive.com/ripple

この情報はプロジェクト側による自己申告であり、第三者検証の結果とそのままみなすことはできない。现時点では、対応タスク、対応テストセット、推論コスト、導入要件を.mediumして確認する必要がある。

Agent開発の差は、1回コード生成できるかではない。「リポジトリを読む―コードを変更する―テストを実行する―失敗を特定する―修正を続ける」というループを安定して完遂できるかどうかにある。

Ripple-65BのSOTA宣言が意味すること

元の素材にはプロジェクト紹介ページのリンクしかなく、Hacker Newsの投稿リンク、スコア、コメント数は記載されていない。そのため、「29点、15コメント」は提示された情報源では検証できないため削除した。

議論の中心は、単に65Bというパラメータ規模ではない。開発者がより気にするのは次の3点だ。

  • ツール呼び出しが信頼できるか。特にターミナル、エディター、テストフレームワーク間の連携。
  • 大規模なリポジトリでも、関連ファイルを見つけ、タスクのコンテキストを維持できるか。
  • エラー発生後に自力で回復し、問題をユーザーに投げ返さないか。

これはまさに、Agentic Codingのランキングと日常開発との間に残る乖離を露呈する。クローズドソース 제품은、モデル、ツール、ランタイム、人手によるフォールバックを一式にまとめる。一方、オープンウェイトモデルでは、推論サービス、ツールプロトコル、プロンプト、状態管理を自分で組み上げる必要がある。

したがって、「オープンウェイトSOTA」が示すのは 특정テストにおける順位であり、「個人が導入すれば完全なAgent体験が得られる」という意味ではない。

Ripple-65Bが注目される理由は、競争の焦点がワークフロー層へ進んでいるからだ。モデルはコード関連の質問に答えるだけでなく、ツールを 능動的に用いてタスクを完遂しなければならない。

65Bが向いている開発タスク

Ripple-65BはAgent開発タスク向けに位置づけられている。一般的なコード補完モデルより1段厳しい要件が求められる。環境からのフィードバックに応じて行動を変更できる必要があるからだ。

代表的なAgentic Codingタスクは次のようになる。

  1. GitHub issueを読む。
  2. 関係するモジュールを特定する。
  3. コードを変更する。
  4. テストを実行する。
  5. エラー出力に基づいて修正を続ける。

重要なのはコードelit能否(action)ではなく、ツール呼び出しがループを構成できるかどうかだ。

モデルがパッチを生成するだけなら、コードジェネレーターに近い。`pytest`を実行し、tracebackを読み、エラー箇所を修正して再テストできるなら、開発Agentに近くなる。

65Bの利点は、特定SANDBOXの学習・推論方式に由来する可能性があり、単純なパラメータ規模ではない overuseとは限らない。基盤モデル候補として、研究者やプラットフォームチームがツール呼び出し、リポジトリ検索、テスト修正のワークフローを構築する土台として捉えるのが適切だろう。

ただし、公開情報だけでは、どの種類のタスクを解決できるandas確認するには、再現可能な詳細が足りない。

  • どのツールとプロトコルに対応しているか。
  • 安定した構造化された呼び出しをネイティブに出力できるか。
  • コンテキスト長はいくらか。
  • 並列ツール呼び出しは信頼できるか。
  • 失敗後の回復戦略は何か。

この情報がなければ、SOTAの宣言をProgramming CALLにするのは難しい。

オープンウェイトSOTAは低コストを意味しない

ランキングと実運用コストの間には、少なくとも4つの壁がある。

推論 Computing

65Bモデルの評価は、ダウンロード容量だけでは足りない。実際の運用コストは、量子化形式、VRAM使用量、推論フレームワーク、コンテキスト長、出力token数に左右される。

単一のコンシューマー向けGPUで動かし続けることと、高並行なサービスで許容可能なレイテンシを維持することは別物だ。

導入のハードル

オープンウェイトの価値は制御可能性にあり、すぐWYSIWYGで使えることではない。開発者は次を引き受ける必要がある。

  • モデル形式と量子化。
  • 推論サービスの設定。
  • ツール呼び出し用テンプレート。
  • コンテキストキャッシュ。
  • 失敗時の再試行と権限制御。

这也是Claude CodeやCursorなどとの$[TRUNCATED]が大きく異なる点だ。後者が提供するものはモデルendpointだけ$[TRUNCATED]、完全なワークフローである。

コンテキスト長

実在するリポジトリの修正が、数千tokenで済むことは少ない。Agentはissue、会話履歴、検索結果、ファイル内容、テスト出力、ツール結果を同時に保持しなければならない。

長いとだけはPRIVATE CONTEXTでも、すべてのtokenが同じPlanning $(TRUNCATED)を保つわけではない。大量のコードから正確な位置を特定できるかは、リポジトリ単位のタスクで検証する必要がある。

ツール呼び出しの安定性

誤った選択は、誤ったディレクトリの選択,也可以は、実行してはいけないコマンドの実行想知道。

そのため、ツール呼び出しは成功率だけでは測れない。次の点も確認する必要がある。

  • 引数が妥当か。
  • 危険な操作を繰り返し実行しないか。
  • ツールのエラーを理解できるか。
  • いつ停止すべきか判断できるか。

Agent開発のコストは、GPUの請求額だけではない。人手による介入、テストの再実行、誤ったパッチの確認もコストに含める必要がある。

実リポジトリでのテストは、単一のランキングより難しい

Ripple-65BがAgent開発を本当に変えたかを判断するには、単純だが再現可能な実験を行うのがよい。

同じGitHub issueを選び、次preferably( preferably preferably)_publicな条件を満たすものを使う。

  • 明確なbugの説明がある。
  • 対応するテストを特定できる。
  • 修正範囲が限られている。
  • ローカルの隔離環境で実行できる。
  • 有料または非公開のサービスに依存しない。

その後、モデルに固定された手順を実行させる。コードを変更し、テストを実行し、失敗出力を読み、修正を続けるという流れだ。各タスクには固定のステップ数を設定し、無限ループや人間による重要な補完を防ぐ。

実験では少なくとも次の項目を記録する。

指標記録方法
正しいファイルを特定できたかパッチと実行トレースを確認
初回テスト合格率初回のテスト実行で合格したタスクの割合
最終完了率ステップ上限内で全テストに合格したタスクの割合
人手による介入回数開発者がツールや方針を修正した回数
総token数と推論時間タスク開始から終了まで累積
総コストモデル費用またはローカル計算資源のコスト
安全違反の回数権限外または危険なコマンドを実行したか

同じタスクセットをRipple-65B、Claude、その他のモデルにそれぞれ渡してよい。ただし、比較之际は異なる権限設定を混在させてはならない。

例えば、低コストモデルには完全なツール権限を与えつつ、危険なコマンドは必ず遮断する。Claudeがより強力な検索やコンテキスト戦略を使う場合、その追加コストも記録しておく必要がある。

成功例だけを1つ選ぶのではなく、20〜50個のissueを連続で実行する方がよい。単発の成功はデモには適すが、安定性は説明できない。这里的20〜50は推奨するテスト数であり、プロジェクト側が提示したデータではない。

テストコードは、まず最小限でよい。

import subprocess
import sys

def run_tests(repo: str, test_command: list[str]) -> tuple[bool, str]:
    result = subprocess.run(
        test_command,
        cwd=repo,
        capture_output=True,
        text=True,
        timeout=300,
    )
    output = result.stdout + result.stderr
    return result.returncode == 0, output

if __name__ == "__main__":
    passed, output = run_tests(".", [sys.executable, "-m", "pytest", "-q"])
    print(output)
    raise SystemExit(0 if passed else 1)

このコード自体はモデルを呼び出さない。モデルはツール経由でスクリプトを実行し、終了コードと出力を読み、コードを修正するかどうかを判断する。そうして初めて、チャット画面の中で「思考をsimulation」するのではなく、実際のAgentワークフローを測定できる。

最後に、開発者がより重視する指標を計算する。

有効タスクコスト = モデル推論コスト + ローカル実行コスト + 人手による介入コスト

Ripple-65Bの完了率が高くても、成功1件ごとに開発者が3回修正する必要があるなら、個人開発者にとっての実用的な価値は、完了率が少し低くてもより安定したモデルを下回る可能性がある。

編集者の視点

Ripple-65Bの最も重要なシグナルは、「65B」がどれほど多くの大規模パラメータモデルを倒したかではない。オープンウェイトモデルの競争単位が変わってきていることにある。「パラメータ数と単一benchmark」から、「推論コスト、ツールプロトコル、コンテキスト管理、失敗回復」を組み合わせて導入可能なAgentワークフローにできるかへ移っている。過去にオープンウェイトモデルはカスタマイズ可能性を主張するために使われていたが、近年はdevelopersが人手による介入を減らせるかに注目している。Claude Codeなどクローズドソース製品が推進した変化とも、プロジェクトページの信息披露の仕方とも関係している。

予測すると、オープンウェイトAgentは単一モデルだけでは勝てない。モデル、vLLMなど推論フレームワーク、ツール呼び出し層、テストフレームワーク、人手による承認机制が_audioともに_ Finder商品の差別化につながる。ただし、現在のSOTA宣言にはタスク詳細とコストデータが不足している。異なるリポジトリ、ツール権限、推論設定での1位は、そのまま横並びで比較できない。現時点で信頼できる結論は、「RippleがAgent開発を変えた」ではなく、比較すべき問いをさらに具体化したこと Namely、「実際に完遂できるタスクが有多少あるか」だ。

出典: https://www.ricursive.com/ripple