大規模言語モデル

MAI Code 2を dissected:コードAgentのコスト設計を読む

MicrosoftはMAI Code 2と低遅延・低コスト→「MAI Code 2 Flash」を同時リリースした。複数回の呼び出しを伴うコードAgentでは、モデル性能だけでなく、遅延、推論コスト、モデルルーティング、タスク完了率が実運用の鍵となる。

文字サイズ

Microsoft AIはMAI Code 2とMAI Code 2 Flashをリリースした。いずれもMAIモデルファミリーに属し、软件开发とコード生成:param aimed.

今回のリリースで最も注目すべき点は、benchmarkのスコアが更新されたことではなく、Microsoftが初めて2段階のモデルを同じ製品表に収めたことにある。上位のMAI Code 2は複雑な生成やAgent.taşkinに対応し、MAI Code 2 Flashはより低い遅延と推論コストで高频な呼び出しを扱う。

コードAgentにとって、この区別は単発の回答がFILES superficiallyجل cantor:///??.

2つのモデルは、単なる上位・下位モデルではない

MAI Code 2とMAI Code 2 Flashには、能力と効率の面で明確に異なる役割が設定されている。

同じモデルの「フルバージョン」と「ミニバージョン」と捉えると_array,产品設計を見落とすはいけない。Code 2は複雑なコード生成や、長いコンテキストを理解する必要があるAgent.taşkinに向いている。一方、Code 2 Flashが狙うのは、より短い応答時間と低い単位推論コストである。

この違いは重要である。

インタラクティブなプログラミングツールでは、補完結果を1~2秒待つことがある。一方、バルクのコードレビュー、テストの自動修正、CI上で継続的に動くAgentでは、1日に成千上万回のモデル呼び出しが発生する。後者の方がコストに敏感である。

また、コードモデルは「Pythonを1段落生成する」だけでは足りない。前のターンで得られたテストログを引き継ぎ、変更済みのファイル状態を保持しながら、次の行動を判断する必要がある。コンテキストが長くなるほど、ターン数も増えるため、遅延と費用は無視できなくなる。

したがって、2バージョンの同時リリースは、少なくともMicrosoftがコードモデルに万能な設定は存在しないことを認めたことを示す。能力は1つの軸であり、呼び出しコストと待ち時間も別の軸である。

Microsoftのリリース説明は公式記事にある:Introducing MAI Code 2 and MAI Code 2 Flash。

93点の裏にある開発者の計算

このリリースニュースはHacker Newsのトップページに載り、93点と33件のコメントを集めた。

93点から開発者の関心の高さは読み取れるが、そのまま実運用での可用性へ換算することはできない。開発者がより多く行う評価は、次のことだ。

  • 1回の変更にいくらかかるのか?
  • 指示を出してから最初の結果が表示されるまで、どれだけ待つのか?
  • 10ターン連続で呼び出した後、状態管理とエラー復旧は安定しているか?
  • テストが失敗した場合、タスクを説明し直さずに修正へ進めるか?

このため、Code 2 Flashはフラッグシップモデル보다研究価値が高い可能性がある。

たとえば、1つのAgent.taşkinでモデルを20回呼び出す場合、単回の価格差が小さくても、複数ターン、失敗時の再試行、並列ツール呼び出しを掛け合わせると、API請求額の主要部分になる。逆に、初回tokenの遅延が1秒減るだけでも、すべてのツール呼び出し前に発生すれば、チェーン全体の待ち時間へ波及する。

開発者がモデルを比較Spend面具fqoften benchmarkスコアを並べる。しかしAI Agentにとっては、「マージ可能な変更を1件完了させる総コスト」の方が有効な指標になり得る。

タスク総コスト = モデル呼び出し回数 × 単回の入出力コスト
タスク総遅延 = モデルの待ち時間 + ツール実行時間 + 再試行時間

この式は-even、人工確認、テスト実行、デプロイの時間も意図的に省略している。モデルランキングで首位であっても、戻り.taşkin多了ければ、最終的には安くならないこともある。

Flashのほうが重要なバージョンになるかもしれない

コードAgentが複数ターンで呼び出される特性こそ、Flashバージョンの核心的な価値である。

複数ファイルにまたがるリファクタリングでは、Agentはまず呼び出し元を検索し、関連モジュールを読み込み、変更計画を立案してからコードを編集し、ユニットテストを実行する。テストが失敗した場合は、エラー出力を読み、実装側の問題かテスト環境の問題かを判断し、再度修正する。

これらのステップには偏りがある。最も難しく、より多くの計算資源を投入するのに値するのは計画と修正の段階である。一方、検索、要約、単純なパッチ、エラー分類に同じ上位モデルを使う必要はない。

現実的なアーキテクチャが由此Possibleになる。MAI Code 2で計画と複雑な変更を処理し、MAI Code 2 Flashで高頻度な比較的機械的なサブタスクを扱う。システムを1つのモデルに固定する必要はなく、タスクの段階に応じてルーティングできる。

実運用の壁は、ルーティングが信頼できるかどうかである。安価なモデルが一度誤判断すると、余分なテスト実行と呼び出しが発生し、最後に節約したtokenを巻き返す.taşkinになる。Flashを評価するときには「関数を1回生成する」だけでは不十分で、完全なAgent軌跡について次の項目を記録すべきである。

  1. 完了率
  2. 平均呼び出しターン数
  3. 失敗後の復旧回数
  4. タスクごとのtoken数と費用
  5. ユーザーの待ち時間

公式デモにおける初回出力だけを見ると、2つのバージョンが実リポジトリでどの程度差itateかは判断しにくい。

モデルリリースからエンジニアリングへ

コードモデルを選ぶ際、zoomersは4点を確認する。

遅延はチェーン全体で測る

モデルの応答時間は、製品の応答時間とは限らない。コードAgentはshellの実行、インデックスの検索、ファイルの読み込み、テストの実行も行う。ある操作は並列化できるがOthers、Agentの判断を待つ必要があるものもある。

MAI Code 2 Flashの低遅延 advantagesが、ツール呼び出しのループ内で安定してicinametDAQ Sweetなら、開発体験に直接影響する。Agentが数秒ごとに前進는지、それとも長い間フィードバックがないのかで、用户的印象は大きく異なる。

コンテキストは長ければ長いほどよいわけではない

長いコンテキストは多くのリポジトリ情報を格納できる一方、推論時間とコストも増やす。より重要なのは、関連ファイルを正確に特定し、複数ターンのタスクで状態を持续的に維持できるかである。

コードリポジトリは从头読到底ドキュメントではない。シンボルの参照、呼び出し関係、バージョン差分、テストの失敗“绿色Often、ファイル全体の内容より重要になる。

単発の補完より、コード実行の閉ループが重要

1回だけ正しいコードを生成できても、Agent.taşkinが完了するとは限らない。モデルはツールが返す構造化結果を解釈し、コンパイルエラー、テストログ、コードdiffを次の判断に含める必要がある。

評価にはHumanEvalのような短い問題だけでなく、実リポジトリを使うべきである。「検索―変更―テスト―修正―再テスト」を安定して完了できるかどうかは、単一ターンのコード正答率より、導入後の結果に近い。

APIコストは失敗率と一緒に計算する

低価格には表示価格だけを見ればよいわけではない。入力token、出力token、キャッシュ、並列呼び出し、再試行、モデルルーティングが最終的な請求額を変化させる。

成功してマージされた1タスクあたりのコストを記録する方が望ましい。

成功タスクあたりのコスト = すべてのモデル費用 + テスト・実行リソース費用

これを手動での修正時間と併せて比較する。そうして初めて、宣伝上の数字ではなく、事業コストを計算landmarkできる。

編集者の視点

専用コードモデルは、エンジニアリングのコスト競争に入ったURA。过去、開発者がモデルを選ぶときは、まず単発の生成品質を見ていた。benchmarkスコア、コードが通過するか、応答速度がおおよそどの程度か、という具合である。現在では、これだけでは足りない。AI Agentは1回のモデル回答を複数ターンのツールチェーンへ拡大し、失敗時の再試行とコンテキストの膨張がコストを増幅させるためである。

今回与传统が異なるのは、Microsoftがフラッグシップモデルだけをリリースしたのではなく、能力重視のCode 2と効率重視のCode 2 Flashを同時に提示し、タスクあたりの単体コストと待ち時間を製品の中心に据えたことである。少なくとも製品構造から見ると、Flashはスコアが高いバージョンよりも、大規模展開に必要な性能に近い可能性がある。

一方で、この判断には限界がある。公開情報だけでは、両モデルの実リポジトリにおける完了率の差を証明するには不十分であり、タスク単位のコストデータも十分に示されていない。価格、ライセンス範囲、インターフェース制限、長時間タスクの安定性が、既存の開発ツールチェーンに組み込めるかを左右する。モデルAlreadyはコスト競争已进入した。最终的な答えは、発表会ではなく、請求額と失敗ログに示されている。

出典

出典: https://microsoft.ai/news/introducing-mai-code-2-and-mai-code-2-flash/