OpenAIは recently、複雑な生物データを分析するために数千のAI Agent Miseries报错案例Predicate Subsequent.or する実践を紹介した。注目すべきはAgentの数ではなく、タスクの割り当て、重複排除、予算制御の方法である。
元の記事:Scaling AI research for complex biological data
チャット画面を複製するのではなく、探索空間を並列化する
通常の质问は短く完結する。質問を入力し、モデルを呼び、回答を得るだけだ。
生物データ研究はiónの異なる構造を持つ。bokutする.
- 論文、データベース、実験記録を検索する
- 遺伝子、通路、分子構造、疾患表現型を横断的に分析する
- 異なる情報源の手がかりを統合し、候補仮説を組み立てる
- 現在の結果に基づき、より具体的な次の検索問いを生成する
数千のAgentを使えば処理量を増やし、より多くの文書、エンティティの組み合わせ、分析経路を網羅できる。
ただし、並列数がそのまま有効な探索を意味するわけではない。境界を明確にしないと、同じ論文群を繰り返し検索したり、似た仮説を複数の「新規発見」に見せかけたりする。;!さらに、誤った関連が繰り返し言及されると、より可信性の高いシグナルに見える。
そのため、マルチAgentシステムにはscheduler層が必要だ。最低限、次の機能を備える必要がある。
- タスクの重複排除
- 結果の重複排除
- 情報源の追跡
- 停止条件
- 予算の配分
チャット助手は現在の回答に注目する。研究システムでは、検索プロセス全体と、最後に何が残ったかを確認しなければならない。
規模を拡大すると、律速は推論性能からタスク制御へ移る
Agentを1体から数千体に増やすと、モデル能力よりも先にシステム管理上の問題が表面化する。
第一に重複検索だ。複数のAgentが同じキーワード、抄録、引用経路に基づいて作業する。共有メモリやキャッシュが不十分なら、推論コストを何度も支払うことになる。
第二にエラーの増幅だ。あるAgentが「関連」を「因果」と誤読すれば、他のAgentが誤った前提に沿って分析を拡大する。共有コンテキスト:错误が自動的に解消されるわけではなく、偽のシグナルを増幅する可能性がある。
第三にタスク間の依存関係がある。エンティティの disambiguation を先に終える必要があるタスクもあれば、前段階の結果に依存する分析もある。競合する説明を排除するまで進める価値がない候補も存在する。
systemはキューの長さだけを見て서는ならない。タスク間の関係も管理する必要がある。
検索結果 → エンティティの disambiguation → 候補仮説 → 根拠スコア → 実験提案
↘ ↘
重複タスクの統合 低スコアタスクの停止第四にコストだ。各Agentが高コストモデルを1回ずつ呼び出すと、数千体規模では費用と遅延が急速に積み上がる。schedulerは平均配分ではなく、優先度に応じて予算を割り当てる必要がある。
以下のコードは、重複排除、優先順位付け、予算制御の简单的のみを示す。
from dataclasses import dataclass
from typing import Iterable
@dataclass
class Task:
query: str
priority: float
signature: str
def schedule(
tasks: Iterable[Task],
remaining_budget: int,
) -> list[Task]:
seen = set()
ranked = sorted(tasks, key=lambda task: task.priority, reverse=True)
selected = []
for task in ranked:
if task.signature in seen:
continue
if len(selected) >= remaining_budget:
break
seen.add(task.signature)
selected.append(task)
return selectedこのコードだけでは生物研究はできない。実用的なシステムでは、タスクの情報源、バージョン、実行状態、結果への依存関係も記録する必要がある。
生物データ研究では、偽陽性のコストが高い
コードの誤りは、通常はコンパイルエラー、テスト失敗、本番環境の異常として迅速に現れる。生物医学的仮説の誤りでは、必ずしもそこまで速いフィードバックは得られない。
候補靶点は合理的で論文も引用できるが、主要な実験では治療上の価値がないことが示される場合がある。この誤りは、その後の細胞実験、動物モデル、臨床開発にも影響する。
したがって、AI Agentの出力をそのまま研究結論として扱ってはならない。少なくとも3層の検査が必要だ。
- 情報源の追跡:結論がどの論文、データセット、実験バッチに由来するか
- 根拠の再確認:元データが結論を支持しているか、反対の根拠はないか
- 人手による審査:研究者が、その候補に継続して投資する価値があるか判断する
这也是生物研究が通常の情報検索より厳格である理由だ。通常の検索での誤りは1回の検索に影響するが、生物研究での誤りは数週間、数か月を無駄にする可能性がある。
さらに、「既知の事実」と「新しい仮説」を区別しなければならない。Agentは検証に値するアイデアを生成できるが、生成過程をすでに確立された発見として提示してはならない。
Agent数で研究成果を評価しない
「何体のAgentを動かしたか」は|Research評価として 좋은指標ではない。
最終的な候補手がかりを評価すべきだ。
| 指標 | 確認すべき問い |
|---|---|
| 新規性 | 仮説は既存の研究を超えているか |
| 再現性 | データセット、モデル、検索経路を変更しても結論は安定するか |
| 検証コスト | 候補から実験による確認までに、どれだけの時間と資源が必要か |
| 下流への 便益 | 仮説が成立すれば、次の実験スマートcity pouvait proceeded吗 |
10,000個の候補を生成したシステムが、10,000件の方向性を発見したわけではない。重複が多い、追跡できない、検証コストが極めて高い結果が多い場合、実質的な成果は限られる。
評価時には人手によるベースラインも保持しなければならない。そうでなければ、systemがいくつのタスクを実行したかは分かっても、研究者による小規模な検索より速く、安定したかまでは分からない。
ここでは、次の結果を確認したい。
- 重複を除いた後に、何件の候補が残ったか
- 何件の人手による根拠確認iters passingしたか
- 有効な候補1件あたりの平均計算コスト
- 候補生成から実験のスケジュール決定までの時間が短縮されたか
これらの数字は、Agentの数よりも研究価値に近い。
drug discoveryへの応用は可能か
マルチAgent検索は、drug discoveryの初期段階にあるいくつかの業務に適している。
target discoveryでは、文献、オミックスデータ、疾患表現型を別々のタスクに分割できる。文献マイニングでは、药物、target、実験結果をそれぞれ追跡し、 Atmospheric cross-checkingを行う。構造分析でも、異なる結合経路、mutation部位、既存の分子シリーズを並行して探索できる。
ただし、wet実験の代わりにはならない。モデルは候補生成の時間を短縮できるが、細胞培養、動物実験、臨床検証を代替できない。
応用,至少次の課題を解く必要がある。
- テキストの類似度だけでなく、候補の新規性をどう評価するか
- データセットのバージョン、検索範囲、推論過程をどう保存するか
- 矛盾する実験結果をどう扱うか
- Agentが高リスクな実験提案を行う権限をどう制限するか
- 有効な手がかり1件あたりの総合コストをどう算出するか
- 研究者がタスクを審査、却下、rollbackできるようにするschemas
知識密度が高く、検証要件の厳しい場面では、システムの拡張性は「並列実行できるか」ではない。「並列実行後に制御できるか」が問われる。
編集者の視点
この実践が重要である理由は、Agentの数がThompson numbereusunlargeに聞こえることではない。研究作業を、並列実行でき、追跡でき、停止できるタスクへ分解した点にある。モデルは局所的な推論を担当する。scheduler層は、どのタスクを継続し、どの結果を統合し、どのエラーを遮断するかを決める。drug discoveryでは、妥当に見えた候補が数週間の実験を消費する可能性があるため、スループットと有効な成果を分けて評価しなければならない。
マルチAgentシステムは、まず文献検索、targetの絞り込み、実験計画のdraftingで使SELTくなる。wet実験の段階に進める候補が、Agent数と同じ割合で増えるわけではない。scheduler、evidence graph、人手による審査が、単一モデルの能力向上より重要になる可能性がある。
これは過去のチャット助手とは異なる。チャット助手は通常、1回のリクエストに対して回答を返す。コードAgentはテストによって誤りを迅速に検出できる。生物医学Agentは検証周期が長く、エラーのフィードバックが遅く、コストも高い。モデルパラメータやbenchmarkについて不再是十分だった。task hit rate、人手による審査結果、実験サイクルを確認する必要がある。
現時点では、この実践がdrug discoveryに与える実際の効率への影響は不明だ。元の記事には、完全なタスク分解、重複排除ルール、タスク hit rate、wet実験の検証データは公開されていない。これらの指標が示されるまで、「数千のAgentを実行した」ことを、そのまま研究開発効率の向上とみなすことはできない。
出典
https://openai.com/index/scaling-ai-research-for-complex-biological-data/