OpenAI는 최근 수천 개의 AI Agent로 복잡한 生物 데이터를 분석한 사례를 소개했다. 여기서 중요한 것은 Agent의 개수가 아니라 작업을 배치하고, 중복을 제거하며, 예산을 관리하는 방식이다.
원문: Scaling AI research for complex biological data
채팅창을 여러 개 여는 것이 아니라 탐색 공간을 병렬로 넓힌다
일반적인 질의응답은 대개 짧다. 질문을 입력하고 모델을 호출한 뒤 답변을 받는 구조다.
생물 데이터 연구는 이러한 구조를 따르지 않는다. 여러 단계의 작업이 반복되는 경우가 많다.
- 논문, 데이터베이스와 실험 기록을 검색한다.
- 유전자, 경로, 분자 구조와疾病 표현형을 교차 분석한다.
- 서로 다른 출처에서 발견한 단서를 조합해 후보 가설을 만든다.
- 현재 결과에 따라 더 구체적인 다음 검색 질문을 생성한다.
수천 개의 Agent를 사용하면 처리량을 늘리고 더 많은 문서, 개체 조합과 분석 경로를 탐색할 수 있다.
하지만 병렬 처리량만으로 효과적인 탐색이 보장되지는 않는다. 탐색 범위가 명확하지 않으면 같은 논문을 반복해서 찾거나 비슷한 가설을 여러 개의 ‘새로운 발견’으로 포장할 수 있다. 잘못된 연관성이 반복될수록 더 신뢰할 만한 신호처럼 보일 위험도 커진다.
따라서 다중 Agent 시스템에는 별도의 스케줄링 계층이 필요하다. 최소한 다음 기능을 포함해야 한다.
- 작업 중복 제거
- 결과 중복 제거
- 출처 추적
- 중단 조건
- 예산 배분
채팅 어시스턴트는 현재 답변에 집중한다. 연구 시스템은 전체 탐색 과정과 최종적으로 남은 결과까지 관리해야 한다.
규모가 커지면 병목은 스케줄링으로 이동한다
Agent가 1개에서 수천 개로 늘어나면 모델의 성능보다 시스템 관리 문제가 먼저 드러난다.
첫째는 중복 탐색이다. 여러 Agent가 같은 키워드, 초록이나 인용 경로를 기준으로 작업할 수 있다. 공유 메모리와 캐시가 부족하면 같은 추론 비용을 반복해서 지불하게 된다.
둘째는 오류의 증폭이다. 한 Agent가 ‘관련성’을 ‘인과성’으로 잘못 판단하면 다른 Agent도 잘못된 전제 위에서 탐색을 확장할 수 있다. 공유 컨텍스트가 오류를 자동으로 제거하지는 않으며, 오히려 가짜 신호를 강화할 수 있다.
셋째는 작업 간 의존성이다. 개체(entity) 중의消除을 먼저 끝내야 하는 작업이 있다. 이전 단계의 결과에 의존하는 분석도 있다. 다른 설명을 배제한 뒤에야 다음 단계를 진행할 가치가 있는 후보도 있다.
따라서 시스템은 대기 중인 작업 수만 확인해서는 안 된다. 작업 관계도 함께 관리해야 한다.
检索结果 → 实体消歧 → 候选假设 → 证据评分 → 实验建议
↘ ↘
重复任务合并 低分任务停止넷째는 비용이다. 모든 Agent가 고비용 모델을 한 번씩 호출한다면 수천 개의 Agent에서 발생한 비용과 지연 시간이 빠르게 누적된다. 스케줄러는 예산을 균등하게 나누지 않고 우선순위에 따라 배분해야 한다.
아래 코드는 중복 제거, 정렬과 예산 통제를 설명하기 위한 간단한 예시다.
from dataclasses import dataclass
from typing import Iterable
@dataclass
class Task:
query: str
priority: float
signature: str
def schedule(
tasks: Iterable[Task],
remaining_budget: int,
) -> list[Task]:
seen = set()
ranked = sorted(tasks, key=lambda task: task.priority, reverse=True)
selected = []
for task in ranked:
if task.signature in seen:
continue
if len(selected) >= remaining_budget:
break
seen.add(task.signature)
selected.append(task)
return selected이 코드만으로 生物 연구를 수행할 수는 없다. 실제 시스템에서는 작업 출처, 버전, 실행 상태와 결과 의존성도 기록해야 한다.
생물 데이터에서는 가짜 양성이 더 큰 비용을 만든다
코드를 잘못 작성하면 일반적으로 컴파일 오류, 테스트 실패나 운영 환경異常이 발생한다. 하지만 의학 및 생물학 가설이 잘못되면 이러한 빠른 피드백이 보장되지 않는다.
후보 표적은 타당해 보이고 인용 자료도 찾을 수 있지만, 핵심 실험 결과가 치료 가치가 없다는 것을 보여줄 수 있다. 이런 오류는 이후 세포 실험, 동물 모델과 임상 개발 경로에도 영향을 준다.
따라서 AI Agent의 출력을 곧바로 연구 결론으로 사용해서는 안 된다. 최소한 세 단계의 검토가 필요하다.
- 출처 추적: 결론이 어떤 논문, 데이터셋, 실험 배치에서 나왔는지 확인한다.
- 근거 재검토: 원시 데이터가 결론을 지지하는지, 반대 근거가 있는지를 확인한다.
- 사람의 검토: 연구자가 후속 투자 가치가 있는 후보인지 판단한다.
이 점이 일반적인 정보 검색보다 生物 연구가 더 엄격한 이유다. 일반 검색에서 실수는 한 번의 탐색에 영향을 미칠 수 있지만, 생물 연구에서의 실수는 몇 주 또는 몇 달의 자원을 낭비할 수 있다.
시스템은 ‘이미 알려진 사실’과 ‘새로운 가설’도 구분해야 한다. Agent는 검증할 가치가 있는 아이디어를 만들 수 있지만, 생성 과정을 이미 완료된 발견처럼 표현해서는 안 된다.
Agent 개수로 산출물을 평가하지 말아야 한다
‘실행한 Agent가 몇 개인가’는 좋은 연구 성과 지표가 아니다. 최종적으로 남은 후보 단서를 살펴봐야 한다.
| 지표 | 확인할 질문 |
|---|---|
| 신규성 | 가설이 기존 연구 범위를 넘어서는가? |
| 재현 가능성 | 데이터셋, 모델 또는 검색 경로를 바꿔도 결론이 안정적인가? |
| 검증 비용 | 후보에서 실험 확인까지 얼마나 많은 시간과 자원이 필요한가? |
| 후속 활용 가치 | 가설이 성립할 경우 다음 실험을 지원할 수 있는가? |
어떤 시스템이 10,000개의 후보를 만들어 냈다고 해서 10,000개 방향을 발견한 것은 아니다. 결과가 대량으로 중복되거나 추적할 수 없거나 검증 비용이 지나치게 높다면 실제 산출물은 많지 않을 수 있다.
평가할 때는 사람의 검색을 기준으로 한 비교 대상도 유지해야 한다. 그래야 시스템이 작업을 몇 개 실행했는지만 아는 대신, 연구자의 소규모 검색보다 빠르고 안정적인지 판단할 수 있다.
다음 결과를 우선 확인한다.
- 중복 항목을 제거한 뒤 남은 후보 수
- 사람의 근거 검토를 통과한 후보 수
- 유효 후보 하나당 평균 컴퓨팅 비용
- 후보 생성부터 실험 일정까지 단축된 시간
이러한 지표는 Agent 개수보다 연구 가치에 더 가깝다.
약물 발견으로 옮길 수 있는가
다중 Agent 탐색은 약물 발견의 몇 가지 초기 단계에 활용할 수 있다. 표적 발견 과정에서는 문헌, 옴mik스 데이터와 질병 표현형을 서로 다른 작업으로 나눌 수 있다. 문헌 분석에서는 약물, 표적과 실험 결과를 각각 추적한 뒤 교차 검증할 수 있다. 구조 분석에서도 서로 다른 결합 경로, 돌연변이 위치와 기존 분자 시리즈를 병렬로 탐색할 수 있다.
하지만 wet experiment를 대체할 수는 없다. 모델은 후보 생성 시간을 단축할 수 있지만 세포 배양, 동물 실험이나 임상 검증을 대신할 수 없다.
다른 분야로 이전하기 전에 최소한 다음 문제를 해결해야 한다.
- 텍스트 유사성만 판단하지 않고 후보의 신규성을 평가하는 방법
- 데이터셋 버전, 검색 범위와 추론 과정을 보존하는 방법
- 서로 모순되는 실험 결과를 처리하는 방법
- Agent가 위험도가 높은 실험 제안을 할 수 있는 권한을 제한하는 방법
- 유효 단서 하나의 종합 비용을 계산하는 방법
- 연구자가 작업을 검토하고, 기각하며, 롤백할 수 있게 하는 방법
지식 밀도가 높고 검증 요구 수준이 엄격한 환경에서 시스템 확장성의 핵심은 ‘병렬 실행이 가능한가’가 아니라 ‘병렬 실행 이후 통제할 수 있는가’다.
편집자의 관점
이 사례가 중요한 이유는 Agent의 숫자가 인상적으로 크기 때문이다..research 작업을 병렬로 처리하고 추적하며 중단할 수 있는 작업으로 분해했다는 점이 더 중요하다. 모델은 국소적인 추론만 담당한다. 스케줄링 계층은 어떤 작업을 계속할지, 어떤 결과를 합칠지, 어떤 오류를 차단할지 결정한다. 약물 발견에서는 타당해 보이는 후보 하나가 수 주치 실험을 소비할 수 있으므로 처리량과 유효 산출물을 따로 계산해야 한다.
다중 Agent 시스템은 문헌 검색, 표적 선별과 실험 설계 초안 작성에서 먼저 활용 범위가 넓어질 가능성이 크다. 하지만 wet experiment 단계까지 진입할 수 있는 후보 수가 Agent 수와 같은 비율로 증가하지는 않을 것이다. 개별 모델의 고도화보다 스케줄러, 근거 그래프와 사람의 검토가 더 중요한 역할을 할 수 있다.
이는 기존 채팅 어시스턴트와 다르다. 채팅 어시스턴트는 보통 하나의 요청에 대해 답변하고, 코딩 Agent는 테스트를 통해 오류를 빠르게 드러낼 수 있다. 반면 의학 및 생물학 Agent의 검증 주기는 길고 오류 피드백은 느리며 비용도 높다. 과거에는 모델 파라미터와 benchmark를 중점적으로 살펴봤다면, 지금은 작업 적중률, 사람의 재검토 결과와 실험 주기를 함께 봐야 한다.
현재로서는 이 접근이 약물 발견에서 실제 어느 정도의 효율을 제공하는지는 아직 불확실하다. 원문에는 전체 작업 분해 방식, 중복 제거 규칙, 적중률 또는 wet experiment 검증 데이터가 모두 공개되지 않았다. 이러한 지표가 제시되기 전에는 ‘수천 개의 Agent를 실행했다’는 사실만으로 개발 효율의 향상을 단정할 수 없다.
출처
https://openai.com/index/scaling-ai-research-for-complex-biological-data/