사례 제목보다 연구 워크플로부터 살펴볼 것
연구는 질문을 입력해 답을 받는 과정으로 끝나지 않는다.
재현 가능한 연구 프로젝트는 최소한 다음 단계를 거친다.
- 논문, 학회 초록, 실험 기록을 읽는다.
- 기존 증거를 정리하고 연구 공백을 찾는다.
- 반증 가능한 가설을 제시한다.
- 변수, 대조군, 평가 지표를 정의해 실험을 설계한다.
- 코드를 작성해 데이터를 처리하고 그래프를 생성한다.
- 결과가 가설을 지지하는지 판단한다.
- 실패를 기록하고 방법을 수정한 뒤 다음 실험으로 넘어간다.
Claude가 가장 쉽게 들어갈 수 있는 영역은 1, 4, 5단계다. 3단계를 돕는 것도 가능하지만, 6단계에서는 그럴듯한 오해가 발생하기 쉽다.
자료 처리는 대표적인 저위험 진입점이다. Claude는 긴 논문을 구조화된 메모로 압축하거나, 미리 정의한 필드에 따라 표본, 방법, 지표, 제한 조건을 추출할 수 있다. 다만 출력이 원문과 대조해 검증할 수 있어야 한다.
가설 생성은 제약이 있는 브레인스토밍에 가깝다. 모델은 여러 후보 메커니즘을 제시할 수 있고, 연구자는 측정 가능성, 데이터 확보 가능성, 실험 비용에 따라 우선순위를 정한다. 사람과 AI의 경계는 명확하다. Claude는 탐색 범위를 넓히고, 과학자는 비용을 들여 검증할 가치가 있는 방향을 선택한다.
코드와 데이터 분석은 연구 과정의 중간에 해당한다. 일괄 데이터 정제, 테스트 추가, 통계 스크립트 작성, 초기 그래프 생성처럼 검사 가능한 하위 작업에 적합하다. 그러나 분석 목표에 도메인 판단이 필요하다면 모델의 출력을 곧바로 결론으로 삼을 수 없다.
먼저 작업을 두 유형으로 나눈다.
- 실행형: 형식 변환, 데이터 정제, 스크립트 개편, 그래프 생성.
- 판단형: 이상 징후 해석, 인과 모델 선택, 가설 성립 여부 결정.
전자는 Claude에 맡겨 속도를 높이는 데 적합하다. 후자는 반드시 사람의 검토를 남겨야 한다.
AI Agent는 과학자를 대체하지 않는다
Claude를 ‘AI 과학자’라고 부르면 실제 협업 방식이 가려질 수 있다.
이러한 워크플로에서 Agent는 실행 능력을 갖춘 조수에 더 가깝다. 문맥을 읽고, 도구를 호출하고, 중간 산출물을 만든 다음, 결과를 연구팀에 반환한다. 여러 단계를 연속으로 수행할 수 있지만 잘못된 결론에 대한 책임까지 지지는 않는다.
대조 실험 설계, 결과 해석, 책임 배분은 바로 그 경계를 보여 준다.
대조 실험 설계
Claude는 무작위 배정, ablation 실험, 민감도 분석方案的 아이디어를 제안하고 데이터 필드를 바탕으로 분석 코드를 생성할 수 있다.
하지만 대조군의 공정성을 보장할 수는 없다. 표본의 대표성, 교란 인자의 통제 여부, 중단 기준의 타당성은 여전히 도메인의 문제다.
실용적인 방법은 모델이 실험의 유효성을 선언하게 하는 대신 ‘체크리스트’만 생성하도록 하는 것이다.
from dataclasses import dataclass
@dataclass
class ExperimentChecklist:
hypothesis: str
treatment: str
control: str
outcome_metric: str
confounds: list[str]
exclusion_rule: str
def render_checklist(item: ExperimentChecklist) -> str:
status = "PASS" if item.control and item.outcome_metric else "REVIEW"
return "\n".join([
f"[{status}] {item.hypothesis}",
f"- treatment: {item.treatment}",
f"- control: {item.control}",
f"- metric: {item.outcome_metric}",
f"- confounds: {', '.join(item.confounds) or 'not recorded'}",
f"- exclusion rule: {item.exclusion_rule}",
])
checklist = ExperimentChecklist(
hypothesis="A changes B under condition C",
treatment="A",
control="baseline without A",
outcome_metric="change in B",
confounds=["baseline difference", "time window"],
exclusion_rule="pre-registered invalid runs",
)
print(render_checklist(checklist))
이 코드는 실험 설계를 대체하지 않는다. 반드시 명확히 밝혀야 할 항목을 고정해, 모델이 보기 좋은 문구로 누락된 부분을 감추지 못하게 할 뿐이다.
결과 해석
통계적 유의성은 과학적 의미와 같지 않다. 상관관계가 선택 편향에서 비롯될 수도 있고, 데이터셋을 정제하는 방식에 따라 결론이 달라질 수도 있다.
Claude는 p-value, 신뢰구간, 모델 잔차를 설명할 수 있다. 하지만 가장 위험한 작업은 그래프에서 곧바로 완결된 서사를 만들어 내리는 것이다. 이런 답변은 대개 매끄럽지만 탐색적 발견과 확증적 증거를 구분하지 못할 수 있다.
책임 귀속
논문 저자 표기, 데이터 규정 준수, 오류 정정은 모델에 넘길 수 없다. Claude는 독립적으로 실험을 수행할 능력이 없고 연구팀의 책임도 질 수 없다.
따라서 Agent의 합리적인 위치는 ‘발견자’가 아니라 ‘실행 능력을 확장하는 협업자’다. 반복 업무를 줄여 연구자가 실험 선택과 인과 판단에 집중할 시간을 확보하게 한다.
가장 재사용하기 좋은 것은 코드链路
하나만 Practical하게 적용한다면 코드를 선택한다.
이유는 코드가 멋진 Demo를 만들기 쉬워서가 아니라, 문법과 테스트와 실행 결과가 있기 때문이다.
자료 추출이 잘못되면 독자는 인용을 대조할 때 비로소 알아챌 수 있다. 반대로 코드가 잘못된 경우에는 일반적으로 테스트, static analysis, sample data를 먼저 거칠 수 있다.
comparatively 안전한链路는 다음과 같다.
- Claude가 프로젝트 설명과 기존 스크립트를 읽는다.
- 변수 이름 변경, 타입 오류 수정, 테스트 추가처럼 명확한 한 가지 작업만 수정한다.
- 컨테이너에서 테스트를 실행한다.
- 사람이 diff를 직접 확인한다.
- 실행 로그를 남긴 채 실험 브랜치에 병합한다.
Anthropic의 공식 사례는 코드 및 데이터 분석 단계를 강조한다. 이 단계는 Claude가 검증 불가능한 문자열 권고만 내놓는 대신 자연어의 의도를 실행 가능한 변경으로 전환할 수 있어 적합하다.
하지만 코드链路에도 흔한 오해가 두 가지 있다.
첫째, ‘실행된다’는 것을 ‘분석이 정확하다’고 보는 것이다. 스크립트에 오류가 없다는 것은 프로그램 경로가 성립한다는 뜻일 뿐, 통계 방법이 문제에 적합함을 증명하지는 않는다.
둘째, 모델이 엄밀해 보이는 분석을 작성하지만 설명할 수 없는 문제를 만들 수 있다는 것이다. 복잡한 정규식, 암묵적인 타입 변환, 잘못된 시간 정렬이 조용히 결과를 바꿀 수 있다.
모든 분석에서 최소한 세 가지는 보존한다. 원본 데이터 요약, 처리 스크립트 버전, 출력 통계표다. 그래프는 표현 계층일 뿐 증거 자체가 아니다.
다음은 외부 서비스에 의존하지 않고 바로 실행할 수 있는 최소 데이터 정제 예시다.
import pandas as pd
df = pd.DataFrame({
"sample_id": ["s1", "s2", "s2", "s3"],
"value": [1.2, 2.3, 2.3, None],
"group": ["a", "b", "b", "a"],
})
clean = (
df.drop_duplicates(subset=["sample_id"], keep="first")
.dropna(subset=["value"])
.sort_values("sample_id")
.reset_index(drop=True)
)
print(clean.to_string(index=False))
print(clean.groupby("group")["value"].mean())
진정으로 재사용할 가치는 이 고정된 코드가 아니라 ‘스크립트 생성—실행—입력 출력 검사—diff 보존’이라는链路에 있다. 다른 데이터로 바꿔도 Claude가 구현을 수정할 수는 있지만 검증 규칙은 생략할 수 없다.
공식 사례에는 정량적 기준이 없다
Anthropic의 자료는 공식 연구 팀이 작성한 제품 워크플로 사례이며 독립적인 제3자 평가가 아니다. 참고 가치는 여전히 있지만 결론의 강도는 그 성격에 따라 제한된다.
현재 공개된 요약에는 다음 정보가 없다.
- 표본 규모
- 대조군
- 완료 시간
- benchmark 지표
- Claude 사용 전후의 효율성 차이
- 오류율과 재작업 비용
따라서 Claude가 연구 효율을 전반적으로 얼마나 높였는지 판단할 수는 없다.
HN 페이지의 28개 upvote와 3개의 댓글은 관심도를 보여 줄 뿐이다. 댓글 수가 적다는 점을 사용자 피드백 분포나 동료评审 의견으로 해석할 수도 없다.
공식 사례의 가장 가능성 높은 목적은 ‘사용 가능한 워크플로’를 보여 주는 것이지 ‘연구 성능에서 우위를 입증’하는 것이 아니다. 이런 글을 읽을 때는 먼저 네 가지 숫자를 찾는다. 시간은 얼마나 절약됐는지, 몇 가지 작업을 다뤘는지, 오류는 얼마나 늘었는지, 검토에는 얼마나 걸렸는지다.
이 네 가지 숫자가 없다면 사례에서顺利했던 과정을 모든 연구실로 외Extrapolate해서는 안 된다.
데모에서 일상적인 연구로 나아가는 방법
팀이 이를 도입할 때 가장 쉽게 빠지는 것은 과정 기록이다. 마지막에는 논문, 그래프, 결론만 남고 Claude가 무엇을 수정했는지, 어떤 결과가 사람의 판단에서 나왔는지는 Nobody knows.
중요한 호출마다 다음 항목을 보존하는 것이 좋다.
- 입력 데이터와 출처
- 사용한 prompt
- 모델 이름과 버전
- Claude의 원본 출력
- 사람의 수정 기록
- 최종 코드 diff
- 테스트 및 분석 로그
- 출력을 채택하거나 거부한 이유
간단한 JSONL로 각 호출을 기록할 수 있다.
import json
from datetime import datetime, timezone
record = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"model": "record-the-deployed-model-version-here",
"task": "generate-cleaning-script",
"prompt": "Remove duplicate sample_id rows and report missing values.",
"output": "generated script output",
"human_review": {
"reviewed": True,
"changes": "Added an explicit missing-value report",
"approved": False,
},
}
with open("claude_research_log.jsonl", "a", encoding="utf-8") as f:
f.write(json.dumps(record, ensure_ascii=False) + "\n")
예제의 model 값은 실제 배포 버전으로 바꿔야 한다. 확인되지 않은 버전 번호를 로그에 남기면 안 된다. 모델을 업그레이드한 뒤에도 이전 결과를 추적할 수 있어야 한다.
또한 prompt를 채팅 창이 아니라 연구 작업별로 관리한다. 대표적인 작업에는 논문 필드 추출, 데이터 사전 생성, 통계 코드 해석, 그래프 명세 검사가 있다. 각 작업 유형마다 고정된 입력 형식, 인수 기준, 실패 예시를 지정한다.
목표는 Claude가 자율적으로 연구하게 하는 것이 아니라 그 참여 범위를 관찰하고 재현하며 되돌릴 수 있게 하는 것이다.
편집자의 생각
이 공식 사례에서真正하게 중요한 점은 Anthropic이 또 몇 가지 연구 이야기를 수집했다는 사실이 아니라, AI Agent의 진입 지점을 분해 가능한 연구 흐름 안에 놓았다는 데 있다. 자료 추출, 코드 실행, 후보 가설 생성에는 명확한 입력과 중간 산출물이 있다. 반면 실험 설계, 인과 해석, 책임 귀속은 여전히 사람이 담당한다. 이는 범용 채팅 데모와 다르다. 평가 단위가 ‘답변이 전문가처럼 보이는가’에서 ‘과정을 검토할 수 있는가, 결과를 재현할 수 있는가’로 바뀐 것이다.
연구 Agent는 코드와 데이터链路에서 먼저 안정적인 가치를 만들 가능성이 크다. 테스트와 로그가 자연스러운 인수 기준을 제공하기 때문이다. 가설 생성은 더 빨리 상품화될 수 있지만 정확도를 단독으로 입증하기는 어렵다. 공식 사례에는 표본 규모, benchmark, 효율성 향상 데이터가 없으므로 워크플로를 제시할 수는 있어도 일반적인 이득을 증명하지는 못한다. 이후 독립적인 제3자 연구가 나오더라도 가장 볼 만한 지표는 모델 점수보다 재작업률, 검토 비용, 실패한 작업의 비율이다.