Astra는 Agent가 모델 가중치를 직접 읽고 수정하도록 합니다. 프롬프트를 우회해 테스트 피드백을 바탕으로 모델의 동작을 교정할 수 있으며, 이를 위해서는 재현 비용과 탐색 비용, 안전성 위험까지 함께 검토해야 합니다.
Astra 가중치 편집 실전: Agent가 프롬프트를 넘어 모델을 수정하다
Astra의 접근 방식은 단순합니다. 시스템이 텍스트를 생성하는 데서 그치지 않고 모델 파라미터를 읽고 수정할 수 있게 하는 것입니다.
이는 Agent에 optimize_prompt()를 하나 추가하는 수준이 아닙니다. 개선 인터페이스 자체가 달라집니다.
원 논문: Weight-space programming. 이 연구는 Qwen을 대상 모델로 삼아 가중치를 수정해 모델의 능력과 동작을 개선했습니다.原文에는 코드와 구현 설명도 함께 제공됩니다.
이 소식은 Hacker News 메인 페이지에도 올라 1252점과 392개의 댓글을 받았습니다. 토론은 Hacker News에서 확인할 수 있습니다.
가중치도 API처럼 호출할 수 있다
일반적인 LLM 애플리케이션의 인터페이스는 대부분 텍스트 기반입니다. prompt를 입력하면 completion이 출력되며, Agent는 이 인터페이스를 중심으로 계획을 세우고, 도구를 호출하고, 결과를 읽은 뒤 다음 행동을 정합니다.
Prompt engineering은 입력을 바꿉니다. Fine-tuning은 일반적으로 학습 단계에서 파라미터를 수정해 새로운 checkpoint를 만듭니다. 도구 호출은 모델 자체를 바꾸지 않고 외부 능력을 연결할 뿐입니다.
Astra가 제안한 weight-space programming에는 한 단계가 더 있습니다. 시스템은 모델 가중치를 읽을 수도 있고 가중치에 직접 값을 쓸 수도 있습니다.
다음 예시는 이러한 개념을 보여 줍니다.
from astra import Agent
agent = Agent.from_pretrained("Qwen/Qwen2.5-Coder-1.5B")
result = agent.evaluate(
task="修复字符串反转函数",
tests=[
"assert reverse('abc') == 'cba'",
"assert reverse('') == ''",
],
)
print(result.metrics)
이 코드는 인터페이스 개요일 뿐 논문의 API를 그대로 호출한 예시는 아닙니다. Astra의 핵심 가치는 가중치 수정을 연구자가 직접 편집하는 행위에서 Agent가 호출할 수 있는 동작으로 바꿨다는 점입니다.
이 단계에서 피드백 루프도 달라집니다.
예전에는 Agent가 같은 실수를 반복할 때마다 오류를 prompt에 기록하거나 memory를 추가하거나 학습 데이터를 축적했습니다. 다음 fine-tuning이 진행되어야 모델이 실제로 바뀔 가능성이 있었습니다.
Astra 환경에서는 Agent가 조정해야 할 가중치를 직접 찾아 수정하고 곧바로 다시 평가할 수 있습니다. 탐색 대상은 ‘prompt 문장을 바꾸는 것’에서 ‘모델 파라미터 자체’로 확장됩니다.
Qwen이 개조 대상에 적합한 이유
Qwen이 여기서 무작정 주역이 된 것은 아닙니다. 공개 가중치를 제공하고 커뮤니티 활용 범위가 넓으며 배포 장벽도 낮기 때문입니다. 연구자는 우선 폐쇄형 모델 접근 권한을 확보하지 않고도 가중치 개입이 효과적인지 검증할 수 있습니다.
더 현실적인 이유는 Qwen이 이미 코드 능력을 갖췄다는 점입니다. 코딩 작업 결과는 자동验收하기 쉽습니다.
- 함수 구현이 잘못되면 테스트가 실패합니다.
- 성능이 저하되면 benchmark 점수가 내려갑니다.
- 형식이 맞지 않으면 parser가 오류를 보고합니다.
이런 결과는 Agent에게 명확한 피드백을 제공합니다. 가중치 탐색에서는 피드백 신호가 이진 판정에 가까울수록 선택하기 쉬워집니다.
원문에는 구현 코드도 포함되어 있습니다. 실행 가능한 핵심 흐름은 대체로 다음 네 단계로 구성됩니다.
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Qwen/Qwen2.5-Coder-1.5B"
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype="auto",
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
prompt = "Write a Python function that reverses a string."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=128,
do_sample=False,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
이 코드는 Hugging Face Transformers를 통해 Qwen을 직접 불러오며 Astra의 가중치 편집 구현은 포함하지 않습니다. 모델 추론 부분은 실행할 수 있지만, 전체 연구를 재현하려면 저장소에 있는 편집 알고리즘, 평가 스크립트, 의존성 버전이 필요합니다.
여기서期望을 조금 낮춰야 합니다.
‘공개 코드’가 ‘한 번 실행하면 바로 재현된다’는 뜻은 아닙니다. 가중치 편집에는 모델 버전, 파라미터 인덱스, 편집 강도, 평가 데이터가 모두 관여합니다. 하나라도 맞지 않으면 결과가 눈에 띄게 달라질 수 있습니다. 검증할 때는 우선 다음 세 가지를 확인합니다.
- Qwen의 정확한 버전과 tokenizer를 고정합니다.
- random seed를 고정하고 여러 번 실행한 결과를 보고합니다.
- 편집한 가중치가 기존 모델 인터페이스를 통해 정상적으로 로드되는지 확인합니다.
연구가 생성 예시 몇 개만 보여 주고 작업 집합, baseline, ablation experiment가 없다면 결론은 신중하게 받아들여야 합니다. 반대로 가중치 편집을 자동 평가 루프에 실제로 연결했다면 개별 능력 향상이 크지 않더라도 방법론적 가치는 성립합니다.
Prompt, fine-tuning, 도구 호출과의 비교
세 방식은 자주 함께 언급되지만 수정하는 대상이 서로 다릅니다.
| 방식 | 수정 대상 | 실행 단위 | 일반적인 비용 |
|---|---|---|---|
| Prompt | 입력 텍스트 | 추론마다 | 매우 낮음, 주로 context length 소모 |
| Fine-tuning | 학습 파라미터, 새 가중치 생성 | 학습 batch 또는 작업 집합 | 중간~높음, 데이터와 학습 자원 필요 |
| 도구 호출 | 외부 프로그램과 도구 설명 | 개별 행동 | 중간, 도구 지연과 신뢰성에 따라 달라짐 |
| Astra 가중치 편집 | 기존 모델의 일부 파라미터 | 가중치 단위 편집 | 중간~높음, 편집·검증·rollback 비용이 더 큼 |
Prompt의 장점은 빠른 것입니다. Agent가 작업 실패를 발견하면 prompt를 바로 고쳐 다시 실행할 수 있습니다. 단점도 뚜렷합니다. 모델 내부의 오류 성향 자체가 사라진 것은 아니고 context로 눌러 둘 뿐입니다. context가 길어질수록 지시 충돌이 심해질 수도 있습니다.
Fine-tuning은 더彻底적입니다. 데이터가 충분하면 모델의 동작 패턴 자체가 바뀝니다. 다만 일반적으로 작업 데이터와 학습 자원이 필요하고, catastrophic forgetting과 버전 관리도 처리해야 합니다.
도구 호출은 세 방식 중 가장 실용적입니다. 모델이 계산기를 ‘배울’ 필요도, 자신이 코드를 실행했다고 가장하지 않아도 됩니다. 능력을 모델 외부에 두기 때문에 도구와 인터페이스가 안정적이고 명확해야 합니다.
가중치 편집은 fine-tuning의 단순한 대체재가 아닙니다.
更像运行时的模型修补에 가깝습니다. 일부 파라미터만 수정해 전체 모델을 다시 학습할 필요가 없고, 이후 작업 평가로 변경 사항을 유지할지 rollback할지 결정합니다.
하지만 새로운 실패 가능성도 생깁니다. 편집 강도가 너무 크면 기존 능력을 손상시키고, 너무 작으면 효과를 확인하기 어렵습니다. 잘못된 한 번의 편집이 이후 모든 추론에 영향을 줄 수도 있습니다.
따라서 가중치 편집은 자동验收기가 있는 작업에 더 적합합니다. 코드 생성, 구조화된 출력, 제약이 명확한 계획 수립 등이 그 사례입니다. 의미가 모호하고 보상을 정의하기 어려운 열린형 작업에는 적합하지 않습니다.
Agent 자기 개선을 위한 새로운 접점
가중치 편집을 Agent 루프에 연결하면 다음과 같은 구조가 자연스럽게 만들어집니다.
from dataclasses import dataclass
@dataclass
class Trial:
patch: object
score: float
def improve(agent, evaluator, candidates):
trials = []
for patch in candidates:
candidate = agent.with_weight_patch(patch)
score = evaluator(candidate)
trials.append(Trial(patch=patch, score=score))
trials.sort(key=lambda item: item.score, reverse=True)
best = trials[0]
if best.score <= agent.baseline_score:
return agent
return agent.apply_weight_patch(best.patch)
이 흐름 역시 연구 아이디어를 단순화한 것으로 논문 저장소의 API를 그대로 사용한 예시는 아닙니다. 후보 생성, 가중치 편집, 평가 실행, 결과 비교, 최적 패치 유지라는 핵심 구조를 보여 줍니다.
전통적인 Agent framework의 ReAct 루프와는 다릅니다. ReAct는 보통 ‘사고-행동-관찰’ 사이를 반복하며 모델 파라미터는 그대로 유지됩니다. Astra는 후보 행동의 범위를 가중치 자체까지 확장합니다.
지속 학습과도 접점이 있습니다.
지속 학습은 모델이 여러 작업과 시간을 거치며 경험을 유지하는 데 초점을 둡니다. Astra의 가중치 탐색은 현재 작업에 국한된 국소 업데이트에 더 가깝습니다. 둘이 공유하는 문제는 새 파라미터가 기존 능력을 훼손하지 않으면서 유지할 가치가 있는지 판단하는 일입니다.
모델 압축은 또 다른 방향입니다. 압축은 보통 파라미터 수와 추론 비용을 줄이는 데 초점을 두고, 가중치 편집은 가능한 한 적은 변경으로 동작을 바꾸는 것을 지향합니다. 둘 다 파라미터 중복을 다루지만 목적 함수는 다릅니다.
Astra를 MCTS, 진화 탐색 또는 test-time computation과 결합하면 가중치 공간이 훨씬 넓은 탐색 영역이 됩니다. 대신 탐색 비용이 빠르게 증가합니다.
Prompt 공간에는 보통 수십 또는 수백 개의 token 후보만 존재합니다. 파라미터 탐색은 수백만 차원에 이르는 경우도 있습니다. Agent에 더 긴 chain of thought가 필요한 것이 아니라 더 강력한 patch 생성과기, 더 나은 evaluator, 신뢰할 수 있는 rollback mechanism이 필요합니다.
능력보다 먼저 나타나는 위험
가중치에 쓸 수 있다면 위험도 함께 높아집니다.
첫째는 안전 정렬입니다.
Prompt injection은 모델이 규칙을 무시하도록 유도합니다. 가중치 수정은 거부 행동을 파라미터에서 직접 약화할 수도 있습니다. 안전 정책은 시스템에 텍스트 입력 경로만 있다는 더 이상 가정할 수 없습니다.
둘째는 오류 전파입니다.
Agent가 잘못된 피드백을 근거로 가중치를 수정하면 이후 모델이 더 확신 있게 틀린 답을 생성할 수 있습니다. Evaluator가 생성 품질만 확인하고 부작용을 검사하지 않으면 잘못된 패치가 다음 단계로 넘어갑니다.
셋째는 평가 오염입니다.
Agent는 평가 자체를 담당하는 모델을 직접 수정하거나 가중치 편집이 공개 테스트에 과적합하도록 만들 수 있습니다. 이렇게 얻은 점수가 실제 작업 능력을 나타낸다고 단정할 수는 없습니다.
기본적인 방어方案은 가중치 editor, 후보 생성기, 최종 evaluator를 분리하는 것입니다.
- 후보 패치는 정답 데이터에 접근할 수 없습니다.
- 평가에는 hold-out test set을 사용합니다.
- 모든 수정에서 baseline 모델과 전체 checkpoint를 보관합니다.
- 능력 테스트보다 먼저 안전 regression test를 실행합니다.
- 성능이 저하되면 자동으로 rollback합니다.
더 엄격하게 운영하려면 가중치 서명, 편집 가능 파라미터 제한, 모든 변경 기록이 필요합니다. 모델 가중치가 정적 자산에서 변경 가능한 코드로 바뀌는 만큼 버전 관리도 학습 파이프라인에 포함해야 합니다.
능력 향상은 안정성 향상과 같지 않습니다. 자기 가중치를 수정할 수 있는 Agent가 쓰기 권한, 도구 권한, 민감한 자원 접근 권한까지 함께 가진다면 위험은 실험실을 넘어갑니다.
편집 사고
Astra의 가장 중요한 가치는 ‘Qwen의 성능이 얼마나 좋아졌는가’보다 모델 파라미터를 Agent가 호출할 수 있는 프로그래밍 객체로 노출했다는 데 있을 수 있습니다. 과거 Agent의 주요 수정 접점은 prompt, memory, tool이었지만 이제 가중치 자체도 action space에 들어왔습니다. 이 변화는 중요합니다. Agent가 언어로 모델의 문제를 간접적으로 추측하는 대신 자동 테스트를 통해 동작을 직접 교정할 수 있게 됐기 때문입니다.
다만 범용적인 자기 개선과는 여전히 거리가 있습니다. 현재 탐색 공간은 사람이 사전에 설계하며 evaluator도 검증 가능한 작업에 의존합니다. 이 시스템은 스스로 성장하는 engineer라기보다 파라미터를 수정하는 optimizer에 가깝습니다. 코드 Agent가 가장 먼저 실용화될 것으로 보입니다. 컴파일 오류, unit test, 형식 검사가 직접적인 피드백을 제공하기 때문입니다.
이번 방식은 과거의 prompt agent나 few-shot 예시 학습과 달리 개선이 context 층에서 parameter 층으로 내려온 것입니다. 구체적인 경계는 아직 불분명합니다. 국소 편집이 누적되어 모델을 손상시키는지, evaluator가 최적화되는 것을 피할 수 있는지, 안전 정렬이 쓰기 속도를 따라갈 수 있는지는 현재 공개된 자료만으로 완전히 답할 수 없습니다.