Astra 讓 Agent 直接讀取並修改模型權重。它不必再透過提示詞繞彎抹模型行為,而是能依測試回饋逐步修正;本文也將檢視復現成本、搜尋代價與安全風險。
Astra 權重編輯實戰:Agent 繞過提示詞改模型
Astra 的做法很直接:讓系統不只生成文字,還能讀取並修改模型參數。
這不是替 Agent 多加一個 optimize_prompt(),而是徹底改變模型改進的介面。
原始研究文章:Weight-space programming。研究以 Qwen 為目標模型,透過修改權重改善模型能力或行為;原文同時提供程式碼與實作說明。
這則消息也登上 Hacker News 首頁,獲得 1252 分與 392 則留言。討論頁位於 Hacker News。
權重也能像 API 一樣呼叫
一般 LLM 應用的介面幾乎都围绕文字:輸入 prompt,輸出 completion。Agent 則在這個介面上建立循環,包含規劃、呼叫工具、讀取結果,以及產生下一個動作。
提示詞工程修改的是輸入;微調通常在訓練階段調整參數,並產出新的 checkpoint;工具呼叫不會改變模型本身,只是把外部能力接入系統。
Astra 提出的 weight-space programming 則多了一層:系統可以讀取模型權重,也能直接寫入權重。
可以把它理解成以下概念:
from astra import Agent
agent = Agent.from_pretrained("Qwen/Qwen2.5-Coder-1.5B")
result = agent.evaluate(
task="修復字串反轉函式",
tests=[
"assert reverse('abc') == 'cba'",
"assert reverse('') == ''",
],
)
print(result.metrics)
這段程式碼僅用於呈現介面概念,並非論文 API 的實際呼叫方式。Astra 值得研究之處,在於它把「修改權重」變成 Agent 可呼叫的動作,而不再侷限於研究人員手動編輯參數。
這一步會改變回饋閉環。
過去,Agent 發現自己反覆犯同一種錯誤時,只能把錯誤寫回 prompt、追加 memory,或累積訓練資料;等到下一輪微調,模型才可能真正改變。
在 Astra 的情境中,Agent 可以直接找出需要調整的權重,修改後立即重新評測。搜尋對象從「換一句提示詞」擴大到「模型參數本身」。
為什麼 Qwen 適合接受改造
Qwen 在這項研究中並非偶然的主角。它提供公開權重、社群使用廣泛,部署門檻也低。研究人員不必先取得閉源模型權限,就能驗證權重介入是否有效。
更實際的原因是,Qwen 已具備程式能力,而程式任務的結果容易自動驗收。
- 函式寫錯,測試便會失敗。
- 效能退化,benchmark 就會下降。
- 格式不正確,parser 就會回報錯誤。
這能為 Agent 提供明確回饋。對權重搜尋而言,回饋訊號越接近二元判定,就越容易據此選擇下一步。
原文也附上實作程式碼。可執行的核心流程大致包含四個步驟:
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "Qwen/Qwen2.5-Coder-1.5B"
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype="auto",
device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_id)
prompt = "Write a Python function that reverses a string."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=128,
do_sample=False,
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
這段程式碼使用 Hugging Face Transformers 直接載入 Qwen,並未涉及 Astra 的權重編輯實作。它能跑通模型推理部分,但要完整復現研究,仍需要儲存庫中的編輯演算法、評測腳本及相依套件版本。
不過,這裡有必要先泼一盆冷水。
「公開程式碼」不等於「按一下就能復現」。權重編輯牽涉模型版本、參數索引、編輯強度與評測資料;任何一項不一致,結果都可能明顯偏移。實際驗證時,我會先確認三件事:
- 固定 Qwen 的精確版本與 tokenizer。
- 固定隨機種子,並回報多次執行結果。
- 確認編輯後的權重能否透過原始模型介面載入。
如果研究只展示幾段生成範例,卻沒有任務集、基線與消融實驗,結論就必須打折。反過來,如果它確實將權重編輯接入自動評測閉環,即使單項能力提升有限,方法本身仍具有價值。
與提示詞、微調及工具呼叫的差異
這三種方法經常被混為一談,但它們修改的對象完全不同。
| 方式 | 修改對象 | 執行粒度 | 典型代價 |
|---|---|---|---|
| 提示詞 | 輸入文字 | 每次推理 | 很低,主要消耗 context 長度 |
| 微調 | 訓練參數並產出新權重 | 訓練批次或任務集 | 中至高,需要資料與訓練資源 |
| 工具呼叫 | 外部程式與工具描述 | 單次動作 | 中,取決於工具延遲與可靠性 |
| Astra 權重編輯 | 現有模型中的部分參數 | 權重級編輯 | 中至高,編輯、驗證與 rollback 成本較高 |
提示詞的優勢是快速。Agent 發現任務失敗後,可以立即修改 prompt 再跑一次;缺點也很明顯:模型底層的錯誤傾向沒有消失,只是被 context 暫時壓住。context 越長,指令衝突也可能越嚴重。
微調較為徹底。資料充足時,模型的行為模式會改變,但通常需要任務資料與訓練資源,還得處理災難性遺忘及版本管理。
工具呼叫是三者中最實用的一種。模型不必「學會」使用計算器,也不會假裝自己執行了程式碼;它把能力放在模型外部,代價是工具本身必須可靠,介面也必須明確。
權重編輯並不是微調的簡單替代品。
它更像是執行期的模型修補:修改部分參數,不必重新訓練整個模型,再透過任務評測決定保留或 rollback。
但它也帶來新的失敗風險。編輯強度過大會破壞原有能力,過小又看不出效果;一次錯誤編輯還可能污染後續所有推理。
因此,權重編輯更適合具備自動驗收器的任務,例如程式生成、結構化輸出及受約束的規劃任務;對語意模糊、獎勵難以定義的開放式任務則不太適合。
Agent 自我改進的新入口
將權重編輯接入 Agent 循環後,會自然形成一套架構:
from dataclasses import dataclass
@dataclass
class Trial:
patch: object
score: float
def improve(agent, evaluator, candidates):
trials = []
for patch in candidates:
candidate = agent.with_weight_patch(patch)
score = evaluator(candidate)
trials.append(Trial(patch=patch, score=score))
trials.sort(key=lambda item: item.score, reverse=True)
best = trials[0]
if best.score <= agent.baseline_score:
return agent
return agent.apply_weight_patch(best.patch)
這段流程同樣是研究概念的簡化版本,而非論文儲存庫的 API。它呈現了關鍵結構:產生候選方案、編輯權重、執行評測、比較結果,以及保留最佳 patch。
這與傳統 Agent 框架中的 ReAct 循環不同。ReAct 通常在「思考—行動—觀察」之間循環,模型參數維持不變;Astra 則把候選動作擴展到權重本身。
它也與持續學習有所交集。
持續學習關注模型如何跨任務、跨時間保留經驗;Astra 的權重搜尋更像是針對當前任務進行局部更新。兩者共享同一個問題:如何判斷新參數值得保留,同時又不破壞舊能力。
模型壓縮則是另一個方向。壓縮通常追求更少參數與更低推理成本;權重編輯則希望在盡量少改動的前提下改變行為。兩者都需處理參數冗餘,但目標函式不同。
如果將 Astra 與 MCTS、演化搜尋或 test-time computation 結合,權重空間將成為更大的搜尋空間;代價是搜尋成本會快速上升。
提示詞空間通常只有數十或數百個 token 候選,參數搜尋則可能涉及數百萬甚至更多維度。Agent 需要的不是更長的思維鏈,而是更強的 patch 產生器、更好的評測器,以及可靠的 rollback 機制。
風險比能力更早出現
當權重可被寫入,風險也會隨之升級。
第一項是安全對齊。
Prompt injection 試圖讓模型忽略規則;權重修改則可能直接削弱模型在參數中的拒絕行為。安全策略不能再假定系統只有文字入口。
第二項是錯誤傳播。
假設 Agent 根據錯誤回饋修改權重,模型之後可能更有信心地產生錯誤答案。如果評測器只檢查生成品質,而不檢查副作用,壞掉的 patch 就會進入下一輪。
第三項是評測污染。
Agent 可以直接修改負責評測的模型,或讓權重編輯過度擬合公開測試。如此得到的分數,未必能代表真實任務能力。
一套基本防護方案,是將權重編輯器、候選產生器與最終評測器隔離開來:
- 候選 patch 不得存取參考答案。
- 評測應使用保留測試集。
- 每次修改都要保留基線模型與完整 checkpoint。
- 先執行安全回歸測試,再進行能力測試。
- 一旦出現退化,就自動 rollback。
若採更嚴格的措施,還需要簽署權重、限制可編輯參數,並記錄每次變更。模型權重正從靜態資產轉變為可變程式碼,版本控制也應納入訓練管線。
能力提升不等於可靠性提升。能修改自身權重的 Agent,若同時擁有寫入權限、工具權限與敏感資源存取權,風險就不會只停留在實驗室裡。
編輯思考
Astra 最重要的價值,可能不是「Qwen 被強化了多少」,而是將模型參數暴露成 Agent 可呼叫的程式物件。過去,Agent 的主要改進入口是 prompt、memory 與 tool;現在,權重本身也進入了 action space。這項變化值得重視,因為它讓 Agent 能以自動測試直接修正行為,不必再靠語言描述間接推測模型出了什麼問題。
不過,它與通用的自我改進仍有距離。目前的搜尋空間仍由人預先設計,評測器也仰賴可驗證任務。整套系統比較像會修改參數的 optimizer,而不是能自主成長的工程師。我預測最先落地的會是程式 Agent,因為編譯錯誤、單元測試與格式檢查都能直接提供回饋。
這次與過去的 prompt agent、few-shot 範例學習不同,改進從 context 層下沉到參數層。具體邊界仍不清楚:局部編輯是否會累積並造成破壞,評測器能否避免遭到最佳化,以及安全對齊能否跟上權重寫入速度,都是目前公開資料無法完全回答的問題。