產品

Astra 權重編輯實戰:讓 Agent 直接修改模型參數

Astra 將 Qwen 的模型權重轉換為 Agent 可讀寫的程式物件,讓系統能依測試回饋直接修正模型行為。本文解析其實作方式、復現門檻,並比較權重編輯與提示詞、微調及工具調用的差異。

字級

Astra 讓 Agent 直接讀取並修改模型權重。它不必再透過提示詞繞彎抹模型行為,而是能依測試回饋逐步修正;本文也將檢視復現成本、搜尋代價與安全風險。

Astra 權重編輯實戰:Agent 繞過提示詞改模型

Astra 的做法很直接:讓系統不只生成文字,還能讀取並修改模型參數。

這不是替 Agent 多加一個 optimize_prompt(),而是徹底改變模型改進的介面。

原始研究文章:Weight-space programming。研究以 Qwen 為目標模型,透過修改權重改善模型能力或行為;原文同時提供程式碼與實作說明。

這則消息也登上 Hacker News 首頁,獲得 1252 分與 392 則留言。討論頁位於 Hacker News。

權重也能像 API 一樣呼叫

一般 LLM 應用的介面幾乎都围绕文字:輸入 prompt,輸出 completion。Agent 則在這個介面上建立循環,包含規劃、呼叫工具、讀取結果,以及產生下一個動作。

提示詞工程修改的是輸入;微調通常在訓練階段調整參數,並產出新的 checkpoint;工具呼叫不會改變模型本身,只是把外部能力接入系統。

Astra 提出的 weight-space programming 則多了一層:系統可以讀取模型權重,也能直接寫入權重。

可以把它理解成以下概念:

from astra import Agent

agent = Agent.from_pretrained("Qwen/Qwen2.5-Coder-1.5B")
result = agent.evaluate(
    task="修復字串反轉函式",
    tests=[
        "assert reverse('abc') == 'cba'",
        "assert reverse('') == ''",
    ],
)

print(result.metrics)

這段程式碼僅用於呈現介面概念,並非論文 API 的實際呼叫方式。Astra 值得研究之處,在於它把「修改權重」變成 Agent 可呼叫的動作,而不再侷限於研究人員手動編輯參數。

這一步會改變回饋閉環。

過去,Agent 發現自己反覆犯同一種錯誤時,只能把錯誤寫回 prompt、追加 memory,或累積訓練資料;等到下一輪微調,模型才可能真正改變。

在 Astra 的情境中,Agent 可以直接找出需要調整的權重,修改後立即重新評測。搜尋對象從「換一句提示詞」擴大到「模型參數本身」。

為什麼 Qwen 適合接受改造

Qwen 在這項研究中並非偶然的主角。它提供公開權重、社群使用廣泛,部署門檻也低。研究人員不必先取得閉源模型權限,就能驗證權重介入是否有效。

更實際的原因是,Qwen 已具備程式能力,而程式任務的結果容易自動驗收。

  • 函式寫錯,測試便會失敗。
  • 效能退化,benchmark 就會下降。
  • 格式不正確,parser 就會回報錯誤。

這能為 Agent 提供明確回饋。對權重搜尋而言,回饋訊號越接近二元判定,就越容易據此選擇下一步。

原文也附上實作程式碼。可執行的核心流程大致包含四個步驟:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Qwen/Qwen2.5-Coder-1.5B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

prompt = "Write a Python function that reverses a string."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=128,
    do_sample=False,
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

這段程式碼使用 Hugging Face Transformers 直接載入 Qwen,並未涉及 Astra 的權重編輯實作。它能跑通模型推理部分,但要完整復現研究,仍需要儲存庫中的編輯演算法、評測腳本及相依套件版本。

不過,這裡有必要先泼一盆冷水。

「公開程式碼」不等於「按一下就能復現」。權重編輯牽涉模型版本、參數索引、編輯強度與評測資料;任何一項不一致,結果都可能明顯偏移。實際驗證時,我會先確認三件事:

  1. 固定 Qwen 的精確版本與 tokenizer。
  2. 固定隨機種子,並回報多次執行結果。
  3. 確認編輯後的權重能否透過原始模型介面載入。

如果研究只展示幾段生成範例,卻沒有任務集、基線與消融實驗,結論就必須打折。反過來,如果它確實將權重編輯接入自動評測閉環,即使單項能力提升有限,方法本身仍具有價值。

與提示詞、微調及工具呼叫的差異

這三種方法經常被混為一談,但它們修改的對象完全不同。

方式修改對象執行粒度典型代價
提示詞輸入文字每次推理很低,主要消耗 context 長度
微調訓練參數並產出新權重訓練批次或任務集中至高,需要資料與訓練資源
工具呼叫外部程式與工具描述單次動作中,取決於工具延遲與可靠性
Astra 權重編輯現有模型中的部分參數權重級編輯中至高,編輯、驗證與 rollback 成本較高

提示詞的優勢是快速。Agent 發現任務失敗後,可以立即修改 prompt 再跑一次;缺點也很明顯:模型底層的錯誤傾向沒有消失,只是被 context 暫時壓住。context 越長,指令衝突也可能越嚴重。

微調較為徹底。資料充足時,模型的行為模式會改變,但通常需要任務資料與訓練資源,還得處理災難性遺忘及版本管理。

工具呼叫是三者中最實用的一種。模型不必「學會」使用計算器,也不會假裝自己執行了程式碼;它把能力放在模型外部,代價是工具本身必須可靠,介面也必須明確。

權重編輯並不是微調的簡單替代品。

它更像是執行期的模型修補:修改部分參數,不必重新訓練整個模型,再透過任務評測決定保留或 rollback。

但它也帶來新的失敗風險。編輯強度過大會破壞原有能力,過小又看不出效果;一次錯誤編輯還可能污染後續所有推理。

因此,權重編輯更適合具備自動驗收器的任務,例如程式生成、結構化輸出及受約束的規劃任務;對語意模糊、獎勵難以定義的開放式任務則不太適合。

Agent 自我改進的新入口

將權重編輯接入 Agent 循環後,會自然形成一套架構:

from dataclasses import dataclass

@dataclass
class Trial:
    patch: object
    score: float

def improve(agent, evaluator, candidates):
    trials = []

    for patch in candidates:
        candidate = agent.with_weight_patch(patch)
        score = evaluator(candidate)
        trials.append(Trial(patch=patch, score=score))

    trials.sort(key=lambda item: item.score, reverse=True)
    best = trials[0]

    if best.score <= agent.baseline_score:
        return agent

    return agent.apply_weight_patch(best.patch)

這段流程同樣是研究概念的簡化版本,而非論文儲存庫的 API。它呈現了關鍵結構:產生候選方案、編輯權重、執行評測、比較結果,以及保留最佳 patch。

這與傳統 Agent 框架中的 ReAct 循環不同。ReAct 通常在「思考—行動—觀察」之間循環,模型參數維持不變;Astra 則把候選動作擴展到權重本身。

它也與持續學習有所交集。

持續學習關注模型如何跨任務、跨時間保留經驗;Astra 的權重搜尋更像是針對當前任務進行局部更新。兩者共享同一個問題:如何判斷新參數值得保留,同時又不破壞舊能力。

模型壓縮則是另一個方向。壓縮通常追求更少參數與更低推理成本;權重編輯則希望在盡量少改動的前提下改變行為。兩者都需處理參數冗餘,但目標函式不同。

如果將 Astra 與 MCTS、演化搜尋或 test-time computation 結合,權重空間將成為更大的搜尋空間;代價是搜尋成本會快速上升。

提示詞空間通常只有數十或數百個 token 候選,參數搜尋則可能涉及數百萬甚至更多維度。Agent 需要的不是更長的思維鏈,而是更強的 patch 產生器、更好的評測器,以及可靠的 rollback 機制。

風險比能力更早出現

當權重可被寫入,風險也會隨之升級。

第一項是安全對齊。

Prompt injection 試圖讓模型忽略規則;權重修改則可能直接削弱模型在參數中的拒絕行為。安全策略不能再假定系統只有文字入口。

第二項是錯誤傳播。

假設 Agent 根據錯誤回饋修改權重,模型之後可能更有信心地產生錯誤答案。如果評測器只檢查生成品質,而不檢查副作用,壞掉的 patch 就會進入下一輪。

第三項是評測污染。

Agent 可以直接修改負責評測的模型,或讓權重編輯過度擬合公開測試。如此得到的分數,未必能代表真實任務能力。

一套基本防護方案,是將權重編輯器、候選產生器與最終評測器隔離開來:

  • 候選 patch 不得存取參考答案。
  • 評測應使用保留測試集。
  • 每次修改都要保留基線模型與完整 checkpoint。
  • 先執行安全回歸測試,再進行能力測試。
  • 一旦出現退化,就自動 rollback。

若採更嚴格的措施,還需要簽署權重、限制可編輯參數,並記錄每次變更。模型權重正從靜態資產轉變為可變程式碼,版本控制也應納入訓練管線。

能力提升不等於可靠性提升。能修改自身權重的 Agent,若同時擁有寫入權限、工具權限與敏感資源存取權,風險就不會只停留在實驗室裡。

編輯思考

Astra 最重要的價值,可能不是「Qwen 被強化了多少」,而是將模型參數暴露成 Agent 可呼叫的程式物件。過去,Agent 的主要改進入口是 prompt、memory 與 tool;現在,權重本身也進入了 action space。這項變化值得重視,因為它讓 Agent 能以自動測試直接修正行為,不必再靠語言描述間接推測模型出了什麼問題。

不過,它與通用的自我改進仍有距離。目前的搜尋空間仍由人預先設計,評測器也仰賴可驗證任務。整套系統比較像會修改參數的 optimizer,而不是能自主成長的工程師。我預測最先落地的會是程式 Agent,因為編譯錯誤、單元測試與格式檢查都能直接提供回饋。

這次與過去的 prompt agent、few-shot 範例學習不同,改進從 context 層下沉到參數層。具體邊界仍不清楚:局部編輯是否會累積並造成破壞,評測器能否避免遭到最佳化,以及安全對齊能否跟上權重寫入速度,都是目前公開資料無法完全回答的問題。

來源: https://rikiyat.github.io/blog/weight-space-programming/