プロダクト

AstraでAgentに重みを編集させる実践

Astraは、AgentがQwenの重みを読み書きできるプログラミング対象として扱う。重み編集の実装経路、復现の難易度、prompt・fine-tuning・tool callingとの違い、そして運用上のリスクを整理する。

文字サイズ

Astraは、Agentがモデルの重みを直接読み書きできるようにする。promptを経由せずに、テスト結果に基づいてモデルの挙動を修正できる可能性がある。本稿では、その実装経路、復现にかかるコスト、探索コスト、および安全上のリスクを検証する。

Astraの重み編集実践:Agentがpromptを迂回してモデルを改善

Astraの方法は単純だ。モデルがテキストを生成するだけでなく、モデルのパラメータを読み書きできるようにする。

これはAgentにoptimize_prompt()を追加するだけではない。改善のインターフェースそのものが変わる。

元の研究記事:Weight-space programming。研究ではQwenを対象モデルとし、重みの変更によってモデルの能力や挙動を改善している。本文にはコードと実装説明もifenされている。

このニュースはHacker Newsのトップページにも掲載され、1252点、392コメントを集めた。議論はHacker Newsで確認できる。

重みもAPIとして呼び出す

通常のLLMアプリケーションのインターフェースはpires exile格里 basicallyテキスト中心だ。promptを入力し、completionを受け取る。Agentはその周囲にループを構築し、計画立案、toolの呼び出し、結果の読み取り、次の行動生成を行う。

prompt engineeringが変更するのは入力である。fine-tuningでは通常、training段階でパラメータを変更し、新しいcheckpointを生成する。tool callingはモデル自体を変更せず、外部の機能を接続する。

Astraが提案するweight-space programmingには、もう1つの層がある。システムはモデルの重みを読み取るだけでなく、重みに直接書き込むことができる。

概念的には、次のように考えられ���。

from astra import Agent

agent = Agent.from_pretrained("Qwen/Qwen2.5-Coder-1.5B")
result = agent.evaluate(
    task="修复字符串反转函数",
    tests=[
        "assert reverse('abc') == 'cba'",
        "assert reverse('') == ''",
    ],
)

print(result.metrics)

このコードはインターフェースの概念図であり、論文のAPIをそのまま呼び出したものではない。Astraの注目すべき点は、「重みの変更」が研究者が手動でパラメータを編集する作業ではなく、Agentが呼び出せるactionになったことにある。

この変化でfeedback loopも変わる。

従来、Agentが同じ種の誤りを繰り返し犯す場合、その誤りをpromptに書き戻すか、memoryに追加するか、training dataを蓄積するしかなかった。次のfine-tuning之行で、モデルが実際に変わる可能性があるのはその時だった。

Astraの構成では、Agentは調整が必要な重みを直接特定し、変更後すぐに再評価できる。探索対象は「promptの文言を変える」から「モデルパラメータそのもの」へと広がる。

Qwenが改造対象に適している理由

Qwenが主角になるのは偶然ではない。公開されている重みがあり、communityでの利用範囲が広く、deploymentのハードルも低い。researcherは閉源モデルの権限を取得しなくても、重み変更が有効かを検証できる。

より実用的な理由は、Qwenが既にcoding能力を持っていることだ。code taskの結果は自動的に検証しやすい。

  • 関数が誤っていれば、testが失敗する。
  • 性能が低下すれば、benchmarkのスコアが下がる。
  • 形式が違えば、parserがエラーを返す。

これによりAgentには明確なfeedbackが得られる。重みの探索では、feedback signalが二値判定に近いほど選択が容易になる。

元の記事には実装コードも收录されている。実行できる中核的な流れは、おおむね次の4つの步骤になる。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Qwen/Qwen2.5-Coder-1.5B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

prompt = "Write a Python function that reverses a string."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=128,
    do_sample=False,
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

このコードはHugging Face Transformersを使ってQwenを直接読み込むもので、Astraの重み編集の実装自体は含まない。model inference部分は実行できるが、研究全体を復现するには、repository内の編集アルゴリズム、評価script、依存libraryのversionが必要になる。

ここで現実的な見方 필요하다。

「公開コードがある」不等于「ワンクリックで復現できる」ではない。重み編集には、model version、parameter index、編集強度、評価dataが関わる。いずれか1つでも一致しなければ、結果が大きく変わる可能性がある。

検証では、まず次の3点を確認する。

  1. Qwenの正確なversionとtokenizerを固定する。
  2. random seedを固定し、複数回の実行結果を報告する。
  3. 編集後の重みが元のmodel interfaceで読み込めるかを確認する。

研究が数件の生成例しか示さず、task set、baseline、ablation experimentを公開していない場合、結論には慎重になるべきだ。逆に、重み編集が自動評価のloopに組み込まれているなら、単一taskの能力がわずかに向上した程度でも、この方法には価値がある。

prompt、fine-tuning、tool callingとの違い

この3つはしばしば混同されるが、変更する対象はそれぞれ全く異なる。

方法 変更対象 実行粒度 典型的なコスト
Prompt 入力テキスト 推論ごと 非常に低い。主にcontextual windowの長さを消費
Fine-tuning training parameterと新しい重み training batchまたはtask set 中~高。dataとtraining resourceが必要
Tool calling 外部programとtool description 単一のaction 中。toolの遅延と信頼性次第
Astraの重み編集 既存モデルの一部parameter 重み単位の編集 中~高。編集、検証、rollbackのコストが大きい

promptの利点は速さだ。Agentがtaskの失敗を検出すれば、すぐにpromptを変更して再実行できる。一方、欠点も明確で、モデルの根深い誤り傾向は消えず、contextに押さえ込 merely temporarilyしかない。contextが長いほど、instructionの矛盾もひどくなる可能性がある。

fine-tuningはより徹底的だ。十分なdataがあれば、モデルの挙動パターンが変わる。ただし通常はtask dataとtraining resourceが必要で、catastrophic forgettingやversion managementも扱う必要がある。

tool callingは3つのうちで最も実用的だ。モデルが電卓の使い方を「覚える」必要はなく、実行していないのに実行したふりをすることもない。機能はモデルの外側に置かれるが、その代わりtoolが信頼でき、interfaceが明確でなければならない。

重み編集は、fine-tuningの単純な代替ではない。

むしろruntimeでのmodel patchに近い。一部のparameterを変更してモデル全体を再訓練することはなく、その後、task evaluationで変更を残すかrollbackするかを決める。

ただし、新たな失敗要因も生じる。編集強度が大きすぎると既存能力を損ない、小さすぎると効果が見えない。誤った編集は、その後のすべての推論に悪影響を及ぼす可能性がある。

そのため、重み編集は自動verifierがいるtaskに適している。code generation、structured output、constraint付きplanningなどが該当する。semanticが曖昧でrewardを定義しにくいopen-ended taskには適さない。

Agentの自己改善に新たな入口を作る

重み編集をAgentのloopに組み込むと、次のような自然な構成が生まれる。

from dataclasses import dataclass

@dataclass
class Trial:
    patch: object
    score: float

def improve(agent, evaluator, candidates):
    trials = []

    for patch in candidates:
        candidate = agent.with_weight_patch(patch)
        score = evaluator(candidate)
        trials.append(Trial(patch=patch, score=score))

    trials.sort(key=lambda item: item.score, reverse=True)
    best = trials[0]

    if best.score <= agent.baseline_score:
        return agent

    return agent.apply_weight_patch(best.patch)

この流れも研究構想を短くしたもので、repositoryのAPIそのものではない。重要な構造を示している。候補を生成し、重みを編集し、評価を実行し、結果を比較して、最良のpatchを残すという処理である。

従来のAgent frameworkにあるReAct loopとは異なる。ReActは通常「思考―行動―観察」の間を循環し、model parameterは変わらない。Astraは候補actionを重みそのものまで拡張する。

これはcontinual learningとも接点がある。

continual learningは、taskや時間をまたいでモデルが経験を保持すること,关注する。Astraの重み探索は、現在のtaskに対する局所的な更新に近い。共通する課題は、新しいparameterを残す価値と旧能力を損なわないことの判断にある。

model compressionは別の研究方向だ。圧縮は通常、より少ないparameterと低いinferenceコストを目指し、重み編集は最小限の変更で挙動を変えることを目指す。どちらもparameterの冗長性を扱うが、目的関数は異なる。

AstraをMCTS、evolutionary search、test-time computationと組み合わせれば、重みの空間はさらに広い探索対象になる。その代わりに探索コストは急速に増える。

prompt空間には通常、数十~数百tokenの候補しかない。parameter探索は数百万、さらにそれ以上の次元 involved involved involved involve,涉及する可能性がある。Agentに必要なのは、より長いchain of thoughtではなく、より高性能なpatch builder、益于precisionの高いevaluator、そして信頼できるrollback mechanismだ。

能力より先にリスクが現れる

重みを書き換えられるようになれば、riskも同時に引き上がる。

1. Security alignment

Prompt injectionは、モデルにruleを無視させることを試みる。weight編集では、拒否動作そのものをparameterから弱める可能性がある。security strategyは、システムにテキストの入口しかないと仮定できなくなる。

2. Error propagation

Agentが誤ったfeedbackに基づいて重みを変更すると、その後にモデルは誤った答えをより自信を持って生成する可能性がある。evaluatorが生成品質だけを見て副作用を確認しない場合、悪いpatchが次のroundへ入る。

3. Evaluation contamination

Agentは評価を担当するモデルを直接変更したり、重み編集を公開testにoverfitさせたりできる。そうして得られたscoreは、実際のtask能力を反映しているとは限らない。

基本的な防御策として、重みeditor、candidate generator、最終evaluatorを分離する。

  • Candidate patchは正解|accessできないようにする。
  • 評価にはhold-out test setを使う。
  • 変更ごとにbaseline modelと完全なcheckpointを保存する。
  • 先にsecurity regression test、次にcapability testを実行する。
  • 劣化を検知したら自動的にrollbackする。

より厳格運用なら、重みの署名、編集可能なparameterの制限、全変更の記録も必要になる。model weightは静的な資産から可変のcodeへと変わりつつあり、version controlもtraining pipelineに組み込む必要がある。

能力の向上と信頼性の向上は同一ではない。自らの重みを変更できるAgentが、write permission、tool permission、sensitive resourceへのaccessも同時に持てば、riskは実験室の外にも広がる。

編集について考える

Astraの最大の価値は、「Qwenがどれだけ強化されたか」よりも、model parameterをAgentが呼び出せるプログラミング対象として公開した点にあるかもしれない。従来、Agentの主要な変更入口はprompt、memory、toolだった。今や重み自体もaction spaceに入った。

この変化は重要だ。Agentが言語で間接的にモデルの問題箇所を推測するのではなく、automated testによって直接挙動を修正できるからだ。

ただし、汎用的なself-improvementにはまだ距離がある。現在の探索空間は人間があらかじめ設計し、evaluatorもverifiable taskに依存している。ERY。その仕組みは,自ら成長するengineerというよりは,parameterを変更するoptimizerに近い。最初のapplicationとして期待されるのはcode Agentだ。compile error、unit test、format checkが直接feedbackを提供するため,最適な候補になり得る。

今回の試みは過去のprompt Agentやfew-shot example learningとは異なり、改善の層がcontextからparameterへ降りた。exactな境界はまだ不明だ。局所編集が蓄積してdamageを蓄成了一个か,evaluatorがoptimizationを回避できるか,security alignmentが書き込み速度に追いつけるかは,現在の公開資料だけでは完全には答えられない。

出典: https://rikiyat.github.io/blog/weight-space-programming/