产品

Astra 权重编辑实战:Agent 绕过提示词改模型

Astra 把 Qwen 权重变成 Agent 可读写的编程对象。本文拆解实现路径、复现门槛,以及它与提示词、微调和工具调用的差异。

字号

Astra 让 Agent 直接读取和修改模型权重。它可能绕开提示词,用测试反馈修复模型行为;本文也会检查复现成本、搜索代价和安全风险。

Astra 的做法很直接:让系统不只生成文本,还能读取和修改模型参数。

这不是给 Agent 多加一个 optimize_prompt()。它改变的是改进接口。

原始研究文章:Weight-space programming。研究以 Qwen 为目标模型,通过修改权重改善模型能力或行为。原文同时提供代码与实现说明。

这条消息也登上了 Hacker News 首页,获得 1252 分和 392 条评论。讨论页在 Hacker News。

权重也能当 API 调用

普通 LLM 应用的接口基本是文本:输入 prompt,输出 completion。Agent 围绕这个接口搭循环:规划、调用工具、读取结果,再生成下一步动作。

提示词工程改的是输入。微调通常在训练阶段改参数,产出一个新 checkpoint。工具调用没有改模型本身,只是把外部能力接进来。

Astra 提出的 weight-space programming 多了一层:系统可以读取模型权重,也可以直接写入权重。

可以把它理解成下面这个思路:

from astra import Agent

agent = Agent.from_pretrained("Qwen/Qwen2.5-Coder-1.5B")
result = agent.evaluate(
    task="修复字符串反转函数",
    tests=[
        "assert reverse('abc') == 'cba'",
        "assert reverse('') == ''",
    ],
)

print(result.metrics)

这段代码只是接口示意,不是论文 API 的原样调用。Astra 值得研究的地方,是它把“改权重”变成了 Agent 可以调用的动作,而不只是研究人员手动编辑参数。

这一步会改变反馈闭环。

以前,Agent 发现自己经常犯同一种错误,只能把这些错误写回 prompt、追加 memory,或者积累训练数据。等下一轮微调,模型才可能真正改变。

在 Astra 的设定里,Agent 可以直接定位需要调整的权重,修改后立即重新评测。搜索对象从“换一句提示词”扩大到了“模型参数本身”。

Qwen 为什么适合被改造

Qwen 在这里不是偶然的主角。它有公开权重,社区使用范围广,部署门槛也低。研究人员不必先拿到闭源模型权限,就能验证权重干预是否有效。

更实际的原因是:Qwen 已有代码能力。代码任务的结果容易自动验收。

  • 函数写错了,测试会失败。
  • 性能退化了,benchmark 会下降。
  • 格式不对,parser 会报错。

这给 Agent 提供了明确反馈。对权重搜索来说,反馈信号越接近二元判定,越容易做选择。

原文还给出了实现代码。可以运行的核心流程大致包含四步:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Qwen/Qwen2.5-Coder-1.5B"
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype="auto",
    device_map="auto",
)
tokenizer = AutoTokenizer.from_pretrained(model_id)

prompt = "Write a Python function that reverses a string."
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=128,
    do_sample=False,
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

这段代码使用 Hugging Face Transformers 直接加载 Qwen,不涉及 Astra 的权重编辑实现。它能跑通模型推理部分,但复现完整研究仍需要仓库中的编辑算法、评测脚本和依赖版本。

这里需要泼一点冷水。

“公开代码”不等于“点一下就能复现”。权重编辑涉及模型版本、参数索引、编辑强度和评测数据。只要其中一项不一致,效果就可能明显漂移。真正检查时,我会先看三件事:

  1. 固定 Qwen 的精确版本与 tokenizer。
  2. 固定随机种子,并报告多次运行结果。
  3. 检查编辑后的权重是否通过原始模型接口加载。

如果研究只展示几条生成样例,没有任务集、基线和消融实验,结论要打折。反过来,如果它真的把权重编辑接进自动评测闭环,即使单项能力提升不大,方法价值仍然成立。

对比提示词、微调和工具调用

这三种方式经常被混在一起,但它们修改的对象完全不同。

方式 修改对象 执行粒度 典型代价
提示词 输入文本 每次推理 很低,主要消耗上下文长度
微调 训练参数,产出新权重 训练批次或任务集 中到高,需要数据和训练资源
工具调用 外部程序与工具描述 单次动作 中,取决于工具延迟和可靠性
Astra 权重编辑 现有模型中的部分参数 权重级编辑 中到高,编辑、验证和回滚成本更高

提示词的优点是快。一个 Agent 发现任务失败后,可以马上改 prompt,再跑一次。它的缺点也明显:模型底层的错误倾向没有消失,只是被上下文压住。上下文越长,指令冲突也可能越严重。

微调更彻底。数据足够时,模型的行为模式会发生变化。但它通常需要任务数据、训练资源,还要处理灾难性遗忘和版本管理。

工具调用是三者中最实用的。模型不必“学会”计算器,自己也不会假装执行代码。它把能力放在模型外部,代价是工具必须可靠,接口也必须明确。

权重编辑不是微调的简单替代品。

它更像是运行时的模型修补:改一部分参数,不必重训全模型;随后用任务评测决定保留还是回滚。

但它也带来新的失败面。编辑强度过大会破坏原有能力;过小又看不出效果。一次错误编辑还可能污染后续所有推理。

因此,权重编辑更适合有自动验收器的任务,比如代码生成、结构化输出和受约束的规划任务。它不适合语义模糊、奖励难定义的开放任务。

Agent 自我改进的新入口

把权重编辑接入 Agent 循环后,一个比较自然的架构会出现:

from dataclasses import dataclass

@dataclass
class Trial:
    patch: object
    score: float

def improve(agent, evaluator, candidates):
    trials = []

    for patch in candidates:
        candidate = agent.with_weight_patch(patch)
        score = evaluator(candidate)
        trials.append(Trial(patch=patch, score=score))

    trials.sort(key=lambda item: item.score, reverse=True)
    best = trials[0]

    if best.score <= agent.baseline_score:
        return agent

    return agent.apply_weight_patch(best.patch)

这段流程同样是对研究思路的简写,不是论文仓库 API。它展示了关键结构:生成候选、编辑权重、运行评测、比较结果、保留最佳补丁。

这与传统 Agent 框架中的 ReAct 循环不同。ReAct 通常在“思考—行动—观察”之间循环,模型参数保持不变。Astra 把候选动作扩展到了权重本身。

它也和持续学习有交集。

持续学习关注模型跨任务、跨时间保留经验;Astra 的权重搜索更像针对当前任务的局部更新。两者共享一个问题:如何判断新参数值得保留,而不是破坏旧能力。

模型压缩则是另一个方向。压缩通常追求更少参数、更低推理成本;权重编辑追求在尽量少改动的前提下改变行为。两者都需要处理参数冗余,但目标函数不同。

如果把 Astra 与 MCTS、进化搜索或测试时计算结合,权重空间会成为更大的搜索空间。代价是搜索成本会快速上升。

提示词空间通常只有几十或几百个 token 候选。参数搜索可能涉及数百万乃至更多维度。Agent 需要的不是更长的思维链,而是更强的 patch 构造器、更好的评测器,以及可靠的回滚机制。

风险比能力更早出现

权重可写,风险也随之升级。

第一是安全对齐。

Prompt injection 试图让模型忽略规则;权重修改则可能直接把拒绝行为从参数里削弱。安全策略不能再假设系统只有文本入口。

第二是错误传播。

假设 Agent 根据一条错误反馈修改权重,模型随后可能更自信地生成错误答案。如果评测器只看生成质量,不检查副作用,坏补丁会进入下一轮。

第三是评测污染。

Agent 可以直接修改负责评测的模型,或者让权重编辑过拟合公开测试。这样得到的分数,未必代表真实任务能力。

一个基本的防护方案,是把权重编辑器、候选生成器和最终评测器隔离开:

  • 候选补丁不能访问参考答案。
  • 评测使用保留测试集。
  • 每次修改保留基线模型和完整 checkpoint。
  • 先跑安全回归,再跑能力测试。
  • 出现退化时自动回滚。

更严格一点,还需要签权重、限制可编辑参数、记录每次变更。模型权重正在从静态资产变成可变代码,版本控制也应进入训练管线。

能力提升不等于可靠性提升。一个能修改自身权重的 Agent,如果同时拥有写权限、工具权限和敏感资源访问权,风险不会停在实验室里。

编辑思考

Astra 最重要的价值可能不是“Qwen 被改强了多少”,而是把模型参数暴露成 Agent 可调用的编程对象。过去,Agent 的主要改进入口是 prompt、memory 和 tool;现在,权重本身也进入了 action space。这个变化值得重视,因为它允许 Agent 用自动测试直接修复行为,而不是靠语言描述间接猜测模型哪里出了问题。

但它和通用自我改进仍有距离。当前搜索空间仍由人预先设计,评测器也依赖可验证任务。系统更像会改参数的 optimizer,而不是自主成长的工程师。我预测最先落地的是代码 Agent,因为编译错误、单元测试和格式检查能直接提供反馈。

这次与过去的 prompt agent、few-shot 示例学习不同,改进从上下文层下沉到了参数层。具体边界仍不清楚:局部编辑会不会累积破坏,评测器能否避免被优化,以及安全对齐能否跟上写入速度,都是目前公开材料无法完全回答的问题。

来源: https://rikiyat.github.io/blog/weight-space-programming/