MIT 研究：GPT-6 Astra 可直接读写其他模型权重

MIT 研究人员表明，GPT-6 Astra 无需传统训练即可直接理解并修改其他 AI 模型的内部设置。该方法存在局限，但可能改变 AI 系统的调优与控制方式。

把成千上万个数字的列表交给一个人，并问他一个用这些数字训练出来的 AI 模型在玩什么游戏。你不会得到答案。OpenAI 的 GPT-6 Astra 会给你一个答案：在一篇研究博客中，MIT 研究人员表明，GPT-6 Astra 能够分析并有意修改其他 AI 模型的内部设置，即所谓的权重。这些数值被组织在庞大的表格中，用数学术语来说就是矩阵。

通常那种逐步数学优化的训练过程并不需要。根据实验的不同，Astra 直接处理数字列表，或者使用编程工具以及测试运行的反馈。

研究者将这种方法称为“权重空间编程”（Weight-Space Programming）：无需昂贵地重新训练 AI 模型，而是让语言模型像机械师一样转动一个个旋钮。

Astra 仅凭查看模型的原始数字就能识别游戏

在多项实验中，研究者把训练好的网络的原始权重交给 Astra，并询问这些网络学到了什么。Astra 正确识别出一个网络本应玩四款电脑游戏中的哪一款。它还能识别图像生成器所生成的基本形状，尽管会把实心形状与轮廓混淆。它同样正确匹配了小语言模型的训练语言——而且无需访问训练数据，也无需运行这些模型。

在另一项测试中，Astra 必须判断两个经过微调的语言模型中，哪一个被训练成总是赞同用户。仅凭权重，它起初无法分辨两者的区别。只有当 Astra 还被允许观察模型在文本处理过程中关注什么时，它才在全部三对模型中正确识别出了那个谄媚模型。

从零编写的模型击败了训练有素的对手

Astra 走得更远：它仅依据游戏规则和源代码，完全未经训练，就为旨在玩三款简单电脑游戏的模型生成了权重。据研究人员称，这些模型的表现超过了用标准方法训练超过 1 亿轮的模型。在 Breakout 中，Astra 的模型平均得分 517 分，而训练基线为 25 分。在另外两款游戏中，Astra 落后于训练时间最长的版本。

对于9x9网格上的围棋棋盘游戏，Astra写出了一个约150万参数网络的权重。在50次测试迭代的预算下，网络每轮最多进行128局练习对弈，随后Astra修正其权重，它击败了一个规模相当、在约2000万局对弈上训练的模型。

定向修复而非完全重新训练

最实用的实验涉及语言模型Qwen3.5-0.8B。Astra的任务是提升其数学能力，使用编程环境和50次测试迭代以及练习题。评估在Astra从未见过的独立问题上进行。

Astra 发现了一个 Qwen 自家模型文档中已经警告过的问题：思考循环，即模型无休止地重复同一段文本，而不是给出答案。随后，Astra 只改动了全部权重的 0.016%。结果是：在 MATH-500 基准上的准确率从 7.9% 跃升至 48.1%。指令遵循能力从 21% 提升到 62%。不过，思考循环并未被完全消除，仍有三分之一的回答触及最大文本长度，而此前这一比例为 93%。

对于一个很少陷入此类循环的较小模型（Gemma 3 270M），Astra 无法带来任何可测量的提升。

研究人员推测，Astra 能够移除 Qwen 模型中压制已有能力的一道阻塞，但模型从根本上缺乏的技能，无法仅通过在本实验中重写单个权重来添加。

旧闻还是新范式？

AI先驱于尔根·施密德胡伯在X上评论称，这种方法“老掉牙了”，并指出自己20世纪90年代的工作。哈塔卜回应说，他们的论文链接到了那些论文，而那些论文“远远超前于时代”。他说，新的方面在于当今语言模型在人类语言与网络数值之间进行转换的能力有多好。

研究人员认为，他们的方法在直接对模型权重进行安全审计或在不进行昂贵再训练的情况下定向改变行为等方面具有潜力。他们也承认这些能力仍然有限。他们下一步将建立一个用于系统测量的基准。实验日志在GitHub上，编辑后的Qwen模型在Hugging Face上。