MIT 团队提出 Weight-Space Programming，让 LLM 直接读写神经网络权重

麻省理工学院（MIT）的研究人员已经证明，大型语言模型（LLM）能够直接读取、解释并修改神经网络权重，而无需依赖梯度下降等传统训练方法。

在11月2日发表的一篇研究博客文章中，研究人员介绍了一种名为 Weight-Space Programming 的技术，该技术让通用 LLM 能够检查神经网络的权重、识别其行为中的问题，并根据自然语言指令修改这些权重。

这项研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 完成，他们均隶属于 MIT 计算机科学与人工智能实验室（CSAIL）。

研究人员使用 OpenAI 的 GPT-6 Astra 在八项实验中演示了该方法，包括识别神经网络被训练用于做什么、从零编写网络，以及提升现有语言模型的数学推理能力。

“我们发现，前沿 LLM 在原生读写神经网络权重方面出奇地擅长，远超我们对人类或传统算法的预期，”研究人员写道。

一项关键实验涉及改进小型语言模型 Qwen3.5-0.8B，且无需重新训练它或使用梯度信息。Astra 识别出该模型权重中的一个问题，该问题导致模型重复推理步骤而不给出答案。

通过仅修改该模型 0.016% 的权重，Astra 将其在 MATH-500 基准上的得分从 7.9% 提升到 48.1%。其在另一项数学推理基准 GSM8K 上的得分从 13.8% 提升到 67.1%。

研究人员还发现，这些修改提升了模型的指令遵循表现。其 IFEval 得分从 21% 提升到 62.3%。

在第一组实验中，研究人员测试了 Astra 能否在不运行网络的情况下，通过检查权重来识别网络的行为。

他们使用近端策略优化（PPO）训练了四个神经网络，分别用于玩 Breakout、Pong、Pac-Man 和 Freeway。这四个网络具有相同的架构、输入通道和可能的动作。

Astra 以文本形式接收每个网络的 17,253 个权重，且未被告知该网络是在哪个游戏上训练的。它正确识别出了全部四个游戏。

在另一项实验中，研究人员测试了三个被训练用于生成圆形、正方形和三角形的扩散模型。Astra 通过检查权重识别出每个模型生成的形状，而无需运行模型或执行前向传播。

随后，研究人员测试了 LLM 能否在不训练的情况下创建神经网络。

他们向 Astra 提供了三款 MinAtar 游戏（Breakout、Seaquest 和 Asterix）的规则和源代码。该模型无法访问训练数据、损失函数、梯度或工具。它必须仅根据游戏描述直接生成网络权重。

在全部三款游戏中，生成的网络都优于经过 1 亿训练步的 PPO 训练网络。

在 Breakout 中，Astra 的网络得分为 517.4，而训练 1 亿步的 PPO 网络得分为 15.8，训练 5 亿步的 PPO 网络得分为 25.3。

在 Asterix 中，Astra 得分为 53.2，而训练 5 亿步的 PPO 网络得分为 55.2。在 Seaquest 中，它得分为 53.1，而同一 PPO 基准为 88.9。

研究人员还在棋盘游戏围棋上测试了 Astra，所用网络拥有近 150 万个权重。

在没有前向传播的情况下，Astra 生成的网络在与两个较小的 PPO 网络对弈时赢下了超过一半的对局。当允许进行 50 次前向传播来检查其表现时，生成的网络击败了一个规模相当、经过 2000 万局训练的 PPO 网络。

在这项实验中，Astra 使用 Python 沙箱来编写和分析权重。它无法使用互联网、训练网络或使用树搜索。

研究人员认为，这项技术可能改变神经网络的优化和审计方式。

研究人员还指出了递归自我改进的可能性，即 LLM 可以检查并修改自身权重或其他模型的权重。

他们正在开发一个基准和测试框架，用于评估 LLM 读写神经网络权重的效果。

“我们相信，这标志着机制可解释性和神经网络优化等领域发生剧烈转变的开端，”研究人员写道。

该团队还在 GitHub 上发布了实验日志，包括提示词、模型响应、代码和评估结果。修改后的 Qwen3.5-0.8B 模型可在 Hugging Face 上获取。