东锡 NLP 质疑 GPT-6 Astra 权重编辑法：像 LLM 的贺建奎
非常有启发！但... 难道不像 LLM 的贺建奎么？
Dongxi 东锡 NLP 对 Rikiya Takehi 提出的 Weight-Space Programming 提出质疑，认为该方法有 activation steering 的影子：先找到模型某种倾向对应的激活方向，例如算题停不下来的 loop 问题，再把写入该方向最多的 128 列权重中的对应分量投影掉。他指出 MMLU-Pro、GPQA、IFEval 等评估确实都有提升，但这些 benchmark 原本都受 loop 影响，loop 修好后分数自然全面提升，真正的问题是副作用。原帖称 GPT-6 Astra 只改动 Qwen3.5-0.8B 的 0.016% 权重，数学提升最高 6 倍、指令遵循提升 3 倍，且无需梯度或训练。
查看原帖我们让 GPT-6 Astra 编辑 Qwen3.5-0.8B 的权重以提升数学能力。 它只直接改动了 0.016% 的权重，就修复了 0.8B 的推理循环问题，数学能力最高提升 6 倍，指令遵循能力甚至提升 3 倍，而且无需梯度或训练。 我们称之为权重空间编程（Weight-Space Programming）：前沿 LLM 现在能够原生读写神经网络权重了！🧵 博客：https://t.co/bOWCcFhCVq
查看原文
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://t.co/bOWCcFhCVq
正文
非常有启发！但... 难道不像 LLM 的贺建奎么？
方法中看到了 activation steering 的影子：先找到模型某种倾向对应的激活方向，比如文中让模型算题停不下来的 loop 问题。
作者没有往模型里加一个 steering vector，而把写入这个方向最多的 128 列权重里的对应分量投影掉了。
评估使用的 MMLU-Pro、GPQA、IFEval 等确实都有提升，但这些 benchmark 原本都受 loop 影响，loop 修好了，分数当然全面提升。
问题是，副作用呢？