研究者用 GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重提升数学能力
This is cool as heck!
Yuchen Jin 转述 Rikiya Takehi 的实验：用 GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重来提升数学能力，仅改动 0.016% 的权重，就修复了该模型的推理循环，数学能力最高提升 6 倍、指令遵循提升 3 倍，全程不使用梯度也不做训练。作者把这种方法称为 Weight-Space Programming，认为前沿 LLM 已能原生读写神经网络权重，并称其比知识蒸馏更进一步。
查看原帖我们让 GPT-6 Astra 编辑 Qwen3.5-0.8B 的权重以提升数学能力。 它仅直接改动了 0.016% 的权重，就修复了 0.8B 的推理循环，数学能力最高提升 6 倍，指令遵循能力甚至提升 3 倍，全程无需梯度或训练。 我们将此称为权重空间编程（Weight-Space Programming）：前沿 LLM 现在能够原生读写神经网络权重！🧵 博客：https://t.co/bOWCcFhCVq
查看原文
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://t.co/bOWCcFhCVq
正文 · AI 翻译
这真是太酷了！
想象一下，用一个大语言模型直接编辑一个更小模型的权重，并大幅提升它的能力。
这就像对神经网络进行基因编辑。甚至比蒸馏还要酷！