Goodfire开源DeepSeek R1稀疏自编码器
Goodfire Research 在 671B 参数的 DeepSeek R1 上训练并开源了两个稀疏自编码器(SAE),分别基于自建推理数据集和 OpenR1-Math 数学推理数据集。据其发布的信息,这是首批在真正推理模型及该参数规模上训练的公开解释器模型。实验发现 R1 与非推理语言模型存在本质差异:需等模型输出“Okay, so the user has asked a question about...”这类前缀后才能有效引导,且过度引导反而会让模型回退到原始行为。目前该工作仍为最新进展,尚无后续发展事实。
匹配字段标题