Goodfire 首次在 671B 参数 DeepSeek R1 上训练并开源稀疏自编码器
Goodfire 在 671B 参数的 DeepSeek R1 上训练并开源了两个稀疏自编码器(SAE),分别基于自建推理数据集和 OpenR1-Math 数学推理数据集,这是首批在真正推理模型及该参数规模上训练的公开解释器模型。实验发现 R1 与非推理语言模型存在本质差异:需等模型输出“Okay, so the user has asked a question about…”这类前缀后才能有效引导,且过度引导反而会让模型回退到原始行为。

匹配字段标题、摘要、正文




