Anthropic 在 2026 年 10 月 8 日推出关键基础设施防御计划（CIDP）和 OSS Scanner，前者联合埃森哲、CrowdStrike、Palo Alto Networks 等 11 家创始伙伴服务电网、水务等 OT 系统，后者用 Claude 模型免费为开源项目做定期安全扫描，两项归入 Anthropic Cyber Mission。文章指出，同一家公司同时是模型卖方、开源审计者、关键基础设施守门人和漏洞严重度裁定者，过去六个月模型在重要开源项目找出超过 29,000 个候选漏洞，人工仅复核约 6,000 个，另有近 5,000 份未经核实的报告直接发给维护者，且快速通道不设 90 天披露期也不公开。作者认为这种结构把开源安全的判断权集中到单一私企，而 OSS Scanner 免费、无公开 SLA、报告不经人工审核，一旦补丁合入出问题，责任链条上每一环都可免责。
匹配字段标题、摘要、正文
Anthropic 构建了名为 Garçon 的基础设施工具，用于对语言模型进行机制可解释性研究。它通过启动服务器连接模型，提供 probe 接口在任意层读取或修改内部激活，并支持跨多 GPU 的大模型。服务器可自动检测模型配置与 GPU 数量，闲置 1 小时后自动关闭。
匹配字段标题、摘要、正文
Anthropic 在 Transformer Circuits 页面发布了几段视频，记录团队早期尝试逆向工程神经网络的非正式思考，定位类似研究组会议上的早期结果分享。团队强调这些想法非常粗糙、可能存在错误，且其思考已大幅演进，前几段视频已被更完善的论文《A Mathematical Framework for Transformer Circuits》取代。
匹配字段标题、摘要
Anthropic 的 Transformer Circuits 发布了一套配套其数学框架的习题集，用于逆向工程 Transformer，练习内容包括为注意力头写出具体权重矩阵以实现算法，并附有解答。习题涵盖注意力头在 W_Q、W_K、W_V、W_out 下的工作机制、矩阵秩与奇异值含义，以及用两个前序 token 注意力头构建“虚拟注意力头”等任务。
匹配字段标题、摘要
Anthropic 的 Transformer Circuits 项目发布论文《A Mathematical Framework for Transformer Circuits》，尝试对 Transformer 做机制可解释性逆向工程。研究聚焦两层及以下、仅含注意力块的玩具模型，发现零层模型建模 bigram 统计，一层模型是 bigram 与 skip-trigram 的集成，两层模型通过注意力头组合实现更复杂的算法。论文提出“归纳头”（induction heads）概念，认为这类注意力头能解释小模型的上下文学习，且只在至少两层注意力层的模型中出现；作者表示将在后续论文中说明该框架与归纳头概念对更大模型仍部分适用。
匹配字段标题、摘要、正文
Anthropic 的 Transformer Circuits 发布论文，提出归纳头可能是 Transformer 模型中大部分上下文学习能力的机制。论文给出六条互补证据，包括训练早期的相变现象、架构扰动、消融实验，以及对 34 个模型训练过程和超过 50,000 次注意力头消融的分析。作者同时强调这些证据多为间接证据，尚不能完全确证该假设。
匹配字段标题、摘要、正文
Anthropic 在 Transformer Circuits 发表研究，用 softmax linear unit（SoLU）替换激活函数，在性能基本不变的前提下，把 MLP 层中人类能快速找到清晰解释的神经元比例从 35% 提升到 60%（最大模型上增益更小）。研究同时发现 SoLU 可能通过压低某些特征幅度、再由 LayerNorm 恢复来“隐藏”它们，使部分原本不可解释的特征更难解释。
匹配字段标题、摘要、正文
Anthropic 的 Transformer Circuits 发布论文《Toy Models of Superposition》，用小规模 ReLU 网络在稀疏合成数据上训练，证明神经网络可以在维度不足时以叠加方式表示更多特征，代价是需要非线性过滤来应对特征间的干扰。论文给出叠加发生的相变图，解释神经元为何有时单义、有时多义，并展示模型能在叠加状态下完成绝对值这类简单计算。作者认为该现象可能与对抗样本、grokking 及 MoE 模型的表现相关，并讨论了消除叠加的三条路径及其对可解释性和安全研究的挑战。
匹配字段标题、摘要、正文
Anthropic 的 Transformer Circuits 研究用 ReLU Output 玩具模型（n=10,000 稀疏特征、m=2 隐藏维度）在有限数据集上训练，发现过拟合对应模型以叠加方式存储数据点而非特征。随数据集大小变化，模型在“过拟合区”（叠加存储数据点）与“泛化区”（叠加存储特征）之间切换，并在此过程中呈现双下降现象。
匹配字段标题、摘要
Anthropic 的 Transformer Circuits 研究探讨了 Transformer 残差流中坐标并非任意、而是存在“特权基”的现象，并初步将原因归于 Adam 优化器的逐维归一化。研究在 2 亿参数模型上复现了 Tim Dettmers 提出的“涌现离群值”，典型层在 d_model=1280 中有 20–60 个离群维度。研究同时排除了 LayerNorm 与有限精度浮点计算作为该基对齐来源的可能。
匹配字段标题、摘要、正文
Anthropic 的 Chris Olah 在一篇非正式笔记中提出，"分布式表征"其实包含两个不同概念：组合（composition）与叠加（superposition）。组合用独立特征（如颜色、形状）拼出对象，神经元数量远少于"局部编码"；叠加则让特征不对齐基维度。两者性质不同、存在根本性权衡，但一个表征可以同时使用二者。
匹配字段标题、摘要
Anthropic 的 Chris Olah 在《Interpretability Dreams》中阐述了机制可解释性的长期目标：当前研究聚焦解决叠加（superposition）问题，以建立理解神经网络特征与电路的“认知基础”。若突破这一基础，可望研究更大尺度的抽象结构、特征与电路的普适性，并将微观发现（如 induction heads）与宏观机器学习行为连接起来。最终目标是让可解释性服务于 AI 安全，并揭示神经网络内部的优美结构。
匹配字段标题、摘要
Anthropic 可解释性团队公布 2023 年 5 月 Circuits 研究进展，重点是用字典学习从叠加（superposition）中提取特征，即 Toy Models 论文中的“Approach 2”，并已着手搭建大规模系统研究的基础设施。团队提出把“特征”定义为激活的最简分解，用信息量衡量字典大小与稀疏编码的权衡，在合成数据上字典大小等于真实因子数时会出现“反弹”。团队同时列出字典学习的若干担忧，并强调这些结果属于初步实验而非成熟论文。
匹配字段标题、摘要、正文
Anthropic 可解释性团队发布 2023 年 7 月 Circuits 更新，称此前在单层玩具模型中观察到的“有限数据中间区间”实为低维优化失败造成的假象，模型仍可用叠加中的线性特征完整解释。团队还发现，随着数据集从约 1k 增至 500k 样本，记忆解会从记住单个数据点转为记住相关数据点簇，并在约 500k 样本处出现一阶相变。此外，团队列出了语言模型中与安全最相关的候选特征，包括高层动作、规划等假设机制。
匹配字段标题、摘要、正文
Anthropic 在 Transformer Circuits 发布研究，用稀疏自编码器对单层 Transformer 的 MLP 激活做字典学习，从 80 亿数据点中提取出比神经元更单义的可解释特征。研究聚焦 A/1 运行学到的 4096 个特征，发现阿拉伯文、DNA、base64、希伯来文等特征在神经元视角下几乎不可见，且激活这些特征能引导模型生成对应内容。作者还报告特征在不同模型间具有普遍性，并会随字典规模增大而分裂成更细的特征家族。
匹配字段标题、摘要、正文
Anthropic 可解释性团队公布 2024 年 1 月多项阶段性研究，包括注意力叠加（attention superposition）的进一步探究、用字典学习在 MNIST 模型中寻找稀疏特征、8 层模型中的特征、大模型中的多语言特征，以及 Ghost Grads 对重采样方法的改进。团队表示未来数月将聚焦注意力叠加、字典学习等方向，并强调这些结果属于初步实验分享，而非成熟论文。
匹配字段标题、摘要、正文
Anthropic 可解释性团队公布 2024 年 2 月 Circuits 研究进展，指出字典学习中“垂死特征”源于 L1 正则惩罚在特征找到有用方向前就将其杀死，并给出多项稀疏自编码器训练改进：将 Adam 的 beta1 设为 0、把 beta2 从 0.999 调到 0.9999、约束解码器范数小于等于 1 并剪枝范数低于 0.99 的特征、移除 pre-encoder bias、对激活向量做归一化，以及在训练最后 20% 线性衰减学习率。团队还发现 ghost grads 实现中的一个 bug 反而改善了训练损失，并称 ghost grads 在 1L 模型上提升明显，但在更大模型上初步实验差异不大。
匹配字段标题、摘要、正文
Anthropic 的 Transformer Circuits 发布《Reflections on Qualitative Research》，主张可解释性尚处前范式阶段，定性结果应被视为一等公民。文章以 Anscombe's Quartet 说明汇总统计会掩盖高维数据的大部分信息，并指出部分可解释性论文先定义指标再严格测量，属于 Cargo-Cult Science；作者以自身在 dictionary learning 中 tanh-regularization 的研究为例，汇总统计一度显示很有前景，最终靠定性检查特征才发现被误导。
匹配字段标题、摘要
Anthropic 可解释性团队发布 2024 年 3 月 Circuits 更新，分享稀疏自编码器（SAE）在语言模型电路发现中的初步实验。团队在 18 层模型第 9 层残差流上训练扩展因子约 256 的 SAE，用归因分数自动定位驱动“Michael Jordan plays the sport of”等补全行为的篮球、棒球、网球特征，并发现多个注意力头从这些特征产生直接 logit 效应。
匹配字段标题、摘要、正文
Anthropic 可解释性团队发布 2024 年 4 月 Circuits Updates，分享字典学习扩展律、SAE 训练方法更新、字典学习特征对模型行为影响等初步研究，并公开可解释性架构项目与多个开放问题。团队目前 17 人，2023 年招聘 10 人，正招聘经理、研究科学家和研究工程师，预计 2024 年及 2025 年继续大幅扩张。
匹配字段标题、摘要、正文