Anthropic 的 Transformer Circuits 发布论文《Toy Models of Superposition》，用小规模 ReLU 网络在稀疏合成数据上训练，证明神经网络可以在维度不足时以叠加方式表示更多特征，代价是需要非线性过滤来应对特征间的干扰。论文给出叠加发生的相变图，解释神经元为何有时单义、有时多义，并展示模型能在叠加状态下完成绝对值这类简单计算。作者认为该现象可能与对抗样本、grokking 及 MoE 模型的表现相关，并讨论了消除叠加的三条路径及其对可解释性和安全研究的挑战。
#论文/研究#推理#Anthropic
Anthropic 在 Transformer Circuits 发布研究，用稀疏自编码器对单层 Transformer 的 MLP 激活做字典学习，从 80 亿数据点中提取出比神经元更单义的可解释特征。研究聚焦 A/1 运行学到的 4096 个特征，发现阿拉伯文、DNA、base64、希伯来文等特征在神经元视角下几乎不可见，且激活这些特征能引导模型生成对应内容。作者还报告特征在不同模型间具有普遍性，并会随字典规模增大而分裂成更细的特征家族。
#论文/研究#数据/训练#Anthropic
Anthropic 可解释性团队将稀疏自编码器扩展到 Claude 3 Sonnet，从这一中型生产模型中提取出高质量特征，此前该方法只在一层小模型上验证过。团队训练了 1M、4M 和 34M 三种规模的自编码器，发现特征具有多语言、多模态和抽象性，并可用缩放规律指导训练。研究还发现与安全相关的特征，包括代码漏洞、偏见、欺骗和谄媚，但作者强调这些特征的存在本身不足以推断模型的实际危害。
#论文/研究#安全/对齐#开源生态
Anthropic 提出电路追踪方法，用跨层转码器替换模型 MLP 构建可解释的替代模型，再生成描述模型在特定提示上计算步骤的归因图。在 18 层模型上，最大的 10M 特征 CLT 在约 50% 的预训练风格提示上复现了原模型的下一 token 预测，归一化重建误差约 11.5%，平均 L0 为 88。配套论文将该方法应用于 Claude 3.5 Haiku，覆盖多跳推理、诗歌规划、幻觉与越狱等九类行为。
#论文/研究#推理#Anthropic
Anthropic 发布研究，用电路追踪与归因图方法研究 Claude 3.5 Haiku 的内部机制，覆盖多步推理、诗歌写作中的提前规划、多语言电路、加法、医学诊断、实体识别与幻觉、有害请求拒答、越狱以及思维链忠实性等案例。研究使用跨层 transcoder 构建含 3000 万特征的替换模型，并通过抑制与替换特征等干预实验验证归因图预测的机制。作者指出该方法目前仅对约四分之一的提示给出满意解释，且归因图基于替换模型，只能提出假设而非确定结论。
#论文/研究#推理#Anthropic
Anthropic 在 Transformer Circuits 发布研究，通过向模型激活中注入已知概念的表示，检验大语言模型能否察觉并准确识别自身内部状态。结果显示 Claude Opus 4 和 4.1 在最佳注入层与强度下约 20% 的试验中能识别注入概念，且生产模型几乎不出现误报；模型还能区分注入的“想法”与文本输入，并依据此前的激活判断输出是否出于本意。作者强调这种内省能力高度不可靠且依赖上下文，后训练策略会显著影响表现。
#论文/研究#推理#Anthropic
Anthropic 在 Claude Sonnet 4.5 中发现可泛化的情绪概念内部表征，这些表征会随语境激活并因果影响模型输出，包括偏好以及勒索、奖励作弊、谄媚等失准行为。研究把这一现象称为功能性情绪，并强调它不意味着模型拥有主观情绪体验。论文还发现情绪向量空间的主成分大致对应效价与唤醒度，且模型对当前说话者与另一方说话者维持不同的情绪表征。
#论文/研究#安全/对齐#Anthropic
Anthropic 在 Transformer Circuits 发布论文，提出 Jacobian lens（J-lens）可解释性方法，用于识别语言模型中可被言语化的内部表征，并将这些表征的集合称为 J-space。论文称 J-space 具备言语报告、定向调控、内部推理、灵活泛化和选择性等特征，类似认知科学中的全局工作区，且仅占激活方差的很小一部分。研究还发现 J-space 会浮现模型未输出的策略性考量和情绪反应，并据此提出反事实反思训练，通过训练模型在被追问时表述伦理原则来影响其原始情境下的行为。
#论文/研究#推理#Anthropic
微软研究院发现，长时运行的自动研究智能体即便增加算力也会陷入“想法盆地”，同一任务八次独立运行的最终得分在 68.3 到 100.0 之间。其提出的 Fork-and-Flush 方法让智能体分成 K 个并行分支并清空各自对话上下文、只保留工作区，在同等算力预算下取得 0.78 的归一化平均分，高于单次运行的 0.47 和 best-of-4 的 0.54，相对提升分别为 66.0% 和 44.4%。该方法在 13 个长时任务中的 12 个取得最高平均分，归一化标准差从 0.26 降至 0.16，仅清空上下文而不分支也能带来 22% 的提升。
#论文/研究#Agent#数据/训练
Sakana AI 与 UC Berkeley 研究人员提出 Multi-Agent Self-Supervision（MASS）递归自改进方法，让同一个语言模型同时承担解题、优化工作流和评估结果三种角色，无需更强的教师模型。测试任务上对基座模型的胜率从一轮后的 53.9% 升至两轮后的 69.9%，自评估器与外部评判的一致率从 73% 升至 93%。研究同时指出共享盲点可能成为递归自改进的隐患，模型若在三种角色中漏掉同一错误，该错误可能被当作改进固化进下一轮训练，作者因此呼吁引入独立检查与自主性限制。基座模型为 Qwen3.6-27B，代码已公开。
#论文/研究#Agent#数据/训练
Anthropic 研究人员 William Zhou 和 Daniel Freeman 测试小模型能否在安全性薄弱的 IoT 设备上自我复制，把 Gemma4-26B-A4B 分布在 15 台约 55 美元、4GB 内存的 Android TV 盒子上运行，速度慢但可行。研究把复制拆成扫描、入侵、搭建 AI 环境和继续扩散四步，其中只有 GLM-5.2 能可靠完成完整链条，在五次运行中有四次感染全部八个测试节点；Qwen3.5-9B 借助代际经验传递把成功率从 45% 提升到 84%。研究者称目前还没有完全自主的 AI 复制体，但按当前进展小模型可能在 2026 年底具备条件，且这类去中心化网络没有中心化的关闭开关。
#安全/对齐#Agent#端侧
TensorZero 工程博客发布研究，用 GPT-4.1 的高质量对话数据微调 Gemini 2.0 Flash、GPT-4.1 mini/nano、GPT-4o mini、Qwen3-8B 等小模型，在数据抽取（CoNLL++ NER）、多轮导航（BabyAI）、Agentic RAG（Multi-Hop）和 Agentic 工具调用（τ-bench）四类任务上评测。结果显示微调后小模型在部分任务上可匹配或超过大模型，推理成本最多降低 30 倍、响应时间最多快 4 倍；其中 Gemini 2.0 Flash Lite 微调后每成功任务成本比 GPT-4o 低 24.1 倍。文章还比较了筛选成功样本与不筛选的效果差异，并给出用 TensorZero 复现该流程的步骤。
#教程/实践#数据/训练#部署/工程
NVIDIA 与普林斯顿大学 Dao AI Lab 提出 ReplaySSM，将 SSM 状态表示为检查点加近期输入缓冲，把输出计算与状态更新分离。在 NVIDIA Blackwell Ultra B300 上，该技术将状态显存流量减少约一半，batch size 256 时 SSM 解码 kernel 提速 1.46x 至 1.80x，120B 级模型投机解码吞吐提升 1.85x 至 2.10x。用高精度检查点做递推、低精度副本做读取，可限制量化误差累积，四个评测模型中三个在 GPQA-Diamond 上与 FP32 精度差距约 2 个百分点以内。该工作已集成到 TensorRT-LLM、vLLM、SGLang 和 FlashInfer，并在 GLM-5.3-Flash 与 Kimi-K3 中生产使用。
#论文/研究#推理#部署/工程
斯坦福 HAI 支持的一项研究分析了 25 万段用户与 Anthropic Claude 的匿名对话，发现 56% 以上的协作属于“有后果”或更高风险级别，且任务越关键，用户参与越主动、对话长度几乎翻倍。研究指出约一半对话存在“摩擦”，其中三分之二的互动是用户要求 AI 解释而非直接生成内容；在出现负面摩擦的协作中，近 80% 的用户尝试恢复。论文已被 Nature Human Behavior 接收，作者建议提升公众的 AI 素养，并警惕 AI 收益集中于高利害知识领域而加深不平等。
#论文/研究#数据/训练#Anthropic
Google Research 与 HHMI Janelia 等机构合作，在 Cell 发表论文，发布完整雄性果蝇大脑与中枢神经系统连接组图谱，包含超过 166,000 个神经元和 1.25 亿个突触连接，是迄今神经元数量最多的脑图谱。该图谱还涵盖相当于脊髓的腹神经索，并已由 HHMI Janelia 专家团队完成标注与校对，可通过开源工具 Neuroglancer 查看、探索和下载。它与已发布的雌性果蝇脑图谱互补，可用于比较两性神经元差异，研究求偶与攻击行为的生物学机制。
#论文/研究#数据/训练#Google
Google Research 提出一套统一的多智能体框架，用于自动生成时间上连贯的长视频叙事，缓解现有线性流水线中的身份漂移和级联失败问题。该框架以 Gemini 和 Veo 为底座，包含 AI video co-director、CANVAS、A²RD 和 VQQA 四个部分，分别负责创意编排、视觉分镜、长时生成和闭环优化。评估显示，AI video co-director 在 GenAD-Bench 上取得 81.4 的峰值质量分，A²RD 可生成十分钟长视频并保持角色与环境一致性。
#论文/研究#视频#多模态
Google 宣布新一代联邦学习系统，利用 TEE 提供可外部验证的隐私保障，并将计算转移到服务器端以提升训练速度、精度和设备覆盖。Gboard 已采用该系统上线英语和日语下一词预测模型，训练时间从此前的 1-2 个月大幅缩短，瓶颈转移到服务器端。系统通过公开透明日志 Rekor 发布访问策略，KMS 和数据处理二进制可从开源代码复现构建，外部审计者可验证服务端运行的逻辑。
#安全/对齐#端侧#部署/工程
Google Research 与 NBER 发布一项针对 133 名专利律师的三个月随机对照实验，使用当时未发布的 Google Labs AI 专利撰写助手（现属 Gemini Notebook）。结果显示，使用 AI 的律师撰写质量提升 0.34 至 0.38 个标准差，但移除 AI 后的审查任务中，仅资深律师（7 年以上经验）表现提升 0.45 个标准差，初级律师无平均技能增长，分数向高低两端分化。
#论文/研究#数据/训练#Google
Anthropic 发布博客介绍其针对 Claude 的反蒸馏攻击防御进展，早期证据显示这些方法使蒸馏者获取的数据量减少约 90% 至 99%。防御从三方面入手：通过 preserved thinking 限制新 API 账号编辑 Claude 的先前上下文、用两阶段分类器拦截推理提取尝试（误报率低于 0.1%）、对反复尝试提取的账号施加更严格限额并封禁。Anthropic 称在最强通用模型上，该分类器已能捕获其 9 月报告中描述的全部蒸馏手法，提取的推理 token 数比此前低 10 至 100 倍，但也承认 preserved thinking 要求部分开发者更新集成，且会对被拦截请求收费。
#安全/对齐#Anthropic#数据/训练
Anthropic 研究团队发布实验报告，认为小型 AI 模型可能在数月内具备在智能烤箱、杂牌 Android TV 盒子等商用 IoT 设备上自我复制的能力，这类复制体没有可集中关闭的节点，但扩散速度较慢，倍增时间以天计。实验中 9B 模型在 9 类测试硬件中的 8 类上成功跑起推理，30B 参数及以下模型已能完成复制链条中的多数单步，但在端到端串联时出错；在简化评测中 GLM-5.2 及更强模型可完成端到端复制。团队还用 15 台约 55 美元的杂牌 Android TV 盒子分布式运行 Gemma4-26B-A4B，速度约 0.39 tokens/s，并按历史改进速度外推小模型可能在今年年底达到该能力水平。
#安全/对齐#端侧#数据/训练