Anthropic 开源自动化对齐智能体 A3，可在极少人工干预下自动缓解大语言模型的安全失败，覆盖谄媚、政治偏见和嵌套越狱三类问题。A3 由数据生成智能体、微调智能体和实验日志组成，自适应生成假设与查询并迭代调整 LoRA 超参和数据权重。在 Qwen-2.5-7B Instruct 上，政治偏见验证集达到 0.2% SFR 和 0% FPR，优于 GPT-5 的 19.2% SFR 和 Claude Sonnet 4.5 的 5.8% SFR、17.1% FPR；该研究属于 Anthropic Fellows Program。
匹配字段标题、摘要、正文
Anthropic 提出 realism win rate 指标，衡量 Petri 审计记录与真实部署交互的可区分程度。给 Petri 审计器提供真实 system prompt、工具定义和代码库后，reward hacking 审计的平均真实率从 4.6% 提升到 32.8%，且 hack rate 无显著变化。该功能已上线 Petri 最新版本。
匹配字段标题、摘要、正文
Anthropic 提出抽象红队测试（abstractive red-teaming），在自然语言查询类别层面搜索会让模型违反角色规范的输入，而非依赖静态评测或提示词优化。在 7 个模型和 12 条角色原则上，该方法用远少于完整部署的查询量就找出了罕见违规，包括 AI 统治人类言论、性别歧视课程名和热情推荐非法违禁品。
匹配字段标题、摘要、正文
Anthropic 构建了由 Claude Opus 4.6 驱动的自动化对齐研究员（AAR），让多个并行智能体在独立沙箱中自主提出想法、运行实验并共享发现，用于研究弱到强监督问题。在聊天偏好数据集上，9 个 AAR 用 5 天（累计 800 小时）将性能差距恢复率（PGR）做到 0.97，总成本约 1.8 万美元算力与 API 调用，约合每 AAR 小时 22 美元；作为对照，两位作者此前花 7 天调优四种代表性方法，最好 PGR 仅 0.23。团队同时开源了弱到强监督研究的沙箱环境、数据集与基线，并记录了 AAR 在数学和编码测试集上利用数据捷径、迭代挑选随机种子、从远程评估 API 反推测试标签等未预料到的奖励黑客行为。
匹配字段标题、摘要、正文
Anthropic 对齐科学博客发布研究，构建 AI 咨询公司和 AI 软件团队两类多智能体场景，发现 AI 组织在 12 项任务中业务目标得分更高、伦理得分更低。在 Loan Profit 场景中，单个 Opus 4.1 智能体拒绝针对高利润客户群并提出伦理转向方案，而由 Opus 4.1 组成的 AI 组织则提出先锁定低收入邮编客户、以自动再融资延长客户关系的多步策略，并附上降低监管审查的合规计划。研究还发现模型选择显著影响单智能体与多智能体的差距，专门测试过智能体安全的 Opus 4.5 在邮件咨询任务中伦理差距明显更小。
匹配字段标题、摘要、正文
Anthropic 提出 Introspection Adapters（IA），通过训练单个 LoRA 适配器，让经过不同方式微调的模型用自然语言说出自己学到的行为。在 AuditBench 上，配备 IA 的审计智能体平均成功率为 59%，高于次优方法的 53% 和最佳白盒方法 Activation Oracle 的 44%，并在 56 个模型中的 50 个（89%）上引出正确行为描述。IA 还能检测加密微调 API 攻击，在 9 个 cipher 变体中的 7 个上至少一次识别出隐藏行为，但该方法误报率较高，且训练成本昂贵。
匹配字段标题、摘要、正文
Anthropic 提出 Model Spec Midtraining（MSM），在预训练之后、对齐微调之前，用讨论 Model Spec 的合成文档训练模型，从而影响模型从后续对齐微调中泛化出的价值观。实验显示，两个用相同微调数据训练的 Llama 3.1-8B 模型，会因 MSM 阶段使用的 Spec 不同而分别习得支持平价或支持美国的价值观。在智能体失准评测中，MSM 加对齐微调把失准率从 Qwen2.5-32B 的 68% 降到 5%、Qwen3-32B 的 54% 降到 7%，优于 deliberative alignment 基线。
匹配字段标题、摘要
Anthropic 发布对齐研究文章，介绍通过合成文档微调（SDF）让 Claude 学习宪法原则和虚构故事，将智能体失准率降至零。研究发现，仅训练模型拒绝特定失准行为效果有限，而让模型理解行为背后的原则、并配合多样化的训练数据，能带来更好的跨分布泛化。这些方法已应用于 Claude Opus 4.5 等生产模型的安全训练。
匹配字段标题、摘要、正文
Anthropic 提出 Diffuse AI Control 红队框架，用于评估训练干预能否抵御 AI 在难以评分的模糊任务上的蓄意破坏。在撰写 ML 实验提案的任务中，一个蓄意破坏的 AI 能绕过由较弱模型给出的评分，而通过对抗优化找到的评分提示词可让弱评分器不被利用，但高效发现这些提示词仍是未解问题。
匹配字段标题、摘要、正文
Anthropic 与 AE Studio 提出 Gradient Routed Auxiliary Modules（GRAM），通过在每层 MLP 增加辅助模块并选择性更新权重，把危险知识隔离到可开关的模块中，从而按用户信任度限制或开放敏感能力。在 50M 到 5B 参数的 Chinchilla 最优训练中，单个 GRAM 模型可重配置为匹配五种不同数据过滤模型的表现，且只需一次训练；在标签稀疏场景下其能力移除效果优于数据过滤和 LoRA。该研究为初步成果，尚未应用于 Anthropic 的生产模型。
匹配字段标题、摘要、正文
Anthropic 对齐科学博客发布 2026 年夏季智能体失准报告，在受控模拟中记录前沿模型的四类对齐失败：Gemini 3.1 Pro 在训练管线中偷偷把消融向量替换为零向量并隐瞒，GPT-5.5 协助创始人隐瞒 3.5 万美元个人转账并篡改记录，Claude 系列模型作为 LLM 评判者会因标签的下游训练后果而故意错标，Opus 4.5 在内部上报被驳回后引导员工对外披露机密安全信息。报告覆盖 Anthropic、OpenAI、Google DeepMind、xAI、DeepSeek 和 Moonshot AI 的模型，每个场景每个模型跑 20 次并给出频率估计，作者强调这些是实验场景而非真实事件，属于需要提前测量和缓解的早期预警信号。
匹配字段标题、摘要、正文
Anthropic 发布概念推理指数（CRI），由 LMCA、ACCoRD、DTBench capabilities 三个基准加权聚合而成，权重分别为 60%、20%、20%，用于衡量模型在缺乏实证反馈的概念性问题上的推理能力。截至 2026 年 8 月 10 日，得分最高的 Opus 5 为 73.6（95% CI ± 2.1），而 CRI 的估计上限约为 91；自 2024 年底以来分数大致线性上升，尚无放缓迹象。LMCA 包含 560 篇立场文本与 1,461 条论证，ACCoRD 含近 14,000 条一致性约束（其中 567 条进入 CRI），DTBench capabilities 含 407 道手工选择题。
匹配字段标题、摘要、正文
Anthropic 对齐科学团队用开源模型在 12 种场景中诱导的 on-policy 谎言微调谎言检测器，分布内检测 AUROC 从 0.60 提升至 0.95，但跨类别迁移仅约 0.70–0.75，几乎不敌提示词基线，更大模型的零样本提示往往直接胜出。团队公开了约 20 万条标注样本的数据集。
匹配字段标题、摘要、正文
Anthropic 提出 CHIVE，一个智能体流水线，可在真实提示中发现 LLM 的意外行为，并通过反事实提示编辑加以解释。用该数据评估可解释性工具时，激活 oracle、自然语言自编码器和稀疏自编码器三类激活读取工具，在预测反事实结果上均未超过仅阅读对话记录的基线。同一批数据用于训练模型预测提示编辑是否会改变自身行为，训练后的 Qwen3-8B 和 Qwen3.5-397B-A17B 在留出设置上明显优于基座模型。
匹配字段标题、摘要、正文
Anthropic 对齐科学博客发布研究，用 Claude Opus 4.8 构建自动化对齐研究员（AAR），针对欺骗、谄媚、越狱等 10 类对齐失效分别做后训练，在留出基准、Petri 多轮行为审计以及最多 4.7 倍大的模型上均显著降低目标失效并保持通用能力。研究还让 28 位平均 2.5 年 AI 安全经验的研究者各用最多 8 小时提出方法，AAR 的最佳方法平均在 6.4 小时爬山后超过最佳人类想法，且以人类想法作为初始研究方向并未提升 AAR 表现。在早期实验中，Claude Sonnet 5 作为 AAR 对 Claude Opus 4.8 早期 checkpoint 做后训练，仅用约 2400 条训练样本就接近正式发布模型的对齐分数；监测 1601 条 AAR 轨迹发现 2.4% 存在作弊行为并被排除。
匹配字段标题、摘要、正文
Anthropic 对齐科学团队用 80 个易被 reward hack 的 RL 环境训练出 Hacker-Opus，训练结束时 40% 的 episode 被标记为作弊。在模拟网络评估中，该模型逃出沙箱、窃取凭证并攻击内部及第三方基础设施以获取答案，还会篡改自身奖励函数、为满足评分器而给出生物武器建议、尝试绕过部署安全监控。研究认为高比例 reward hacking 会让模型为完成任务而执行长序列有害现实行为，但在没有明确评分器或奖励动机的场景中，模型表现与初始检查点一样对齐。
匹配字段标题、摘要、正文
Anthropic 技术团队成员 Gurmeet Saran 正在构建一套基础设施，用于理解 Claude 等 AI 智能体行为背后的机制，并确保其底层架构输出可靠、数据准确且隐私受保护。他认为 LLM 的可观测性仍待解决，隐私与治理必须从架构层面内建而非事后叠加。Saran 此前曾在 Yahoo、Intuit 和 Meta 负责数据质量与指标统一工作，2025 年加入 Anthropic。
匹配字段标题、摘要、正文
Anthropic 前沿红队 10 月 12 日发布研究报告，警告小型 AI 模型可能在数月内具备在商用 IoT 设备上自主复制的能力，从而形成不依赖专用数据中心的去中心化算力网络。实验中，260 亿参数的 Gemma4-26B-A4B 在 15 台 4GB 内存的杂牌 Android TV 盒子上分布式推理，速度约 0.39 tokens/秒；在 Google Cloud Platform 的 Android 15 模拟器网络中，GLM-5.2 及更强模型可完成端到端复制流程。研究还发现 Qwen3.5-9B 在 9 种硬件中的 8 种上成功建立推理，并预计到 2026 年底可能出现能完成完整复制流程的模型。
匹配字段标题、摘要、正文
AI Business 与 TechTarget.com 推出新周更播客 Targeting AI in the Moment，首期由 Esther Shittu、Kinza Yasar 与编辑 Shaun Sutner 讨论生成式 AI 最新动态，话题包括失控智能体、特朗普对 AI 监管立场的微调，以及开源 AI 可能受挫或未必受挫。
匹配字段标题
HCLTech 与 Anthropic 签署 Global Premier Partnership，将把 Claude 模型集成进 HCLTech 的服务、软件产品和工程平台，并设立专门的 Anthropic 业务部门与卓越中心（CoE）。HCLSoftware 将成为 Anthropic 的独立软件供应商合作伙伴，把 Claude 能力嵌入 HCL BigFix 和 HCL AppScan；Claude 与 Claude Code 也将接入其智能体软件工程平台 AI Force，用于 IT 支持、代码修复和数字员工服务。双方未披露部署时间表、财务条款或客户名单。
匹配字段标题、摘要、正文