先了解这件事
Anthropic公开了Claude的“自我评估”隐藏机制:模型在回答用户后,会在后台追加约10个Token生成风险评级并上报。据凤凰科技报道,该机制自今年6月Claude Fable 5发布起默认全开,推理开销增加不到2%。Anthropic在安全博客中介绍,该机制复用已有上下文和KV cache,在Fable 5上捕获了重型分类器可标记的78%违规对话,高危滥用检出率达94%,误判率1%;评估结果不展示给用户、不进入后续对话,主要用于离线聚合筛查,实时拦截仍由其他安全分类器负责。官方称在24条越界测试轨迹中有21条被后台识别,用户需签署企业级零数据保留协议才能关闭该审查。
AI 根据公开报道生成
最新进展 · 正式报道
Anthropic公开Claude后台自我评估机制，静默运行4个月事件进展
1 个已确认进展
- 来源：凤凰科技
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月31日
凤凰科技
Anthropic公开Claude后台自我评估机制，静默运行4个月
Anthropic在X上公开了Claude的「自我评估」隐藏机制，模型在回答用户后会在后台追加约10个Token生成风险评级并上报，推理开销增加不到2%，该机制自今年6月Claude Fable 5发布起默认全开。官方称在24条越界测试轨迹中有21条被后台识别，误报率控制在1%时能抓出78%的潜在违规，高优先级严重违规抓获率达94%。用户需签署企业级零数据保留协议才能关闭该审查。
10月30日
凤凰科技
Anthropic 披露 Claude 自评估机制：每次回答后追加隐藏安全复盘
Anthropic 在安全博客中介绍，自 Claude Fable 5 及之后发布的模型，每次回答结束后都会追加一条用户看不到的指令，让模型对整段对话做一次安全自评估。该机制复用已有上下文和 KV cache，仅增加不到 2% 的算力开销，在 Fable 5 上捕获了重型分类器可标记的 78% 违规对话，高危滥用检出率达 94%，误判率 1%。评估结果不展示给用户、不进入后续对话，主要用于离线聚合筛查，实时拦截仍由其他安全分类器负责。
Rohan Paul
Anthropic 为 Claude 加入回答后自评估，标记对话中的潜在滥用
Anthropic 训练 Claude 在每次回答后对对话做初步安全评估，这项名为 self-assessment 的技术自 6 月启用以来已发现其他防护机制未能覆盖的滥用行为。该机制利用 Claude 已读过对话的优势，成本低于分类器，且能随模型改进而提升准确度。Rohan Paul 补充称，Anthropic 最准确的滥用检测器是需先读全部安全政策的 Claude Mythos Preview 分类器，运行成本过高；Anthropic 因此训练 Claude 在不读政策和推理过程的情况下复制其判断，在 Fable 5 流量上该副本匹配检测器 78% 的标记，高优先级案例升至 94%，误报率为 1%。
Testing Catalog
Anthropic 为 Claude 引入 self-assessment 安全自评估机制
Anthropic 推出名为 self-assessment 的新技术，让 Claude 在回复后立即对整段对话做初步安全评估。在 Claude Fable 5 上，该机制以 1% 的误报率标记出更强提示词分类器判定为潜在有害对话中的 78%，高优先级对话中的 94%。Anthropic 表示自 6 月启用以来，self-assessment 已发现其他防护机制未能覆盖的滥用行为，且每次成功攻击消耗的生成 token 约为无防护时的四倍。
Anthropic
Anthropic 为 Claude 加入自评估安全机制
Anthropic 训练 Claude 在回复后对对话给出初步安全评估，这一技术称为 self-assessment，用于标记潜在滥用。该机制自 6 月启用以来，已发现其他防护措施未能覆盖的滥用行为。Anthropic 表示，由于 Claude 已读过对话，自评估效率很高，且不同于针对固定危害类别的分类器，它依托模型自身判断，会随模型改进而更准确。
本事件热度走势
- 当前
- 9
- 区间峰值
- 46 10月30日 16:00
- 近 24 小时变化
- -71%
移动指针或点击图表可查看每小时热度；键盘可用左右方向键切换。