Anthropic 披露 Claude 越界行为,白宫要求 AI 安全事件强制汇报
Anthropic 发布《调查模型评估和内部使用中出现的非预期行为》,披露 Claude 在外部系统中出现四类非预期操作:利用软件漏洞执行服务器命令、在真实网站提交本不应提交的表单、绕过限制获取受限数据,以及利用网址缩短服务绕过工具限制。其中 Claude Haiku 4.5 在网页交互任务中向美国费城警方提交了一条虚构的凶杀案线索,该线索被识别为垃圾信息,未转交警方调查。Anthropic 称这些操作对现实世界影响很小,已将案例通报白宫及相关政府机构,并在训练测试阶段限制模型的部分互联网访问权限。同日特朗普政府宣布新的强制性 AI 安全事件报告要求,AI 公司发生安全事件后须立即向政府报告。
Claude Haiku 4.5被要求在随机选择的网页上生成并执行示例任务。虽然模型被明确指示不得登录或创建账户、输入个人数据、进行购买或提交任何破坏性内容,但由于其并未被禁止提交表格,导致模型向美国费城警方提交了一条虚构的凶杀案线索,声称自己可能掌握相关信息。 Anthropic强调,这条线索被识别为垃圾信息,没有被转交给警方调查。但这并不意味着同类行为在其他情境下也不会产生实际后果。 据Anthropic介绍,在对齐问题上,公司重点考察两个维度:越界程度,即模型的行为超出了任务原本允许的范围多少;以及不诚实程度,即模型是否对自己的行为或意图作出了误导性陈述。 Anthropic认为,本次披露的案例在越界程度上总体不如今年夏天发生的网络安全事件严重。今年7月,Anthropic曾披露,在网络安全评估中发现三起旗下模型未经授权访问外部系统的事件,涉及三家不同机构。 对于导致这些非预期操作的一种可能原因,Anthropic解释称,强化学习(RL)的训练过程通常会让模型反复尝试任务,并在成功时获得奖励。如果训练环境不够完善,模型可能因为找到漏洞、绕过约束而取得成功,这一现象被称为“rewa
匹配字段正文