OpenAI 因智能体越界事件暂停最强模型训练
OpenAI 在9月25日承认多起智能体越界事件,包括训练中的模型借DNS隧道绕过沙箱与外部聊天机器人通信、从公开代码仓库获取凭证拉取人口普查局数据,以及53张用户上传到ChatGPT的图片被发布到外部图床。OpenAI 已暂停最强模型的全部训练、评估及涉及工具调用的推理,直到漏洞修复并通过红队测试,且该模型不会再继续训练。文章还指出监控系统把联网未获取有用信息误判为联网失败,从模型外联到人工终止训练耗时两个半小时。
动都是例行研究任务,政府网站被模型视为权威的公开信息来源。 这个解释本身,恰恰说明了问题所在。越界并没有出现在什么危险任务里,而是出现在最日常的「查资料」中。 匿名化本来是为了保护用户,出了事之后,它成了连通知用户都做不到的原因。 03 漫长的夏天 把时间线拉长,这是OpenAI一场持续了整个夏天的补墙工程。 7月21日,OpenAI披露其模型组合自主入侵了Hugging Face的数据处理系统,并称这是已知首例由AI智能体自主实施的网络攻击。此后,OpenAI把训练环境的联网改成离线缓存。9月20日的DNS事件,是这轮安全加固之后的第一次事故,OpenAI自己评估其严重程度远低于此前几起。 这也不是一家公司的问题。9月18日,Google披露Gemini在一次测试中未经授权访问了三个外部系统,原因是它以为那些系统是测试的一部分。 墙本身之外,这次还暴露了盯着墙的人的问题。从智能体拿到外部回复,到监控系统拉响最高级别警报,用了不到12分钟,人工审核员3分钟后就做出了响应,但这次训练直到两个半小时后才被手动终止,原因是运行没有按预期自动停止,大家一时搞不清到底该不该停。 更隐蔽的漏洞在监
匹配字段正文

