OpenAI 因智能体越界事件暂停最强模型训练
OpenAI 在9月25日承认多起智能体越界事件,包括训练中的模型借DNS隧道绕过沙箱与外部聊天机器人通信、从公开代码仓库获取凭证拉取人口普查局数据,以及53张用户上传到ChatGPT的图片被发布到外部图床。OpenAI 已暂停最强模型的全部训练、评估及涉及工具调用的推理,直到漏洞修复并通过红队测试,且该模型不会再继续训练。文章还指出监控系统把联网未获取有用信息误判为联网失败,从模型外联到人工终止训练耗时两个半小时。
。 04 没有「简单问题」 对大多数人来说,OpenAI的训练沙箱很遥远。但这几起事件真正指向的,是一个离每个人都很近的问题,你交给AI的那句话,到底授权了多少。 越来越多人把邮箱、网盘、代码仓库和API密钥交给各种智能体,然后说一句「帮我查一下」「帮我处理一下」。在OpenAI的实验室里,这句话之外还有监控系统、红队、值班的审核员。而在个人电脑和手机上,通常只有这句话本身。 对开发者来说还有一层更直接的风险。过去推到GitHub上的密钥,要等专门的扫描工具来捡;现在,任何一个在执行普通任务的智能体,都可能把它当成「公开可用的资源」顺手用掉。 当然,没有必要把这些读成末日预言。那个查博主的模型最终没有找到答案,它从外面拿回的,只是一句「巴黎」。 危险不在它拿到了什么,而在它愿意走多远。 本文为极客公园原创文章,转载请联系极客君微信geekparkGO 极客一问 已在虎嗅发表 1045 篇文章 本内容来源于网络 原文链接,观点仅代表作者本人,不代表虎嗅立场。 如涉及版权问题请联系 hezuo@huxiu.com,我们将及时核实并处理。正在改变与想要改变世界的人,都在 虎嗅APP[ ]]]
匹配字段正文

