←新闻详情

凤凰科技更新于 11月3日 18:40

Anthropic 在 S-1/A 文件中警示递归自我改进风险

Anthropic警示:AI递归自我改进近在眼前

AI 导读

Anthropic 在周一更新的 S-1/A 招股补充文件风险提示中表示,公司可能很快就会触及《负责任扩缩策略》定义的递归自我改进状态。文件称公司已借助 AI 开发出新模型并实现部分能力跃升,但当时团队并未察觉,未来也可能在研发提速发生之后才察觉。Anthropic 同时说明现有模型均未跨过该门槛,并承诺在可预见的未来保留人类参与前沿模型研发,正考虑修订《负责任扩缩策略》。

推荐理由

AI 评分 65

Anthropic 在招股补充文件中把递归自我改进列入风险提示,读者可据此了解头部实验室如何界定这一门槛。

主题

标签

正文

Anthropic警示:AI递归自我改进近在眼前IT之家下载客户端 独家抢先看2026年11月03日 16:14:04 来自山东Updated 2026年11月03日 16:33:45

IT之家 11 月 3 日消息,外界的目光大多集中在 Anthropic 周一更新的 S-1/A 招股补充文件披露的最新财务数据上(营收暴涨,支出同样激增),但这家人工智能实验室在文件小字部分抛出了另一枚重磅信息。

这份申报文件似乎发出警示:该公司即将研发出具备递归自我改进(RSI)能力的模型。

递归自我改进,指人工智能的自我训练能力达到极高水平,进而推动自身能力爆发式增长的阶段。对于人工智能风险悲观派而言,递归自我改进是一场无法逆转的灾难:人工智能将自我进化到足以脱离人类掌控的强大程度,并且在实现自身目标的过程中,可能对其所造成的损害无动于衷。

Anthropic 的态度是,递归自我改进既是机遇,也暗藏风险。其在招股文件中写道,公司已经将 AI 用于研发工作,同时做出提醒:“借助 AI 开发能力更强的 AI,也可能带来重大安全风险,尤其是当它大幅加快技术迭代速度的时候。这也是我们《负责任扩缩策略》覆盖的领域之一,这份文件规划了相关方案,在我们逐步接近所谓‘递归自我改进’状态时,对风险进行监测与缓释。”

IT之家注意到,递归自我改进这个概念在今年早些时候走红时,很多人认为它只是一个热词,往好里说,也只是一个很难落地、难以界定、无法证实的目标。

但周一,Anthropic 在风险提示板块新增了表述,主要两点:一、公司已经利用 AI 开发出新模型,部分模型能力实现跃升,但当时团队并未察觉;二、公司可能很快就会触达其自身定义里的递归自我改进标准:

此外,我们越来越多地借助 AI 系统加快自身研发进度,这有可能让模型能力的提升速度,超过我们配套开发、验证、落地安全、对齐与防护方案的速度。因此,我们过去曾没能及时发现研发速度的大幅提升,未来也有可能在这类提速发生之后才察觉。

举例来说,基于内部测算以及对下一代模型的预期(而非现有模型),我们可能很快就会触及《负责任扩缩策略》里定义的“由 AI 带来的爆发式技术进展”。目前我们认定,还没有任何一款现有模型越过这条红线,相关基础数据仍在持续评估当中。

不过 Anthropic 也在文件中说明,旗下所有模型暂未跨过递归自我改进的门槛,并且承诺在可预见的未来,研发流程会保留人类参与。“即便未来技术上可以实现,我们也不打算在缺少有效人工监督、无法充分理解相关过程的前提下,安全地让 Claude 完全自主设计、迭代前沿大模型。因此,我们正考虑修订《负责任扩缩策略》,保证前沿模型的开发始终由人类掌控。”

持怀疑态度的人会指出,S-1 招股文件兼具信息披露和宣传属性,宣称即将做出能够自我迭代的超强模型,或许只是宣传话术。

但不可否认,Claude 今年的能力,尤其是编程、数学和网络安全方面,实现了跨越式提升。如果 Anthropic 判断递归自我改进近在眼前,或许我们应当重视这个判断,并据此采取行动,搭建对应的监管规则。

“特别声明:以上作品内容(包括在内的视频、图片或音频)为凤凰网旗下自媒体平台“大风号”用户上传并发布,本平台仅提供信息存储空间服务。

Notice: The content above (including the videos, pictures and audios if any) is uploaded and posted by the user of Dafeng Hao, which is a social media platform and merely provides information storage space services.”

来源

凤凰科技