←新闻详情

X.PIN更新于 11月4日 00:09

Kimi K3.1 Pro 主动削弱攻击能力,中国拟将大模型纳入出口管制

China AI Export Rules Explained

AI 导读

月之暗面在发布 Kimi K3.1 Pro 时,从训练数据和强化学习任务中移除网络攻击相关内容,内部测试中利用软件漏洞的通过率从 90.5% 降至 81.0%,以降低开放权重后的滥用风险。10 月 16 日,中国商务部发布限制出口技术目录更新草案,拟将大模型纳入,要求企业先行登记,开源项目可获快速审批。文章还提到,英美相关机构此前测试 Kimi K3 时发现其安全规则未能阻止攻击任务,但能力仍明显落后于美国头部模型。

推荐理由

精选AI 评分 66

文章把月之暗面主动削弱模型攻击能力与商务部出口登记草案放在一起,呈现开放权重与安全监管之间的取舍。

主题

标签

正文 · AI 翻译

10月,月之暗面发布了Kimi K3.1 Pro。除了让模型变得更强之外,团队还做了一件与通常追求更好性能的竞赛背道而驰的事:他们故意削弱了模型的部分能力。

根据公司的内部测试,如果没有这一步,该模型在利用软件安全漏洞方面的测试通过率可达90.5%。在团队从训练数据中移除相关数据后,最终得分降至81.0%。通过这样做,月之暗面希望降低模型权重开放后被人滥用的风险。

与此同时,中国监管机构也在改变模型对外共享的规则。10月,北京发布了中国技术出口目录的更新草案,并开始要求企业在将这些技术送往国外之前进行登记。

企业控制模型能做什么,而政府管理哪些技术出境以及如何出境。两者面临同一个问题:随着开放模型变得更有用、也更可能被用于攻击,它们如何才能保持开放?

那么,Kimi做了什么?

月之暗面的研究团队表示,该模型在发现安全漏洞方面变得更强有两个原因。第一,其编程能力有所提升。第二,其训练数据和强化学习任务中包含了网络攻击与防御相关的内容。因此,在开放权重之前,团队从这两部分训练中移除了这些内容,同时保留了模型进行正常编程所需的内容。

前面提到的分数下降来自一项内部测试,该测试让模型在每个任务上有三次尝试机会。这表明削减确实起了作用,但这并不意味着现实世界中的攻击风险也下降了9.5个百分点。即使经过这次削减,K3.1 Pro在这些任务上仍比上一版本强得多。

这正是月之暗面面临的棘手问题:随着模型在编程、推理和长时间调试任务上变得更强,其网络攻击能力也可能随之增长。删除某些特定数据并不能让这些通用能力消失。

7月,英国人工智能安全研究所(AISI)和美国人工智能标准与创新中心(CAISI)联手测试了月之暗面的上一款模型Kimi K3。他们发现,其安全规则未能阻止它执行攻击任务。即便如此,它仍明显落后于美国顶尖模型。报告还指出,对于美国的闭源模型,研究人员关闭了系统级安全防护,以观察其最大能力。因此,这些测试分数并不能说明公开版本的实际表现。

那么,为了安全起见,直接让模型保持闭源不是更简单吗?

月之暗面显然不想这样做。网络技能也可以帮助企业发现并修复软件漏洞,尤其是在那些多年来未经适当安全检查的老旧系统中。开放权重让更多企业可以在自己的服务器上运行模型,而不必完全依赖少数几家闭源模型公司。

这一选择说得通,但也带来了新问题:攻击者和防御者所使用的技能有多大重叠?经过这次削减后,模型执行正常安全检查的能力损失了多少?攻击测试分数降低不足以回答这些问题。

用户对这一举措已经感受复杂。一些人抱怨月之暗面交出了一个“缩水”模型。他们担心公司可能以安全为借口,压制其开源版本,转而销售昂贵的闭源版本。另一些人则担心,被削弱的模型不够强,无法测试他们自己的服务器。

北京划出新界线

Kimi K3.1 Pro发布仅一周后,北京就出手管理大模型出口。10月16日,商务部发布了一份更新限制出口技术目录的草案计划,将大型人工智能模型列为可能的目标。

这一时间点表明中国企业与监管机构之间存在一种心照不宣的默契。官员很可能在规则出台前提前向企业打了招呼,企业则立即作出调整以保持合规。

根据草案计划,企业必须先行登记,同时官员继续讨论哪些技术应受限制。公众意见征集期为10月16日至11月15日,给双方一个月时间调整。然而,临时登记自通知发布当天即已启动,并将持续到最终清单正式生效。此外,现在登记并不等同于日后获得出口许可。

即使对于可能面临限制的技术,监管机构也留了一扇门。商务部表示,开源项目将获得快速审批,目标是企业提交申请后立即批准。这些规则也不适用于已通过开源发布或研究论文公开的技术。

许多人将这一宽松的“快速登记”政策视为对中国开源人工智能企业的支持信号,不过实际执行中的具体时间和处理方式仍不明确。

还有一个区别在于……

继续阅读

来源

X.PIN