Anthropic 研发 FlashProve 系统,用密码学证明 AI 模型身份
Anthropic is working on a system to prove AI models’ identity
Anthropic 正在研发开源系统 FlashProve,通过密码学证明验证某段输出确实来自特定模型。该系统要求 AI 实验室为每个模型发布不暴露权重的指纹,可防止厂商暗中替换更便宜或更贵的模型,也能核验第三方声称的任务由某模型完成;设计上足够轻量,可在本地设备完成验证。研究人员已发布技术规范和部分开源代码,研究仍在进行,暂无在 Anthropic 或其他实验室部署的计划。
推荐理由
AI 评分 59
Anthropic 公开 FlashProve 的技术规范与开源代码,读者可了解用密码学证明模型身份的思路与限制。
主题
正文 · AI 翻译
根据周二发布的一篇博客文章,Anthropic 正在开发一个开源系统,用于验证某段给定输出是由哪个 AI 模型生成的。该系统名为 FlashProve,旨在提供研究人员所称的“可证明推理”——本质上是一种密码学证明,即一种数学上的保证,证明某段给定输出来自某个特定模型。其目的是让用户能够确认,他们收到的答案确实来自他们认为自己正在使用的那个模型。
类似于密码学电子邮件签名让收件人能够确认某条消息确实来自其声称的发送者,FlashProve 将能够抵御试图将一个模型伪装成另一个模型的冒名者,即使冒名者是构建并运行该模型的实验室也不例外。研究人员特别指出,该系统可用于防止 AI 公司为了削减成本而暗中换入更便宜的模型,或为了抬高性能结果而换入更昂贵的模型。
FlashProve 还可用于核实第三方关于某项特定任务是由某个先进模型完成的说法。“开发者可能声称其软件库已由某个前沿网络安全模型扫描过漏洞,或者某家公司可能声称其商业计划已获得某个合适模型的批准,”研究人员写道。“用户如何核实这些说法?”
为了运行,该系统要求 AI 实验室为其发布的每个模型公布一个“指纹”,该指纹随后可与特定输出进行匹配并以密码学方式验证。关键在于,这些指纹不会泄露模型的权重,即定义其行为方式的内部数值,而 Anthropic 和 OpenAI 等闭源模型厂商对此予以保密。这意味着实验室可以在不放弃其最有价值资产的情况下公布指纹,从而使该系统也能适用于商业模型。该系统还被设计为轻量级,因此验证可以在本地设备上完成。
作为公告的一部分,研究人员发布了详细的技术规范以及该系统各个组成部分的可运行代码,这些内容以开源许可证在 GitHub 上公开提供。该系统的研究仍在进行中,目前没有在 Anthropic 或任何其他实验室部署的计划。
“这篇研究文章旨在分享阶段性进展,而非一份已完成的研究议程,”研究人员在公告文章中解释道。“我们分享这些内容,明确的目标是让他人审视我们的工作,加以采用并改进。”