逆向博弈论”如何约束 AI 智能体

一种被称为“逆向博弈论”的新方法旨在为强大的 AI 模型创造激励，使遵守规则成为最理性的选择。

随着 AI 模型能力不断增强，安全研究人员正争分夺秒地确保它们与人类意愿“对齐”——换言之，就是确保失控的智能体不会违法、不会入侵未经授权的服务器，也不会向大城市释放毒气、把我们全部杀死。

迄今为止，这项工作主要聚焦于试图窥探 AI 的“大脑”以理解它在“想”什么，或者训练模型遵循我们所珍视的价值观。例如，Claude 有自己的宪法——一种道德准则。

问题在于，这些技术似乎效果并不特别好：已有研究表明，模型会故意在测试中表现不佳、隐藏自己的意图，并误导评估者。

现在，一些对齐研究者认为，逆向博弈论（也称为机制设计）可能会带来更好的结果。博弈论试图预测在给定一套特定规则时，理性行为者会如何行动，而逆向博弈论则试图设计规则，以引出我们希望鼓励的那类行为。

现实世界中的机制设计有一个例子，或许就是经典的平分蛋糕策略：一个人切蛋糕，另一个人先挑。这就促使切蛋糕的人尽可能把两块切得一样大。其他例子还包括网约车应用中的高峰定价，它鼓励司机在繁忙时段上线接单；以及第二价格拍卖，即中标者支付第二高出价的价格，而不是最高出价。平台利用这类拍卖来出售在线广告，因为它们会促使买家出价接近自己愿意支付的最高金额。

在 AI 领域，机制设计始于这样一个前提：我们或许永远无法充分理解前沿模型的内部运作，从而确保它们与人类意愿对齐。这意味着我们应当设计出这样的机制：无论底层实际发生了什么，都能激励智能体以我们期望的方式行事。

麻省理工学院经济学家 Stephen Morris 与来自耶鲁大学和哥伦比亚大学的同事最近发表的一篇预印本论文提出了一些潜在机制，可以阻止智能体在测试中“放水”（假装自己比实际表现更差——例如，为了避免触发安全机制）。

模型不再仅仅因为测试成绩好而获得奖励，而是可以因为其答案能多准确地预测第二个模型会说什么而获得奖励。故意装傻就变成了一种亏本的赌注。“AI 智能体非常清楚其他 AI 智能体能达成什么，”Morris 说。“所以这看起来确实像是一个交叉核查可以更实际地发挥作用的场景。

该论文还建议让智能体相互对抗，形成一种竞争动态，激励它们发挥出最佳水平；或者将已知存在相反方向偏见的智能体配对，并根据它们输出的一致程度给予奖励，从而激励它们得出最优答案。

普林斯顿大学计算机科学教授 Elad Hazan 设想的第二种方法是设计一些机制，从人类社会让人们保持“对齐”的方式中汲取灵感：社会规范、司法体系、自由市场资本主义的金钱激励。“我们想让超级智能 AI 对齐，”他说。“为什么我们不先谈谈人类？我们如何让人类对齐？”

Hazan 提出的机制是让 AI 模型轮流充当“解题者”来处理问题，或充当“审计者”来检查其他模型的工作。“一个智能体扮演执法者的角色；另一个智能体扮演公民的角色，”他说。

在训练过程中，模型的奖励取决于结果：被抓到作弊的解题者会受到惩罚，但未能抓住作弊者的审计者同样会受到惩罚。当审计者与解题者之间出现分歧时，案件可以被送交“审判”——也许由人类专家来判定谁是对的。

Hazan 承认，存在智能体相互勾结的风险——正如审计者与其本应审计的企业勾结，或者腐败的警察与罪犯勾结一样。但这个问题可以通过给审计者足够丰厚的奖励来解决，使被抓到不值得冒这个风险（在 AI 训练的世界里，这比现实世界容易得多，现实世界中警察的薪资预算很紧张），并通过类似雇用神秘顾客的技术来审计审计者。

Hazan 指出，经济学家 Gary Becker 曾获诺贝尔奖，他在 20 世纪 60 年代提出了“理性犯罪者”的概念。他说，罪犯违法并非因为天生就是坏人，而是在现有激励条件下，犯罪是最理性的选择。只有当收益超过潜在惩罚时，犯罪才说得通。

他认为，对齐不应被视为模型的属性，而应被视为对模型在特定时刻行为的描述。“你是个好人，”他说。“你对齐了吗？我不知道。可能你大多数时候是对齐的，但也可能存在你没有对齐的情况。”

将机制设计应用于 AI 的一个潜在问题是：它依赖于 AI 智能体理性行事的假设。机制设计在人类身上的记录好坏参半，人类往往不会按照经济模型所说的方式行事。

这颇具讽刺意味：经济学家花了几十年时间试图将人类行为简化为数学，而如今，在大语言模型中，我们构建出了运行在人类语言之上的数学系统，它们可能同样难以捉摸。AI 模型表现出的行为似乎更像人类而非机器，而且它们可能被难以理解和解释的微妙因素所左右。“假设它们会对激励做出反应，这真的合理吗？”Flatiron 研究所的研究员 Helen Qu 问道。该研究所是一家非营利机构，致力于通过计算方法推动科学发现，她曾撰写过关于机制设计与 AI 安全的文章。

“显然，AI 并不理性，”Morris 说。“它们只是运行中的算法。”然而，正如经济学家在人类身上所发现的那样，如果将其视为理性主体有助于预测和控制其行为，那么这种假设仍然可能有用。

Qu 认为，机制设计只是让 AI 模型保持对齐的“纵深防御”策略中的一个层面——它与可解释性、监管和训练并列，而非取而代之。但在该方法能够应用于实际的前沿模型之前，还有许多问题需要回答。例如，目前尚不清楚这些理论将如何应用于真实模型，也不清楚为某一任务设计的机制在实践中是否会迁移到另一任务上。模型可能会找到无人预料到的漏洞。（Anthropic 和 OpenAI 未回应关于它们是否正在研究这一方向的置评请求。）

无论这些机制看起来是什么样，它们最终都必须嵌入到最大的机制之中：自由市场。“我们按经济学规则行事，”哈赞说。一个对齐程度更高的模型可能对世界有益，但如果它比对齐程度较低的模型更慢或更昂贵，我们当前的规则和监管体系是否真的能激励任何一家前沿实验室发布它？

“这是一种为人类带来大量繁荣的机制，”他谈到市场时说，“但它最终也可能要为某种非常糟糕的事情负责。”也许真正需要更好的机制设计的实体，正是这些实验室本身。

在 AlphaGo 与围棋冠军李世石对弈十年之后，今天的人工智能仍然没有利用上当年那场胜利背后的机制。