1 引言

在这篇文章中，我们论证对齐及其他重要工作尤其需要强大的 概念推理 能力。这里我们大致指的是那些与哲学类似的任务，即它们无法被直接验证，其进展依赖于非正式的 先验 推理与论证。我们认为，差异化加速 AI 的概念推理能力十分重要。

我们还认为这一领域被忽视，且AI安全社区目前在该领域的投入不足。我们自己已经从直接从事概念研究转向主要致力于差异化加速AI的概念推理。我们有一套可以立即启动、能够吸纳更多人的议程。在后续文章中，我们将从宏观层面阐述如何着手解决这一问题。如果你有兴趣从事这项工作，请联系我们！

关于其他讨论相关担忧的人，参见 Joe Carlsmith 关于利用 AI 促进 AI 安全 ，并且关于 构建能做类人哲学推理的AI, Wei Dai 谈 AI 从事哲学研究的潜在困难, Paul Christiano 关于对齐失败的第一个故事, John Wentworth 在其反对 AI 控制的论证中 以及，作为概述， Caspar 关于对齐研究本质的解读另见 Caspar 关于提升 AI 道德哲学能力的基本论证的文章，这为该领域提出了类似的理由。

本文对开展概念推理研究给出了一个相对通用的理由，并未聚焦于某个特定子领域或某条通往影响力的路径。我们这样做，部分是因为我们认为概念推理的益处有些分散，而且在高层次上，各子领域开展这项工作的理由都相似；部分也是为了保持本文对广泛读者的可读性。 我们认为，概念推理研究的一些最大益处，在于提升未来应对非因果交互的能力，但具体细节我们留待后续文章讨论。

2 概述

在高层次上，我们的论证如下。首先，我们认为 AI 在多快时间内擅长概念推理，这一点很重要，因为：

  1. 许多最重要的任务都包含不可或缺的概念性要素：这些问题缺乏实际可获取的基准真相，处于前范式领域，并且在各种意义上都无法很好地借助经验数据来解决。

    1. 许多最重要的任务都包含不可或缺的 概念性 要素：缺乏实际可获取的基准真相的问题、处于前范式领域的问题，以及在各种意义上无法很好地借助经验数据来解决的问题。（我们在本节中会进一步说明这指的是什么。）

  2. AI研发和接管对概念推理的依赖要小得多

    1. AI 研发任务的概念性成分更少、也更不关键，因为这些任务更接近可验证，或者拥有可验证的替代指标。因此，我们预期概念推理能力的提升将是差异化的，也就是说，它对安全工作的帮助会远大于对通用能力的帮助。

    2. 接管似乎也主要受非概念性技能的瓶颈制约，尽管更强的概念推理可能会加速某些与接管相关的能力，例如谋划。我们简要解释为何预期这一效应会小于其带来的好处，并将更充分的讨论留待后续文章。

  3. AI 若能更早具备更强的概念推理能力，将非常有价值。我们认为，从现在起的任何时间点，让 AI 更擅长概念推理都会非常有价值，这可以通过两条广泛的影响路径来实现：

    1. 首先，克服超级智能所带来问题的一个核心希望是借助AI的帮助。相对于起飞和谋划行为的出现，AI能多早协助重要工作，可能是决定未来价值的最重要因素之一。这种相对时机在很大程度上取决于AI的概念推理能力。

    2. 其次，我们预计AI很快就会在塑造未来人类与AI的信念方面发挥非常大的作用。由于社会在某些问题（如决策论和伦理学）上的观点可能具有路径依赖性，我们认为从长远来看，AI是否给出合理的输入、并将社会引向更具哲学反思性的方向，这一点很重要。

其次，我们认为 我们或许可以差异化地加速概念推理，因为：

  1. 概念推理方面的工作很可能是反事实的，并且是可处理的

    1. 默认情况下，模型在概念推理上的表现很可能远低于其本可轻松达到的水平，原因有二：

      1. 默认训练在概念性任务上的泛化能力很可能相对较差。我们预计，AI 公司能够主要通过训练相对容易验证的任务（例如，寻找样本效率更高的学习算法）来深入参与智能爆炸。此类任务无法很好地代表我们需要解决的概念性问题，因为后者需要在反馈回路极差或根本没有反馈回路的领域中具备强大的推理能力。

      2. AI 公司很可能会忽视概念推理，因为它对 AI 研发的用处要小得多，且几乎没有商业应用。

    2. 即便默认训练能在一定程度上灌输所需的基础能力，模型在概念性任务上仍很可能处于未被充分引导的状态。

    3. 我们在实践中也发现这项工作是可行的：从我们的初步工作来看，我们的感觉是，基本的引导技术（例如 few-shot prompting）和小规模训练可以使模型在我们的主要概念推理基准上提升三到十二个月的水平，即将其分数提高大约相当于前沿 AI 进展数月的幅度。

  2. 对通用能力的影响可能很小

    1. 除了AI研发对概念推理的依赖要小得多之外，我们给出三个理由来预期：在实践中，概念推理方面的工作所产生的能力外部性将会很小。第一，推动时间线前移的能力提升不太可能是反事实的，因为AI公司自身的训练很可能无论如何都会产生这些提升。 其次，概念推理内部的泛化很可能并不完美，因此人们可以通过聚焦于风险较低的领域来限制对时间线相关能力的影响。第三，由于通用能力远未受到忽视，加速它们所带来的弊端很可能远不及不开展这项工作所付出的机会成本（见 Caspar 关于这一点的文章).

最后，我们将简要讨论 我们的工作 在这一领域。我们将在后续文章中讨论如何加速概念推理（包括关于如何加速概念推理的概念性问题！），以及应聚焦于哪些领域。

3 重要的是 AI 在多快的时间内擅长概念推理

重要的挑战需要概念性推理

我们需要在起飞前和起飞过程中把许多事情做对，下面我们列举了一些例子。我们认为，这些挑战中有许多都包含我们称之为“概念性”的组成部分。 概念性也就是说，这些任务的重要部分与哲学相似，因为它们无法被直接验证，进展依赖于非正式的 先验 推理，而非训练出的直觉、知识或实验。我们将在下文进一步说明“概念推理”的含义。（这并不是说下文中的挑战纯粹是概念性的——大多数挑战还涉及其他能力，有些挑战对概念能力之外的依赖甚至更大。）

我们可能需要解决的问题：

  • 决定在 AI 安全领域内应优先考虑哪些研究方向 ——例如，我们应如何在可扩展监督与控制之间确定优先级？有哪些有前景的研究议程尚未被人想到？

  • 决定哪些实验从长远来看会提供有价值的信息 ——例如，某个特定实验能否为我们提供与 AI 风险本质相关的洞见，以及为什么？

  • 将ASI与我们的价值观对齐—— 例如，对齐的最终目标应该是什么？ 最终 的目标 对齐 吗？人类保持控制就足够了吗，还是我们需要做更多来确保未来是 具有哲学反思性？ 某个给定的对齐方案是否存在根本性缺陷？

  • 建模失准与AGI带来的风险 ——例如，我们应当如何对对齐风险进行分类，才能最有效地思考它们——内在失准与外在失准之间的区分，是划分这一空间的正确方式吗？如果我们只进行预训练，安全性会提高多少？

  • 决定赋予 AI 哪些属性—— 例如，可纠正性是否是好的？如果是，将其付诸实施的正确方式又是什么？

  • 控制（或与AI达成交易） ——例如，是否 不受信任的监控 有效降低来自 健身爱好者 在超级智能水平上？

  • 判断某个给定的训练设置有多大可能会产生图谋行为—— 例如，做 简单性/计数论证是支持还是反对图谋者？

  • 确保ASI对决策理论进行合理的思考 ——例如，我们如何避免 无意中 训练 AI 遵循因果决策理论？

  • 决定应如何监管 AI，以及应推动达成哪些国际协议 ——例如，使多极化更有可能出现的政策是好还是坏？

关于哪些文明的观点可能是路径依赖的问题，因此我们在起飞前和起飞期间的观点轨迹从长远来看可能很重要（我们将在下文中进一步讨论这一点： 以下部分):

  • 未来的哲学观点应如何形成？ 例如，我们应当如何裁决不同的反思过程 在它们给出不同输出的情况下我们应在何时以及如何理想化智能体的偏好？

  • 我们应该遵循哪种决策理论？ 例如，有多理想 事前 最优性？逻辑因果关系是一个合理的概念吗？（我们将在未来的文章中解释为什么我们认为决策理论可能是路径依赖的，并且Emery给出了一些支持这一观点的论据。 这里.)

  • 我们应该拥有什么样的价值观？ 例如，我们应当如何处理无限伦理学？我们能否挽救以人为中心的直觉？

在解释为什么上述挑战部分是概念性的之前，我们更精确地定义“概念性”。我们的定义与 Joe Carlsmith 对概念性研究的定义非常相似 ，而另一些人则以不同方式使用这一术语。就我们的目的而言，概念性任务具有以下两个属性：1. 经验或数学反馈不足以学会很好地完成该任务。这意味着该任务本身无法通过数学或经验方式得到可行的验证，并且缺乏足够的可验证代理指标。这也意味着该任务无法使用无争议的参考类数据来解决（当然，在实践中，某事物是否具有好的参考类往往是一个棘手的判断）。,1 而另一些人则以不同方式使用这一术语。就我们的目的而言， 概念性 任务具有以下两个属性：

1. 经验或数学反馈不足以学会很好地完成该任务。

  • 这意味着该任务本身无法在数学或经验上得到可行的验证，并且缺乏足够的可验证代理指标。这也意味着该任务无法使用无争议的参考类数据来解决（当然，在实践中，某事物是否具有好的参考类往往是一个需要判断的问题）。2）。该任务可能仍会 受益 从一些可获得的经验数据中受益，但这类数据仍使问题中最困难的部分未得到解决。该任务也可能具有不太可靠或更主观的反馈形式，例如让许多人阅读一个结论并对其进行争论，然后观察他们是否会达成一致。

  • 最核心的是，这包括完全没有任何基准真值的领域，例如（在我们看来）伦理学，但也包括预测一次性的“黑天鹅”事件，比如AI接管，出于实际原因，人们无法等待经验性的解决结果。

  • 这一标准通常意味着该任务缺乏成熟的方法论：人们不能简单地做实验、写证明，或进行直接的参考类预测。这也意味着人们无法使用带可验证奖励的强化学习（RLVR），在该任务或任何可直接识别的代理任务上进行训练。

  • 反馈不足也会从两个方面影响执行任务时的体验。第一，真实反馈能建立强大而可靠的领域特定直觉。虽然人们也可以在概念性领域中发展直觉3，这些直觉往往不太可靠（它们可能来自系统性地不可靠的反馈来源），或者会让问题留下更多未解之处。其次，任务越难以验证，人们就越需要在执行任务的过程中反思其成功标准，有时甚至是根本性的反思。事实上，解决概念性任务往往涉及对问题究竟是什么的“去困惑化”。

2. 进步主要由论证和推理驱动。

  • 这与前一条标准密切相关：由于数学或经验反馈不足，人们不得不诉诸论证和推理。

  • 这一标准还排除了这样一类问题：经验与数学反馈未能解决的那部分，主要靠习得的启发式、直觉或无需言说的判断来解决，而不是靠论证和推理。例如，艺术和设计大概仅凭标准1就会被算作概念性的，但它们并非主要由论证和推理驱动，因此标准2将它们排除在外。 同样，育儿在很大程度上也受到经验数据的启发，却并不被其完全框定，因此人们或许可以在某种意义上认为它部分地属于概念性任务。但剩下的部分似乎远比哲学等更具启发式色彩。

在实践中，任务往往混合了概念性要素与非概念性要素，而我们的两条标准都属于程度问题。

一个问题之所以成为概念性问题，一个常见原因是它依赖于（人类的）价值观、倾向或癖性，即依赖于部分与工具理性正交的事物。例如，“我们应当遵循哪种规范伦理学理论？”这一问题的答案，大概取决于人类心智的种种属性。（人类心智的某些属性验证起来成本很低；例如，人们可以通过调查MTurk上的众包工作者来了解普通人的当前观点。 但我们最感兴趣的那些属性通常并非如此。其中许多涉及反思过程的输出，或涉及包含人类判断反复输入的漫长计算的输出，或者至少需要理解相关考量的聪明人类的判断。4）我们会把这样的问题称为 反实在论的一些（可以说）属于反实在论领域的核心例子包括规范伦理学、博弈论中的均衡选择、纽科姆式决策理论以及社会选择。可以说，其他一些数据稀疏的领域也是反实在论的，因为它们的答案取决于先验的选择（或其现实世界中的对应物），而这本身似乎就是反实在论的。 （例如，考虑量子力学的多世界诠释是否为真、Tegmark 第四层级是否为真等问题。）

为了让大家更好地理解我们所说的概念推理是什么意思，下面的维恩图展示了我们认为（在某些情况下是猜测）各个示例领域所处的位置。

注意：预测 ASI 似乎只是概念性的，但例如 AGI 之前的政治预测，似乎具有相对良好的反馈（因为人们可以从过往数据中学到很多，并在其上练习）。

我们在附录中给出了更多概念性（与非概念性）领域的例子。 附录：概念性领域的示例与非示例Joe Carlsmith 在此提供了一系列过往概念对齐研究的例子。 回到上面列出的挑战，其中许多似乎都有关键的概念性成分（通常还伴随经验性或形式化要素）。我们认为这有三个系统性原因：大量 AI 安全工作涉及对能力超过任何人类的 AI 系统（例如 ASI）进行推理。此类系统缺乏明显的参照类别，我们也没有清晰的方式来对它们建模。对于许多问题，我们等不起经验反馈，因为它来得太晚（例如，当错位.5

回到上面列出的挑战，其中许多似乎都有关键的概念性成分（通常还伴随经验性或形式化要素）。我们认为这有三个系统性原因：

  1. 大量 AI 安全工作涉及对能力超过任何人类的 AI 系统（例如 ASI）进行推理。此类系统缺乏明显的参照类别，我们也没有清晰的方式来对它们建模。

  2. 对于许多问题，我们等不起经验反馈，因为它来得太晚（例如，当错位的人工智能接管时，或者当我们多年来一直把错误的事情置于优先地位时）。

  3. 对上述某些问题（例如关于对齐目标、反思、价值观和决策理论的问题）进行早期推理很重要，因为存在潜在的路径依赖。这些路径依赖往往源于一个问题本身是反实在论的，而反实在论的问题常常是概念性的。

旁注：有人可能会反驳说，随着我们临近起飞，关于例如 ASI 的推理会变得不那么概念化，因为我们会获得更多关于它的经验证据。如果起飞速度较慢，这一反驳会更有力。虽然我们同意这类证据会让关于 ASI 的问题不那么概念化，但我们认为它不太可能接近消除其中所有的概念性要素。 其一，对于接管这类事件，人们能从系统在一种环境中的行为推断出它在另一种环境中的行为有多少（例如，从智能体在蜜罐中的行为推断其在部署中的行为），这似乎是一个相当概念性的问题，而且在某些情况下可能根本无法做出强有力的推断。其二，即使底层能力是逐渐提升的，行为也可能相对突然地发生变化。 例如，错位的 AI 系统可能会等到有较大成功机会时才尝试接管（例如，如果它们预期自己的继任者会与其目标一致，它们就等得起）。其他人已经详细讨论过我们能在多大程度上依赖经验证据来实现对齐，因此我们在此不再进一步探讨这个问题。

有人可能会反驳说，虽然重要工作需要概念性推理，但它会受到其他能力的瓶颈制约，因此较早具备概念性推理能力影响不大。我们认为这不太可能，原因有三。第一，上述许多任务似乎约90%都关乎概念性推理，而且许多任务所需的概念性推理远强于其他能力。 其次，即使其他能力滞后，也往往可能取得重大进展，而更强的概念推理可以部分替代这些能力。最后，概念推理在默认情况下可能尤其容易被忽视，因而特别可能落后于其他能力（见 概念推理方面的工作很可能是反事实的，并且是可处理的).

AI 研发和接管对概念性推理的依赖要小得多

上文我们论证了重要工作依赖于概念性能力。现在我们论证，AI 研发和接管对这类能力的依赖要小得多。具体而言，我们认为通用的 AI 研发任务在我们对概念性任务的定义中所具备的两个属性程度上要小得多，其概念性成分不那么关键，而且它们更接近可验证。 综合来看，本节与上一节表明，AI 概念推理能力的提升是差异化的：相对于起飞和阴谋策划的开始，它们会提前 AI 能够在重要工作中提供一定量帮助的时间点。在下一节中，我们将论证，这种相对时机可能是决定未来走向的最重要因素之一。在 后文接下来，我们转向另一个问题：在实践中，我们所倡导的那种概念推理工作，需要投入多少，才能真正加速通用能力的发展。

下图：本图来自 Joe Carlsmith 的《我们能否安全地自动化对齐研究？》并且阐述了一种我们大体赞同的观点：概念性能力研究与我们要加速的领域（如对齐研究和哲学）相比处于何种位置。

我们首先讨论机器学习研究品味，这是一种可能成为智能爆炸瓶颈的技能，因此提升它可能会加速时间线。然后我们讨论其他可能加速时间线的部分概念性技能。最后，我们简要讨论在通用能力发展速度固定的情况下，更强的概念性推理是否会增加接管风险。我们将对这一问题更充分的讨论留待后续文章。

在通用能力语境下，机器学习研究品味在多大程度上属于概念性？

让我们把“品味”理解为可以通过论证取得进展的问题，因为如果我们把“品味”视为一种非常直觉层面的东西，那么它就跟我们基于非常直接的方法论依据所定义的概念性推理不同。即便如此，我们认为机器学习研究品味主要是非概念性的，因为它最相关的形式6 包括关于有效性的预测，对此人们能获得相当多的反馈。7 例如，关于以下方面的预测：

  • 哪些事情会奏效、哪些不会奏效；

  • 哪些东西会变得笨重或过于繁琐而难以使用；

  • 一个实验是否会得出明确的结论；

  • 哪些方面能为未来训练提供有用信息、哪些方面会扩展，等等。

对分布外主题的先验推理。因此我们认为，机器学习研究品味在很大程度上可以从经验反馈中习得（例如通过 RLVR），其可习得程度远高于我们上文讨论的那些任务。 先验 对分布外主题的先验推理。因此我们认为，机器学习研究品味在很大程度上可以从经验反馈中习得（例如通过 RLVR），其可习得程度远高于我们上文讨论的那些任务。

此外，与许多 AI 安全研究不同（见上文讨论），大多数能力工作似乎主要关注当前能力，并且不需要（太多）关于超级智能的推理。而且，如上文所述，反实在论问题对于能力研究似乎并不重要。

最大的保留意见在于，某些事物可能特别对超级智能具有预测性，而这种预测性无法被视为其他类型预测的连续延伸。例如，某人可能有一种“品味”，偏好更接近人类智能的研究方向（例如，偏好更像大脑的神经网络架构，偏好多模态模型而非纯 LLM），主要是着眼于 AGI。 这种品味——以及关于它是否合理的争论——似乎有些概念性，因为它并不那么依赖于做出近期预测。然而，我们认为，像这样重大的概念性洞见大概不会对 AI 研发构成多大瓶颈。我们在 附录：机器学习是否受概念性洞见瓶颈制约？.

作为对我们观点的实证支持——即概念性推理对机器学习研究相对不重要——我们注意到，与在较窄的机器学习研究任务上的技能相比，AI 公司在选拔机器学习研究人员时，似乎也相对较少考察其概念性推理能力。8

一种可能的反对意见是，AI 公司会从 RLVR 这类方法中摘取低垂的果实，从而使 AI 研发剩余的瓶颈更加偏向概念性，因为概念性技能更难用这类方法训练。在最极端的情况下，某些概念性任务可能对智能爆炸越过某一节点而言基本上是必需的。 我们同意，相对于RLVR，这一效应使得提升概念推理能力对AI研发而言比目前更有价值。但我们认为，因此就断定概念推理会成为AI研发的瓶颈，是相当不可信的。尤其是，我们并不预期提升AI的概念推理能力会值得占用AI公司相当一部分资源，并且我们预期它仍将是一种加速AI研发的低效方式。

其他与时间线相关、可能具有概念性的能力

考虑预测智能爆炸这一任务。该任务的某些方面似乎是概念性的，因为智能爆炸是如此前所未有。AI在这项任务上表现更好可能会缩短时间线，例如通过帮助AI公司更好地分配资源。 但它也有好处：对时间线和风险做出更好的预测，将提升我们做准备的能力，并让公众获得更充分的信息（尽管这也可能让各国政府更倾向于展开竞赛）。同样，虽然战略推理通常能很好地受益于经验反馈，但关于智能爆炸的战略推理似乎部分属于概念性的，而改进它既有好处也有坏处。 如果这些是改进概念推理的唯一效果，那么其净效应就不那么明确了。因此，我们目前不建议专注于这两种能力的通用版本。但我们认为，概念推理的其他好处超过了这些可能的弊端。

加速谋划能力

另一个担忧是，更强的概念推理能力也会加速与接管相关的各项能力，例如谋划、突破控制方案，或（错误地）对齐继任者。我们认为，这一负面影响远比其对时间线的影响更为重要。AI 公司已经在大力加速通用能力，这使得我们对这些能力的反事实影响很小（见 对通用能力的影响可能很小），但他们并未试图加速与接管相关的特定能力。尽管如此，我们预计这对与接管相关能力的影响会小于其带来的好处。这一顾虑决定了我们建议重点关注哪些概念推理领域；例如，我们认为人们可能应当避免加速控制红队测试。这个话题值得比我们在此所能给出的更充分的讨论，我们打算在未来的文章中提供这样的讨论。 我们将在下面概述一些想法：

  • 我们预计，概念推理能力的提升对AI是否在谋划影响甚微，对其是否是一个连贯的谋划者或是否普遍擅长战略推理也只有适度影响。这主要是因为训练的其他部分似乎在更强地训练通用战略推理和谋划能力，而这些技能似乎大多是非概念性的。

  • 我们认为，接管能力主要受限于非概念性技能。它似乎需要强大的领域特定技能（例如生物、网络、说服）以及对文明的理解。其较难验证的部分看起来更像是通用的现实世界策略，而AI公司已经有强烈的动机去训练这一点。

  • 我们确实担心，提升 AI 对其可能处于何种控制措施之下的推理能力，以及提升其规避这些措施的能力。虽然更强的控制推理能力也会提升 AI 设计控制方案的能力，但如果 AI 已经在暗中谋划，这种能力就不太可能对我们有帮助，因为它可能会在这项工作上故意敷衍。

  • 我们确实担心，提升 AI 使其继任者与自身对齐的能力会带来问题。我们认为这种效应可能会在一定程度上降低让 AI 更擅长对齐的价值，但我们认为它使该价值变为负值的可能性相当小。如果早期 AI 并未在暗中谋划，那么提升其协助 AI 安全工作的能力显然是件好事。 如果它在暗中谋划，这种提升可能是有害的，但这一点似乎不那么明确，或者至少在任何危害似乎都小于在没有早期谋划的世界中的收益。其一，那样的话，事情很可能默认就会变得很糟。其二，如果我们能防止偷懒敷衍（sandbagging），例如通过在我们关心的任务上用高质量数据集训练 AI（见 本文 （关于这一点的讨论见下文）。例如，如果一个正在谋划的 AI 无法偷懒敷衍，那么它对对齐的更深理解也应通过它为我们所做的研究来增进我们自己的理解。而对对齐的更好理解（例如，理解训练在何时会产生谋划者）反过来可能使我们更有可能发现该 AI 正在谋划。最后，许多对齐工作在一定程度上是特定于与人类价值观对齐的。 一个未对齐的 AI 为了让其继任者对齐而必须做的工作可能相当不同，而且或许不那么偏概念性（例如，一个差异是，未对齐的 AI 已经掌握了其训练过程导致其价值观的信息）。

AI 若能更早具备更强的概念推理能力，将非常有价值

也许，我们在第一节所列挑战上表现如何，最重要的决定因素在于 AI 能在多大程度上、以及在起飞前多早地协助我们应对这些挑战。由于这些挑战似乎比 AI 开发更需要概念推理（见前两节），这种协助相对于起飞的时间点在很大程度上取决于 AI 的概念推理能力。 因此，AI 更早具备更强的概念推理能力，会通过两条路径产生影响：

  1. 有足够的时间来解决重要问题： 一旦 AI 在某类重要工作上达到专家人类水平，其产出很可能会远超无辅助的人类产出。因此，我们能否及时完成相关工作，一个主要决定因素将是：相对于起飞，我们能多早将其自动化或提升。 最直接地说，如果默认情况下我们只能在 AI 研发自动化之时或之后才能将其自动化，那么在此之前就将其自动化或提升，将大幅提高我们及时完成这项工作的可能性。

    在这张图中，我们用“AI 安全”泛指任何使 AI 发展顺利的工作，包括技术性和非技术性的干预措施。该图展示了差异化加速 AI 安全能力对（经质量调整的）AI 安全工作总量的影响。右侧的绿点表示无辅助的 AI 安全工作总量。（这些领域均未考虑早期工作的优势。 （现实中，无辅助的人类工作远比其体量所显示的更为重要，因为它出现得更早。）

    但即便默认情况下我们能在 AI 研发自动化之前数月就实现相关工作的自动化，更早做到这一点仍然非常有价值。其一，由于 AI 系统可能未对齐因而不可信，我们可能需要人工验证和讨论，这会耗费时间。其二，实施解决方案同样需要时间。

    最后，相对于 AI 达到某一特定程度的失准与谋划能力的时间点，我们能越早自动化相关工作就越好，因为可能很难防止消极怠工（sandbagging），而且来自具有连贯谋划能力的 AI 的工作显然会更不可信。（我们预计概念推理对 AI 安全的加速作用会大于其对谋划的加速作用；见上一节。）

    上述讨论假设唯一相关的“截止期限”是起飞（或起飞前不久的某个时点）。然而在现实中，我们会面临许多无法无代价推迟的决策，例如优先级排序决策，或关于实施哪些干预措施的决策。 那么，每一个此类决策的质量，取决于为回答该决策所依据的问题而投入的、经质量调整的工作总量（包括揭示那些最初并非由该决策所引发的考量因素）。 这些较近的“截止期限”中有许多也会随起飞时间而移动（例如“AI 研发自动化之前的倒数第二次训练运行”），因此某一特定水平的 AI 安全能力相对于起飞的时间点在这里也很重要。对于许多决策而言，决策时人类与 AI 的合计 AI 安全能力也很重要。我们希望 AI 帮助我们在任何给定时间点做出尽可能最佳的决策。

    注：上述部分内容基于一个较为宽泛的分布假设，即关于需要多少工作量以及相关能力何时到来的分布。如果认为只需要相对较少的 AI 安全工作量（例如，仅靠人力就足够了），或者认为实现自动化所需的能力会很早到来（例如，在起飞前数年），那么更早的 AI 辅助就不那么重要了。 我们认为这些观点中的第一个是合理的，但并非极有可能；它还会降低许多其他 AI 安全工作的价值。基于我们观察到的相关能力趋势，我们认为这些观点中的第二个不合情理。 在另一个极端，如果认为及时完成相关工作完全没有希望，那么更早的 AI 对技术性 AI 安全工作的辅助也同样不重要，尽管 AI 辅助对于提升政策工作可能仍然有价值（例如，如果 AI 能更好地推理 AI 风险，或许它能更好地说服政治家和公众相信 AI 风险是一个大问题）。 我们认为后一种观点是合理的，但我们对其的置信度不足以高到认同其结论。

  1. 路径依赖性： 社会对包括伦理在内的各种议题的看法可能是路径依赖的。例如，某个特定个体的道德观可能取决于她遇到了哪些论点以及何时遇到，而一旦她持有特定观点，她可能希望采取行动以确保未来的行动主体与她持有相同的道德观。 因此，AI 将人类反思引导向更合理的方向（并对它应该和不应该进行哪些引导做出合理的推理）可能会产生持久的影响。_（本文主要讨论的并非路径依赖，因此我们不会在此论证其合理性。关于路径依赖的一些讨论，包括反路径依赖的直觉是否应当解决它，参见，例如 Emery 关于决策论反实在论的帖子, 论理想化价值的局限，以及 Emery 即将发布的关于影响 AI 决策理论的时间敏感性的文章）。

    我们用下面这个（过度简化的）示意图来说明这一点。以社会的道德观为例。我们认为这些道德观有许多可能的吸引盆。尽管我们是道德反实在论者，我们也认为其中一些吸引盆比其他更合理。例如，我们预期有思想的人类至少会部分地共享各种直觉，关于一个合理的反思过程会涉及什么、不会涉及什么。 这种反思过程会将人推向某些吸引盆，并远离另一些。在下图中，“理性之风”代表这些合理反思过程的力量。“大盆”代表这些反思过程所推向的某类观点之一。“糟糕盆”则代表可能反而由一种更混乱或错位的过程默认产生的观点盆。9那么，让 AI 更早地帮助人类反思哲学问题（例如，相对于超人类说服能力而言），就类似于更早地启动“理性之风”。（当然，人们也可以在这里做许多其他可能有益的事情。）这条产生影响路径与上文讨论的路径在多个方面有所不同，包括哪些能力对它最有用。Caspar 的 关于让 AI 在道德哲学方面表现更好的帖子 进一步讨论了这种产生影响路径。

总体而言，我们认为，如果从现在起的任何时候，10 模型在帮助我们应对上文列出的所有重要挑战方面都表现得更好。

4 我们或许可以差异化地加速概念推理

概念推理方面的工作很可能是反事实的，并且是可处理的

我们的实验表明，通过在概念论证数据的不同分布上训练模型，并使用强度大致相同的模型作为奖励信号，或许有可能让模型在我们的概念论证基准（LMCA）上提升相当于数月进展的水平。LMCA）通过在不同的概念论证数据分布上训练模型，并使用强度大致相同的模型作为奖励信号。我们此前在提示和脚手架方面也取得过类似的成功（就进展月数而言），尽管这些结果相对较早。 这些结果并不太令我们意外：概念推理是一种较为特殊的技能，AI 公司几乎没有动力去训练它，而除预训练之外的现有训练方式似乎也不适合教授这种技能。我们将在下文详细阐述这两点。

首先，AI 公司训练概念能力的动力很弱。此前我们曾论证，AI 研发并不太依赖概念能力。正因如此，我们认为 AI 公司很可能仅凭 AI 通过其他训练顺带获得的概念推理能力，就能实现 AI 研发的自动化，并深入智能爆炸的进程。概念推理能力似乎也几乎没有商业价值。 事实上，具有商业价值的技能通常会从现实世界获得直接反馈（例如，一种能在短期内跑赢市场的技能会以利润的形式获得反馈），而概念推理的特征则是缺乏此类反馈以及现有数据。11 AI 公司确实有一些激励去训练概念性技能（例如，如上文所述，预测起飞对 AI 行业既有用又部分属于概念性），但这些激励似乎足够有限，以至于相对于概念推理在利他层面的重要性，AI 公司很可能会忽视它。

此外，训练概念能力与 AI 公司的常规活动有所不同，因此它们可能并不适合独自开展这项工作。由于概念性任务无法直接验证，训练可能需要专家提供的人类数据12，或者由本身擅长概念推理的人编写的评分标准和提示词。

其次，我们预计 AI 公司的默认训练方式会使 AI 在概念推理方面的能力比其本可轻松达到的水平更差。预训练似乎本应能教授概念推理，因为部分预训练数据是概念性的。但后训练，尤其是 RLVR，在训练中所占的比例越来越大，我们预计这一趋势将持续下去。 概念性任务似乎相对难以从 RLVR 中获益，因为无法直接使用 RLVR 对它们进行训练，而能够以此方式训练的任务对它们而言又是很差的替代指标。由于推理训练属于 RL，这一困难似乎也构成了概念性任务在推理时扩展（inference-time scaling）方面的问题。我们的 方面的结果 LMCA 似乎支持这一图景：模型在这方面的能力随时间不断提升，大概主要是因为预训练更好了，但通过努力等级来扩展推理时计算量，最多只能带来微弱的增益。

一种可能的反对意见是，概念推理可能主要由通用智能加上少量容易的技能构成。若果真如此，模型可能会相对较早地习得概念推理所需的特定技能，此后我们只需等待通用智能通过大量通用训练（例如，在大量数学题上进行强化学习）追赶上来。那么，概念推理方面的工作就不会具有很强的反事实性。 我们认为，概念推理与大多数其他技能一样，在某种意义上主要由通用智能驱动，这一看法是合理的，但我们不认为由此就能得出上述结论。具体而言，我们仍需确保模型在概念性任务上得到良好的引导（并且，如果它们正在暗中谋划，确保它们不会在这些任务上故意放水）。 即便模型已经具备概念推理所需的全部底层技能，概念性任务与非概念性任务在观感和体验上也存在足够大的差异，以至于模型未必会在没有训练的情况下运用这些技能。反过来，要在概念性任务上充分引导模型发挥能力，至少需要一种衡量其进展的方法，我们预计针对此类衡量方法的专门工作将极具价值。 （我们的大部分工作都集中在制作基准和类似资源上。）与此相关，我们发现模型在嵌入概念性语境中的数学问题上表现相当差，尽管它们在孤立呈现的数学问题上显然非常擅长。这支持了这样一种观点：改进概念推理在一定程度上是一个引导（elicitation）问题。

旁注：我们并不一定预期不同概念领域之间会有多少泛化。例如，一些 AI 对齐工作似乎与道德哲学相距较远。而从经验上看，我们的感觉是，从小规模训练中获得的泛化相当弱。我们对此的看法随时间而演变：基于经验证据，我们已逐渐更新预期，认为泛化会更少。 出于这个原因，未来我们有可能决定更聚焦于我们认为最重要的领域。话虽如此，我们目前的观点是，从方法论的角度看，把概念推理作为一个整体来考虑是合理的：所有概念领域都会提出关于测量的类似根本性问题，而某些技术可能适用于广泛的概念领域。

对通用能力的影响可能很小

上文我们已给出理由认为，AI 研发对概念推理的依赖远低于 AI 对齐和哲学等领域。在此，我们从能力本身转向实践中的概念推理工作，并给出三个理由，说明此类工作的影响很可能高度差异化。

首先，我们的工作对通用能力的影响不太可能是反事实的。概念推理方面的研究无疑会影响许多不同的能力：有些对我们想要加速的工作有用，有些对通用能力有用，有些对两者都有用，还有些对两者都无用。 在这些能力中，那些有助于形成 AI 公司所瞄准的通用能力的能力，极有可能与现有训练重复，因为 AI 公司的其他训练更有可能无论如何都会产生这些能力。例如，人们可能会预期从 LMCA（我们的概念论证数据集）到数学存在一定的迁移，因为相关推理风格存在一些重叠。 但是，一旦预训练数据耗尽，只需通过带有可验证奖励的问题进行训练，就能轻松得多地获得数学方面的相关技能。13 同样的道理似乎也适用于机器学习。尽管某些机器学习任务过于昂贵，无法直接基于可验证的结果进行训练（例如，从头到尾为下一个前沿模型设计训练计划），但这些任务的许多相关技能很可能也会出现在成本较低的任务中，而基于结果的强化学习在这些任务上是可行的。 此外，如果仅靠基于结果的奖励并非训练机器学习研究品味的最有效方式，那么 AI 公司或许可以例如制作由其顶尖机器学习研究员做出判断的数据集（考虑到这些公司将模型用于 AI 研发，很自然地会促成此类数据集的构建）。若果真如此，其他概念推理工作对机器学习研究品味的任何残余影响就会小得多。

其次，我们可以专注于特定的概念推理领域，避开那些似乎与时间线最相关的领域。与 AI 研发最相关的概念技能，可能与我们所关注领域最相关的概念技能有所不同。然而，这一考量比乍看之下要弱，原因有二。我们的数据集或许能让人们测试针对更广泛领域的技术（见 ）。而且，通过倡导概念推理方面的研究，我们可能会让那些目标设定不够谨慎的人投身于这一领域。（我们在决定撰写这篇文章时已经考虑到了这一点！）最后，我们认为，基于通用能力受忽视程度较低这一事实，有充分的事前理由预期加速通用能力所带来的负面影响（远）不及我们的机会成本重要。关于这一点，更多内容请参见 Caspar 关于能力外部性简单论证的文章。）。而且，通过倡导概念推理方面的研究，我们可能会引导那些目标设定不够谨慎的人投身于这一领域。（我们在决定撰写这篇文章时已经考虑到了这一点！）

最后，我们认为，有充分的 先验 基于通用能力受忽视程度较低这一事实，有充分的事前理由预期加速通用能力所带来的负面影响（远）不及我们的机会成本重要。关于这一点，更多内容请参见 Caspar 关于 关于能力外部性与机会成本的简单论证我们预期这一 先验 这一论证在这里大体适用。

反驳：利用我们的数据集开发通用技术

我们大多认为我们的数据集很有价值，因为对于某些我们想要加速的领域X来说，它们是唯一好的数据集。但很可能存在一个更大的领域集合Y，对于其中某个领域而言，我们的某个数据集也是唯一或最好的数据集。如果是这样，那个数据集或许能推动Y领域的工作。例如，LMCA很可能是最好的、也许是唯一好的通用评分论证数据集。它可能也是最好的公开可用14 “模糊任务”（即没有廉价可验证的真实奖励的任务）的数据集15）。如果是这样，LMCA 或许能更普遍地推动模糊任务方面的工作：如果 Alice 有一种适用于模糊任务的通用技术（比如辩论），人们理应期望这种技术在概念论证上与其他模糊任务（例如推理如何最大化 AI 公司的收入）上同样有效，那么 LMCA 就能让她测试这种技术。

如果不更好地了解我们的数据集将反事实地使人们能够测试哪些通用技术，这一担忧就很难评估。但根据与 AI 公司员工的交谈，我们预计这是一个合理的担忧。

似乎有两点考虑能在一定程度上缓解这一担忧。第一，如果某项能力对 AI 公司很重要，他们很可能会希望制作一个更直接针对该能力的基准（尽管我们的数据集仍至少能给他们提供一个相关的基准 ）。其次，用我们的基准而非其他基准进行测试，可能会将相关技术的发展引导到有益的方向，例如引导向在概念性任务上表现尤为出色的技术。5 我们的工作迄今为止，我们主要专注于制作概念推理数据集和基准，而非训练或开发技术。这在很大程度上是因为，高质量数据集更易获取将能解锁这一问题的其他工作：数据集……其次，用我们的基准而非其他基准进行测试，可能会将相关技术的发展引导到有益的方向，例如引导向在概念性任务上表现尤为出色的技术。

5 我们的工作

迄今为止，我们主要专注于制作概念推理数据集和基准，而非训练或开发技术。这在很大程度上是因为，高质量数据集更易获取将能解锁这一问题的其他工作：数据集构建需要概念推理方面的专业知识，而这正是我们的比较优势所在，并且目前高质量的概念推理数据集寥寥无几。 此外，数据集几乎是任何其他干预措施的前提条件，并且能让其他人（例如更专注于机器学习的人，甚至未来的 AI 智能体）做出贡献。数据集在某种程度上还具有稳健的实用性（例如，它们也可用于预测未来发展并辅助确定优先级）。你可以在我们的 概念推理指数 （CRI）网站上了解更多关于我们数据集的信息并查看结果。我们也非常有兴趣将他人高质量的概念推理数据集纳入 CRI，因此，如果你拥有或正在开发希望被纳入的数据集，我们鼓励你与我们联系。

我们当前的项目之一是一个数据集，用于评估模型在生成性概念任务上的表现，而这些任务恰好处于我们希望模型擅长的分布范围内。衡量模型在生成性任务上的表现颇具挑战，因为这需要自动化评分，而 LLM 评分器很容易被钻空子。但这也使得开发更好的方法来评估这些任务上的表现尤为重要。

我们还对提升与概念推理相关的倾向感兴趣。例如，我们目前认为，模型推理的可读性差限制了其在概念推理方面的实用性和可信度。模型常常以含糊且令人困惑的方式写作，似乎是为了掩盖其错误而优化的（也许是因为 RLAIF 奖励了这一点）。我们认为解决这个问题可能极其重要。此外， 模型对概念性问题的回答目前似乎以不透明的方式高度迎合用户这似乎不太好，尽管此处的理想行为在某种程度上仍有争议。我们正在构建一个数据集，以更好地衡量模型在概念领域中的谄媚等行为。

我们将在后续文章中更详细地讨论我们对概念推理中优先级排序的看法。

简而言之，我们目前最优先考虑差异化加速的领域是技术性 AI 安全、决策理论， 安全的帕累托 改进 以及因果优先级排序中特别偏概念性的方面。在其他一些领域提升 AI 能力，例如预测智能爆炸，可能也有价值，但双重用途或其他负面外部性的风险更高。

我们一直在寻找更多人来参与我们的议程。如果你有兴趣与我们合作，或从事类似的工作，请通过以下方式联系我们： info@rdwrs.com.

立即订阅

6 致谢

我们特别感谢 Alex Kastner、Lukas Finnveden 和 Buck Shlegeris 提供的详尽反馈。我们还要感谢 Alexa Pan、Anthony DiGiovanni、Carlo Leonardo Attubato、Carlos Giudice、Eli Lifland、Francis Rhys Ward、Hasan Baig、Jeremy Gillen、Jo Jiao、Julian Stastny、Keshav Shenoy、Lukas Gloor、Megan Kinniment、Miles Kodama、Nathaniel Sauerberg、Netzer Epstein、Rohin Shah、Thomas Larsen、Vojta Kovarik， 以及 Zephaniah Roe 提供的有益评论和讨论。

附录：概念领域示例与非示例

本附录举例说明我们所说的概念推理是什么意思。关于我们目前认为最值得加速的领域，见 我们的工作.

伦理学。 我们将伦理学视为一个典型的概念领域。16 它显然符合我们的标准：它缺乏一套既定的方法来解决分歧；它无法从现实世界获得反馈；而且它的进展主要来自论证。

数学。 数学在很大程度上 是 按我们的定义属于概念性。特别是，评估所提出的数学陈述是否为真（通过证明或反例）是 概念性的，因为它是完全可以验证的。回答完全定义的问题（例如，求解巴塞尔问题）同样不是概念性的。一些应用数学，例如应用统计学，本质上以预测现实世界事件为基础，因此现实世界的反馈也使其成为非概念性的。话虽如此，我们会将数学中的一些基础性活动视为概念性的：一般来说，那些与形式化我们已有一些直觉的概念相关的活动，以及选择哪些问题 概念性的，因为它是完全可以验证的。回答完全定义的问题（例如，求解 巴塞尔问题）同样不是概念性的。

一些应用数学，例如应用统计学，本质上以预测现实世界事件为基础，因此现实世界的反馈也使其成为非概念性的。

话虽如此，我们会将数学中的一些基础性活动视为概念性的：一般来说，那些与形式化我们已有一些直觉的概念相关的活动，以及选择研究哪些问题（当不受现实世界或数学应用引导时）。例如，发展数学的公理化基础就是概念性的——特别是反思哪些公理是“自然的”（例如，是否假设选择公理）。 相比之下，某个给定的公理化体系是否足够强以推导出全部标准数学，这一技术性问题则不是概念性的。逻辑与概率的基础，以及学习理论中的一些基本思想（如遗憾的概念），也具有一定的概念性。

重要的是，并非所有定义性或开创领域的工作都是概念性的。其中很大一部分主要由实际应用和现实世界的反馈驱动。例如，线性代数的基本概念将早已为人所理解的思想系统化，而这些思想具有直接且已知的实际应用，比如求解线性方程组。 同样，计算复杂性理论的基础概念（例如最坏情况下的 big-O 分析和 P 类与 NP 类）可以被视为概念上自然的，但它们的核心地位主要源于实际考量。特别是，许多实际问题最终被证明是 NP 完全的，这使得 NP 成为一个自然值得关注的复杂性类。 而且，尽管对于应用而言，人们可能更关心精确的运行时间，而不是最坏情况下的 big-O 复杂度，但精确的运行时间界限在理论上极难推导，而 big-O 分析则要容易处理得多，同时在实践中仍然足够有信息量。

关于要从事什么工作的决策可以是概念性的，也可以是非概念性的：

  • 在纯数学中，人们有时选择某些问题是因为它们本身有趣，而非对某个特定目的有用；人们研究某些理论是因为它们在某种意义上优雅。例如，人们有时会说范畴论很优雅， citing，比如，它能够统一来自数学不同领域的结果，同时又说不它在某种意义上不太有用。 （我们同样听到有人说弦论优雅但无用。）这类关于趣味性和优雅性的判断似乎相当概念化。

  • 在许多其他情况下，关于要从事什么工作的决策是由实际特性驱动的，人们能从这些特性中获得现实世界的反馈。例如，人们可能会选择那些自己觉得能够取得进展的课题。经验很可能训练了这种感觉：人们从过去关于要从事什么工作的决策结果中学习，也从自己过去对进展的预测是否正确中学习。

关于社会选择理论的研究。 这是一个典型的混合了概念性与非概念性工作的学科示例。有些方面非常概念化：在诸多期望目标之间进行选择和排序（例如， 孔多塞标准）用于投票规则17; 决定 试图证明或证伪 阿罗不可能定理；选择建模假设（例如，偏好是基数型还是序数型）。其他内容大多是非概念性的：证明关于投票规则的形式化结果（例如， 证明 阿罗不可能定理）；进行计算实验，以检验例如虚报偏好的动机有多普遍。

长期主义宏观战略。 这是一个有些复杂的混合体，但其中大部分似乎相当概念化。关于我们应该做什么的高层问题有些概念化，因为我们对此得到的反馈很少。诸如以下的问题似乎也相当概念化：欺骗性对齐的 AI 带来的风险有多大，无因果交易是否合理，以及“ 末日论证 或费米悖论应该让我们非常担忧。涉及伦理的问题，例如应该对 天文级浪费，显然非常概念化。其他问题则更为混合。例如，预测像我们这样的文明在不同情形下的长期轨迹（比如，如果中国成为占主导地位的全球超级大国，其价值观在长期内是否依然良好？）就相当概念化，但同时也受到各种经验性考量的启发。

这里“宏观”这一部分很重要：我们越是深入微观层面的优先级考量，事情就越不那么概念化。

说服。 我们大多将说服视为非概念性的，因为人们最终从现实世界经验中学到它，比从先验推理中学到得更好。它的反馈回路也相对较快，并且在很大程度上属于人类心理学的问题，可以通过经验来研究。

话虽如此，提出好的概念性论证本身就是概念性的工作，而且它有助于说服。另一方面，最好的论证往往并不是最有说服力的。例如，有说服力的论证常常诉诸人类心理的怪癖，比如损失厌恶，而好的论证往往必须讨论那些会削弱自身立场的细微之处。更一般地说，对某个概念领域的更深入理解有助于在该领域中进行说服。

与此相关，在某种意义上，人们可以把每一个问题都看作是在问：在一个漫长、大规模、理想化的反思过程结束时，我们会觉得什么是有说服力的。因此，撰写能够说服这样一个反思过程的论证是概念性的。但我们认为，这与试图说服当今的政客或公众成员是相当不同的活动。

成为一名优秀的CEO。 我们通常认为这在平时基本属于非概念性的，因为我们预期大多数商业决策主要依赖于汇总大量实践经验和信息（尽管我们中没有人有过担任CEO的个人经验）。在史无前例的时期，例如在智能爆炸期间，成为一名优秀的CEO则有所不同，因为那时成为一名优秀的未来学家可能是这份工作的重要组成部分。 CEO有时可能也不得不问自己一些伦理问题，而这些问题一如既往地像伦理问题那样概念化。

附录：概念性洞见是否构成了 ML 的瓶颈？

在本附录中，我们考虑概念推理方面的工作是否可能通过提供 AI 研发原本缺乏的概念性洞见来加速 AI 时间线。具体而言，模型或许能够从例如 LMCA 中学习到某些能力，而它们从 AI 公司的默认训练中则难以学到这些能力，并且这些能力可能对 AI 研发有用。我们认为这是可能的，但我们怀疑这类洞见通常会成为 AI 发展的瓶颈。

要为此想出一个有说服力的例子有点困难，但我们最常举的例子是：LMCA 可能有助于学习对“下一词预测能否 原则上 扩展到 ASI、LLM 是否将永远只是无法拥有世界模型的“随机鹦鹉”等等。与此同时，在 AI 研发环境中进行训练对此可能帮助不大，因为像 ASI 这样的概念缺乏一个可能出现在训练中的参照类。我们认为这些特定问题已不再相关，因此让模型擅长对它们进行推理是无害的。 然而，从原则上讲，未来 AI 研发可能取决于关于智能本质的类似问题——概念推理数据集将有助于模型对这些问题进行推理——而不是取决于更平淡的技能，比如预测实验结果所擅长教授的那类技能。

这种担忧更为严重，因为人们很容易在不单纯诉诸普遍无能的情况下，讲出一个关于AI公司为何可能低估与这类洞见相关的AI能力的故事。例如，这些能力的许多价值可能来自低概率或一次性、高影响的事件，而基于此类事件做出的决策要困难得多。

概念推理还可能有助于组织海量知识（比如数千篇论文）以及梳理非常庞大的研究领域。原则上，AI 完全可以在 AI 研发环境中通过强化学习学会这种能力，但这似乎需要在极长的推理轨迹上进行训练，即便有数千亿美元的预算，成本也非常高昂。18我们猜测，各种概念性能力将对此有所帮助。例如，我们认为，某个区分在某种哲学意义上是否“有原则”，很可能相当不错地预示了它是否会持续有用。

然而，我们怀疑这类概念性洞见通常会成为 AI 发展的瓶颈。例如，如果关于下一词预测的所有潜在混淆在比如 2019 年就已被解决，我们认为时间线也只会略微缩短。有许多损失函数可以 原则上 带你走向AGI。（例如，原则上，预测世界上所有摄像头画面也能带你走向AGI。）概念推理有助于判断某种数据来源原则上能否带你走向AGI。但我们认为，难点主要在于找到一种特定类型的数据和训练算法，使其能够扩展到 在实践中，然后通过小规模实验正确推测出这种方法会相当容易扩展。在判断哪种方法有效时，概念推理似乎几乎毫无用处。 在实践中而在 AI 研发环境中进行训练可能对此非常有益。

脚注

  1. 引用乔·卡尔史密斯的话：“不过，对于某些领域的研究，我们的评估工作无法受益于强大的实证反馈循环或形式化评估方法。相反，我们评估这类研究的核心工具是……思考它。还有：争论。但不是那种方式：思考之后，你就能看到答案。而是：你思考它，你争论，你得出一个观点，然后……就这样。” 我将这类研究称为“概念研究”。在我看来，典型例子包括哲学、未来学和某些类型的政治辩论。需要明确的是：这些领域的工作也可以借助经验数据。而且往往（例如在未来学的语境下），确实存在一个真实的经验性答案（例如，未来实际上会发生什么）。 [...] 我把研究视为“概念性”的，只要我们对它的评估无法在需要评估它之前受益于实证测试/反馈循环。 ↩

  2. 这本身就是一个概念性任务。 ↩

  3. 尤其是对于概念领域中更具数学性的部分，比如某个被提出的伦理理论是否会导致荷兰赌。 ↩

  4. 人们或许会希望，一开始就能以低成本的方式获取所有相关的人类判断，并最终留下一个可验证的问题。如果是这样，也许我们只需训练模型去预测 MTurk 众包工人，剩下的就交给在数学等可验证领域上的训练来处理。若果真如此，这些规范性问题或许就不需要专门投入工作，AI 也能回答它们。然而，这似乎存在几个问题。 首先，人们可能需要向人类提出的问题可能不容易回答，也可能不容易理解。（例如，在大多数情况下，询问 MTurk 众包工人更愿意接受哪种哲学立场似乎不会很有用。）目前尚不清楚人们是否能在实践中进一步减少这些问题。 （通常，在回答哲学问题时，价值观和能力之类的东西似乎总是紧密纠缠在一起。）其次，如果被迫提前提出所有问题，一个人可能需要回答的问题数量可能极其庞大。最后，即使这类方法原则上可行，我们也需要确保模型被良好地引导。 这要求我们能够评估模型回答此类问题的能力，而我们目前还无法很好地做到这一点。 ↩

  5. 乔·卡尔史密斯的文章中的例子。请注意，我们尚未逐一核实这些条目，因此不一定认同他将这些作品归类为概念性的做法：

    “关于可扩展监督技术的早期工作，例如

    ↩

  6. 机器学习研究品味中有一些（大多不太相关的）组成部分，我们会将其视为概念性的。有些问题“有趣”或“自然”，有些实验设置“优雅”或“酷”，而这种意义主要并不是我们所说的预测性意义。 会 视为概念性的。有些问题“有趣”或“自然”，有些实验设置“优雅”或“酷”，而这种意义主要并不是我们所说的预测性意义。 ↩

  7. 请注意，这确实依赖于运行相关机器学习实验的可行性。如果我们生活在20世纪50年代，机器学习研究将会更加概念化，因为这种真值反馈将无法获得。 ↩

  8. 当然，你可能会认为这是一个巨大的错误。但如果那些在概念推理方面异常出色的机器学习研究者，在机器学习研究上也异常出色，那么我们就会预期发现顶尖的机器学习研究者在概念推理方面异常出色（超出例如由他们的通用智能所预测的水平），并且可能相对更倾向于概念性的思维方式（因为对从事某项技能的兴趣可以预测该技能上的实力）。 我们认为实验室很可能会注意到这一点。（而我们非常有限的信息表明，顶尖的机器学习研究者对概念性的推理方式并不特别感兴趣，尤其是与顶尖的安全研究者相比。） ↩

  9. 例如，考虑那些更多由市场力量驱动、或由代理利用说服工具谋取自身目的的反思过程。 ↩

  10. 为什么现在就已经有价值？我们认为，模型已经开始在部分概念性 AI 安全工作的某些环节中变得有用，因此，即使自动化还很遥远，改进它们当前的能力也会带来改变。我们还认为，模型已经开始在影响可能具有路径依赖性的观点（关于人类和 AI 系统的观点）方面发挥作用。 ↩

  11. 与此相关的是，即便是重视良好概念推理能力的客户，也很难判断哪个模型推理得最好，因为概念推理难以验证。这进一步削弱了 AI 公司改进它的商业动机。 ↩

  12. 而我们猜测，像 Mercor、Surge AI、Appen 这样的人工数据公司并不适合提供这类数据。 ↩

  13. 虽然强化学习往往效率低下，尤其是在更长的时间跨度上，但付费让人类生成新数据似乎要昂贵得多，并且有更多根本性的限制（尤其是当能力接近人类专家水平时）。 ↩

  14. 与此同时，前沿实验室或许在模糊任务上拥有更多有用的非公开数据集。 ↩

  15. 请注意，这比概念性任务的范围更广，因为它包含了显著涉及应用经验知识的任务。例如，设计一个用户会喜欢的 UI 是一项模糊任务（因为获取用户输入的成本很高），但它并不是一项概念性任务。 ↩

  16. 不管怎样，我们都是道德反实在论者。如果你认为道德意味着服从上帝的命令，并且认为《圣经》是上帝的话语，那么道德就变得不那么概念化了，不过由于《圣经》的不精确性，解读《圣经》仍然相当概念化。 ↩

  17. 有时这会变得非概念化。例如，假设人们想要改革一个大国的投票制度。那么设计新投票制度的一个环节就是从政治家或选民那里获取需求指标。弄清楚什么样的投票规则会对人们有吸引力，以及他们甚至能理解哪些投票规则，这并非概念性的。 ↩

  18. 不过，你也可以通过整理现有知识来学到很多东西，例如作为文献综述的一部分。举例来说，你可能会有 AI 研发强化学习环境，在其中模型可以先回顾文献，然后再运行一些训练。

    反对从文献综述进行泛化的一个论点是，文献综述中找到的文献通常带有一定的结构/组织。另一个论点是，如果你阅读了大量文献，但随后只运行一次训练，你可能并不需要做非常复杂的组织工作。 ↩

引用此帖

@misc{cooper2026basic,
  title = {{A basic case for accelerating conceptual reasoning capabilities}},
  author = {Emery Cooper and Caspar Oesterheld and Chi Nguyen},
  year = {2026},
  month = oct,
  howpublished = {Redwood Research blog},
  url = {https://www.redwoodresearch.org/blog/a-basic-case-for-accelerating-conceptual}
}

同时发布于 Substack.