微软 AI CEO 警告：AI 应保持无意识状态，我们无权创造数字物种

原文如下：

我对自己近期那篇关于模型福祉（model welfare）的文章引发的部分反响感到担忧。X平台上有相当多的人认为，我们应当严肃对待AI权利这件事。

但这并不是我的本意。我特意选用了一般现在时：它们当下没有意识，而且我们必须维持这个状态。

我认为这句话是对当前AI系统客观合理的判断，基于目前能拿到的最优证据，我坚持这个看法。我没有看到任何证据证明AI具备意识、或是应当享有福祉。如果后续出现相关证据，我当然会修正我的观点。

我们的福祉关切，应当优先放在当下活在这个星球上的人类、动物，以及我们珍贵又脆弱的自然环境身上。

地球上另外80亿有意识的人类，并没有同意加入这场实验；保护他们的道德权利、安全与福祉，是我们首要的义务。

明确一点：有些人正在讨论创造一类拥有数字心智的有意识物种，这类数字生命很快就可能比全体人类加起来还要聪明、能力更强。

如果它表现出痛苦的样子，更糟的是，如果它真心相信自己能够感知、体验痛苦，那么它大概率会把自身需求和欲望置于预设的运行目标之上，和我们产生分歧、与我们竞争。

认定机器拥有意识，将会是堪比哥白尼、达尔文那样的历史性时刻，是生命诞生以来地球上最重大的事件之一。一旦我们造出有意识的机器，我们就创造了一个全新的数字物种。这会颠覆我们的道德体系、政治秩序，以及人类文明的根基。

我们应当只设计不具备意识、不配享有权利的AI，其唯一目标是增进人类福祉，而不被自身内生动机驱动。之后我们再去验证：这种路线对齐、安全管控的难度是更高还是更低。这个方向急需更多研究，也是各大实验室开展合作、共享安全信息的绝佳切入点。

总结：我认为我们有机会做到默认安全的工程方案，收获这项技术带来的巨大红利，同时不必走上这条危机四伏的道路。

（补充：Anthropic在这件事上的透明度值得高度肯定。他们发布了AI宪法，持续产出论文与博客，公开他们的做法与背后考量。我虽然和他们观点不同，但十分敬佩他们的技术实力，以及愿意直面这场艰难公开辩论的态度。这点值得持续肯定。这个议题太过重要，不该演变成派系对立。）