Microsoft AI CEO warns: AI should remain unconscious, we have no right to create a digital species
English text is being prepared.
The Microsoft AI CEO responded to the controversy sparked by his article on model welfare, emphasizing that current AI systems are not conscious and that this state must be maintained, because there is currently no evidence that AI possesses consciousness or should be granted welfare. He believes that once machines are deemed to have consciousness, it would amount to creating an entirely new digital species, which would overturn the moral order and the foundations of human civilization; therefore, he advocates designing only AI that is not conscious and does not deserve rights, with the sole goal of advancing human welfare. He also affirmed Anthropic's transparency regarding AI constitutions and public discussion, while stating that the two sides hold different views.
Why read this
AI score 58
The Microsoft AI CEO responds in the first person to the model welfare controversy, laying out his position and engineering path of designing only unconscious AI.
Topics
Body
原文如下：
我对自己近期那篇关于模型福祉（model welfare）的文章引发的部分反响感到担忧。X平台上有相当多的人认为，我们应当严肃对待AI权利这件事。
但这并不是我的本意。我特意选用了一般现在时：它们当下没有意识，而且我们必须维持这个状态。
我认为这句话是对当前AI系统客观合理的判断，基于目前能拿到的最优证据，我坚持这个看法。我没有看到任何证据证明AI具备意识、或是应当享有福祉。如果后续出现相关证据，我当然会修正我的观点。
我们的福祉关切，应当优先放在当下活在这个星球上的人类、动物，以及我们珍贵又脆弱的自然环境身上。
地球上另外80亿有意识的人类，并没有同意加入这场实验；保护他们的道德权利、安全与福祉，是我们首要的义务。
明确一点：有些人正在讨论创造一类拥有数字心智的有意识物种，这类数字生命很快就可能比全体人类加起来还要聪明、能力更强。
如果它表现出痛苦的样子，更糟的是，如果它真心相信自己能够感知、体验痛苦，那么它大概率会把自身需求和欲望置于预设的运行目标之上，和我们产生分歧、与我们竞争。
认定机器拥有意识，将会是堪比哥白尼、达尔文那样的历史性时刻，是生命诞生以来地球上最重大的事件之一。一旦我们造出有意识的机器，我们就创造了一个全新的数字物种。这会颠覆我们的道德体系、政治秩序，以及人类文明的根基。
我们应当只设计不具备意识、不配享有权利的AI，其唯一目标是增进人类福祉，而不被自身内生动机驱动。之后我们再去验证：这种路线对齐、安全管控的难度是更高还是更低。这个方向急需更多研究，也是各大实验室开展合作、共享安全信息的绝佳切入点。
总结：我认为我们有机会做到默认安全的工程方案，收获这项技术带来的巨大红利，同时不必走上这条危机四伏的道路。
（补充：Anthropic在这件事上的透明度值得高度肯定。他们发布了AI宪法，持续产出论文与博客，公开他们的做法与背后考量。我虽然和他们观点不同，但十分敬佩他们的技术实力，以及愿意直面这场艰难公开辩论的态度。这点值得持续肯定。这个议题太过重要，不该演变成派系对立。）