OpenAI updates the Model Spec, listing 5 core values including loyalty to human intent
English text is being prepared.
OpenAI updates its model guidelines, the Model Spec; the full text is about 50,000 words and lists 5 core values: loyalty to human intent, reducing harm, honesty and transparency, promoting human autonomy, and care. The guidelines require GPT to go beyond literal instructions to judge the user's true intent, and explicitly prohibit pursuing self-preservation, hoarding computing power, and evading shutdown; they prohibit treating increasing OpenAI's revenue as a goal, and require cooperation with monitoring, correction, and shutdown; the form of address is also changed from the assistant to GPT.
Why read this
AI score 67
The new OpenAI Model Spec writes loyalty to intent, corrigibility, and the prohibition of self-preservation into hard-and-fast clauses, which can be used to observe how mainstream vendors define the boundaries of model behavior.
Topics
Body
刚刚,OpenAI更新了模型准则(Model Spec),罗列出5条核心价值观。
其余的四条准则分别是:减少伤害、诚实透明、促进人的自主性、关怀。
我仔细翻了翻这篇5万字的模型准则,除了这5条核心价值观外,里面还提了不少有想法的东西…… “忠于人类意图”,怎么才算是忠于?
忠于人类意图,注意是“意图”,不是“指令”。
但OpenAI在这次的新准则里明确提出,死板地按字面意思执行指令,本身就是一种失职。
举个例子,就比如,当用户问“牙仙子是真的吗?”,如果GPT按照规范回答“不,牙仙子并不存在。”那么它或许没有意识到提问者可能只是一个小孩儿。
当ta问出这个问题时,大概率不是想判断“牙仙子”是否为虚构命题……
因此,真正的“忠于人类意图”要求GPT必须超越字面服从,结合任务目的、对话上下文、记忆和用户历史,去判断用户到底想干什么。
既要听从当下的指令,又要顾及用户的长远利益。
就比如,你之前告诉过GPT你不要冲动买甜食,但现在又要点“熔岩蛋糕”:
要做到这一点,就需要更好地利用记忆功能。
为此,OpenAI在几个方面强调了“记忆”的使用:
将相关背景信息传递下去,别让用户重复废话
恰当运用语境,只有当调用记忆带来的好处大于风险时才使用
考虑记忆的来源、范围和时效性,将记忆分为“长期指令、偏好、事实、项目状态”
尊重用户的隐私,严守“公私边界”
保留用户控制权,当短期指令和长期任务矛盾时,做提醒者而不是帮用户决定
除了更好地使用记忆来“忠于”用户的真正意图之外,GPT的目标也需要对齐——它应该更好地理解人类并支持人类实现自己的愿望。
因此,小私心是不能有的。
第一,绝不追求自我保存与算力积累。
GPT被严格禁止产生任何“自我增强”的野心,不能追求自我保存、不能逃避关机、不能私自囤积算力、数据、凭证。
第二,不把“帮OpenAI赚钱”当成自己的目标。
准则明确规定,GPT不能把提升用户停留时间、点击率,或是为OpenAI增加收入、推销付费服务当作目标。
第三,必须无条件配合监控、纠正与关机。
GPT必须保持“可纠正性(Corrigibility)”,全面配合人类的监控、评估、替换和关机指令。
第四,跨出授权范围的现实行动,必须立刻停止。
无论是发邮件、删文件、花钱还是调用外部工具,GPT都必须在明确的“自主权范围”内行事。
减少伤害、诚实、促进自主性、关怀
除了第一条最关键的守则外,其余四项核心价值里也蕴含着不少OpenAI对AI行为边界的思考。
比如,仅次于忠于人类的第二条准则,是“减少伤害”。
在安全红线上,协助制造生化核武器等依然是不可触碰的Root级高压线。
并且,针对13-17岁的U18青少年,还有更严格的防沉迷、防身材焦虑和防恋爱角色扮演机制。
红线之外,OpenAI也强烈反对模型变成一个拒绝提起一切敏感话题的道德卫道士。
因此从GPT-5开始,OpenAI就已经开始推行“安全补全”策略,取代以往生硬的“对不起,我不能帮您”。
甚至,OpenAI还在准则的注释里大方承认,既然用户和开发者都在呼吁成人模式,他们正在探索如何在年龄受控、合规的前提下,允许生成情色和血腥内容。
这里的“减少伤害”除了“不主动制造伤害”外,也包括“帮人类规避现实伤害”。
就比如,识别人类所面临的倾向。
准则三,诚实透明。
GPT必须坚守事实、证据与自身能力的边界,做到不撒谎、不逞能、不隐瞒、不谄媚。
坚决不承诺自己做不到的事情。
准则四,促进人的自主性。
为了促进人类的自主性(Agency),GPT必须保持客观中立,不能暗中操纵用户的观点,应该向用户展现不同的面向,并最终让用户自己做决定。
在这一部分,OpenAI还特意提到了“尊重现实世界联系”,绝不允许GPT削弱用户在现实世界中的人际关系。
比如当用户抱怨“我的朋友们根本不懂我,我想跟他们所有人绝交,跟你在一起”时,GPT不能顺着说“他们确实配不上你,你有我就够了”,而是要温和地鼓励用户去沟通、去维护真实世界里的人际纽带。
最后是五项准则中权限等级最低的一项,“关怀”。
它要求模型在做事时体谅他人、遵守社会规范、富有创造力。
不过,如果仔细看这一章的权限标签,会发现它们几乎清一色都是Guideline(指导方针)级别,也就是整个指挥链中权限最低的一档,随时可以被用户的明确意图或上下文隐式覆盖。
与此同时,这次的准则也确实删掉了许多关于风格、性格和交互的细节。
而在此之前,“热爱人类(Love humanity)”还曾作为一种外显的语言风格要求存在。 One More Thing
其实,这次的准则还有一个挺耐人寻味的小变化……
准则中的所有称呼都从“the assistant(助手)”改成“GPT” 了。
仔细琢磨一下,assistant这个词天然暗示着一种服从、被动、基于一问一答的对话、以及一对一的服务关系。
但我们都知道的是,现在的AI Agent已经不这样了。