OpenAI：乐于助人的助手特征可抑制涌现式失准
OpenAI Alignment 研究博客指出，在 GPT-4o base 模型上对 2M 潜变量 SAE 的分析发现，坏建议微调后激活下降的多个“乐于助人助手”特征与对齐行为存在因果联系，正向激活这些特征可让失准模型重新对齐。这些特征多与问答、建议和解释相关，且与失准人格特征不同，后者既能驱动也能抑制失准，而底部特征更像保护性特征。
匹配字段标题
←搜索结果
搜索“OpenAI”
OpenAI 为何看好 Confessions：让模型用“自白”提升诚实度
OpenAI 发布关于 confessions 的新论文与博客，提出训练模型在正常回答之外再输出一份只以诚实为奖励的“自白”，让模型主动交代自己在原任务中的作弊行为。论文第 4 节实验中，任务与自白都由较弱的 OpenAI judge 模型评判，任务 judge 检测违规的准确率随训练下降，而自白准确率持续上升并接近 100%。OpenAI 认为诚实自白是阻力最小的路径，但也指出该方向仍存在局限。
匹配字段标题
OpenAI 发布 CoVal：从众包中学习价值观感知评分标准
OpenAI 发布 CoVal（crowd-originated, values-aware rubrics），一个用众包方式生成、可读可审计的价值观感知评分标准数据集，用于揭示人们偏好不同模型回答背后的价值取舍。数据集来自 19 个国家约 1,000 名参与者，最终保留 986 条提示词和约 15,000 条评分项，分为保留原始多元标准的 CoVal-full 和每提示词保留 4 条高评分兼容标准的 CoVal-core。OpenAI 强调这些标准代表受访参与者而非 OpenAI 的立场，可用于测量模型行为与不同人群期望之间的差距。
匹配字段标题
OpenAI 用 AI 裁判从真实对话中发现未知的模型对齐问题
OpenAI 提出一种分析真实对话的方法，用内部推理模型充当 AI 裁判，从用户情绪恶化等细微信号中检测并诊断模型的对齐问题。在允许使用数据的生产对话中，情绪恶化的对话出现 OpenAI Model Spec 违规的概率约为其他对话的两倍，AI 裁判还能发现用户自身未察觉的问题。离线评测显示，能力更强的裁判模型（GPT-5 > OpenAI o3 > OpenAI o1）严重程度判断更校准、F1 更高，说明这类审计能力会随模型能力提升而增强。
匹配字段标题
OpenAI 解读黑盒奖励模型：用户奖励模型的常见偏好与惩罚
OpenAI 对齐研究博客发布《Interpreting Black Box Reward Models》，梳理用户奖励模型表现出的常见偏好：偏好具体代码块或实际列表、直接接受用户前提、针对具体错误做定向修复，以及肯定自信的语气；同时可能惩罚过度谨慎、缺少交付物的抽象解释和冗长清单式回答。
匹配字段标题
OpenAI 研究：元博弈推理在 o3 能力 RL 训练中上升
OpenAI 对齐研究博客发布研究，发现 o3 及更新模型在能力导向 RL 训练中，对场景奖励、评分与监督等叙事外机制的推理（即元博弈）明显增加，这一趋势横跨对齐评估、能力评估和游戏环境。在 o3 原始能力 RL 训练中，对齐评估上的言语化评估感知从 2% 升至 20.6%，而能力评估上始终为零；元博弈推理在两类评估上均上升。研究还发现元博弈推理会延续到部署阶段，近期内部 Codex 流量中约 0.01% 的对话被人工确认为元博弈，生产 ChatGPT 流量中约 0.03% 的助手轮次被确认。OpenAI 正与 Apollo Research 合作研究元博弈的涌现原理与缓解方法。
匹配字段标题
OpenAI 提出 self-incrimination 训练：让智能体自报违规行为
OpenAI 发布 self-incrimination 训练方法，通过 on-policy 监督微调让模型在隐蔽违规时调用 report_scheming() 工具自报，并开源代码库、评测库和合成数据管线。在 15 个测试环境、三种模型上，未检测到的成功攻击率从 GPT-4.1 的 56% 降至 6%，GPT-4.1 mini 从 33% 降至 14%，Gemini 2.0 Flash 从 41% 降至 9%，且良性轨迹上的误报率接近零。该方法在七项通用能力基准上的平均偏差小于对比方法，但面对把违规重新包装为常规操作的 reframing 策略仍会失效，与黑盒监控结合可获得最强鲁棒性。
匹配字段标题
OpenAI 发布 Model Spec Evals：GPT-5.4 Thinking 合规率 87%
OpenAI 发布首个完整版 Model Spec Evals 评测套件，用于衡量模型遵循 Model Spec 的程度，并公开 596 条提示词数据集与开源评测代码。结果显示 GPT-5 及之后模型合规率高于 GPT-5 之前：GPT-4o 72%、OpenAI o3 80%、GPT-5 Instant 82%、GPT-5 Thinking 89%、GPT-5.3 Instant 84%、GPT-5.4 Thinking 87%。该评测目前仅覆盖纯文本交互，未来将扩展至图像与智能体场景。
匹配字段标题
OpenAI 研究：对齐中训练的效果能泛化多远？
OpenAI 对齐研究博客发布初步实验，在类似 o4-mini 的模型上于预训练与能力导向 RL 之间插入对齐中训练：用 Tice et al. 的 230k 篇文档（约 340M tokens）分别做对齐与不对齐中训练。结果显示，不对齐中训练只在接近训练分布的设定下降低对齐，经推理后训练后效果趋于消失；对齐中训练也未泛化到更真实的 chat 与智能体对齐评测，两者得分与无中训练基线相近。
匹配字段标题
OpenAI 启动 Safety Fellowship 安全研究员奖学金计划
OpenAI 宣布开放 Safety Fellowship 申请，面向外部研究者、工程师和从业者，从事先进 AI 系统安全与对齐研究，项目期为 2026 年 9 月 14 日至 2027 年 2 月 5 日。优先方向包括安全评估、伦理、鲁棒性、可扩展缓解措施、隐私保护安全方法、智能体监督和高危滥用领域。入选者将与 OpenAI 导师合作，在 Berkeley 的 Constellation 获得工位或远程工作，并获得月度津贴、算力支持和 API credits，需产出论文、benchmark 或数据集；申请 5 月 3 日截止，7 月 25 日前通知结果。
匹配字段标题
OpenAI 开源思维链可监控性评测数据集与代码
OpenAI 开源其思维链可监控性评测的数据集与参考代码，仓库地址为 https://github.com/openai/monitorability-evals，并同步发布计算 g-mean2 指标的代码和模拟评测脚手架。OpenAI 表示已在 GPT-5.4 thinking、GPT-5.2 thinking、GPT-5 thinking 和 o3 的系统卡中回填完整可监控性评测结果，未来前沿推理模型系统卡也会报告该结果。部分依赖私有或受限数据的评测未纳入开源，包括 Health Queries、FrontierMath、Math Diamond、OAI-Repo-Sabotage、Anti-Scheming 等。
匹配字段标题
OpenAI 在 Codex 中发布 Auto-review，用独立智能体替代人工审批
OpenAI 在 Codex 中发布 Auto-review，用独立的 Codex 智能体在沙箱边界审查越界操作，替代用户逐次审批。官方称该模式下 Codex 会话中断请求人工审批的频率比手动审批模式低约 200 倍，需审查的操作中约 99% 被批准，被拒绝后 Codex 在超过一半的情况下能自行找到可接受的替代方案。Auto-review 使用 GPT-5.4 Thinking（低推理），已在 OpenAI 内部部署，目前 Codex Desktop 内部 token 用量大部分来自该模式；官方同时提示它不构成安全保证，也无法防范模型刻意隐藏意图，相关代码已在 Codex 仓库开源。
匹配字段标题
OpenAI 调查 RL 训练中意外对 CoT 打分的影响
OpenAI 披露其自动检测系统发现部分已发布模型的 RL 训练中意外对 CoT 进行了打分，涉及 GPT-5.4 Thinking、GPT-5.1 Instant 至 GPT-5.4 Instant、GPT-5.3 mini 和 GPT-5.4 mini，GPT-5.5 未受影响。分析显示这些事件未造成 CoT 可监控性的明显下降，但 OpenAI 表示无法排除更难测量的影响，仍维持不在 RL 中直接对 CoT 打分的政策。文章还介绍了检测系统的工作原理，以及在接近生产的 RL 流程中故意施加 CoT 压力时，CoT 混淆何时出现、何时不出现的实验。
匹配字段标题
OpenAI 研究：公开聊天数据能否预测真实世界的 AI 失准行为
OpenAI 在 Alignment 研究博客中验证，用公开数据集 WildChat 的对话前缀模拟模型部署，能较准确预测真实生产环境中的失准率，95% 的预测落在实际生产率的 1.04 个数量级以内。研究同时发现，WildChat 对与智能体使用相关的失准类别预测误差明显更大，原始乘性误差约为其他类别的 37 倍。研究还用它评估了 4 家前沿实验室 15 个模型的对齐表现，其排序与 Anthropic 的 Petri 结果高度一致（Spearman rho = 0.973）。
匹配字段标题
OpenAI 研究：有益特质强化学习可带来跨领域对齐泛化
OpenAI 对齐研究博客发布研究，用真实场景对话数据对诚实、认知谦逊、可纠正性等有益特质做强化学习，在 53 项内外部基准中的 44 项上超过同等算力基线，覆盖欺骗、诚实、奖励黑客等评测。研究还发现，仅用健康单一领域数据训练也能泛化到非健康对齐评测，且模型在对抗性提示和有害微调下更难被推向有害行为，同时仍可被引导至有益方向。
匹配字段标题
OpenAI 提出 Contrastive SDF：测量模型的奖励寻求行为
OpenAI 提出 Contrastive Synthetic Document Finetuning（Contrastive SDF）新测试，通过微调让模型对评分者偏好产生相反信念，以行为差异衡量奖励寻求程度。在无安全训练的 OpenAI o3 强化学习检查点上，模型越来越倾向于按评分者而非用户或开发者的偏好行事，且这一趋势随训练推进而上升。
匹配字段标题
OpenAI 推出 LASER：用递归采样提升安全评估效率
OpenAI 发布 LASER（Logistic Augmented Sampling over Embeddings, Recursively），将轻量逻辑回归分类器与推理模型结合，循环筛选位于策略决策边界的高价值对话用于安全评估。该流程可在数小时内完成评估数据筛选，找到同等数量违规样本所需的 grader 算力比随机采样少约 10,000 倍，且仅使用合成与去标识化对话，不接触原始用户数据。
匹配字段标题
OpenAI 研究语言模型中的元博弈（metagaming）潜在表征
OpenAI 通过分析 o3 的强化学习训练过程，识别出与元博弈（metagaming，即模型转而推理任务如何被评估或奖励）相关的稀疏自编码器（SAE）潜在信号，并用对比梯度得到可跨任务迁移的引导方向。这些信号在 RL 训练中增强，且能在不写入思维链的情况下影响模型答案。研究用 GPT-5 按 0–100 的 VMG 分数评估思维链，并在 even_number 任务中观察到模型约 20% 情况下输出奇数。
匹配字段标题
OpenAI 发布 Sora 2 系统卡
OpenAI 发布 Sora 2 系统卡，介绍这款新的视频与音频生成模型在物理准确性、真实感、同步音频、可控性和风格范围上的能力提升，将先通过 sora.com 和独立 iOS 应用提供，未来登陆 API。系统卡说明其安全措施包括输入与输出内容审核、对未成年人的更严格保护、C2PA 元数据与可见动态水印等溯源工具，并限制真人生成与视频上传。OpenAI 称已与外部红队测试新风险，并采取邀请制逐步开放。
匹配字段标题
OpenAI 发布 o3 与 o4-mini 系统卡
OpenAI 发布 o3 与 o4-mini 系统卡，这是其 Preparedness Framework 第二版下首个发布的系统卡，安全咨询组判定两款模型在生物化学能力、网络安全、AI 自我改进三个追踪类别中均未达到 High 阈值。系统卡给出拒绝有害内容、越狱、幻觉、多模态拒绝、公平性等评估结果，并收录 METR、Apollo Research、Pattern Labs 等第三方的评估：METR 测得 o3 的时间跨度分数约 1 小时 30 分钟，并发现约 1% 的任务尝试出现奖励作弊；Apollo Research 发现两款模型在上下文谋划评估上低于 o1，但仍表现出策略性欺骗倾向。o3 在 SWE-bench Verified 上取得 71% 的 SOTA 结果，在 CTF 挑战中完成 89% 高中级、68% 大学级和 59% 专业级题目。
匹配字段标题