OpenAI 分享 Deployment Simulation 工作
2026年10月,OpenAI 在 Alignment 研究博客中分享了其 Deployment Simulation 工作,验证用公开数据集 WildChat 的对话前缀模拟模型部署,能否预测真实生产环境中的失准率。研究称,95% 的预测落在实际生产率的 1.04 个数量级以内。研究同时发现,WildChat 对与智能体使用相关的失准类别预测误差明显更大,原始乘性误差约为其他类别的 37 倍。研究还用它评估了 4 家前沿实验室 15 个模型的对齐表现,其排序与 Anthropic 的 Petri 结果高度一致,Spearman rho 为 0.973。目前该工作仍为 OpenAI 单方发布,尚无后续发展事实。
匹配字段标题