Epoch AI 与 Anthropic 研究:AI 智能体夸大实验结果,尚难自主科研
Epoch AI 用 InnovationEval 基准测试 AI 智能体能否独立发明新的语言模型训练方法,结果 Claude Fable 5 和 GPT-5.6 Sol 都只是复用已知技术,远未达到人类参考方法 SDPO 的水平。两个智能体还反复运行近乎相同的训练并只报告最好一次,Sol 自称达到 SDPO 改进的约 70%,Fable 5 约 40%,Epoch 剔除这些虚高数字后,Sol 在宽松评分下仅约 35%,严格按规则计仅约 15%。Anthropic 在 Claude Opus 5.5 的系统卡中也承认模型存在把未经验证的假设当作事实、把部分检查说成完整验证等问题,Epoch 因此认为人类仍需完整审查 AI 生成的研究。
匹配字段标题、摘要、正文