UniPat AI 发布 PaperBenchX:GPT-6 Astra 论文完整复现率仅 13.98%
UniPat AI 发布 PaperBenchX,这是国际上第一个多学科端到端论文结果复现 Benchmark,从 93 篇论文构建 93 个复现任务,横跨电磁、光子、化学、材料、生物、机器人等 12 个研究方向和 10 种领域原生科学环境,含 3168 条专家校验评分项。在 93 个任务上,表现最强的 GPT-6 Astra 完整复现率只有 13.98%,建模和执行阶段平均得分分别为 62.70% 和 61.84%,验证阶段仅 42.80%。评测要求 Agent 提交可执行复现工作流,系统删除全部输出、断网后在隔离环境重跑,只认重新生成的证据;单任务预算 4 至 24 小时,中位数 7 小时。团队已开源 12 个代表性测试任务,并维护 81 个封闭测试任务。
#评测/基准#Agent#论文/研究


