研究称HLE近三成生化答案存疑
2025年7月23日,FutureHouse发布审计结果,称Humanity's Last Exam(HLE)纯文本化学与生物子集中约29%的答案与同行评审文献直接冲突。该审计使用开源PaperQA2智能体Crow检查321道题,发现53.3%的答案理由与已发表证据直接冲突,经独立专家复核后外推约29.3±3.7%(95% CI)的题目答案被研究文献直接反驳,51.3%获文献支持,19.3%属依赖假设或观点的模糊题。FutureHouse认为HLE要求题目必须难倒前沿模型、审稿人只需5分钟且无需核实正确性的流程,催生了大量gotcha式题目,并已将经AI与人类验证的题目子集作为HLE-Gold-Bio/Chem发布在Hugging Face。HLE团队在2025年9月16日的更新中回应,其独立复核发现Bio/Chem子集中约18%的题目存在问题,25%的情况下至少一位审稿人持异议,并计划推出滚动修订流程。
匹配字段摘要


