Google 开放 85 项工程基准 PLE 任务与智能体竞赛

Google AI & Infrastructure 于 2026 年 11 月 3 日宣布，将发布 Physical-Engineering's Last Exam（PLE）的 29 项公开任务、评分工具和一个评测容器，并同步启动一项开放的智能体竞赛和排行榜。PLE 是一个与 Mercor 合作开发的 85 项工程基准。

PLE 要求智能体完成机械、电气、土木和结构工程领域的专业任务，而不是回答教科书式的问题或进行孤立的工具调用。该基准包含 30 项机械、27 项电气、18 项土木和 10 项结构任务，成功与否通过交付物来衡量，这些交付物必须满足工程规范、物理约束，对于设计类工作还须满足成本或性能目标。

该论文的 arXiv 记录显示，初稿于 2026 年 10 月 21 日提交，修订版于 2026 年 10 月 30 日提交。此次新进展是公开任务与评测工具并开放竞赛，而非论文首次发表。

项目文件与生产交付物

每项任务都在基于 Mercor 的 Archipelago 构建的容器化项目环境中运行。任务平均包含 61 个文件，整个基准共 5,170 个文件，涵盖 PDF、电子表格、电子邮件、2D CAD 图纸、3D BIM 模型以及已被取代的旧版本。智能体必须判断哪些文档和要求具有约束力，执行计算，并出具工程备忘录、计算工作簿、设备清单和图纸等文件，其格式须可供持证人员审核。

执业工程师从头到尾构建了 44 项专家撰写的任务，包括其项目文件夹、提示词和加权评分细则。对于 41 项共同撰写的任务，工程师提供了初始任务说明；一个对抗性的 Creator–Solver 流水线利用真实的可授权材料构建并测试了环境和可执行评分器，随后由专家验证任务并提高其难度。该技术论文称，没有任何任务包含专有或客户机密信息：专家撰写的环境为从零编写，而共同撰写的文件使用公有领域、宽松许可或新生成的材料。

评分同样体现对完成工作的重视。专家撰写的任务采用与提交文件中证据挂钩的加权标准。共同撰写的设计任务将约束合规性与经济或性能目标相结合，若未通过硬性安全或可行性门槛，相关设计将无法获得目标得分。目标评分部分针对仅靠评分细则打分的一个局限：两份线缆清单可能满足相同的规范检查，但安装成本不同。

Google 使用七种公开可用的智能体 harness 对 14 个模型进行了评估，每种配置下每项任务运行三次。求解器容器无互联网访问，每次运行允许六小时的智能体时间；评分细则评判和可执行评分在求解器容器之外进行，使评分器和参考交付物远离智能体。

在 56 项隐藏测试集上，Google 报告称所有模型在其原生 harness 中得分均低于 50%，最高为 Claude Opus 5.5 在 Claude Code 中的 48.3%。竞赛排行榜使用这些隐藏任务的结果对模型进行排名。

该论文对全部 85 项任务的单独评估报告称，Claude Opus 5.5 在 Claude Code 中最高得分为 50.6%，平均每项任务消耗 2700 万 token、耗时 63 分钟，按标价计算每项任务成本 17.18 美元。因此，这两个领先数字描述的是不同的评估：一个覆盖使用原生 harness 的隐藏测试集，另一个覆盖完整基准和最强的模型-harness 配置。

更具揭示性的结果出现在共同撰写的任务中。Google 报告称，最强配置满足了 91% 的单项约束，但其交付物条目中仅有 41.3% 通过了获得目标得分所需的全部硬性安全和可行性检查。实际而言，智能体往往把大部分要求做对了，却未能产出完全合规的设计——这正是 PLE 的硬约束门槛旨在暴露的差距。

Google 报告称，不同模型之间的分差约为 50 分，而同一模型在不同 harness 之间的中位分差为 3 分，尽管 harness 的选择仍会改变得分和成本。单项任务结果也差异显著，一个任务-harness 单元的三次运行平均极差为 15.4 分。这种变异性支持作者采用多次运行平均值而非单次尝试。

官方仓库将 PLE 分为 29 项公开开发任务和 56 项隐藏测试任务。参赛者提交其智能体 harness——即驱动所选模型完成每项任务的软件——以及模型选择和公开任务上产出的工件。组织者对工件评分，在抽样的公开任务上重新运行 harness 以检查可复现性，然后在隐藏任务上运行三次以确定排行榜得分。

参赛者可以在评测服务器上免费使用 13 个由 Google 赞助的模型，提供商业模型 API 密钥，或连接自托管模型服务器。该仓库采用 Apache-2.0 许可，包含自定义 harness 的入门条目和现有智能体的适配器，为参与者构建完整提交提供了多个起点。

因此，竞赛评估的不仅仅是模型的最终答案。提交的系统必须处理真实的项目文件，复现其公开结果，并产出完整的交付物，且须通过隐藏的安全、可行性和质量检查。基线结果表明，完整方案合规是核心挑战：当一次硬约束失败就可能使原本经济的设计失去目标得分时，满足大多数单项要求仍然不够。