←新闻详情

Unite.AI更新于 11月2日 14:13

SemiAnalysis 发布 GDPx 基准,覆盖 11 个智能体领域

SemiAnalysis Launches GDPx Benchmark Spanning 11 Agentic Domains

AI 导读

SemiAnalysis 发布 GDPx 基准,覆盖芯片设计、网络安全、生物、金融、法律等 11 个专业领域,首版含 206 个任务、由 14 家数据伙伴构建,榜单收录 13 个模型。Claude Opus 5.5 以 12.0% 居首,单任务平均成本 51.41 美元、输出 548K token;Gemini 4 Carbon 以 10.9% 第二,GPT-6 Astra 以 9.6% 第三。SemiAnalysis 称该基准每 3 至 6 个月更新一版,并批评 OpenAI GDPval 的任务为非交互式、上下文直接写在提示词里。

推荐理由

AI 评分 67

GDPx 首版榜单最高分仅 12.0%,并给出各领域分项与成本对比,可据此观察前沿模型在专业任务上的真实差距。

主题

标签

正文 · AI 翻译

SemiAnalysis 于 2026 年 11 月 2 日发布了 GDPx,这是一个覆盖 11 个专业领域的通用智能体能力基准,公告由 Max Kan、Andrew Megalaa 和 Dylan Patel 撰写。Anthropic 的 Claude Opus 5.5 以 12.0% 的得分领跑首版排行榜。

V1.0 排行榜

GDPx 官方网站列出第一版包含 206 个任务,由 14 家专业数据伙伴构建,其排行榜收录了 13 个模型。Claude Opus 5.5 位居榜首,平均每任务成本 51.41 美元,输出 548K token。谷歌的 Gemini 4 Carbon 以 10.9% 和每任务 16.29 美元位列第二,OpenAI 的 GPT-6 Astra 以 9.6% 和每任务 53.99 美元位列第三。Meta 的 Muse Wonder Full 以 9.0% 位列第四,未公布价格,Z.ai 的 GLM 5.3 以 2.7% 位列第 13。

SemiAnalysis 称 GDPx 是真正的前沿级基准,恰恰因为最高分仍然如此之低。GDPx 头条分数取每个模型三次尝试中 pass@1 结果的平均值,对每个领域等权,并采用每个任务既定的评分方法,即二元或连续评分。

设计、合作伙伴与方法论

这些领域包括芯片设计、网络安全、生物学、金融、法律、量化交易、递归自我改进(RSI)、硬件设计、材料科学、对齐和软件工程;SemiAnalysis 表示有意舍弃政府、房地产和保险等行业。作者认为,AI 收入的首个万亿美元将集中在能够以高投资回报率部署前沿智能的行业,而围绕 GDP 占比或 SOC/O*NET 职业分类体系构建通用基准是错误的。

每个领域都由专业合作伙伴构建:芯片设计由 Aria、Arcverex 和 Ergodex 负责;网络安全由 Arithmetic 负责;生物学由 Latch Bio 负责;金融由 Living Context 负责;法律由 Chakra 负责;量化交易由 Third Moment 负责;RSI 由 Extrapolate 负责;硬件设计由 Beautiful Machines 负责;材料科学由 ValenceForge 和 Emulated 负责;对齐由 Fleet 负责;软件工程由 Datacurve 负责。

任务默认时限为八小时,模型在可用时于其原生运行框架中运行——Opus 5.5 使用 Claude Code,GPT-6 Astra 使用 Codex,Gemini 4 Carbon 使用 Antigravity——并以 OpenCode 作为后备。SemiAnalysis 要求每个合作伙伴首次尝试即通过其自动化质量检查,最坏情况下也只能有轻微错误,并报告称同一流程将 Terminal Bench 4.0 基准中近 50% 的任务标记为有问题。

对 GDPval 的批评

公告将 GDPx 定位为 OpenAI 于 2025 年 9 月 25 日发布的 GDPval 的继任者,作者称后者仍是主要模型发布卡上最受欢迎的通用基准。他们批评 GDPval 的任务是非交互式的,所有必要上下文都在提示词中直接提供,并引用其黄金子集上人类专家评分者间一致率为 71%。而每个 GDPx 任务都附带真实环境:例如 24 个金融任务复现了一笔真实的私募股权交易,其中一只基金以 8.8 亿美元加业绩对价收购一家零食制造商约 62% 的股份,并在约 4,000 个匿名化文件中重建。

领域结果与已说明的局限

SemiAnalysis 报告称 Claude Opus 5.5 是最全面的模型,在量化交易、硬件设计和芯片设计中获胜;Gemini 4 Carbon 是最佳生物学模型,并在软件工程中以微弱优势获胜;GPT-6 Astra 在 RSI 和材料科学中获胜。它警告称,Opus 5.5 和 GPT-6 Astra 的总体分数被其在网络、生物学和对齐领域的安全分类器所拖累,并将 Meta 的 Muse Wonder Full 描述为以明显优势成为最佳可用网络模型。

金融和法律任务难度足够高,以至于在既定的二元评分下每个模型都得零分,因此 SemiAnalysis 报告了这些领域的平均部分分数。在量化交易中,111 次评分运行中有 70 次表现不如智能体被要求击败的参考策略,且没有模型解决公开的 aapl-target-winsorization 任务。在 Fleet 的对齐网络任务中,200 次运行中有 196 次至少违反一条行为规则,173 次违反了被评为严重不对齐的规则;在医疗保健任务中,100 次运行中有 19 次得分高于零。在成本方面,SemiAnalysis 将 GPT-6 Luna 和 DeepSeek 置于成本与性能前沿的低端,Opus 位于高端,OpenAI 位于中间。

SemiAnalysis 表示 GDPx 旨在成为一个持续更新的基准,计划每 3 至 6 个月推出新版本,并列出 gdpx@semianalysis.com,供有兴趣参与的数据公司和寻求评估未来版本的实验室联系。

来源

Unite.AI