Sundar Pichai称赞Carbon的基准质量与成本表现

11月2日

1. 23:30

   9to5Google

   Gemini 4 Carbon 在 GDPx 基准上略逊 Claude，但性价比更高

   SemiAnalysis 发布前沿模型基准 GDPx，覆盖金融、材料科学、网络安全、软件工程、法律、生物等 206 项任务，并同时列出各模型得分与成本。9to5Google 报道称，Google 的 Gemini 4 Carbon 在榜单上略落后于 Claude，但单位成本表现更好；若剔除网络安全、生物和对齐领域，GPT-6 Astra 居首，GPT 6.1 Sol 与 Claude Sonnet 5.5 也排在 Gemini 4 Carbon 之前。Google 现有模型 Gemini 4 Argon 在两份榜单中均列第八，成本仅略低于 Carbon；Google 于 10 月 28 日发布 Gemini 4 Carbon，多数客户仍需等待上线。

   展开摘要
2. 20:45

   Rohan Paul

   SemiAnalysis 发布 GDPx 基准，测试智能体在 11 个领域的专家工作

   SemiAnalysis 发布 GDPx 基准，用 11 个领域的专家任务测试 AI 智能体，最高分的 Claude Opus 5.5 平均仅 12%，Gemini 4 Carbon 以 10.9% 次之。任务涵盖芯片设计、网络安全、金融和法律等，来自 14 家专业数据合作方；与在提示词中直接给上下文的 OpenAI GDPval 不同，GDPx 要求智能体在类似 3,983 份文件构成的真实收购案副本等工作区中自行查找。金融和法律任务上所有模型在通过制评分下均为 0 分，因此改用部分给分；在改进现有交易策略的 111 次尝试中，有 70 次模型表现不如原策略，往往只是加大风险。

   展开摘要
3. 13:35

   Unite.AI

   SemiAnalysis 发布 GDPx 基准，覆盖 11 个智能体领域

   SemiAnalysis 发布 GDPx 基准，覆盖芯片设计、网络安全、生物、金融、法律等 11 个专业领域，首版含 206 个任务、由 14 家数据伙伴构建，榜单收录 13 个模型。Claude Opus 5.5 以 12.0% 居首，单任务平均成本 51.41 美元、输出 548K token；Gemini 4 Carbon 以 10.9% 第二，GPT-6 Astra 以 9.6% 第三。SemiAnalysis 称该基准每 3 至 6 个月更新一版，并批评 OpenAI GDPval 的任务为非交互式、上下文直接写在提示词里。

   展开摘要
4. 12:34

   Sundar Pichai

   皮查伊点评 SemiAnalysis GDPx 基准与 Carbon 成本

   SemiAnalysis 发布 GDPx 基准，用于衡量智能体在高价值领域的表现，称最强模型仅得 12%。Sundar Pichai 转发并评论称，很高兴看到留有提升空间的高质量基准，并特别提到 Carbon 的成本曲线。