AI News

ARC Prize 公布 Claude Fable 5.2 在 ARC-AGI 上的评测结果

ARC Prize更新于 11月10日 03:46

@AnthropicAI - Leaderboard: https://t.co/x8U1ItNLRj

AI 导读

ARC Prize 公布 Anthropic 的 Claude Fable 5.2 在 ARC-AGI 系列基准上的成绩:ARC-AGI-3 标准 harness 下得分 81.2%、成本 21.9K 美元,provider adapter harness 下为 97.7%、18.6K 美元;ARC-AGI-2 为 93.8%、每任务 0.98 美元,ARC-AGI-1 为 98.5%、每任务 0.36 美元。ARC Prize 称 Fable 5.2 在标准 harness 下刷新 ARC-AGI-3 最高分,其 ARC-AGI-2 的 93.8% 是已见模型第三高,仅次于 GPT-6 Astra 的 95.0% 和 GPT-6.1 Sol 的 94.2%。在 max 推理档位加标准 harness 时,55 个半私有游戏中有 28 个触及 12 小时运行上限,得分 65.7%,低于 xhigh 档的 81.2%;已发布的 Fable 5.2 在 medium 和 xhigh 档的调优与此前评测的 checkpoint 不同,low、high、max 档未变。

推荐理由

精选AI 评分 60

ARC Prize 给出 Claude Fable 5.2 在 ARC-AGI 三代基准上的分数与单任务成本,并说明推理档位与运行时限对结果的影响。

主题

标签

正文 · AI 翻译

@AnthropicAI - 排行榜:https://t.co/x8U1ItNLRj - 复现公开结果:https://t.co/vMqtds8Zet - 测试政策:https://t.co/pBoUqvXe4P - Claude Fable 5.2 完整结果:https://t.co/yw5adRnEVb

来源

ARC Prize