AI News

ARC Prize 公布 Thinking Machines 的 Inkling 2 Small 在…

ARC Prize更新于 11月7日 03:41

@thinkymachines - Leaderboard: https://t.co/x8U1ItNLRj

AI 导读

ARC Prize 公布 Thinking Machines 的 Inkling 2 Small 在 ARC-AGI 上的成绩:ARC-AGI-2 为 81.7%,单任务成本 $0.27;ARC-AGI-1 为 96.5%,单任务成本 $0.08。ARC Prize 称该模型在两个基准上都优于其评估过的所有开放权重模型,相比 7 月 30 日发布的初代 Inkling Small,ARC-AGI-2 半私有集分数从 40.14% 提升到 81.67%。Thinking Machines 计划下周发布完整权重,ARC-AGI-3 的评测结果将在测试完成后公布。

推荐理由

精选AI 评分 79

ARC Prize 公布了 Inkling 2 Small 在 ARC-AGI-1 与 ARC-AGI-2 上的成绩和单任务成本,可与同系列前代直接对照。

主题

标签

正文

@thinkymachines - Leaderboard: https://t.co/x8U1ItNLRj - Reproduce the public results: https://t.co/vMqtds8Zet - Testing policy: https://t.co/pBoUqvXe4P - Full Inkling 2 Small results: https://t.co/az2H7r9gNn

来源

ARC Prize