AI News

Anthropic Fable 5.2 在 Remote Labor Index 完成 41.3% 真实自由职业任务

The Decoder更新于 11月10日 22:39

Anthropic's Fable 5.2 completes 41 percent of real freelance jobs, up from 2.5 percent a year ago

AI 导读

Anthropic 新模型 Fable 5.2 在 Scale Labs 与 CAIS 的 Remote Labor Index 上以 41.3% 登顶,该基准衡量 AI 智能体完成真实自由职业项目并达到客户可接受质量的比例。一年前基准发布时最高分 Manus 仅 2.5%,7 月 Fable 5 约 16%,Fable 5.1 不到 18%。榜单其后为 Anthropic Opus 5.5 的 21.25% 和 OpenAI GPT 6 Astra 的 20.83%,Google Gemini Argon 4 以 17.08% 排第五。数据集含 Upwork 358 位认证专业人士的 240 个完整项目,总值约 14.4 万美元,单项目均价 632.60 美元、人工平均耗时近 29 小时;Scale Labs 称 Fable 5.2 在音频与音乐编辑、建筑与室内设计、3D 建模上提升最大,工业产品设计与动画仍难处理。

推荐理由

精选AI 评分 77

Remote Labor Index 用真实 Upwork 项目衡量智能体交付质量,读者可据此比较各家模型在完整工作任务上的差距。

主题

标签

正文 · AI 翻译

Anthropic 的新模型 Fable 5.2 在 Remote Labor Index 上实现巨大飞跃,以专业质量完成了超过 41% 的真实自由职业项目。该系统将直接前代和整个竞争对手远远甩在身后。

在 Scale Labs 与 AI 安全中心(CAIS)的 Remote Labor Index(RLI)上,Anthropic 的新模型 Fable 5.2 以 41.3% 领先。该测试衡量 AI 智能体完成真实自由职业工作的频率,且完成质量足以让付费客户接受。

这一进展显示 AI 智能体在实际工作上追赶的速度有多快。大约一年前该基准发布时,当时最强的系统 Manus 仅完成了 2.5% 的任务。Fable 5.2 现在完成的专业工作数量是当时的 16 倍多。

与最近的测量结果相比,这一跃升同样巨大。7 月时,同系列的较旧模型 Fable 5 仍以约 16% 领先。那个分数已经是很大的进步:在八个月内,最好的智能体将专业质量完成的工作占比提高了四倍多。四个月后,Fable 5.2 达到 41.3%。这大约是 Fable 5 七月分数的两倍半。其直接前代 Fable 5.1 也以略低于 18% 远远落后,而 Fable 5.2 完成的工作量是其两倍多。

当前排行榜的接下来位置是 Anthropic 的 Opus 5.5,为 21.25%,以及 OpenAI 的 GPT 6 Astra,为 20.83%。Fable 5.2 的成功率几乎是市场上次优系统的两倍。谷歌在测试中最强的模型 Gemini Argon 4 以 17.08% 位列第五,而 GPT-5.2 或 Gemini 3 Pro 等较旧模型则低于 3%。

Fable 5.2 在 3D 模型、音频和建筑领域取得突破

Scale Labs 在 X 上表示,Fable 5.2 在音频和音乐编辑、建筑与室内空间设计以及创建 3D 模型方面进步最大。该智能体还能处理此前排名靠前的模型经常失败的长期复杂项目。

Fable 5.2 成功完成的任务中,有近 50 个是测试中此前没有任何 AI 智能体解决过的工作。Scale Labs 表示,该 AI 在其他任务上仍然几乎无能为力,尤其是工业产品设计和动画。研究人员称,当 AI 智能体在测试中失败时,它们通常交付业余质量的作品、不完整的结果、损坏的文件或自相矛盾的设计。

价值 14.4 万美元的真实工作

与通常只检查孤立技能的传统 AI 测试不同,RLI 研究论文涵盖完整的工作任务。该数据集包含来自 Upwork 平台上 358 位经过验证的专业人士的 240 个已完成项目。这些工作总价值约为 14.4 万美元。

单个项目平均花费 632.60 美元,人类自由职业者平均耗时略低于 29 小时。任务范围从视频编辑到 CAD 设计、游戏开发和数据分析。为了完成这些工作,AI 智能体可以访问一个虚拟工作区,其中包含 Blender、GIMP 或 Audacity 等常用专业软件,以及用于图像、音频和视频生成的专门 AI 工具。

经过训练的人类专家会手动检查 AI 智能体是否成功完成了工作。他们在相关专业软件中打开提交的文件,并将 AI 的输出与人类自由职业者交付的工作直接比较。CAIS 尝试用另一个 AI 来自动化这项劳动密集型的审查,但迄今为止未能成功。由于 AI 审查员本身几乎无法操作专业软件,它们会被表面上看起来精美但技术上存在缺陷的提交所蒙蔽,并且对模型的评分过于慷慨。

来源

The Decoder