Artificial Analysis v5 与基准测试者的两难
Nathan Lambert 评述 Artificial Analysis 新发布的 Intelligence Index v5,该指数按知识工作、编码、科学、通用各 25% 加权,并给出新的模型排名。他指出榜单中 8 个闭源模型领先最好的开源模型 Kimi K3.1 Pro,认为新指数更偏向衡量前沿模型走向,可能低估开源模型在经济中的作用。文章还讨论了转向私有基准的利弊,以及基准机构靠模型厂商付费验证结果的商业模式对可信度的影响。
的立场,这拉大了与开源模型的差距。这是一个可以接受的决定,但随着时间的推移,当开源模型的现有工作流成为经济的关键因素时,它可能会变成一个错失行业核心经济引擎所在的基准。 开源模型由此而来的衰亡被大大夸大了,但我确实认为之前的指数过于强烈地抬高了开源权重模型。看看 Kimi K3.1 Pro 发布时的这张图——是的,开源模型很强,在某些情况下很有用,但最好的 OpenAI 和 Anthropic 模型在灵活性和可靠性上已经领先了一大步。 AAv5 中,开放模型落后最多的部分评测是“科学”类评测,例如 terminal-bench-science 和 CritPT v2。开放模型确实落后,但其价值主张从来就不是在前沿真正展开竞争。开放模型经济将围绕以下方面展开: 将具有高推理市场需求的专业领域降至硬件的商品价格。 允许拥有智能、将其专门化到内部数据,并在经济中的众多公司中控制内部智能体。 这两者都需要很长时间才能实现,并且在基准测试中只得到部分体现。目前算力供给如此之低,以至于开放模型提供商也在赚取可观的利润——当这一利润缩小时,我们就会知道这套体系开始运转了。企业扩散也是同样的情况,其确
匹配字段正文
