Artificial Analysis 发布 AA-PersonalityBench…
In AA-PersonalityBench, the top open weights models on average rank lower than the top proprietary models on truthfulness, pragmatism and structure, and higher
Artificial Analysis 在 AA-PersonalityBench 中对比了 Intelligence Index 得分最高的 10 个开源权重模型与 10 个闭源模型，按 30 项人格特质做 1 到 100 的百分位排名。开源头部模型在 Truthful 上平均比闭源模型低 32 分，为差距最大的一项，在 Pragmatic、Evidence-Based、Structured 等特质上也排名更低，而在 Slop、Bottom-Line Summary、Scannable 上排名更高。
正文 · AI 翻译
在 AA-PersonalityBench 中，平均而言，顶级开放权重模型在真实性、务实性和结构性方面的排名低于顶级专有模型，而在垃圾内容和总结要点方面的排名更高。
我们比较了在 Artificial Analysis 智能指数中得分最高的 10 个开放权重模型和 10 个专有模型。每个模型在 30 项人格特质上的百分位排名为 1 到 100。平均而言，顶级开放权重模型在“真实”特质上的排名比顶级专有模型低 32 分，是所有特质中差距最大的。
平均排名，顶级专有模型对比顶级开放权重模型：
➤ 开放权重模型排名更低：真实（79 对 47）、务实（79 对 49）、自然流畅（77 对 52）、基于证据（76 对 47）、结构化（73 对 45）和文雅（70 对 47）
➤ 开放权重模型排名更高：垃圾内容（30 对 49）、要点总结（47 对 62）和便于浏览（41 对 53）