Elorian与Mercor发布DecoyCount基准
2026年10月30日,Elorian与Mercor联合发布DecoyCount基准,用于测试模型是真正数清物体还是依赖视觉捷径。据Latent Space报道,前沿模型在该基准上的准确率均低于50%,最高为GPT-6 Astra的43.17%。Elorian称其视觉推理模型Glimpse在1,660道题上单次运行得分50.48%,是唯一超过50%的模型,但该结果来自内部测试且未使用智能体或工具框架,而论文中的六个模型各取三次运行平均值。Elorian CEO Andrew Dai表示,该基准同时考察视觉与推理,可区分模型是没看到物体还是数错了。
匹配字段摘要