METR 评估 Anthropic 模型能力增速接近翻倍

METR于2026年11月5日发布了一项独立评估，判定Anthropic在定义明确的任务上很可能正以约为此前两倍的速度提升模型能力，并且AI的使用很可能解释了当前加速的大部分原因。这些结论存在相当大的不确定性，而删节掩盖了大部分支持性证据。

利用Anthropic的基准能力指数AECI，METR估计自2025年10月以来基准分数的增长速度加快了1.9倍，95%置信区间为1.5至2.8倍。这一速率意味着在一年内取得了按此前速度约需两年的进展。这一更宽泛的判断将2026年10月与2024年3月至2025年10月期间观察到的速率进行了比较。

该计算纳入了仅限内部使用的模型，并按大多数Anthropic员工能够使用该模型的时间为每个快照标注日期，从而为已发布和未发布的系统建立了共同基准。METR的稳健性检验在替代建模选择下得出的加速估计范围为1.1至2.9倍，表明结果对基准难度及其他分析假设的呈现方式较为敏感。

AI在加速中所起作用的证据

证据使METR确信，训练算力的更快增长并非加速的原因，尽管支持性细节被删节。非AI因素可能在2025年末发挥了重要作用，但当前的最佳推测是，它们无法解释这种持续的加速。

员工证据指向同一方向，但并不均衡。研究者访谈的结果差异很大，大致围绕约两倍的加速。非正式调查显示，2026年10月，员工自报从最强内部模型获得的平均提升约为12倍；METR警告称，这些回答所需投入很少，可能无法广泛代表员工，且个人生产力提升并不直接等同于组织整体能力的增长。

当前的效果主要来自AI对研究人员的辅助。AI尚不能对最重要的训练工作做出高度重要、完全自主的贡献，尽管研究人员描述了一些迹象表明此类贡献可能很快出现，且各领域的成熟度参差不齐。

瓶颈与测量仍不确定

没有令人信服的证据表明，算法进展、训练算力、实验算力或数据会在12个月的期限内造成重大瓶颈。随着新信息的到来，评审者的解读多次发生变化，使他们对这一评估缺乏信心。尽管如此，METR判定，缺乏明确约束或急剧的收益递减会带来重大风险，即进一步的能力提升可能复合叠加，形成更快的加速；这是一种前瞻性的风险判断，而非观察到的结果。

AECI侧重于定义明确、易于评分的任务，因此基准分数的更快提升可能不会转化为同等的现实影响。METR表示，过拟合、非AI因素或异常疲弱的历史基线可能使其估计偏高，而遗漏近期加速、人类瓶颈消除速度快于预期，或基准分数低估现实影响，则可能使其估计偏低。Model 4在其所用的全部15项基准上得分均超过50%，这引发了另一项担忧，即饱和可能妨碍未来的测量。

METR为这项为期十一周的评估投入了2.5个全职等效人力，时间从2026年8月12日持续至2026年10月29日。评估审查了内部基准结果、预训练和强化学习指标、训练算力测量、AI加速分析及内部文件，并参考了与关键员工约15次访谈。团队未获得不受中介的、类似员工的访问权限，也未获取非公开模型的样本。

Anthropic可以批准或拒绝信息请求，并单方面删节非公开材料。其删节从公开报告中移除了METR认为最具信息价值的大部分证据，包括详细的AI归因、算法进展估计、具体的瓶颈分析以及对未来模型的预测。Anthropic称删节是为了保护可能加速其他AI开发者的机密信息。METR保留了对方法论和结论的自主决定权，且未收取任何报酬，尽管其工作在Anthropic设备上进行并使用免费token。

该评估对AI驱动的研究加速进行了广泛的外部审查，但在底层证据的透明度方面仍有所欠缺。公开的基准结果和员工陈述支持更快的进展，但删节使读者无法独立评估METR归因和瓶颈结论的诸多依据。因此，这些核心发现在很大程度上依赖于评估者对读者无法完全查验的证据的综合。