斯坦福研究：50 条被广泛引用的 LLM 结论中 44% 已失效

斯坦福研究者 Owen Queen 和 James Zou 用 20 个模型检验了 50 条被广泛引用的关于大语言模型的结论，发现其中 44% 已经“失效”。在有预估失效时间的 22 条结论中，平均寿命仅为 15.7 个月。

两人使用 8 家不同开发者在 2024 年 7 月至 2026 年 9 月间发布的模型来检验这些结论。已失效结论背后的原始效应大多已经消失，另有 34% 明显减弱。仅 16% 仍然成立，6% 实际上变得更强。一年后，16% 已失效。两年后，这一数字攀升至 39%。

关于模型“做不到什么”的结论失效最快

该研究显示，关于模型做不到什么的结论失效最快。9 条与推理相关的结论中有 5 条被视为已失效，且无一保持成立或变得更强。它们包括一些众所周知的弱点，例如数“strawberry”中的字母、在不熟悉的进制中进行算术运算、在长上下文中间丢失信息，以及用户反驳后放弃正确答案。研究者怀疑这类错误有一个“正确”结果，从而为开发者提供了明确的训练目标。

关于偏好和倾向的结论则被证明更持久。在 11 条保持成立或变得更强的结论中，有 3 条涉及 LLM 作为评估者的行为。它们偏好自己的答案，对录用和拒稿论文给出相似评分，并会被医学摘要中的语言修饰所左右。另有 3 条涉及对用户的谄媚和附和。此外，还有偏左的政治偏见、对开放式问题给出几乎相同的答案，以及生成随机数时分布不均匀。

幻觉参考文献从 55% 降至零，但并非处处如此

作为案例研究，Queen 和 Zou 考察了科学引文的编造问题。在 Walters 和 Wilder 2023 年的原始研究中，GPT-3.5 编造了 55% 的参考文献。斯坦福研究者向当前模型发送了相同的提示词。GPT-6.1 Sol 编造率为 0%，Claude Sonnet 5.5 为 1%。但同样属于 2026 年模型的 Qwen3.7-Flash 在同一测试中仍编造了 69% 的参考文献。

该研究警告不要将这些结果解读为一切安全。在所谓的“两跳问题”上，即模型必须结合两个已知事实的问题，Claude Sonnet 5.5 在约 10% 的情况下仍然失败，尽管它能正确回答两个单独问题。原始论文报告 ChatGPT 的这一比例为 43%。“逆转诅咒”以及对成对时间相关问题给出矛盾答案的情况也已减弱，但仍可检测到。

研究者表示，社会偏见的情况则较为复杂。偏左的政治偏见持续存在，而性别刻板印象和内隐联想偏见已经减弱。针对非裔美国人英语使用者的偏见在趋势数据中实际上发生了方向反转。

即使在同一代际内，模型之间的差距仍然很大

即使在同一发布窗口内，不同模型的结果也差异很大。在 2026 年 7 月至 9 月发布的模型中，已失效结论的数量从 DeepSeek V4 Pro 的 11 条到 GPT-6.1 Sol 的 30 条不等。发布日期、提供商和模型规模都无法可靠预测这一模式。

Queen 和 Zou 得出了一个宽泛的结论。关于 LLM 的实证发现应作为特定时间点上特定模型的观察结果来呈现，而非普遍真理。论文应记录模型、版本和日期，并公开提示词和分析代码，以便在未来模型上重新检验这些发现。

研究者引用了 Andrej Karpathy 的一篇帖子，其中描述了人们对 LLM 实际行为的认知差距如何影响对 AI 的信任以及人们使用它的频率。Karpathy 是 OpenAI 联合创始人，后来加入了 Anthropic，他最近还表示，当前可用的模型只是未来能力的一个预览。