DeepMind 论文指出 Softmax 与交叉熵实现存在舍入 Bug,Gemini 参与发现并修复
Google DeepMind 主任研究科学家 Jon Barron 披露,PyTorch、JAX 及教科书中的 Softmax 与交叉熵标准实现存在两个浮点舍入 Bug,会导致梯度被抹零和蒸馏出现幽灵梯度。团队在 arXiv 提交论文《Softmax和交叉熵的修复》,给出重写方案;在模加法(a + b mod 31)任务中,bfloat16 精度下测试准确率从 93.3% 提升到 100.0%。Barron 表示该 Bug 最初由 Gemini Flash 3.7 发现并修复,论文大部分实验由 Flash 3.8 完成,Gemini 4 Argon 写了初稿。
#论文/研究#DeepMind#Google