Goodfire 的 Nick Cammarata 提出神经网络已足够清晰,称多义性判断有误
Goodfire 的 Nick Cammarata 发布文章提出,多数神经元本身是可解读的,许多著名的多义性案例属于误读;他称 2023 年在 OpenAI 的自动可解释性工作只找到约 2% 可解读神经元。相关讨论提到 Qwen-32B 中 90% 的神经元只承担一项功能。Neel Nanda 表示这没有改变他的关键判断,仍认为存在表征叠加,弱激活承载记忆事实;Leo Gao 主张用神经元模拟的 KL 指标来评判解释,Pfau 指出论文尚未发表。
in 0.1 points of BF16. The companion Nemotron 3.5 Bolt (74B-A9B, native 2-bit, 24GB) scores 21 (AA). Pricing: CoreWeave charges $0.25/$1.50 per 1M input/output tokens (CoreWeave). Microsoft MAI-Base-2: Microsoft says it has a roughly 3T-parameter pre-trained base model, with post-training results to follow. It claims to match DeepSeek-V4-Pro-Base on held-out code with 12× less training compute (Suleyman, compute claim). Technical blog details: The model has about 80B active parameters and a hybr
匹配字段正文