Hugging Face 发布 Beam:501B 开源模型,支持 1M 上下文与自托管
Hugging Face 发布 Beam,一个 501B 参数的稀疏 MoE 开源模型,面向 1M 上下文的长文本推理与智能体任务,每个 token 仅激活约 23B 参数。模型采用 52 层混合注意力,43 层为 512 token 滑动窗口、9 层为全局注意力,KV cache 每 token 增长 36 KiB,约为全注意力方案的六分之一。官方提供 BF16、FP8 和 NVFP4 三种 checkpoint,NVFP4 可将权重从约 1 TB 压缩到约 280 GB,并已获 transformers、vLLM 和 SGLang 的 day-0 支持。
的速度运行,同时保持大模型的容量。 注意力 解码器有 52 层,隐藏大小为 5,120。大多数层对前 512 个 token 使用滑动窗口注意力;每第六层以及最后一层关注完整上下文。这样就有 43 个滑动窗口层和 9 个全局层。 注意力块内部(两种层类型) 这两种层对位置的处理方式不同。滑动窗口层使用 RoPE,因为在短窗口内相对位置最重要。全局层不使用位置编码。相反,每个查询都乘以一个随可见 token 数量缓慢增长的缩放因子 (1 + (pos + 1) / 2048) 0.1。它起到温度的作用:softmax 在上下文变长时保持其精度,而不是变得平坦。实现中称之为可扩展 softmax 查询缩放。 注意力使用分组查询注意力,有 48 个查询头和 8 个键值头,并对查询和键使用 RMSNorm。一个从层输入计算出的学习 sigmoid 门在输出投影之前缩放每个头的每个通道。 专家混合 前 3 层使用稠密 SwiGLU MLP。其余 49 层将其替换为包含 256 个专家的专家混合块,每个专家是一个中间大小为 2,560 的 SwiGLU MLP,约 39M 参数。专家占模型参数的
匹配字段正文

