Prime Intellect 发布 Prime Mega MoE 训练内核,前向最高提速 3.11 倍
Prime Intellect 发布 Prime Mega MoE,在 DeepSeek 开源 DeepGEMM 库的 Mega MoE 内核基础上补上了融合且重叠的反向传播,使其可用于训练而非仅推理。在 prime-rl 训练器中,Qwen3 MoE 模型的完整训练步比基线快 32% 至 34%,比 TorchTitan 快 48% 至 55%;单层前向最高提速 3.11 倍(12.0 ms 降至 3.9 ms),但 Qwen3-235B-A22B 的反向仅提速 1.24 倍。该内核支持 BF16、Blackwell 上的 MXFP8 和 Hopper 上的 blockwise FP8,以 Apache 2.0 随 prime-rl 发布,通过 mega_moe 分发后端启用。
3B12.0 降至 3.9(3.11 倍)15.4 降至 8.2(1.87 倍)39.3 降至 15.9(2.47 倍) Qwen3-235B-A22B20.7 降至 9.5(2.17 倍)30.5 降至 24.6(1.24 倍)71.9 降至 43.7(1.64 倍) 规律很清晰。前向增益很大,反向增益较小。标题中的“最高 3.11 倍”仅指前向传播。 与其他融合 MoE 方案相比如何? 开发者Prime IntellectDeepSeekPyTorch、NebiusAMD 训练(反向)是,融合且重叠否,仅前向是(独立分发内核)是,按设计文档 计算与通信融合是是是否(分发+GEMM1,GEMM2+合并) GPUHopper、BlackwellSM90、SM100(库)已发布运行中使用 B200MI355X(gfx950) 已发布加速比相比 TorchTitan 步骤时间最高提升 55%未披露在 DeepSeek-V3 671B 上最高提升 41%未披露 许可证Apache 2.0(prime-rl)MITBSD-3-ClauseMIT TorchTitan 的 41% 增益来自不同的
匹配字段正文


