Decoupled DiLoCo:面向大规模弹性分布式 AI 训练的新架构
Google DeepMind 推出 Decoupled DiLoCo,通过异步连接相互解耦的计算“岛”,以较低带宽跨远程数据中心训练大语言模型,并隔离硬件故障。团队使用 2-5 Gbps 广域网络,在美国四个地区完成 120 亿参数模型的预训练,速度较传统同步方法快 20 倍以上。Gemma 4 测试显示,该架构在故障下保持更高可用性,并达到与传统训练相同的基准性能。
Google DeepMind 推出 Decoupled DiLoCo,通过异步连接相互解耦的计算“岛”,以较低带宽跨远程数据中心训练大语言模型,并隔离硬件故障。团队使用 2-5 Gbps 广域网络,在美国四个地区完成 120 亿参数模型的预训练,速度较传统同步方法快 20 倍以上。Gemma 4 测试显示,该架构在故障下保持更高可用性,并达到与传统训练相同的基准性能。 · Google DeepMind introduced Decoupled DiLoCo, which asynchronously connects decoupled compute “islands” to train LLMs across distant data centers with lower bandwidth while isolating hardware failures. The team pretrained a 12-billion-parameter model across four U.S. regions using 2-5 Gbps wide-area networking,
匹配字段摘要、正文


