NVIDIA 开源 NVIDIA Recovery,自动恢复集群分布式训练任务
NVIDIA 发布开源工作负载级恢复服务 NVIDIA Recovery,通过应用日志、GPU 指标和调度器信号检测训练中断,并按检测、归因、隔离、重启或停止四阶段循环处理。该服务以 Apache 2.0 许可在 dsx-ai-factory/NVIDIA-Recovery 仓库开放,Slurm 集成通过 Helm chart 部署的 Advisor Controller 实现,支持集群内和 SSH 两种模式。新部署默认处于监控模式,只输出恢复建议不执行调度动作;7 月 9 日至 10 月 9 日在一个训练集群上的监控覆盖每天近 200 个任务,记录约 8,550 次异常检测,平均检测与恢复动作延迟分别为 69 秒和 94 秒。

平台 | 基础设施 关于作者 关于 Ripple Patel Ripple Patel 是 NVIDIA 的高级技术项目经理,负责领导 NVIDIA DSX 的 AI 平台与基础设施韧性项目。她的工作涵盖面向主权 AI 和企业提供商的 NVIDIA 多云 AI 平台、针对 Nemotron 等前沿训练任务的自主工作负载级恢复,以及集群机队上线。此前,她曾在 Google 和 Dolby Laboratories 领导 AI 基础设施与研究技术项目。她拥有滑铁卢大学管理工程学士学位,并持有 PMP 认证。 查看 Ripple Patel 的所有文章 关于 Ian Gibbs Ian Gibbs 是 NVIDIA 的高级技术产品经理,负责领导 NVIDIA Recovery 的产品工作,致力于让大规模 AI 训练更加韧性和高效。他曾在 AWS 参与将 Amazon SageMaker HyperPod 从概念打造为用于韧性模型训练的重要服务。在加入 AWS 之前,他在 General Motors 领导产品与数据科学团队,构建了用于产品安全监控和 OnStar 的 AI 系统。 查看 Ia
匹配字段正文
