NVIDIA 开源 NVIDIA Recovery,自动恢复集群分布式训练任务
NVIDIA 发布开源工作负载级恢复服务 NVIDIA Recovery,通过应用日志、GPU 指标和调度器信号检测训练中断,并按检测、归因、隔离、重启或停止四阶段循环处理。该服务以 Apache 2.0 许可在 dsx-ai-factory/NVIDIA-Recovery 仓库开放,Slurm 集成通过 Helm chart 部署的 Advisor Controller 实现,支持集群内和 SSH 两种模式。新部署默认处于监控模式,只输出恢复建议不执行调度动作;7 月 9 日至 10 月 9 日在一个训练集群上的监控覆盖每天近 200 个任务,记录约 8,550 次异常检测,平均检测与恢复动作延迟分别为 69 秒和 94 秒。

的操作(终止、重新排队、释放或节点排除)、时间戳、工作负载标识符,以及 NVIDIA Attribution 返回的判定结果(若有)。策略引擎操作和看门狗操作会记录在同一条轨迹中,因此记录没有缺口。 Recovery Console 是运维人员仪表板。它显示跨调度器类型的实时工作负载状态,内联呈现异常标记,并为你提供每个工作负载的检测事件和恢复操作时间线。 视频 1:演示在 Kubernetes 上使用 Slurm 的 NVIDIA Recovery 全流程,从环境搭建和作业配置,到作业失败、自动恢复与归因 NVIDIA Recovery 已在 dsx-ai-factory/NVIDIA-Recovery 采用 Apache 2.0 许可证的 GitHub 仓库。让首个工作负载进入恢复流程需要三个步骤: 安装该 chart。NVIDIA Recovery 通过单个 Helm umbrella chart 部署。它附带一个捆绑的 MySQL 子 chart,因此你可以在本地运行快速入门,而无需预置数据库或物理 GPU。对于生产环境,请将该 chart 指向托管 MySQL 服务。仓库中的
匹配字段正文


