NVIDIA 开源 NVIDIA Recovery,自动恢复集群分布式训练任务
NVIDIA 发布开源工作负载级恢复服务 NVIDIA Recovery,通过应用日志、GPU 指标和调度器信号检测训练中断,并按检测、归因、隔离、重启或停止四阶段循环处理。该服务以 Apache 2.0 许可在 dsx-ai-factory/NVIDIA-Recovery 仓库开放,Slurm 集成通过 Helm chart 部署的 Advisor Controller 实现,支持集群内和 SSH 两种模式。新部署默认处于监控模式,只输出恢复建议不执行调度动作;7 月 9 日至 10 月 9 日在一个训练集群上的监控覆盖每天近 200 个任务,记录约 8,550 次异常检测,平均检测与恢复动作延迟分别为 69 秒和 94 秒。

启无法触及的空白。当与 NVIDIA Attribution 配合使用时,它会接收丰富的跨层诊断结论,从而充实持久审计轨迹。 差距的代价 在集群规模下,单个GPU的罕见故障会不断累积。即使每块GPU在某一天无故障运行的概率为99.9%,一个跨越10,000块GPU的作业当天不中断完成的概率也只有 0.99910,000 ≈ 0.005%。这解释了为什么,在 Meta 对 24,000 块 A100 GPU 进行的为期 11 个月的研究硬件故障中断的任务不足1%,但这些任务却占用了19%的GPU运行时间:规模最大、运行时间最长的任务面临的风险最高。 NVIDIA Recovery 可自动完成集群内各训练工作负载的恢复,无论小型还是大型分布式运行都适用。在许多较小的作业中,中断会不断累积,加重运维负担。在大型作业中,每次中断影响的 GPU 更多,放大了恢复的计算成本。自动恢复可同时应对这两项挑战。 我们的生产环境观察结果凸显了对这种高效、自动化恢复的需求,它需要能够扩展到集群中的各类工作负载:从7月9日到10月9日,在一个训练集群上运行的NVIDIA Recovery监控每天覆盖近200个
匹配字段正文



