Netflix 公布 GPU 可靠性分层检测与自动修复实践

Netflix 公布其 Kubernetes 原生计算平台上保障 GPU 可靠性的做法：设备级与节点级健康检查每 30 秒运行一次，基于 NVIDIA DCGM 和 node-problem-detector 把结果转为节点 condition，再由控制器分级修复，从杀任务、重置单卡、重启机器到终止更换。检查采用失败关闭和 dmesg 回退路径，机器需通过校验并等健康检查跑满两轮后才解除启动 taint；训练任务通过 checkpoint 和弹性 worker 在丢机器后续跑，并按平台或应用归因决定是否重试。 Netflix 称，上述改进落地后 GPU 节点可用性稳定超过 99.95%，任务成功率从约 98% 升至 99.5% 以上。这些数据来自 Netflix 自述，未提供第三方验证。

根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。