Netflix 如何为大规模训练与推理保障 GPU 可靠性

Netflix 介绍其 Kubernetes 原生计算平台上保障 GPU 可靠性的四层做法：设备级与节点级健康检查每 30 秒运行一次，基于 NVIDIA DCGM 和 node-problem-detector 把结果转为节点 condition，再由控制器分级修复，从杀任务、重置单卡、重启机器到终止更换。检查采用失败关闭和 dmesg 回退路径，机器在通过校验并等健康检查跑满两轮后才解除启动 taint；训练任务通过 checkpoint 和弹性 worker 在丢机器后续跑，并按平台或应用归因决定是否重试。Netflix 称 GPU 节点可用性稳定超过 99.95%，任务成功率从约 98% 升至 99.5% 以上。