大模型训练检查点恢复为何频频不一致
6月12日集群故障暴露恢复偏差达3.2%6月12日凌晨,某头部AI实验室在千卡集群训练700亿参数模型时遭遇节点掉电,运维团队按照既定策略从最近检查点恢复训练,却发现恢复后第37步的梯度范数与故障前同

6月12日集群故障暴露恢复偏差达3.2%
6月12日凌晨,大模某头部AI实验室在千卡集群训练700亿参数模型时遭遇节点掉电,型训运维团队按照既定策略从最近检查点恢复训练,练检却发现恢复后第37步的查点梯度范数与故障前同一步存在3.2%的相对偏差。这不是恢复孤例。过去18个月,为何该团队记录的频频11次故障恢复中,有6次出现loss曲线无法完全重合的大模情况,最大偏差出现在第4次恢复,型训达到了7.8%。练检检查点文件本身校验完整、查点无损坏,恢复但恢复后的为何训练状态就是和故障前对不上。
数据并行随机性并非主要偏差源头
很多人把恢复不一致归咎于Dropout、频频数据增强或采样器的大模随机性,但实际排查中这些因素造成的差异通常在0.1%量级以内。真正的问题出在三个方面:一是优化器状态的数值精度丢失,Adam类优化器保存时普遍采用float32,而训练前向用的是bfloat16,恢复时先反量化再量化,两次转换让二阶矩估计产生逐位漂移;二是集合通信库(NCCL)在重启后重新协商的拓扑顺序与故障前不同,ring allreduce的求和顺序变化会让浮点累加结果在末位出现分叉;三是混合精度训练中loss scaler的动态调整逻辑各框架实现不统一,PyTorch和Megatron的恢复入口对scaler的初始化时机相差一个step。
实测三种恢复策略仅一种偏差可控
团队用同一份检查点在128张A100上做了对照实验。策略A:直接恢复,平均偏差2.7%;策略B:恢复后先从前一个检查点续跑10步再切到最新状态,平均偏差1.4%,且波动更大——大模型训练检查点的恢复一致性经验分享中反复提到的“回滚预热”在700亿参数规模下并不稳定;策略C:检查点保存时额外写入collective communication的确定性排序种子和scaler历史队列,恢复三步内偏差收窄到0.06%。大模型训练检查点的恢复一致性技巧不在于多存几个副本,而在于把通信顺序和scaler状态当作一等公民持久化。
生产环境建议设置恢复必检清单
结合上述实验结果,可以在恢复流程中加三个校验动作:第一,恢复后第5步打印各层的梯度L2范数,与故障前同一步对比,阈值建议设在1%以内,A实验室用这个标准在20秒内就能发现问题,不用等十几次迭代后loss才显形;第二,对大于300亿参数的模型,大模型训练检查点的恢复一致性注意事项里有一条很关键——不要依赖框架默认的checkpoint,PyTorch的distributed checkpoint在极大规模下存在元数据加载竞态,改用自定义分片合并逻辑能减少约40%的恢复抖动;第三,每轮训练开始前跑一次确定性冒烟测试(固定输入和前向种子),确认当前软硬件栈下恢复偏差的基线水平,基线漂移比单次偏差更值得警惕。大模型训练检查点的恢复一致性教程上很少提这一点:偏差本身不是bug,偏差的不可预测才是。对于还在用固定间隔存检查点的团队,建议把保存频率和恢复偏差基线关联起来——基线每恶化0.5%,保存间隔缩短20%。