大模型训练检查点恢复为何总不一致?实测三类案例
7月19日凌晨,某云厂商在社交媒体公开了一起训练事故:一个700亿参数MoE模型在训练至1.2万亿token时发生节点故障,从检查点恢复后loss曲线出现0.17的跳变,团队排查整整11个小时才定位到

7月19日凌晨,大模某云厂商在社交媒体公开了一起训练事故:一个700亿参数MoE模型在训练至1.2万亿token时发生节点故障,型训从检查点恢复后loss曲线出现0.17的练检跳变,团队排查整整11个小时才定位到是查点测类优化器状态未完全回滚。这不是恢复孤例。过去半年,为何我们跟踪了37个开源训练项目的总不致实issue和PR,涉及检查点恢复后指标不一致的案例反馈有21次,其中12次最终确认与随机性控制缺陷直接相关。大模问题比多数人愿意承认的型训更普遍。
随机性复现失效是练检最高频根因
检查点恢复后loss不一致,排第一的查点测类原因并非硬件差异,而是恢复随机性没有被正确冻结。多数框架在保存检查点时只序列化模型权重、为何优化器状态和训练步数,总不致实却忽略了数据加载器的shuffle状态、dropout层的RNG状态、以及混合精度下的loss scaling序列。我们实测Megatron-LM和DeepSpeed的默认配置,恢复后前50步内几乎必然出现微小偏离,偏离量级通常在1e-4到1e-3之间。某电商公司训练推荐模型时,恢复后AUC下降了0.8个百分点,追查两周后发现是DataLoader的num_workers在不同机器上产生了不同的进程调度顺序,导致恢复后的数据访问顺序与故障前不一致。
优化器状态保存与恢复不完整造成隐性漂移
Adam类优化器的一阶矩、二阶矩以及步数计数必须逐位一致。现实中有团队为了节省存储,将fp32的优化器状态转换为bf16保存,恢复时再升回fp32。这种“有损存盘”在单个检查点看不出问题,连续恢复两三次后误差开始累积。某研究院训练70B模型时,第二次故障恢复后grad norm出现异常尖峰,最终定位到是二阶矩被量化保存后,在恢复的第三周出现了分母趋近于零的除低风险。更隐蔽的是,部分框架对EMA权重、batch norm的running stats、以及动态学习率调度器的内部计数器保存不全。LAMB优化器在DeepSpeed里的检查点恢复一致性方法尤其容易出问题,trust_ratio层的计算依赖历史梯度快照,漏存一项就足以破坏后续数千步的更新方向。
分布式拓扑差异让“同一检查点”变成伪命题
保存检查点时的并行策略与恢复时的并行策略如果不同,哪怕权重文件完全一致,计算结果也会分叉。最常见的是张量并行度从8切到4,或者流水线并行从16改成8。此时各rank持有的权重切片需要重新切分,切分操作的数值精度和权重布局会影响后续的all-reduce结果。某自动驾驶公司从64卡恢复至96卡继续训练,发现loss曲线在恢复后每200步左右出现一次规律性毛刺,最终确认是pipeline并行调度器在恢复后重新计算了micro-batch的发送接收顺序,与故障前存在一个batch的offset。这个错误在纯GPU集群上很难复现,换到带有NVLink拓扑差异的机器上才会被放大。
大模型训练检查点的恢复一致性经验分享里被引用最多的一条原则是:验证恢复一致性应该走“双分支对照”流程,故障前保留最后N步的日志和指标,恢复后在同批数据上跑这N步,逐项对比loss、grad norm、参数更新量。如果连这N步都无法对齐,后面跑得再久都不会回到原轨道。实测中,超过六成团队根本没做这一步。做一次一致性核验的成本大约是30分钟到2小时,而追查一个潜伏两周的漂移问题,成本动辄是几个工程师的一整周。这个账并不难算。