大模型微调为何需要学习率热身:训练稳定性数据解读
上周有团队在700亿参数模型上做指令微调,训练日志里前200步的loss曲线像被电击过的心电图,最高冲到14.7,同一批数据在预热50步后重新启动,峰值被压在3.1以内。差异只来自一个参数:学习率从0

上周有团队在700亿参数模型上做指令微调,大模调为定性训练日志里前200步的型微学习loss曲线像被电击过的心电图,最高冲到14.7,何需同一批数据在预热50步后重新启动,率热练稳峰值被压在3.1以内。身训数据差异只来自一个参数:学习率从0线性爬升到目标值的解读步数。这不是大模调为定性个例,不少做全参微调的型微学习组都在重复踩同一个坑。
损失尖峰从何而来:初始化与梯度的何需错配
大模型微调不是从零训练,模型已经带着几十亿参数的率热练稳既有分布。当你用2e-5的身训数据学习率直接灌进去,前几个step的解读梯度范数可能达到稳态的10到30倍。原因很简单:预训练权重对新的大模调为定性指令数据分布没有校准,早期batch里的型微学习高频token组合会触发某些注意力头输出异常大的激活值,反向传播时梯度被放大。何需有实测数据显示,Llama-3-8B在数学任务微调时,不设预热的第一步梯度范数达到87.3,预热20步后降到9.6。优化器动量还没来得及建立,就被这个异常梯度推着朝错误方向跨一大步,损失尖峰就是这么来的。
预热到底做了什么:给优化器一个采样窗口
学习率热身不是玄学调参,它在数学上做的事情是给Adam这类自适应优化器一个缓冲期。前N步用极低学习率,让梯度的一阶矩和二阶矩估计先接触到新数据分布的统计特征,避免初始几步因为方差过大而把模型参数踹出稳定区域。实际操作里,常见的设置是总步数的1%到3%作为预热窗口。比如总共1000步微调,前10到30步线性爬升。有团队在Qwen-14B对话微调里对照测试:50步预热比无预热最终验证集损失低0.18,差距不算大到离谱,但训练曲线后半段的震荡明显更收敛。
数据里的细节:哪些情况必须设、设多少
如果你的微调采用LoRA且rank小于64,学习率在1e-4量级,预热可以短一些,5到15步足够,因为低秩矩阵参数量小,初始梯度冲击有限。但全参微调尤其是学习率大于5e-5时,预热几乎不可省略。一个反例来自某开源医疗模型复现实验:全参微调设为3e-5没加预热,第17步出现一次loss从4.2跳升到28.9的尖峰,虽然最终收敛了,但该checkpoint在下游评测上比带预热的同配置低了1.7个点。学习率热身技巧里最常被忽略的是混合精度训练下的溢出问题——FP16下大梯度直接变成inf,预热恰好能把早期梯度压进安全范围,这也是很多大模型微调常见问题排查中被归因错误的一环。
把预热步数设成训练步数的1%到2%,全参微调用前10到20步线性爬升,LoRA可以砍半。别指望它能解决所有训练不稳定问题,数据噪声、分词错位、dropout设置这些照样会搅局,但学习率热身是成本最低、收益最确定的一个动作。下一次你的loss曲线开局就往上窜,先查这个参数,而不是急着调数据集。