大模型蒸馏为何会把教师错误传给徒弟
2025年一季度,多家大模型团队在内部评测中发现一个反直觉现象:用GPT-4级别教师模型蒸馏出的7B小模型,在数学推理任务上准确率反而比直接用小模型训练低3到5个百分点。错误不是随机出现的,而是成批复

2025年一季度,大模弟多家大模型团队在内部评测中发现一个反直觉现象:用GPT-4级别教师模型蒸馏出的型蒸7B小模型,在数学推理任务上准确率反而比直接用小模型训练低3到5个百分点。把教错误不是师错随机出现的,而是误传成批复制的——教师模型在特定题型上的系统性误判,被学生模型以更高置信度继承了下来。大模弟
过去一年,型蒸模型蒸馏几乎成了小模型性价比路线的把教标配动作。但不少团队忽略了,师错蒸馏转移的误传不只是“知识”,还包括教师模型经过RLHF校准后残留的大模弟偏见与盲区。当教师模型对某一类输入给出错误但确定的型蒸回答时,软标签的把教平滑特性会把错误包装成一种“有把握的模糊”,学生模型没有能力辨别,师错只能照单全收。误传
错误通过软标签放大而非稀释
传统直觉认为,软标签的熵高,能帮学生学到类别之间的相似性。但前提是教师本身对该样本有正确主判断。以某开源医疗问答评测集为例,教师模型对“非典型症状描述”有约11%的概率把“建议就医”误判为“居家观察”,且置信度高达0.82。学生模型蒸馏后,该错误率升到17%,问题在于错误答案的软标签分布与正确答案高度相似,学生把教师的过度自信当成了额外监督信号。错误不是被平滑掉了,而是被标准化了。
教师盲区具备结构可复制性
教师在长尾实体、时间敏感信息、多跳约束推理三类任务上的失败模式有规律:不是随机出错,而是沿着特定模板坍塌。一家券商技术团队在蒸馏财报问答模型时发现,教师对“同比与环比混淆”类问题的错误率达到23%,蒸馏后的小模型不但继承了这一错误,还将其泛化到教师原本能答对的变体上。大模型蒸馏中的教师错误传递注意事项里,最容易被忽视的一条正是:先给教师模型做错误聚类,再决定哪些能力可以蒸馏,哪些必须用真实数据从头训。
后训练纠错赶不上错误固化速度
有人在蒸馏后再做一轮偏好对齐,试图洗掉继承来的错误。实际效果有限。教师错误一旦通过蒸馏固化进学生权重,后续需要3到5倍于原始错误样本的高质量对比数据才能纠偏,且容易引入新的灾难性遗忘。大模型蒸馏中的教师错误传递经验分享中一条反复出现的结论是:蒸馏前的教师审计成本,远低于蒸馏后的修复成本。检查教师输出分布比反复调学生模型便宜得多。
2025年的蒸馏竞争已经过了“有教师就行”的阶段。真正拉开差距的,是谁能把教师模型的错误分拣出来、标记清楚,并决定哪些错误可以容忍、哪些必须动用真实标注数据兜底。蒸馏不是免费的午餐,账单往往在教师最自信的地方寄到。
上一篇:水轮机导叶间隙测量方法与精度分析