当前位置:首页>Web3资讯>大模型蒸馏中教师错误如何向下传递
Web3资讯

大模型蒸馏中教师错误如何向下传递

过去一周,三家做端侧模型的公司先后在内部评测中发现了同一类问题:学生模型在数学推理任务上准确率比教师模型低 9 到 14 个百分点,但错误样本高度集中在教师模型也答错的题目上。不是学生没学会,是它把老

来源:发布时间:2026-11-22 05:19:31栏目:Web3资讯浏览:272 次

大模型蒸馏中教师错误如何向下传递

过去一周,大模递三家做端侧模型的型蒸下传公司先后在内部评测中发现了同一类问题:学生模型在数学推理任务上准确率比教师模型低 9 到 14 个百分点,但错误样本高度集中在教师模型也答错的馏中题目上。不是教师学生没学会,是错误它把老师的错误也学会了。这件事在技术社区里被反复讨论,大模递核心就一句话:蒸馏不是型蒸下传压缩,是馏中继承,包括继承缺陷。教师

教师模型的错误错误向下传递,在蒸馏过程中几乎无法完全避免。大模递软标签训练的型蒸下传本质是让学生拟合教师的输出分布,当教师对某个输入给出高置信度的馏中错误答案时,学生接收到的教师梯度信号会把它当成正确答案来学。某团队做过一个对照实验:用同一个 7B 模型当教师,错误蒸馏出 1.5B 学生模型。教师自身在 GSM8K 上的错误率是 18.2%,学生是 23.6%。把教师答错的 239 题单独拉出来看,学生复现了其中 196 题的错误,复现率 82%。这不是学生自己犯的新错误,是教师在训练集里提前埋好的。

错误传递的三种典型路径

第一种是事实性错误固化。教师模型在训练数据里见过错误标注,或者参数里残留了错误关联,蒸馏时这些错误以高置信度软标签的形式被放大。第二种是推理链路的偏差复制。教师在做多步推理时中间步骤跳步或逻辑断裂,学生蒸馏到的不是完整的推理过程,而是断裂后的结论性分布。第三种更隐蔽:错误的不确定性传递。教师对某些题目的输出分布本身就混乱,学生学到的是这种混乱,表现出来就是偶尔对偶尔错,不稳定。

实测数据能说明问题。某厂在蒸馏一个医疗问答模型时,教师模型对药物剂量类问题有 4.7% 的错误率,其中 63% 的错误属于将成人剂量套用到儿童场景。学生模型蒸馏后,这个错误率上升到 7.9%,而且新增加的错误里 91% 和教师是同一类型。这说明错误不只是点对点复制,还在类型层面上扩散了。

温度系数与置信度校准的副作用

很多人以为调低蒸馏温度能减少错误传递,实际效果没这么简单。温度越低,软标签越接近硬标签,教师的高置信度错误会被更强化地传递。温度越高,软标签越平滑,错误信号被稀释,但同时正确知识也被稀释。有团队在 0.5 到 5.0 之间扫了七个温度值,发现错误传递率在温度 2.0 附近最低,但学生整体性能比优质温度点掉了 2.3 个点。这是一个典型的跷跷板问题:你想滤掉噪音,就必然损失信息。

置信度校准也是同理。教师模型校准得越好,错误输出的置信度越低,这确实能减少学生把错误当真。但校准需要额外的温度缩放或后处理,这本身会改变教师输出的分布形态,等于在蒸馏前又加了一层不确定的变换。某实验室对比过校准前后蒸馏的学生模型,错误传递率从 11.3% 降到 8.7%,但学生模型在开放域对话上的流畅度下降了,因为校准让教师输出变得过于保守,学生学到的多样性变差了。

数据过滤只能缓解不能改善

现在常用的做法是在蒸馏前过滤掉教师高置信度错误的样本,或者用人工标注数据做一部分硬标签混合训练。这套流程能把错误传递率压到个位数,但代价是过滤掉的那些样本往往是最难的、最有学习价值的题目。一个做竞赛数学蒸馏的团队试过把教师错误样本全部剔除,学生模型在相同规模下的错误率确实降了 5 个点,但在难度最高的题目集上,学生的解题率也从 34% 掉到 28%。你把难题里的错误样本删了,等于把难题本身也删了一部分。

更现实的做法是分层处理:对教师低置信度但答错的样本,保留并用硬标签替代;对高置信度答错的样本,直接剔除或做人工修正;对教师本身输出分布混乱的样本,降低其在蒸馏损失中的权重。这套组合拳在实践中能把错误传递率控制在 6% 以下,但需要额外的人力标注和样本审查,小团队基本扛不住这个成本。

教师模型的错误传递不是工程事故,是蒸馏机制里固有的特性。做蒸馏的人应该把“教师错误审计”当成一个独立的流程节点,而不是出了问题再回头查。至少在下游任务上线前,用一批教师已知错误样本去测学生,看看复现率有多高,这比看整体准确率更有参考价值。大模型蒸馏中的教师错误传递注意事项说再多,落到实操就一句:先搞清楚你老师错在哪,再决定要不要让他教。