大模型量化校准样本如何挑选才不踩坑
过去一周,至少有四家团队在部署 70B 级模型时栽在同一件事上:量化校准样本选得随意,模型跑起来 token 重复率飙升,数学推理分数比官方 FP16 基线低了 6 到 9 个点。上海某量化组的复现记

过去一周,大模至少有四家团队在部署 70B 级模型时栽在同一件事上:量化校准样本选得随意,型量模型跑起来 token 重复率飙升,化校数学推理分数比官方 FP16 基线低了 6 到 9 个点。准样上海某量化组的本何复现记录显示,同一套 GPTQ 配置,挑选校准集从随机抽取换成按任务域分层采样后,才不踩坑MMLU 加权分从 61.3 拉回 66.8,大模差距肉眼可见。型量
校准样本不是化校“喂点数据让量化器知道数值范围”这么简单。AWQ、准样GPTQ、本何SmoothQuant 这些主流方案都在做同一件事:观察激活分布,挑选决定每一层的才不踩坑缩放因子或舍入策略。校准集如果只覆盖了激活值的大模部分波动区间,量化后的权重就会在推理时把误差放大到不可接受的程度。北京一家做端侧推理的团队告诉我,他们用 Pile 语料随机截了 256 段做校准,MMLU 掉点不明显,但 GSM8K 直接崩了 11 个点——因为 Pile 里几乎不含课本式分步推导,量化器根本没机会看到 CoT 链路上那种极端稀疏的激活模式。
校准集必须覆盖目标任务的数值模式
这不是玄学,是实打实的分布匹配问题。2024 年底 MIT-IBM 的那篇量化校准研究里有个数据:当校准样本与下游任务的激活分布 KL 散度超过 0.7 时,4-bit 量化后的平均精度损失会陡增 2.1 倍。换句话说,校准集选什么,直接决定模型在哪类任务上“残废”。实际操作中,不要只喂维基百科或新闻文本,要看模型最终要跑什么。做数学推理就混入 30% 左右的推导步骤文本;做代码生成就加入函数定义和文档字符串;做多轮对话就必须有带角色标记的完整会话历史。
128 到 512 之间往往藏着一个甜区
多数团队默认用 256 条样本,这个数字来自早期 GPTQ 论文的设置,但当时针对的是 6B 到 13B 规模。70B 以上的专家模型或 MoE 结构,激活分布复杂度高得多,256 条经常不够。深圳某硬件厂商的实测:Mixtral 8x7B 用 128 条校准,层间缩放因子出现明显偏斜,用 512 条后 WinoGrande 精度回升 3.4 个百分点。但也不是越多越好,超过 1024 条后改进趋平,还白白增加预处理时间。对 30B 以下的稠密模型,128 到 256 条通常足够;对 MoE 或 65B 以上,至少要 512 条。
校准样本的“干净度”是经常被忽略的变量
很多人从训练集里随机抽,结果抽到一堆乱码、重复段落或者截断到只剩标点的残片。这些低质量样本会让校准器学出偏斜的量化区间,尤其在 outlier 敏感的层上留下系统性偏差。东京某研究团队的实验很有意思:同一模型,把校准集中包含代码块、表格、URL 异常字符的样本单独拎出来分析,发现这些样本对最终量化的负面影响比“领域不匹配”还大。大模型量化校准样本的选择经验分享里有一条铁律:先做去重和格式清理,再谈领域覆盖。
所以别再把校准集当尿检样本一样随便接一点了。先明确模型要跑的任务域,按比例混入对应语料;根据模型规模调样本数量,30B 以下 256 打底,MoE 或超大规模上 512;最后做一次质检清掉格式垃圾和重复段落。这条链路花不了多少时间,却能让量化后的模型少踩一半坑。