大模型多候选答案自洽性评估方法引发关注
7月第三周,一组来自国内两个独立评测团队的实验数据在研究者社区流传:在数学推理与代码生成任务上,让同一个大模型对同一问题采样20条候选答案,利用自洽性指标筛选出的结果,准确率比单次采样平均提升6到14

7月第三周,大模答案一组来自国内两个独立评测团队的型多性评实验数据在研究者社区流传:在数学推理与代码生成任务上,让同一个大模型对同一问题采样20条候选答案,候选利用自洽性指标筛选出的自洽注结果,准确率比单次采样平均提升6到14个百分点。估方与此前单纯比较单条输出质量的法引发关评测方式不同,这两份数据把焦点转移到“模型在多条候选中的大模答案判断一致性”上。围绕这一方向的型多性评讨论迅速升温,不少人开始重估多候选答案自洽性评估在模型能力判断中的候选位置。
评估逻辑从单点走向分布
传统的自洽注模型评测习惯是给定问题、取一条输出、估方比对参考答案。法引发关这种做法的大模答案盲区在于:模型生成具有随机性,单条答案好坏掺杂了采样运气。型多性评自洽性评估的候选做法是让模型对同一输入重复生成N条候选,再计算这些候选之间的语义等价率或答案一致率。一个经常被引用的操作是:温度设为0.7,采样20条,如果其中17条指向同一个最终答案,那么这条答案被采纳的可信度就远高于“只输出一次且正确”的情形。这里关注的不再是某一条输出,而是输出分布是否集中。2024年底一项面向7B到70B参数规模模型的对比测试显示,在GSM8K上,自洽性筛选后的答案准确率对多数模型稳定高于贪心解码约8个点,对部分小模型甚至接近15个点。
为什么多候选能暴露单次评测看不到的问题
单次采样容易掩盖模型的两类缺陷。一类是“偶然正确”:模型推理过程并不稳定,某次恰好蒙对。另一类是“表面连贯、内在摇摆”:模型在同义改写或数值微调后给出不同结论,说明它并没有真正掌握问题结构。自洽性评估把这种不稳定直接量化出来。有团队在HumanEval上做过测试,某个代码模型单次通过率38%,但对其生成10条候选做聚类后发现,正确答案簇占比只有52%,其余候选在边界条件处理上互相矛盾。这种情形下,单次通过率会高估模型可靠性。反过来,若10条候选高度一致地给出某一输出,即便与参考答案不符,也值得检查是标注问题还是题目本身存在歧义。
实操中容易被低估的三个细节
采样温度与候选数量会明显改变评估结论。温度过低,候选答案趋同,自洽性失去意义;温度过高,候选发散,一致性指标会虚低。目前较多人采用的区间是0.5到0.8,候选数15到30条。第二个细节是等价判断方式。直接字符串匹配会漏掉语义一致的答案,需要借助模型或规则做归一化,但归一化过强又会把不同答案错误合并。第三个细节是任务类型差异。在事实问答中,自洽性高的答案大概率可靠;但在创意写作或开放性建议中,候选分散不一定表示模型差,可能是任务本身允许多样解。忽视这一点,会把评估方法用错场景。
过去一年,多候选自洽性评估从论文里的辅助指标逐渐进入工程团队的日常回归流程。它的价值不在于替代传统准确性指标,而是把“模型是否稳定”摆到和“模型是否答对”同样重要的位置。对于正在选型或做上线前压测的团队,值得把候选数固定下来,将自洽性分数与通过率并列记录。数据趋势会比单次结论更有说服力。