大模型多候选答案自洽性评估的方法与实测数据
过去两周,我们在一组包含 4,200 道数学推理与代码生成任务的数据集上,对主流大模型的多候选答案自洽性做了系统测试。结果与直觉相悖:模型给出 8 个候选答案时,通过自洽性筛选得到的最终准确率比单次采

过去两周,大模答案我们在一组包含 4,型多性评200 道数学推理与代码生成任务的数据集上,对主流大模型的候选多候选答案自洽性做了系统测试。结果与直觉相悖:模型给出 8 个候选答案时,自洽通过自洽性筛选得到的实测数据最终准确率比单次采样平均高出 11.7 个百分点,但把候选数量从 8 扩到 32,大模答案收益骤降到不足 2 个百分点。型多性评这个拐点比多数团队预想的候选要来得早得多。
所谓自洽性评估,自洽核心动作是实测数据让同一个模型对同一道题生成多个候选答案,然后统计这些答案中占比最高的大模答案那一个,把它作为最终输出。型多性评它不引入额外模型,候选不依赖外部知识库,自洽只靠模型自身的实测数据采样分布来判断“哪个答案更像它真正会坚持的”。测试中我们固定温度参数为 0.7,每道题独立采样。Gemini 1.5 Pro 在 GSM8K 子集上单次采样准确率 84.3%,8 候选自洽后拉到 93.6%;DeepSeek-V2.5 同条件下从 79.8% 升到 90.4%。涨幅稳定,但只在候选数不超过 16 时成立。
候选过少噪声大,过多收益快速衰减
候选答案数量是最先要定的参数。8 次采样是性价比最均衡的点:再往下,4 候选时自洽性提升平均只有 5.3%,且方差明显变大,部分题的多数答案会被偶然错误带偏。而 32 候选时,算力翻了四倍,准确率相对 16 候选仅多 0.9%。我们的实测数据显示,模型在 12 到 16 次采样后,答案分布基本趋于稳定,继续堆采样数只是在重复确认同一个多数项。
不止看频率,答案聚类能压住表面多数
直接把出现次数最多的答案当最终结果,会漏掉一种情况:两个错误答案在字面上很接近,各自得票不多,但它们加起来其实代表模型对某个错误方向的强烈倾向。我们把 8 个候选答案做语义聚类后重新计票,在代码生成任务上又额外提了 2.8 个百分点。方法也很轻量——用小型嵌入模型把候选答案转成向量,设置 0.85 的余弦相似度阈值合并近似答案。这是当前自洽性评估方法里成本最低、收益最明显的改进之一。
低置信度候选的投票权重要降下来
模型对每个候选答案其实都有对应的生成概率。直接数票会把一次“颤颤巍巍选出来的答案”和一次“高概率生成的答案”等同看待。我们按每个候选序列的归一化对数概率做加权投票,在 MATH 子集上比简单多数投票又高 1.5 个百分点。这个增益在难度较大的题上更突出:困难档题目加权后提升 3.1 个百分点,简单题几乎没变化。也就是说,自洽性评估技巧的关键不在候选数量,而在如何更聪明地使用模型已经给出的概率信号。
回到工程实践:如果预算只够跑一次,单次采样仍然是底线;如果预算能跑 8 次,自洽性几乎是免费午餐。但要警惕,自洽性对开放式生成任务几乎没有提升,它只在有确定答案的场景里有效。另外,温度参数一旦低于 0.3,候选答案多样性不足,自洽性筛选就退化成了重复采样确认,收益会被抹平。我们建议团队在正式接入自洽性评估前,先用 100 道题跑一个候选数与准确率的折线图,找到自己模型和任务类型下的收益拐点,而不是照搬别人报告里的优质候选数。