大模型多候选答案自洽性评估方法解析
抽样投票为何经常失效过去两周,三家头部实验室的工程师在内部评测中发现同一个现象:让大模型对同一道数学证明题生成20个候选答案,完全一致的比例不到15%。一致率低并不意外,真正的问题是传统自洽性评估默认

抽样投票为何经常失效
过去两周,大模答案三家头部实验室的型多性评析工程师在内部评测中发现同一个现象:让大模型对同一道数学证明题生成20个候选答案,完全一致的候选比例不到15%。一致率低并不意外,自洽真正的估方问题是传统自洽性评估默认“得票最多的答案最可靠”,这条规则在多步推理场景下频繁翻车。法解某次代码生成测试中,大模答案10个候选里有7个给出同一段有逻辑漏洞的型多性评析解法,原因是候选模型在第一步就共享了错误中间状态——票数集中反映的是系统性偏差,而非答案质量。自洽当候选答案之间存在隐含的估方依赖关系,简单多数投票会把评估带偏。法解
自洽性得分需要拆成两层算
更务实的大模答案做法是把评估拆成“表层一致性”和“路径一致性”。表层看最终结论是型多性评析否收敛,路径看解题逻辑是候选否独立。国内一个多模态评测团队在500道科学推理题上的实验显示:仅用答案投票,准确率比随机采样高9个百分点;引入推理步骤的编辑距离作为第二层信号后,提升幅度扩大到17个百分点。具体操作上,他们对每个候选答案提取关键步骤的中间变量,计算两两之间的语义相似度矩阵,再剔除与主簇路径差异过大的“孤点答案”。这些孤点有时恰好是正确解,但因为推理跳步或省略了规范表达而被误删——所以第二层不能做成硬过滤,只做加权参考。
样本量不是越大越稳
成本约束下,多数团队习惯把采样数定在5到10之间,这个区间风险被低估了。在温度参数0.7的条件下,单次采样的答案分布方差很大,5个样本得到的自洽性分数95%置信区间宽度往往超过0.3,基本丧失排序能力。某金融文本抽取任务的实测:抽样数从5增到20,自洽性分数与人工标注结果的斯皮尔曼相关系数从0.41升到0.68;但从20增到50,只再涨了0.04。建议工程实现时先做一次小规模校准,用30个样本跑出基准分布,再决定线上评估的采样预算。另一个常见问题是只统计“完全一致”的比例,忽略了语义等价但表述不同的答案,这类情况下需要先做聚类归一,否则自洽性会被严重低估。
当前阶段,多候选自洽性更适合作为粗筛信号而非最终判据。把自洽性分数与外部工具验证(代码执行、数值回代)结合,比任何单一指标都可靠。如果团队资源只够做一件事,优先保证采样多样性,再去谈自洽性度量本身。
下一篇:链上投票快照区块委托变动如何应对