当前位置:首页>AI新闻>大模型多候选答案自洽性评估方法引发关注
AI新闻

大模型多候选答案自洽性评估方法引发关注

上周,国内一家头部大模型评测机构在内部技术分享中披露了一组数据:同一个推理模型在同一个数学题上采样 50 次,答案一致率只有 63%。当采样温度从 0.7 提高到 1.0,一致率进一步跌破 50%。这

来源:发布时间:2026-11-22 05:18:38栏目:AI新闻浏览:325 次

大模型多候选答案自洽性评估方法引发关注

上周,大模答案国内一家头部大模型评测机构在内部技术分享中披露了一组数据:同一个推理模型在同一个数学题上采样 50 次,型多性评答案一致率只有 63%。候选当采样温度从 0.7 提高到 1.0,自洽注一致率进一步跌破 50%。估方这个数字很快在几个技术社区被反复引用,法引发关也让一个原本只在小范围讨论的大模答案问题浮出水面——当一个模型给出多个候选答案时,我们到底应该相信哪一个,型多性评或者说,候选能不能靠答案本身的自洽注一致性来判断可信度。

过去一年,估方围绕大模型“多次采样 + 投票选择”的法引发关用法越来越普及,但因为缺少公开、大模答案可复现的型多性评自洽性评估流程,很多团队实际上在盲用。候选简单说,自洽性评估不只看某个答案出现次数多不多,而是看同一输入下多轮生成结果的分布是否稳定、票数最高的答案与次高答案之间的差距是否显著、以及错误答案之间是否“错得一致”。这三个维度能区分出“真稳定”和“假共识”——后者经常出现在模型对某个概念存在系统性偏差时,错得整整齐齐,票数再高也不可信。

多候选答案的评估并非简单投票

把采样 20 次、取出现次数最多的答案当作最终结果,这种做法在大量业务场景里已经悄悄普及,但很少有人意识到,投票本身需要前提。一个典型的反例来自代码生成任务:某编程题让模型生成一个递归求和函数,采样 30 次,25 次输出完全相同的代码,但全部遗漏了终止条件。票数极高、分布极稳定,答案却是错的。这说明模型对“递归要写 base case”这一常识的缺失是系统性的,自洽性高反而掩盖了能力缺陷。有效的评估方法应该把候选答案按语义聚类,再计算簇间距离和簇内紧密度,而不是简单数字数数。

评估流程的实操要点与常见误区

目前被多家评测实验室内部采用的做法大致分四步:固定提示词与解码参数,采集至少 20 到 50 个候选;用嵌入模型做语义聚类,阈值通常取 0.85 以上视为同簇;计算簇间票数差和语义分散度;最后用少量人工标注的参考解做锚点校验。这里面有三个高频失误。一是采样次数太少,10 次以下的投票结果基本没有统计意义;二是只比较票数不比较语义距离,表面票数接近但语义差异巨大的两个答案被错误判为“不稳定”;三是忽略了温度、top-p 这些参数对一致率的影响,直接拿不同参数下的结果做横向对比,结论完全失真。有团队在小学数学应用题数据集上做过对照,温度 0.3 时自洽性得分 0.91,温度 1.0 时掉到 0.57,如果把这两组数据混在一起评估模型,就会得出一个没有意义的中间值。

自洽性高不等于答案正确

过去三个月,多个公开评测报告开始把“自洽性”列为独立指标,和准确率并列展示。但真正理解这项指标的人并不多。它回答的问题是“模型对自己的输出有多确定”,而不是“模型有多正确”。在医疗问答和金融合规类场景里,高自洽性配合低准确率反而是危险信号——那意味着模型非常自信地反复犯同一个错。有家做智能客服的公司分享过一个生产环境案例:模型对某个退货政策问题的 50 次采样中,46 次给出同一个错误日期,自洽性超过 0.9,直到被用户投诉才发现知识库里的源数据早就更新了,模型学到的是旧版本。这个案例后来被多家公司拿来当作内训材料。

从工程落地的角度看,多候选答案自洽性评估最有价值的用法,不是评判模型好坏,而是给单次输出附加一个置信度旁证。当语义聚类后最高簇占比超过 80% 且与次高簇票数比大于 3:1 时,可以认为这次输出相对可信;低于 50% 或票数比小于 2:1 时,就应该触发重采样或人工介入。这个规则粗糙,但比只看单次生成结果要可靠得多。至于学术界是否能在近期给出统一的形式化定义,目前看还很难。各家的聚类阈值、采样规模、甚至“一致性”本身的度量口径都还没有对齐,急着找标准答案可能还早了一点。