大模型选择题选项顺序敏感性实测与原因分析
过去一周,我们对 6 款主流大模型做了同一组选择题测试:只交换 A/B/C/D 选项的排列顺序,不改变题干和正确答案。结果比预想中更值得写一篇:Claude 3.5 Sonnet 的正确率从 91%

过去一周,大模我们对 6 款主流大模型做了同一组选择题测试:只交换 A/B/C/D 选项的型选选项性实析排列顺序,不改变题干和正确答案。择题结果比预想中更值得写一篇:Claude 3.5 Sonnet 的顺序正确率从 91% 掉到 74%,GPT-4o 从 88% 掉到 79%,敏感其余四款国产模型波动幅度在 7%—19% 之间。测原同一道题,因分同一个模型,大模只因为选项换了个位置,型选选项性实析结论就变了。择题
偏好首位与末位:位置偏差并非均匀分布
我们在 400 道标准化选择题上做了三轮随机排列测试,顺序记录每次输出。敏感数据显示,测原当正确答案出现在 A 位时,因分各模型平均命中率 86.3%;出现在 D 位时,大模命中率降到 69.1%。B、C 位介于两者之间。也就是说,大模型不是对所有位置一视同仁,而是对首尾两个位置产生了明显的“锚定”。在多选题场景里,这种偏差更隐蔽——模型倾向于把前两个选项默认当作“更可能正确”的候选,哪怕内容本身毫无变化。一位做评测的朋友反馈,他们内部基准测试里,仅靠把正确答案从后置改到前置,就能让部分开源模型的通过率虚高 8 到 12 个百分点。
注意力机制下的位置表征是核心原因
模型对选项顺序敏感,根源不在“读不懂”,而在于 Transformer 的位置编码与训练样本分布。多数指令微调数据里,选择题的正确答案常被放在靠前位置,模型学到了一种统计捷径:先出现的选项更值得信任。我们抽查了三个公开指令数据集的 2000 条选择题样本,A、B 位正确答案合计占比高达 63%,D 位仅占 14%。这种样本偏差直接写进了模型的生成偏好。此外,自回归解码时,模型对靠前 token 的注意力权重天然更高,后续选项的信息即使完整,也难以同等程度参与最终判断。这不是幻觉,是结构性的读取倾斜。
实测缓解办法:轮换与重排成本不高
对于需要稳定输出的场景,目前最实用的办法是同一道题做多次排列取一致性结果。我们用“原序 + 逆序 + 随机重排”三遍测试投票,6 款模型的综合正确率回升到 87% 左右,与单次优质排列相比,方差缩小约三分之二。另一个低成本技巧是在提示词里显式声明“请忽略选项排列顺序,独立判断每个选项内容”。这不能消除偏差,但能把波动幅度平均压降 5—8 个百分点。需要注意,轮换测试会增加推理成本和延迟,对线上低延迟服务不太友好,更适合评测、考试、题库质检等异步场景。
把选择题顺序敏感性当作模型的稳定性指标,比单纯刷高分更有参考价值。如果一套题目换个顺序就能让模型改答案,那它离“可靠”还有一段距离。建议做评测或出题系统的人,把随机重排作为默认流程,而不是可选优化。