大模型选择题选项顺序敏感性实测与影响分析
上周我们在内部评测中把同一套多选题喂给五个主流大模型,只调换选项顺序,正确率波动最高的一个达到 18.7 个百分点。这不是孤例。过去两周复现了三次,GPT-4o、Claude 3.5 Sonnet、Q

上周我们在内部评测中把同一套多选题喂给五个主流大模型,大模只调换选项顺序,型选选项性实响分析正确率波动最高的择题一个达到 18.7 个百分点。这不是顺序孤例。过去两周复现了三次,敏感GPT-4o、测影Claude 3.5 Sonnet、大模Qwen2.5、型选选项性实响分析DeepSeek-V2.5、择题Gemini 1.5 Pro 无一幸免,顺序只是敏感幅度差异明显。大模型的测影选择题答案与选项排列之间存在系统性关联,远不止随机扰动那么简单。大模
位置偏好比想象中更顽固
实测中,型选选项性实响分析当正确答案从 C 位移到 A 位,择题Qwen2.5 的正确率从 61% 跌到 43%,Claude 3.5 则从 78% 升到 84%。更值得注意的是错误分布:不少模型对 B、C 两个中间位有明显“锚定”,即使换位后正确答案挪到 D,模型仍然倾向于选新的 C 位。这种位置先验很难靠 prompt 里的“请仔细阅读每个选项”消除。我们在 40 道逻辑推理题上测试,加入这句提示后平均波动只收窄了 2.3 个点。
题型与学科放大了敏感度
分题型看,数学计算题的选项顺序影响最小,正确率波动平均 4.1%;语义辨析和常识推断题最严重,平均 11.9%。一个具体的例子:一道关于“非虚构写作边界”的题目,仅仅把“特稿”“实录”“报告文学”“深度报道”四个词的位置轮换一次,GPT-4o 从选 D 改成选 B,给出的解释还自洽。学科维度上,法律与医学类题目的敏感度明显高于代码题,推测与训练语料中标准选项排列习惯有关。
评估基准本身需要打补丁
这件事的直接影响在于评测可信度。如果一份 benchmark 只用固定选项顺序,模型得分里必然混入位置偏差,横向对比就成了比谁更擅长猜 C。我们建议在发布选择题基准时至少做四次轮换,报告均值与方差。工程上有个低成本办法:把同一道题的选项做循环移位,四组输入并行推理,再取投票结果。这样单个模型的输出稳定性可以提升 6 到 9 个百分点,部分场景下甚至不需要微调。
大模型选择题选项顺序敏感性问题短期内看不到改善的可能,毕竟训练数据的选项分布规律已经写进权重。务实一点的做法是把“换序测试”当成模型上线前的必检项,尤其对医疗、法律、金融等高风险场景的应用。如果某个模型在你的数据集上换序后正确率波动超过 10%,要么换模型,要么换评估方式。
上一篇:水轮机导叶间隙现场测量方法解析
下一篇:美股银行短期批发融资占比如何解读