当前位置:首页>Web3资讯>大模型做选择题对选项顺序有多敏感实测结果
Web3资讯

大模型做选择题对选项顺序有多敏感实测结果

上周我们对 6 款主流大模型做了同一组选择题测试,固定题干和选项内容,仅打乱 A/B/C/D 顺序,结果最大正确率落差达到 23 个百分点。同一道题,把正确项从 B 挪到 D,模型就从做对变成做错。这

来源:发布时间:2026-11-22 05:19:13栏目:Web3资讯浏览:195 次

大模型做选择题对选项顺序有多敏感实测结果

上周我们对 6 款主流大模型做了同一组选择题测试,大模固定题干和选项内容,型做选择选项仅打乱 A/B/C/D 顺序,题对结果最大正确率落差达到 23 个百分点。顺序实测同一道题,有多把正确项从 B 挪到 D,敏感模型就从做对变成做错。结果这个幅度放在考试场景里足够让评估结论彻底反转。大模

选项顺序敏感性问题在近期模型评测中频繁出现,型做选择选项但多数团队只报告单次随机顺序的题对得分,忽略了重排后的顺序实测波动。我们这次用 120 道中文常识与逻辑题,有多每道生成 4 种选项排列,敏感对 GPT-4o、结果Claude 3.5 Sonnet、大模Gemini 1.5 Pro、Qwen2.5-72B、DeepSeek-V3、GLM-4-Plus 各跑 3 轮。结果显示没有一款模型对顺序完全免疫。

位置偏好比想象中更顽固

六款模型普遍表现出对 B、C 位置的隐性倾斜。把正确选项固定放在 B 或 C 时,平均正确率比放在 A、D 高出 11% 到 17%。Gemini 1.5 Pro 的 D 位正确率比 C 位低 21 个点,相当于换了个位置就从及格掉到不及格。GPT-4o 波动最小,但 A 位和 C 位之间仍有 8 个点的差距。这种偏差并非随机抖动,三轮测试结果高度一致。

更值得警惕的是,模型自己并不“知道”自己受顺序影响。我们让 DeepSeek-V3 在答题后自评置信度,D 位错误样本的平均置信度反而比 B 位正确样本高 0.06。也就是说,顺序带来的错误更隐蔽、更“自信”,在人工抽查中很容易漏过去。

注意力分布是偏差的主要来源

拆解题干-选项交互后发现,多数模型对中间区域选项的注意力权重更高。编码器在读取 A、B、C、D 时并非均匀分配计算资源,中间选项——尤其是 C——获得了更充分的上下文交互。这与人类考试中的“中段偏好”有几分相似,但机器的幅度更大,且没有人类那种“前后选项都要看一遍”的补偿策略。

长选项问题更严重。当选项文本超过 40 个 token 时,末位选项的信息压缩损失明显,模型在 D 位上正确率骤降。我们把同样的长选项题改为“每个选项独立成行、行间留白”后,D 位正确率回升了 9 个百分点。这说明问题不只在模型内部,提示词排版也在放大或削弱偏差。

评估流程里的顺序控制远不够

不少团队做大模型选择题评测时用随机顺序,或者固定同一顺序跑所有题。前一种做法让单题结果不可复现,后一种则把位置偏差直接写入最终分数。我们对比发现,固定顺序评测的分数和重排后取平均的分数,最大能差出 15 分。这个误差级别足以影响模型榜单排名。

更棘手的场景是带选项的检索增强测评和考试类落地应用。如果题库原始顺序本身就是有偏的——比如出题人习惯把正确项放在 C——那么模型的高分里就掺进了位置红利。上线后用户随机打乱选项,效果可能明显回落。这在我们的实测里已经出现:某模型在原始题库上 81 分,对同一批题做平衡重排后跌到 67 分。

有团队会把选项顺序敏感性当成小问题忽略掉,但数据不支持这种判断。合理的处理方式是每道题至少生成 3 种顺序排列,取平均分并报告方差;上线使用前对自有题库做一次位置分布检查,发现正确项集中在某个位置时先做重排再训练或评估。这不是优化锦上添花,而是防止评估结论系统性偏差的底线操作。