大模型混合语言输入时回答一致性如何评测
8 月中旬,一份来自独立评测机构 CometBench 的报告在开发者社区流传:在 27 个主流大模型的混合语言测试中,同一道逻辑题分别用中英混杂、日中夹杂、代码与自然语言混排三种方式提问,超过六成模

8 月中旬,大模一份来自独立评测机构 CometBench 的型混报告在开发者社区流传:在 27 个主流大模型的混合语言测试中,同一道逻辑题分别用中英混杂、合语回答何评日中夹杂、言输代码与自然语言混排三种方式提问,致性超过六成模型出现了答案不一致,大模其中 4 个模型在英文主导输入下答对、型混中文主导输入下却给出完全相反的合语回答何评结论。这个结果把“回答一致性”从技术洁癖推成了实际工程问题。言输对于正在接入客服、致性翻译、大模编程辅助场景的型混团队来说,模型能否在中英夹杂的合语回答何评 prompt 下稳定输出同一答案,已经直接影响上线决策。言输
混合输入下不一致从哪被观测到
CometBench 的致性测试方法并不复杂:选取 500 组包含事实判断、数值计算、代码调试的任务,每组任务用五种语言混合比例各生成一次提问,再比较回答的核心结论。结果显示,当非英语 token 占比超过 35% 时,回答不一致率从纯英语基线 6.1% 跳升到 41.7%。典型案例如“请解释 Python 中 GIL 对 multi-thread 的影响,并给出一个修复方案”,同一个模型在“multi-thread”写成“多线程”后,修复建议从“改用多进程”变成了“使用异步 IO”,方向完全不同。这说明问题不出在模型“不懂”,而出在 token 切分与语义权重分配在混合序列中发生了偏移。
评测方法为何不能只看准确率
传统评测常用单一语言准确率作为指标,但在混合输入场景下,准确率掩盖了稳定性缺陷。一个模型可能在中文准确率 89%、英文准确率 91%,看起来都过关,但把同一问题用中英混杂提出时,两次回答意图一致的概率可能只有 67%。有团队尝试引入“跨语言一致性系数”——对同一语义问题在不同语言模板下回答的可传递性进行打分。字节跳动某算法组在今年 6 月公开的方法中,用对抗样本对模型做一致性压力测试:将 prompt 中的关键词随机替换成另一种语言的同义词,再比较输出答案的语义向量距离。他们发现,经过多语言对齐训练的模型在该指标上能提升 18 到 23 个百分点,而没有做过显式混合语料训练的模型几乎无法通过。
提升一致性的可行手段与坑
目前工程界常用的做法有三类。第一类是在 prompt 中固定术语语言,比如要求“专有名词保持英文”,这能降低 token 歧义但牺牲了灵活性。第二类是后处理校验,把同一问题用单语言重新提问一次,再比对两次回答,命中率下降则触发重试或降级。第三类是训练阶段介入,在 SFT 数据里加入大量高比例混合语料,让模型学会把混合输入映射到统一语义空间。但第三类成本高,且容易过拟合到特定语言对。一个值得注意的坑是:有些模型在混合输入下表现出的“一致”其实是两种语言都答错的一致性,这种假阴性在只测一致性、不测正确率的评测里会被误判为优秀。所以评测时要把“正确且一致”作为通过条件,只记录通过率,不看单纯的一致率。
混合语言输入不会消失,只会越来越频繁。对评测方来说,把一致性拆成“答案意图一致性”和“术语使用一致性”两个维度分别打分,比笼统地看“是否相同”更有诊断价值。对模型团队来说,与其在榜单上争纯英文的零点几个点,不如先把中英混杂场景下的稳定输出做好,这是更接近真实用户的地方。
上一篇:链上投票法定人数是多少