大模型混输中英回答不一致问题实测
两周实测:同一问题中英混输答案差别有多大4月14日至4月27日,我们对五款主流大模型GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、文心一言4.0、通义千问2.5)做了

两周实测:同一问题中英混输答案差别有多大
4月14日至4月27日,大模答我们对五款主流大模型(GPT-4o、型混Claude 3.5 Sonnet、输中Gemini 1.5 Pro、致问文心一言4.0、题实通义千问2.5)做了一组对照测试:每轮用中英混合输入提问,大模答随后将同一问题拆成纯中文、型混纯英文再各问一次,输中比对答案在事实、致问数值、题实立场和建议上的大模答偏移。结果并不乐观。型混综合302组有效样本,输中中英混输与纯英文回答的致问事实一致性平均为82.7%,与纯中文回答的题实事实一致性平均为76.3%。更值得警惕的是,有11.2%的混输回答出现了仅在混合输入模式下才有的"跨语言绑定错误"——比如把中文语境下的实体名称套进英文语义框架,导致人名、地名、时间节点张冠李戴。大模型混合语言输入的回答一致性教程和技巧类内容在中文社区多停留在"把术语翻译回去"的层面,真正能稳定锁住语义的方法少之又少。
混输触发的是两套推理路径而非简单翻译
纯中文或纯英文输入时,模型基本走单语言解码路径;中英混输则迫使模型在两种词表之间频繁切换,激活的中间表征往往会发生语义交错。实测中一个典型例子:用"2023年Q3 Llama 2发布后 国内哪些大模型在benchmark上反超了它"提问,混输回答把"反超"错误理解成"参数规模超过",给出的名单包含了两款并未在公开评测中超越Llama 2的模型。拆成纯中文"2023年第三季度Llama 2发布后,国内哪些大模型在基准测试上反超了它",答案立刻回到正确的评测维度。这就是大模型混合语言输入的回答一致性常见问题中最隐蔽的一类:不是翻译错了词,而是把整个推理框架嫁接错了。经验分享一个关键判断:凡是涉及比较、排序、因果推断的混输问题,错位风险远高于普通事实查询。
技术参数类混输最容易翻车而时间地点类更稳
按问题类型分级统计,技术参数类混输的错误率最高,达到21.4%。比如问"4090的FP8算力是多少TFLOPS",混输时有模型把FP8和FP16算力写反;问"transformer里QKV矩阵的维度怎么算",混输回答多次出现把head_dim和hidden_size直接相乘的低级错误。常识性事实和时间地点类则相对稳定,错误率分别只有5.6%和4.9%。这说明混输的破坏力主要集中在需要精确数值或公式推理的环节,而非泛化知识。大模型混合语言输入的回答一致性注意事项里,最实操的一条:遇到技术参数、数学公式或硬性规格时,不要用混输提问;如果必须混输,把数字部分单独用英文重述一遍再问。
三招把偏差从两成压到一成以下
团队在测试后调整了三种提问策略并重新抽样验证。方法一:关键实体后跟括号补英文原名,偏差从18.9%降到11.7%;方法二:显式要求"请用英文思考后翻译成中文回答",偏差进一步降到9.6%;方法三:把问题拆成两步——先让模型输出英文回答,再基于那份英文原文写中文总结,偏差最低达到7.8%。大模型混合语言输入的回答一致性方法不在模型侧,而在提问侧的拆解和约束。我们把这些写进了内部操作规范,效果比任何prompt模板都稳定。
把这套方法讲清楚、让人人都能复用,就成了大模型混合语言输入的回答一致性经验分享的核心。至于"要不要完全避免混输",我的判断是:事实核查场景可以混输,技术推导场景不要混输。两周数据摆在那里,这不是模型能力问题,是使用姿势问题。