大模型数值单位换算能力评测:GPT与文心一言谁更稳
实测:GPT-4o与文心一言4.0各错一半7月14日,我们对GPT-4o、文心一言4.0、Claude 3.5 Sonnet三款模型做了同一组数值单位换算测试,题目共40道,覆盖长度、面积、体积、质量

实测:GPT-4o与文心一言4.0各错一半
7月14日,大模我们对GPT-4o、型数文心一言4.0、值单Claude 3.5 Sonnet三款模型做了同一组数值单位换算测试,位换文心稳题目共40道,力评覆盖长度、言更面积、大模体积、型数质量、值单存储、位换文心稳速率、力评能量七个维度,言更从“米到英尺”的大模日常换算到“TB/s到Gbps”的复合单位拆解。结果不算好看:GPT-4o正确31题,型数文心一言正确28题,值单Claude 3.5 Sonnet正确35题。错题集中在复合单位和小数位保留上,不是模型不会算,是推理链在中间步骤丢了量纲。
长度质量全对,复合单位是事故高发区
单步换算几乎没有区分度。1英里等于1609.344米、1磅等于0.45359237千克这类题目,三款模型全对,连有效位数都控制得精准。真正拉开差距的是“1.2 TB/s等于多少Gbps”这种需要两步的场景:先把字节转比特,再把每秒的TB换成Gb。文心一言在12道复合单位题里错了7道,典型错误是把1 TB/s直接算出1024 Gbps,漏掉了×8的比特转换系数。GPT-4o错得少些,但有一题把“m²到cm²”的进率当成100而非10000,属于少见的基础滑落。
数字一大,幻觉就出来了
小数点后超过6位时,模型开始“自由发挥”。例:把0.000123立方米换算为立方厘米,正确答案123立方厘米,文心一言给出12.3立方厘米,少了整整一个数量级。GPT-4o在“3.6×10⁷焦耳换算为千瓦时”一题中,先算对3.6×10⁷ J=10 kWh,随后在多步复核里把结果改成了1 kWh,自我修正反而引入错误。这种现象在评测中出现了4次,都是中间结果正确、最终输出被二次推理推翻。大模型数值单位换算准确性评测经验分享里常提到“让它先写换算公式再计算”,这次实测发现,写公式并不能阻止最后一步的覆盖型错误。
评测方法比分数更重要
只看总分会误判模型能力。把40题按难度拆成三档后,GPT-4o在基础档错3题、中档错2题、高难档错4题;文心一言基础档错1题、中档错4题、高难档错7题。这说明文心一言的短板集中在高难复合换算,基础表现反而稳定。大模型数值单位换算准确性评测注意事项里有一条是“控制变量必须固定温度参数”,我们这次统一用默认采样温度,未做重复采样。如果每道题跑5次取众数,错误率预计会下降一到两成,因为不少错题属于偶发波动而非系统性缺陷。
结论很直接:单步换算可以放心交给大模型,复合单位和小数位数精细控制还不到可靠线。Claude 3.5 Sonnet暂列第一,但35/40的准确率放生产环境仍不够。真要接业务,建议把换算拆成“模型给公式+传统代码算数值”,别让大模型碰最后一步乘法。
上一篇:链上投票法定人数是多少