当前位置:首页>Web3资讯>大模型时间顺序推理能力评测结果出炉
Web3资讯

大模型时间顺序推理能力评测结果出炉

8月14日,面向主流大模型的时间顺序推理专项评测结果公布。本轮横评覆盖GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama 3.1 405B及Qwen2-72B五

来源:发布时间:2026-11-22 05:19:53栏目:Web3资讯浏览:401 次

大模型时间顺序推理能力评测结果出炉

8月14日,大模面向主流大模型的型时序推时间顺序推理专项评测结果公布。本轮横评覆盖GPT-4o、间顺Claude 3.5 Sonnet、理能力评炉Gemini 1.5 Pro、测结Llama 3.1 405B及Qwen2-72B五款模型,果出测试集包含287组时序逻辑题,大模涉及事件因果先后、型时序推日历推算、间顺历史年代排序和流程步骤还原四类任务。理能力评炉综合准确率最高的测结Claude 3.5 Sonnet拿到78.3%,GPT-4o以74.1%紧随其后,果出开源阵营中Llama 3.1 405B仅61.7%,大模与闭源第一梯队差距超过16个百分点。型时序推

这次评测由独立基准平台TempoBench发起,间顺所有题目经五名逻辑学背景标注员交叉验证,排除常识记忆可直接作答的样本——模型必须从给定信息中推导时间关系,而不是背出“二战结束于1945年”。比如一道中等难度题要求判断“若事件A发生在B之后三天,C发生在B之前一周,且D与A同日,那么D相对C的时间关系”,五款模型中只有Claude和GPT-4o稳定给出正确答案,其余三款在多次采样中出现自相矛盾的结论。

时序错误不是算力问题而是表征缺陷

拆解失败案例后发现,多数错误并非逻辑推导链条断裂,而是模型对时间关系的内部表征不稳定。Gemini 1.5 Pro在涉及“上个月最后一个周三”类问题时表现尚可,一旦题目引入“闰年二月”“跨时区同日换算”等约束,准确率骤降至41%。测试人员将同一道题改写为等价的非时间形式——把“之前”替换为集合包含关系、把“三天后”替换为排序序号——模型得分普遍回升20%以上。这说明底层推理能力存在,问题出在时间维度的符号映射上。

提示策略带来显著但有限的提升

评测团队额外测试了三种提示策略对时序得分的改变:要求模型先输出事件关系图再作答、强制使用“早于/晚于”标记链、以及将题目转化为代码枚举。三者分别带来平均7.2、5.8和11.4个百分点的提升。对Llama 3.1 405B而言,转化代码枚举的帮助最大,从61.7%拉高到73.9%,几乎追平GPT-4o基线。但提示策略对Claude 3.5 Sonnet的提升仅有2.1个百分点,说明其预训练阶段的时序先验已经较充分。值得注意的是,提示策略在不同题目类别上的收益极不均衡——日历推算类题几乎不受影响,流程步骤还原类题提升最明显。

开源模型评测方法需要重新设计

开源模型在本轮评测中暴露出的一个共性问题是采样稳定性。同一道时序题在temperature=0.3条件下跑10次,Llama 3.1 405B有23%的概率出现两次以上不同答案,Qwen2-72B这一比例为17%。闭源模型通常在5%以内。评测团队建议对开源模型采用多数投票制统计准确率,而不是单次采样的结果。另一个常被忽视的变量是系统提示中的时间锚定——如果系统提示包含当前日期,模型在日历推算题上的表现会提升4到9个百分点,但这种提升在历史年代排序题上几乎消失,甚至会误导模型将“当前”作为无关题目的参照点。

从结果看,时间顺序推理仍是当前大模型相对薄弱的维度之一,即便是榜首的Claude 3.5 Sonnet也没能跨越80%的门槛。对工程团队而言,现阶段务实的做法不是期待模型自身变强,而是在流水线中显式引入时间解析模块,把复杂时序约束拆解成可验证的符号形式再交给模型。TempoBench计划在9月发布评测工具包和完整数据集,届时各团队可以跑通自己的内部版本,用同一把尺子量清楚模型在时序任务上的真实边界。