当前位置:首页>Web3资讯>大模型时间顺序推理能力评测报告出炉
Web3资讯

大模型时间顺序推理能力评测报告出炉

乱序叙事成模型试金石8月14日,一项覆盖37个主流大模型的时间顺序推理专项评测结果对外披露。测试样本不取标准问答对,而是从新闻特稿、医疗病程记录、警方通报中抽取真实存在的乱序叙事片段,要求模型还原事件

来源:发布时间:2026-11-22 05:30:15栏目:Web3资讯浏览:751 次

大模型时间顺序推理能力评测报告出炉

乱序叙事成模型试金石

8月14日,大模一项覆盖37个主流大模型的型时序推时间顺序推理专项评测结果对外披露。测试样本不取标准问答对,间顺而是理能力评炉从新闻特稿、医疗病程记录、测报警方通报中抽取真实存在的告出乱序叙事片段,要求模型还原事件先后序列。大模GPT-5、型时序推Claude 4.5、间顺Gemini Ultra 1.5及国内六款头部模型均在列,理能力评炉总题量3880道,测报难度分五档。告出GPT-5以82.7%综合准确率居首,大模Claude 4.5落后1.3个百分点,型时序推国产模型中DeepSeek-V3以79.4%排第三,间顺其余多数卡在71%—76%区间。差距拉最开的是第五档“跨段落远距离因果”题型,GPT-5到68%,末位模型只有31%。

时间线评测为何专挑软肋

常规推理榜单里,模型可以靠参数规模和预训练语料“硬记”场景模板,时间顺序题则直接破坏模板。评测方把原始文本切成8—15个信息片段,打乱后喂入,要求输出带时间戳的事件链。难点不在单句理解,而在锚点冲突:语料中常见“三天前”与“上周五”指涉同一日、但需结合上下文年份与节日推断,这类隐性日历推理错误率普遍偏高。参评团队透露,仅靠增大上下文窗口并不解决排序问题,有模型在256K窗口下把第五档题的错误类型从“漏排”变成“虚构补充事件”,反而更危险。

三类高频翻车现场已归纳

报告把错误归为“时间锚定失败”“因果倒置”“无中生有事件”三类。时间锚定失败占全部错题47%,典型如把“术后第三天”与“出院前一日”误判为相隔一周;因果倒置占31%,多发生在医疗和法律长文本中,模型把结果性动作前置;无中生有事件尤其值得警惕,部分模型为强行闭合时间线,会补入原文没有的“复查”“开庭”节点,极具迷惑性。有测试人员把同一组乱序病历喂给模型,某头部产品在三次重测里给出了三条完全不同的时间线,稳定性同样成问题。

评测方法论仍缺统一标尺

目前业内通行的做法是人工构造金标答案然后计算F1,但不同评测机构对“部分正确”的判定宽严不一,同一模型在不同榜单上时间推理分差可达15个点。本次评测额外引入“可证伪节点”指标——只统计那些能由原文句子直接证伪或证实的排序错误,试图排除主观判分噪音。发起方表示后续会开源500道带争议标注的样例题,供各厂商自行复核。对于一线使用者,测试者给出的建议很直接:把时间推理题写进内部验收集,别再用“谁先谁后”的简单句,找真实公告、病程、判决书,打乱三段以上再试。模型在这一项上的幻觉比事实知识更隐蔽,也更难在人工抽检里一眼看出。