大模型稀疏注意力为何会漏掉关键信息?评测揭示三类遗漏模式
上周发布的评测数据显示,对 17 个开源与商用大模型施加稀疏注意力机制后,长文档关键信息召回率平均下降 23.7%,其中最差的一款 32K 上下文模型在合同条款提取任务中漏掉了 41% 的义务性条款。

上周发布的大模掉关评测数据显示,对 17 个开源与商用大模型施加稀疏注意力机制后,型稀息评长文档关键信息召回率平均下降 23.7%,疏注示类其中最差的意力遗漏一款 32K 上下文模型在合同条款提取任务中漏掉了 41% 的义务性条款。这项由国内一家机构完成的为何测试第一次把稀疏注意力的遗漏问题拆成了三类可复现的模式,而不是键信笼统地归结为“效果变差”。了解这些模式,测揭对正在做长文本推理加速或想省显存的模式团队有直接的参考意义。
头部锚点失效:文档前半段反而最危险
直觉上会认为稀疏注意力在长文档后半段丢信息更多,大模掉关实测并非如此。型稀息评评测中,疏注示类测试集要求模型从一份 18 页的意力遗漏融资协议中找出所有对赌触发条件。开启窗口注意力加全局锚点策略后,为何位于第 2 页的键信“回购权行使条件”完整出现在全局 token 中,但模型在回答时将其与第 9 页的测揭另一触发条件合并,漏掉了独立触发情形。出错原因不是文本被截断,而是模型在自回归生成到后半段时,对早期锚点的注意力权重被稀释,无法区分“位置靠前”与“语义重要”。这类遗漏在 17 个模型中有 13 个复现,占比超过七成。
跨段实体绑定断裂:代词和指代链最脆弱
第二类遗漏发生在实体跨段落被反复提及时。评测用了一份 26 段的技术规格书,要求提取“B 类接口”的全部限制条件。基准模型全注意力下能正确识别 7 条限制;切换稀疏模式后,多达 6 条被漏掉或错绑到“A 类接口”上。技术日志显示,当第 14 段的“该接口”需要回溯至第 3 段的具体定义时,第 3 段的 KV 缓存已被稀疏窗口丢弃。这类问题在中文代词链长、段落间引用密集的合同、论文和审计报告中尤为突出。做信息遗漏评测时,建议专门构造跨 10 段以上的指代链样本,否则容易低估问题严重性。
低频共现信号被吞:稀疏化掩盖了弱关联证据
第三类更隐蔽。测试集包含一组反垄断审查邮件,要求判断“是否构成纵向价格约束”。证据分散在三个相隔很远的段落中,每段单独看都不充分,只有组合起来才指向结论。稀疏注意力下,模型要么给出“证据不足”,要么只找到其中一段,最终 14 个模型在该任务上准确率从全注意力的 82% 跌到 47%。这揭示了一个常见评测盲区:如果测试集只包含“单段明确答案”的样本,会严重高估稀疏注意力的可靠性。根据这次的经验分享,加入 30% 以上的低频共现类样本,能更真实反映长文本推理中的信息遗漏风险。
从结果倒推,稀疏注意力的遗漏评测不能只比总长度与平均分,至少要把测试集按锚点依赖、跨段指代、弱信号共现三类分别统计。对研发团队而言,头部锚点失效可以通过调整全局 token 的召回与权重衰减来缓解;跨段绑定则需要动态检索过去窗口或显式维护实体状态;最难解决的还是第三类,它牵涉到从稀疏化后的注意力分布中重建全局证据链。一个可操作的建议:任何长文本理解模型在宣称支持稀疏推理前,先跑通这三类最小评估集再说。漏掉关键信息的代价,远不止几个百分点的榜单分差。
下一篇:AI生成图像如何有效约束人体动作