当前位置:首页>科技新闻>遮挡物体识别成视觉语言模型评测焦点
科技新闻

遮挡物体识别成视觉语言模型评测焦点

2024年下半年,视觉语言模型VLM)的评测榜单上出现了一个微妙变化:几家头部实验室开始在遮挡场景下测试模型表现。一个典型例子来自Qwen2-VL与InternVL2的对比测试——当物体被遮挡面积达到

来源:发布时间:2026-11-22 05:22:48栏目:科技新闻浏览:374 次

遮挡物体识别成视觉语言模型评测焦点

2024年下半年,遮挡视觉语言模型(VLM)的物体评测榜单上出现了一个微妙变化:几家头部实验室开始在遮挡场景下测试模型表现。一个典型例子来自Qwen2-VL与InternVL2的识别对比测试——当物体被遮挡面积达到40%到60%时,多数模型识别准确率从92%以上骤降至67%左右。成视测焦这不是觉语小波动,而是言模暴露了当前架构的共性短板。

遮挡物体识别为何成为评测焦点

过去两年,型评VLM的遮挡进步集中在整图理解、图表解析和长文档问答上。物体但真实世界的识别物体很少完整出现在画面里。行人被车辆挡住半边身体,成视测焦货架上的觉语商品只露出包装一角,手术器械被组织遮挡。言模评测机构发现,型评现有公开基准对这类场景覆盖不足,遮挡于是逐步把遮挡物体识别纳入新榜单。从技术上看,问题出在特征提取阶段——被遮挡后,局部特征与完整物体训练特征分布偏移过大,模型容易把残余部分误判为低置信度背景。

当前主流模型的真实表现数据

在一些内部评测中,GPT-4V在物体遮挡30%以下时表现稳定,但遮挡超过50%后,对细粒度类别(比如区分不同型号的螺丝刀手柄)的错误率上升了近三倍。国内模型里,InternVL2在部分遮挡场景下对自然物体(水果、动物)保持了相对优势,但在工业零件识别上波动明显。相比之下,经过专门数据增强训练的模型,例如在合成遮挡数据上微调过的Qwen2-VL版本,整体准确率能回升8到12个百分点。

数据增强与局部注意力是可行路径

目前比较有效的做法集中在两条线。一是训练时引入随机遮挡块和CutMix类策略,让模型被迫依赖非完整特征做判断。二是推理阶段对低置信度区域进行多尺度裁剪,结合局部上下文重新打分。北京某自动驾驶团队在路测中采用第二种方案,对部分遮挡的行人检出率提升了9%。不过这些方法也带来推理延迟增加和数据分布偏置问题,尚未形成统一标准。

短期看,单纯堆参数并不能解决遮挡识别,评测体系的更新会倒逼模型厂商在数据层和注意力机制上做更细的功夫。下一个值得关注的是遮挡比例动态变化的视频理解场景,那才是真正考验VLM的地方。