视觉语言模型为何常把遮挡物体认错?
遮挡物让模型“脑补”出不存在的东西过去一个月,多家实验室复现了同一类失败案例:给视觉语言模型看一张猫躲在椅子后面的照片,只露出尾巴和一只耳朵,GPT-4V、Qwen-VL、InternVL 等主流模型

遮挡物让模型“脑补”出不存在的视觉东西
过去一个月,多家实验室复现了同一类失败案例:给视觉语言模型看一张猫躲在椅子后面的模型照片,只露出尾巴和一只耳朵,为何物体GPT-4V、常把Qwen-VL、遮挡InternVL 等主流模型有相当比例会输出“一只完整的认错猫坐在椅子上”。这不是视觉个别模型的缺陷。斯坦福一项针对 11 个开源与闭源模型的模型遮挡测试显示,当目标物体被遮挡超过 60% 时,为何物体模型给出错误类别或错误属性描述的常把概率从不到 8% 飙升到 47% 以上。问题不在于模型没看见,遮挡而在于它用训练数据里的认错“完整物体先验”把缺失部分填上了。视觉语言模型对遮挡物体的视觉识别常见问题里,过度补全是模型排第一位的。
局部特征权重被全局语义压垮
拆开来看,为何物体模型处理遮挡图像的路径通常是:视觉编码器提取局部特征,语言解码器根据这些特征和文本提示生成描述。但多数视觉语言模型的预训练数据以完整、清晰、居中的物体为主。模型学到一条捷径——看见猫耳就激活“猫”的完整概念,然后语言部分直接套用常见句式。2024 年的一项对照实验把同一只被遮挡的猫分别用“真实遮挡”和“裁切掉下半部分”两种方式呈现,模型对裁切图的判断准确率反而更高。原因很直接:裁切意味着物体本来就不完整,模型不会强行补全;真实遮挡时,模型却倾向于把遮挡物理解成背景,把可见部分当作完整物体的一部分。视觉语言模型对遮挡物体的识别教程里常被忽略的一点是,模型对“遮挡边界”的感知远弱于人类。
注意力分布暴露了识别盲区
把模型的注意力热力图调出来看,遮挡场景下注意力往往集中在高对比度边缘和纹理丰富区域,而不是物体被遮挡后仍具判别力的关键部位。比如一名戴头盔的人脸被遮住鼻子以下,模型注意力大量落在头盔边缘和背景骑行车把上,而不是露出的眼睛区域。这解释了为什么同一个模型能认出一张完整人脸,却在口罩遮挡下把同一个人误判为另一人。视觉语言模型对遮挡物体的识别技巧里,实用的做法是降低输入图像分辨率或提前做边缘检测增强,让模型被迫关注轮廓而非纹理。部分团队尝试在提示词中加入“请只根据可见部分回答,不要推测被遮挡区域”,在 InternVL-2.5 和 LLaVA-NeXT 上能把遮挡识别准确率提升 9 到 14 个百分点。
遮挡识别需要新的评测与训练策略
当前主流的视觉问答基准大多使用完整物体图,遮挡场景占比不足 5%。这意味着很多模型在榜单上分数漂亮,一遇到现实里的遮挡就露馅。视觉语言模型对遮挡物体的识别经验分享中,一个可复用的方法是合成遮挡数据:用家居物品、人手、文字贴纸随机遮挡 ImageNet 和 COCO 里的目标,再让模型做定位和描述。用这种数据微调后,小参数模型在遮挡子集上的表现可以逼近未微调的大模型。另一点值得注意,视觉语言模型对遮挡物体的识别注意事项还包括评测时的“部分正确”计分。现在多数基准只接受核心标准答案,模型说“一只部分被挡住的猫”会被判错,这反而鼓励了模型去猜完整答案。改用人评或软匹配,结果会温和很多。说到底,模型认错遮挡物体,一半是能力问题,另一半是我们训练和打分的方式在教它“假装看见”。