当前位置:首页>美股资讯>遮挡场景下视觉语言模型识别能力评测结果公布
美股资讯

遮挡场景下视觉语言模型识别能力评测结果公布

8月14日,第三方评测机构“清源实验室”公布了首轮视觉语言模型遮挡场景识别专项成绩单。参测的6款主流模型在1200张人工构造的遮挡图像上表现分化明显:GPT-4o以61.3%的顶层识别准确率居首,Qw

来源:发布时间:2026-11-22 05:12:00栏目:美股资讯浏览:467 次

遮挡场景下视觉语言模型识别能力评测结果公布

8月14日,遮挡第三方评测机构“清源实验室”公布了首轮视觉语言模型遮挡场景识别专项成绩单。场景测结参测的下视型识6款主流模型在1200张人工构造的遮挡图像上表现分化明显:GPT-4o以61.3%的顶层识别准确率居首,Qwen-VL-Max以58.7%紧随其后,觉语而两款开源模型仅拿到不足40%的言模成绩。这项评测的别能布特别之处在于,所有测试样本都经过人工二次校验,力评排除了模糊、遮挡低分辨率等干扰因素,场景测结专门考察物体被遮挡30%-70%面积时模型“看穿”场景的下视型识能力。

很多人低估了遮挡对视觉语言模型的觉语破坏力。一张照片里桌子挡住椅子的言模下半部,人眼几乎不需要思考就能补全结构,别能布但模型往往会给出“一把不完整的力评椅子”或干脆判定为桌子的一部分。清源实验室这次把遮挡分为规则遮挡、遮挡非规则遮挡、纹理干扰三类,最难的正是最后一种——物体被颜色相近的杂物部分覆盖,边界信息几乎丢失。数据显示,所有模型在纹理干扰类的平均准确率只有42.1%,比规则遮挡低了约18个百分点。

评测方法揭示模型真实弱点

清源实验室没有采用常见的选择题形式,而是要求模型输出被遮挡物体的完整边界框坐标和类别标签,同时附带置信度分数。这种方式更接近真实应用场景,也更能暴露问题。研究团队发现一个共性现象:当遮挡面积超过55%时,多数模型的置信度不降反升。也就是说,模型越“看不全”,越倾向于给出一个坚决但错误的答案。这是一种危险的过度自信,在自动驾驶和工业质检场景下可能直接导致误判。

视觉语言模型对遮挡物体的识别技巧里,多角度提示被证明是有效的干预手段。评测团队在第二轮补充实验中,对同一批样本改用“请描述画面中所有物体,即使它们有重叠”的引导语,总体准确率提升了5到8个百分点。但提升并不均衡,Qwen-VL-Max受益最大(+9.2%),说明部分模型本身具备一定推理能力,只是默认输出策略偏保守。

小目标遮挡成为重灾区

分物体类别看,在画面中占比小于8%的物体在被遮挡后,识别准确率呈断崖式下降。杯子、遥控器、钥匙这类日常小件,六款模型的平均准确率只有27.4%,远低于汽车(73.1%)和人物(68.9%)等大型目标。这与视觉语言模型对遮挡物体的识别方法直接相关:多数架构依赖区域提议或注意力图,小物体特征本就稀疏,遮挡后有效特征数量不足触发检测阈值。一位参与评测的工程师在技术文档里写道:“模型不是看不见,而是没有足够的证据让自己确信看见了。”

这项发现对实际部署有直接指导意义。如果你计划用视觉语言模型处理桌面物品识别或细粒度质检任务,视觉语言模型对遮挡物体的识别注意事项里最重要的一条就是控制画面内目标的尺寸比例,尽量让目标物体在图像中占据15%以上面积,或者在预处理阶段做滑窗分割。清源实验室在报告中给出的可操作阈值是12%,低于这个比例,当前主流模型的表现都不值得信赖。

开源与闭源差距正在拉大

本次评测另一个值得注意的信号是,开源模型在遮挡场景下的表现比通用基准测试更差。参与测试的LLaVA-1.6-34B在MMBench等常规评测中能达到GPT-4o约85%的水平,但在这轮遮挡专项里只有后者的63%。清源实验室分析认为,训练数据中遮挡样本的占比和质量是主要原因——闭源厂商近半年明显加强了合成遮挡数据的训练投入,而开源社区在这方面缺乏系统性的数据工程。

视觉语言模型对遮挡物体的识别经验分享里,数据比模型架构更关键这一判断再次得到验证。报告公开了一组对照数据:用清源实验室自建的2.3万张合成遮挡图微调一个7B级别模型,其在同款测试集上的表现可以从34%提升到52%,超过现有14B模型。这意味着能力瓶颈不完全卡在参数规模上,训练数据的针对性才是短期内可突破的方向。

清源实验室表示下一轮评测将引入动态遮挡和跨帧追踪任务,并会公开全部测试样本供复现。对于正在选型或已经在视觉语言模型管线中的团队来说,这份报告最大的价值不是排名本身,而是给出了一个此前被忽略的维度:你的模型在“看不全”的时候,究竟知不知道自己在猜。