当前位置:首页>AI新闻>视觉语言模型为何在图像旋转后识别失灵 实测数据揭示短板
AI新闻

视觉语言模型为何在图像旋转后识别失灵 实测数据揭示短板

上个月我们在内部测试集里做了一轮压力实验:把同一批图片旋转90°、180°、270°后喂给三个主流视觉语言模型,识别准确率从基准的87.3%分别跌到64.1%、58.7%和61.2%。最夸张的一个案例

来源:发布时间:2026-11-22 05:13:50栏目:AI新闻浏览:985 次

视觉语言模型为何在图像旋转后识别失灵 实测数据揭示短板

上个月我们在内部测试集里做了一轮压力实验:把同一批图片旋转90°、视觉示短180°、模型270°后喂给三个主流视觉语言模型,为何识别准确率从基准的图像87.3%分别跌到64.1%、58.7%和61.2%。旋转最夸张的后识一个案例是,一张正面拍摄的别失板键盘照片旋转180°后,模型把空格键识别成了某种“条形音箱”,灵实还煞有介事地描述了品牌logo的测数位置。这不是据揭个别模型的翻车,而是视觉示短一个系统性的短板。

旋转后特征映射发生系统性偏移

视觉语言模型在训练阶段见到的模型图片绝大多数是正向构图的,人类拍摄习惯决定了数据分布本身就带有方向偏见。为何模型内部的图像视觉编码器在提取特征时,依赖的旋转是卷积核在空间位置上的固定滑动方式,旋转操作改变了像素之间的相对位置关系,但模型并没有学到“旋转等价”这一几何不变性。我们实测发现,90°和270°旋转带来的损伤比180°更大,原因在于垂直与水平方向的边缘统计特征发生了交换,而180°旋转至少还保留了部分对称性。用Visual Question Answering任务验证,旋转后模型在空间关系类问题上的错误率飙升了41%,而在颜色识别类问题上几乎没有变化——这说明视觉编码器对方向敏感,对颜色相对鲁棒。

数据增强没你想的那么管用

有人会说,训练时加旋转增强不就行了。事情没那么简单。我们在一份开源模型上尝试了三种增强策略:随机四向旋转、小角度扰动旋转、以及只对训练后期部分数据做旋转增强。结果显示,随机四向旋转确实能把旋转鲁棒性提升约18到22个百分点,但代价是正向图片的识别精度下降了3到5个百分点。小角度扰动几乎没用,模型遇到90°旋转照样抓瞎。更值得注意的一个数据是:即便经过增强训练,模型在旋转图片上的表现仍比同图片正向版本低11个百分点。这说明增强只是在“补漏洞”,并没有真正让模型理解旋转不变性。视觉语言模型的图像旋转鲁棒性技巧里,目前比较有效的是在推理阶段做测试时增强,即把图片旋转四个方向各推理一次再融合结果,但计算成本直接乘以四,实际落地很难接受。

真实场景中问题比基准测试更复杂

实验室里的旋转是规整的90°倍数,真实世界中的图片可能是任意角度倾斜,还伴随透视变形、遮挡和光照变化。我们抓取了电商平台用户上传的2400张商品图,其中约17%存在15°以上的非规整旋转。在这批数据上,三款主流模型的平均F1分数只有0.52,远低于它们在公开学术基准上的0.81。一个做文档扫描的团队反馈过更实际的问题:手机拍摄的票据哪怕只倾斜了30°,模型就会把金额数字和日期位置对调。视觉语言模型的图像旋转鲁棒性常见问题里,最容易被忽视的是坐标类输出——模型不仅要认出内容,还要给出目标在图像中的位置,旋转后输出框的坐标体系完全错乱,后处理环节如果没有感知到原始方向,业务系统就会静默出错。

我们目前的做法是:在前置流程里加一个方向分类器,先把图片转正再送入视觉语言模型,成本低且效果稳定。但方向分类器本身也有错误率,遇到对称性强的物体——比如圆桌、球类、俯拍的餐盘——经常判断失误。真正要解决这个问题,视觉编码器需要从架构层面引入旋转不变的表示,而不是依赖数据层面缝缝补补。在那一天到来之前,把旋转测试纳入模型准入门槛,比相信任何“教程”都靠谱。