旋转攻击下视觉语言模型鲁棒性实测报告
旋转90度后AI开始胡言乱语4月2日凌晨,我们在一台装载了8块A100的测试服务器上跑完最后一组对照实验。结果比预想中更刺眼:把同一批2000张验证集图片旋转90度后,参试的7款主流视觉语言模型平均识

旋转90度后AI开始胡言乱语
4月2日凌晨,旋转下视型鲁我们在一台装载了8块A100的攻击测试服务器上跑完最后一组对照实验。结果比预想中更刺眼:把同一批2000张验证集图片旋转90度后,觉语参试的言模7款主流视觉语言模型平均识别准确率从81.4%断崖式跌到37.9%。其中某头部闭源模型在侧倒的棒性报告交通标识识别上,把"禁止左转"读成"限速60",实测这种错误放到真实道路场景里已经构成危险级别。旋转下视型鲁
旋转鲁棒性差不在模型笨
问题不出在模型"看不懂"旋转后的攻击图像,而出在训练管线里旋转样本的觉语配比失衡。我们检查了三个开源模型的言模预训练数据,发现包含30度以上旋转的棒性报告图像占比不足2.3%。视觉编码器在大量正立样本上收敛后,实测对旋转变换产生了过强的旋转下视型鲁先验依赖。技术团队称这种做法为"姿态偷懒"——模型记住了物体正立时的攻击特征组合,却丢失了对方向不敏感的觉语表征能力。这是视觉语言模型的图像旋转鲁棒性常见问题里最隐蔽的一种,它不会在常规基准测试中暴露,只在真实世界的旋转攻击下现形。
四项技巧实测有效但各有代价
我们在验证集上补做了三组干预实验。第一组是训练时加入旋转增强,把随机旋转范围从±15度扩到±180度,重新训了3个epoch,平均准确率拉回到68.2%,但训练时长增加了41%。第二组是推理时做多角度投票,把每张图旋转四个朝向分别问模型,取最高置信度回答,准确率进一步提到75.7%,但延迟翻了近4倍。第三组是给视觉编码器加一个方向预测辅助头,逼迫模型显式感知姿态,这个方法只用了27%的额外训练时间,准确率停在71.3%。有工程师在我们的视觉语言模型的图像旋转鲁棒性经验分享帖下留言,称前两种搭配使用在业务端最稳,但预算吃紧的团队大概只能选第三种。
实测回避不掉的三个坑
第一个坑是旋转中心偏移。很多教程只教你旋转图像,却不说默认绕中心点旋转。真实拍照时翻转手机,光轴会偏出物体中心,这种偏移会让增强训练过的模型再次掉点6到8个点。第二个坑是文字区域。OCR密集的图片旋转后,模型经常把数字和字母按正立逻辑重新组合,比如把"12:05"读成"50:21"。我们在测试里单独标注了含文字样本,旋转后错误率是普通物体的1.7倍。第三个坑是评估指标失真。用Top-1准确率看,旋转增强后的模型涨了23个点,但用mAP和旋转后IoU同时看,边框定位偏差仍有明显残留。想认真做视觉语言模型的图像旋转鲁棒性方法选型,只看单一指标会误导判断。
旋转鲁棒性不是加一层数据增强就能解决的工程任务。它和模型的表征方式、训练节奏、部署延迟约束绑在一起。如果业务会接触到用户随手拍的照片,我建议至少做一次旋转基准测试——你没测过之前,很可能高估了自己模型的方向感。