AI图像描述常漏哪些细节?评估维度与实测数据
上周对四款主流多模态模型做了一组盲测:喂入37张真实生活场景照片,让模型输出图像描述,再由三位人工标注员按21个细节维度逐条核对。结果不意外但足够刺眼——文字识别准确率中位数只有61%,空间关系描述错

上周对四款主流多模态模型做了一组盲测:喂入37张真实生活场景照片,图像让模型输出图像描述,描述再由三位人工标注员按21个细节维度逐条核对。常漏结果不意外但足够刺眼——文字识别准确率中位数只有61%,细节空间关系描述错误率38%,评估而物体计数的维度漏检率高达42%。换句话说,实测数据模型能“看见”大物件,图像却系统性忽略那些真正定义一张照片信息量的描述小东西。
物体计数与排列关系常被糊弄
最典型的常漏翻车场景是书架、水果摊、细节多人合影。评估输入一张六个苹果和两个橙子的维度图片,某头部模型输出“几个水果放在桌上”,实测数据另一个模型给出“五个苹果和一个橙子”。图像位置关系更糟:测试中“左侧”“中间”“后排”这类方位词,模型倾向于直接省略或用“旁边”敷衍。实测发现,当物体数量超过四个,计数准确率从三件以内的73%骤降到28%。这说明模型并非看不见,而是缺乏逐项枚举的强约束,生成时自然倾向于概括性表达。做AI图像描述的细节遗漏评估时,建议把计数类样本单独立项,否则漏检很容易被整体流畅度掩盖。
文字与标识识别率被高估
广告牌、包装袋、路标上的文字是模型最喜欢“脑补”的部分。测试中一张奶茶杯身印有“少糖 去冰 700ml”,某模型识别成“少糖 去冰”,容量直接消失;另一张店铺招牌“老周牛肉面”被写作“周记面馆”。数字尤其严重,37张图里含数字的场景有19张,模型只对了9张。更隐蔽的问题是,模型有时会把看不清的文字按语义猜一个像样的词填进去,不标注“不确定”,人工不易察觉。评估技巧之一是在文字区域故意放置生僻组合,比如“K7-4Q2”,观察模型是否诚实地表示无法识别,而不是强行转写。
光影、材质与微小配件容易被抹平
如果一张照片的叙事重点是“雨天车窗上的水珠”,很多模型会输出“一辆停在路边的银色轿车”,水珠、反光、潮湿感完全缺席。测试中涉及材质的描述(金属拉丝、磨砂、皮质、绒面)出现率不足样本的20%。人物配饰更惨:戴眼镜识别还算稳定,但手表、戒指、耳钉、鞋带颜色这类细节几乎全军覆没。一次实测里,图中人物左手无名指有明显婚戒,四个模型无一提及。评估方法上,可以把配件类图片和材质特写混合进普通场景,避免模型依赖整体语境猜答案。注意点在于:不能只看模型“说对了什么”,更要看它“没说什么”,遗漏项才是评估核心。
单看模型输出的文字,往往通顺、合理、甚至生动,但逐项核对后会意识到,大部分描述只是“足够好”的概括,经不起信息完整性的推敲。对需要图像描述落地的产品来说,建议将测试集按计数、文字、方位、材质配件四类分层,分开统计召回率。一个模型如果在这四类上的漏检率都超过30%,即便它行文再自然,也不适合用在电商、安防、辅助驾驶这些细节即价值的场景里。真正能用的描述系统,不是写得漂亮,而是漏得少。
下一篇:Solana区块槽位空缺现象解析