大模型图例颜色映射能力实测:哪些环节容易出错
测试环境与抽样方法上周我们用三组主流多模态模型GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro)跑了 120 张带图例的统计图,覆盖柱状图、折线图、散点图、热力图四类,图

测试环境与抽样方法
上周我们用三组主流多模态模型(GPT-4o、大模Claude 3.5 Sonnet、型图Gemini 1.5 Pro)跑了 120 张带图例的例颜力实统计图,覆盖柱状图、色映射折线图、测环错散点图、节容热力图四类,易出图例位置包括右侧、大模底部、型图内部悬浮。例颜力实核心任务是色映射让模型回答“深蓝色对应哪个数据系列”这一类问题。结果准确率中位数只有 67%,测环错其中热力图跌到 41%。节容这不是易出小误差,是大模系统性理解偏差。
图例分块截断是重灾区
最常见出错环节是图例被图表库自动换行或截断。比如 ECharts 生成的横向图例超出画布后只显示前三个色块加一个“...”符号,模型会直接把省略号当成颜色标记,把第四个系列名称张冠李戴。我们用 30 张截断图例测试,三款模型平均误判率 58%。有意思的是,如果把同一张图的图例单独裁出来放大喂给模型,准确率能拉回 90% 以上,说明问题不在颜色识别,而在对图例边界的判断。这是很多人在做“大模型对图例颜色映射的理解教程”时忽略的一步——图例截断比主图模糊更致命。
颜色渐变与近似色混淆
柱状图里深蓝和浅蓝还算好分,换成 Viridis 或 plasma 这类连续色带,模型会频繁把相邻两个色阶并成同一个系列。我们给热力图设置了 9 个数据层级,Gemini 1.5 Pro 有 31% 的样本把第 5 级和第 6 级标成同一个颜色,还自信地给出非色阶值,比如“深紫对应 0.62”,而实际是 0.58。Claude 的表现略好,但在棕红系与橙黄系相邻时出现 19% 的交叉混淆。实际操作技巧是:给模型喂图时,很好把色带离散成带明显间隔的色块或标注数值,否则颜色映射几乎靠猜。
图例与主体分离时的对齐失败
很多可视化工具把图例渲染在独立图层,截图后会出现半透明浮层压在主图上。模型有时会把浮层下的主图颜色读成图例颜色,尤其是当图例带有透明底或描边。我们做了 20 组“图例叠加在数据区”的样本,GPT-4o 的准确率只有 39%,它常把图例边框的灰色或半透明白读成颜色标识之一。一个可复现的失败案例:散点图中图例浮在右上角,底色半透,模型把“橙色”点的图例读成“浅橙”,进而把主体中真正的橙色点归为噪音。这部分属于“大模型对图例颜色映射的理解常见问题”里最少被提到但实际翻车最多的类型。
把图例先裁出、放大、去透明底、离散颜色,再做映射,是目前能明显改善结果的操作。模型本身对颜色区域的感知比想象中脆弱,尤其是压缩图、暗色界面和低对比度图例。别指望原生多模态能力替你扛下这些坑,图例预处理比换模型更管用。