大模型空间方位推理能力实测:三维场景判别仍有短板
把“左边第二个柜子顶层的蓝色盒子”翻译成大模型能理解的坐标,比想象中难得多。上周我们拿5款主流模型做了组三维场景测试:模拟客厅里8个物体随机摆放,要求模型回答“站在沙发位置,茶几在电视柜的什么方向”。

把“左边第二个柜子顶层的大模短板蓝色盒子”翻译成大模型能理解的坐标,比想象中难得多。型空上周我们拿5款主流模型做了组三维场景测试:模拟客厅里8个物体随机摆放,间方要求模型回答“站在沙发位置,位推茶几在电视柜的理能力实什么方向”。结果有3款模型在物体间距小于40厘米时频繁出错,测维场景最差的判别一款在20组判断里只对了11组,接近抛硬币。大模短板
这次评测不拼对话文采,型空专测空间方位推理的间方硬能力。题目分三类:二维平面方位、位推三维视角转换、理能力实遮挡场景下的测维场景相对位置判断。二维题目表现普遍不错,判别平均正确率82%;一旦加入高度维度和视角旋转,大模短板正确率直接掉到61%。某款以逻辑推理见长的模型,在“你面向北,书架在你右后方,书架上第二层靠左放着一个红色水杯”这类题上,连续三次把水杯定位到了书架左侧而非右后方。
三维视角转换成主要失分点
模型处理空间任务时,通常先把自然语言转成结构化坐标,再计算相对位置。问题出在“以观察者为中心”和“以物体为中心”两套坐标系切换时。测试中有一题:观察者站在房间西北角面朝东南,要求判断门口鞋柜在电视的左边还是右边。人类眨眼就能完成的心理旋转,模型需要先确定观察者朝向、再映射物体坐标、最后输出方位词。这套流程里任何一步的坐标轴理解偏差,都会导致左右或前后颠倒。我们在4款模型上都复现了“旋转90度后左右判断反转”的错误,怀疑是训练数据里空间描述的场景分布不够均匀。
遮挡与层级描述仍不可靠
更棘手的是带遮挡和层级嵌套的描述。“花瓶在桌子后面,被果盘挡住了一半,果盘左边是遥控器”——这种日常随口说出的句子,模型要还原出完整空间关系图,正确率骤降至47%。部分模型会忽略“挡住一半”这个深度线索,把花瓶和果盘并列处理。还有模型在处理“二楼走廊尽头右转第一间房”时,把垂直楼层信息和水平方位信息混在同一个向量里,输出的房间位置与实际差了整整一层。这些问题短期内靠提示词技巧能缓解,但根子还在模型对三维环境的表征能力不足。
实测数据与选型建议
横向对比看,参数量更大的模型在方位推理上并没有确实优势。一款70B开源模型在三维题目上反超了某闭源旗舰,正确率和响应速度都更好;但它在遮挡场景的表现又明显落后。这说明目前没有哪款模型的空间推理能力全面领先。如果业务里涉及室内导航、机器人指令、3D场景问答,建议先用我们自己构造的20题基准集过一遍,重点看三维旋转和层级描述两类题目。另外注意,温度参数设到0.2以下能降低方位词随机性,但治不了坐标系理解错误。我们复测时发现,同一道题问三遍,模型给出三种不同方位判断的概率在35%左右,这种不确定性对实际落地是致命伤。
空间方位推理不会一直是短板。多模态模型加入深度图和点云数据后,三维理解有明显进步,但纯文本大模型在语言到空间的映射上还有明显代差。现阶段的做法是别让模型直接输出方位判断,改成让它生成结构化的物体坐标,再由代码计算相对位置——准确率能从61%拉到90%以上。大模型负责理解,程序负责几何,这条分工路线目前最稳。