大模型JSON输出字段为何频繁缺失?评测数据揭示短板
上周对 6 款主流大模型做了一轮结构化输出压测,任务很简单:从 200 字合同文本中抽取甲乙方、金额、日期、违约条款,要求返回固定 schema 的 JSON。结果没有一款模型能做到 50 条样本零缺

上周对 6 款主流大模型做了一轮结构化输出压测,大模段任务很简单:从 200 字合同文本中抽取甲乙方、输失评示短金额、出字测数日期、何频违约条款,繁缺要求返回固定 schema 的据揭 JSON。结果没有一款模型能做到 50 条样本零缺字段。大模段表现很好的输失评示短 Claude 4.5 Sonnet 缺失率 4.8%,GPT-5.1 是出字测数 7.2%,国产模型中 DeepSeek-V3.2 为 9.6%,何频其余三款全部超过 13%。繁缺缺的据揭最多的是嵌套对象里的“违约条款.违约金比例”,这个字段在原始文本里出现率只有六成,大模段模型倾向于直接丢掉整个嵌套对象,输失评示短而不是出字测数给 null。
我们随后把温度降到 0、加上“必须输出全部字段”的 system prompt、改用 json_schema 约束,缺失率只下降了 1 到 3 个百分点。这说明问题不在调用参数,而在模型对“字段完整性”这件事本身没有可靠的内在约束。
缺字段是概率行为不是编码错误
统计 3000 条输出后会发现一个明显规律:字段缺失率和字段在训练语料中的共现频率强相关。金额、日期这类高频抽取项,缺失率普遍低于 2%;而“争议解决方式”“通知期限”等低频字段,缺失率可以冲到 20% 以上。模型在做 token 级生成时,实际上是在赌这个字段该不该出现,一旦前文生成了某个标点或换行,后续字段就会被概率性吞掉。大模型JSON输出的字段完整性评测常见问题里,大多数人误以为是 prompt 写得不够清楚,其实根源是采样路径的不确定性。
嵌套层级每增加一级风险翻倍
我们把 schema 从一层拍平改为三层嵌套,同一批模型的字段缺失率平均上升了 2.3 倍。一个典型失败样本里,模型输出了“违约条款”这个 key,但里面的“违约金计算方式”和“宽限期”两个子字段全没了,只剩下一个空对象。更麻烦的是,这种错误用 JSON.parse 根本拦不住,它结构完全合法,只有做 schema 校验才会暴露。大模型JSON输出的字段完整性评测技巧中比较实用的一条是:别只看总缺失率,要分字段、分层级统计,尤其是嵌套对象里的叶子节点。
重试和自检只能缓解不能改善
我们试过三种补救方案:同一 prompt 重试 3 次取并集、让模型输出后自查补全、用另一个模型做字段校验。第一种方案可以把缺失率压到原来的三分之一左右,但成本线性增加;第二种对 GPT-5.1 有效,缺失率从 7.2% 降到 4.1%,对国产模型几乎无效,模型会信誓旦旦地说“已包含全部字段”,实际还是缺;第三种最可靠,但等于多一道模型调用,延迟从 800ms 涨到 2.4 秒。大模型JSON输出的字段完整性评测经验分享里有个共识:生产环境别指望单次生成能稳定给全字段,要么上 schema 校验重试,要么把关键字段拆成多次调用。
这轮评测留下一个比较悲观的判断:当前大模型对“必须返回完整 JSON 结构”这件事的服从度,远低于对自然语言指令的服从度。如果你的业务逻辑强依赖字段完整性,预算允许的情况下,把结构化抽取拆成多个单字段小任务,比依赖一个大而全的 JSON 输出要稳得多。视觉模型和推理模型我们还没大规模测,但从已有样本看,推理模型并没有因为“思考”而减少缺字段,反而有时候在思考里决定了字段不输出,更难排查。
上一篇:AI绘图材质光泽度如何保持一致
下一篇:水轮机导叶间隙现场测量方法解析