大模型提示词版本迭代,多轮回归评测发现哪些变化
提示词v3.1通过率反降6%7月第三周,我们对客服工单抽取场景的主模型提示词做了第4次版本迭代。回测集覆盖317条历史工单,包含31类意图。v3.0在实体抽取准确率上是89.7%,改完v3.1掉到83

提示词v3.1通过率反降6%
7月第三周,大模迭代多轮我们对客服工单抽取场景的型提主模型提示词做了第4次版本迭代。回测集覆盖317条历史工单,示词包含31类意图。版本变化v3.0在实体抽取准确率上是回归89.7%,改完v3.1掉到83.4%,评测其中“多物品关联保修”这一类目从91%跌到68%。发现这不是大模迭代多轮模型退化,是型提提示词里新增的一段约束条件误伤了长尾表达。
回归评测不能只看总分
很多人做提示词版本对比,示词习惯看整体通过率。版本变化但v3.1总分只降了6.3个百分点,回归如果不拆意图看,评测根本发现不了“关联保修”这一项塌方。发现我们用的大模迭代多轮是分层抽样加定向负例回灌的方法:先从错误样本里归纳出7种典型失败模式,每种模式固定30条作为锚定集,再加200条随机样本。这样每次跑新版本,锚定集的表现比总分敏感得多。v3.1发布前锚定集里“否定句式漏抽”已经从11条降到2条,但代价是过度泛化了“任一配件即整机”的规则。
评测成本要压在改提示词之前
团队现在的流程是:改提示词先写变更说明,标注预计影响哪几类意图,然后只跑对应意图的锚定集,通常控制在60到100条,两分钟内出结果。等锚定集不劣化,再上全量回测。v3.1那次就是跳过了锚定集直接跑全量,发现问题时已经浪费了三个小时的批量推理时间。经验上,全量回测一周最多做两次,锚定集可以每天跑若干轮,这也是大模型提示词版本的回归评测经验分享里最容易被忽略的一点。
锁定锚定样本防止漂移
常见的坑是把锚定集当普通样本去更新。3月份我们做过一次清洗,把锚定集里“已整改”的错误样本删掉,结果后续几轮评测的波动完全不可解释。后来规定锚定集只增不减,除非产品定义发生变化。现在每轮回测除了记录准确率,还会输出置信度分布。v3.1在“关联保修”上不只是抽错,置信度也从0.83提高到0.91——错得更自信。这个信号比准确率数字更值得警惕。
提示词迭代的回归评测,本质是用固定标尺量变化。标尺本身不能跟着版本走。下一步我们准备把锚定集固化到评测流水线里,新的评审人接手时先读变更日志再跑锚定集,别急着看总分。