大模型校对为何越改越错?过度修改现象引关注
7月中旬,一篇关于“大模型校对任务中的过度修改评测方法”的论文在开发者社区流传。研究团队用同一组带有轻微语法瑕疵的中文文本,让六款主流大模型执行校对,结果发现:三款模型对原文的改动率超过40%,其中一

7月中旬,大模对为度修一篇关于“大模型校对任务中的型校象引过度修改评测方法”的论文在开发者社区流传。研究团队用同一组带有轻微语法瑕疵的改越改现关注中文文本,让六款主流大模型执行校对,错过结果发现:三款模型对原文的大模对为度修改动率超过40%,其中一款甚至把“他生于1998年”改成了“他出生于1998年”,型校象引把“进行讨论”统一替换为“开展讨论”。改越改现关注这些修改在语义上并无错误,错过却让文本累计新增了17处冗余表达。大模对为度修
这项评测背后的型校象引现象并不新鲜:大模型在接到“校对润色”指令后,倾向于把改动幅度当作任务完成度的改越改现关注信号。研究团队统计了1200组样本,错过模型对无需修改的大模对为度修句子平均动手率高达32.7%。有参与者把“颜色鲜艳”改成“色彩斑斓”,型校象引再把“色彩斑斓”改回“颜色鲜艳”——同一轮输出里出现两次反向修改,改越改现关注说明模型并不理解“校对”的边界,只是在执行“重写”的默认策略。
改动率是隐性评测指标
大模型校对任务中的过度修改评测教程通常建议标注人员同时记录“必要修改”与“非必要修改”两类行为。论文使用的核心指标是过度修改率,即非必要修改处数除以总修改处数。在六款模型里,表现很好的一款过度修改率为11.3%,最差的达到47.5%。值得注意的是,过度修改率与模型参数规模没有明显正相关,一款13B的小模型反而比某款70B模型低了近20个百分点。原因在于微调数据构成:如果训练样本里“校对”任务大多对应大幅改写,模型会把高改动率学成正确策略。
指令歧义是过度修改的温床
问题同样出在人类给的指令上。“请校对以下文本,使其更通顺”本身就模糊:通顺是否需要调整用词?是否需要合并短句?是否需要消除口语?大模型校对任务中的过度修改评测技巧之一,是把指令拆成可判定的约束,比如“只修正语法错误、错别字和标点,不改变原句结构,不替换同义词”。评测数据显示,加上这条约束后,同一模型的过度修改率平均下降26个百分点。另一个有效做法是提供修改上限,例如“每段落最多修改3处”,模型会主动筛选改动必要性,而不是全面铺开。
评测集正在加入零改动样本
过去的校对评测集几乎全部包含错误,模型自然学会了“必定要改”。这次研究专门混入了30%完全正确的文本,用来考察模型是否懂得收手。结果令人意外:在面对零错误文本时,多数模型仍平均改动2.1处,个别输出甚至将正确句子改出语法问题。大模型校对任务中的过度修改评测注意事项里特别强调,零改动样本必须足够多,否则评测分数会高估模型真实能力。目前已有标注团队开始要求,若模型对整段输出“无需修改”,也必须显式输出该判断,这本身正在成为评测的一环。
从这次数据看,过度修改不是个别模型的缺陷,而是当前校对任务设计方式带来的系统性问题。改进路径可能不在模型端,而在评测端:只有把“不改”也当作一种正确输出,大模型才会学会什么时候该停手。
上一篇:长时储能循环效率如何影响系统成本