大模型重复生成如何检测 从文本熵值到语义嵌入的量化路径
文本熵值:廉价的第一道筛子4月14日,多家调用开源模型的中小团队反馈,长文生成场景中“循环解释同一概念”的比例从一季度的3.7%升至6.2%。最先被工程师拿来应急的是文本熵值计算。对一段500字输出做

文本熵值:廉价的大模的量第一道筛子
4月14日,多家调用开源模型的型重中小团队反馈,长文生成场景中“循环解释同一概念”的复生比例从一季度的3.7%升至6.2%。最先被工程师拿来应急的成何从文是文本熵值计算。对一段500字输出做字符级Shannon熵,检测径正常人工写作的本熵熵值通常落在4.1到4.6比特/字符,而重复生成段落会跌破3.4。语义某电商客服系统做过对照:把“您好亲,嵌入这边建议您先尝试重启设备呢”连续复读三遍的化路输出,熵值只有2.9,大模的量比技术文档还低。型重做法不难,复生用滑动窗口200字计算局部熵,成何从文低于3.8的检测径连续片段直接标红。不过这个方法有个坑:模型复述同一观点时若换词频繁,本熵熵值降不下来。
n-gram重叠率与最长公共子串
熵值漏掉的同义复述,n-gram重叠能兜住一部分。抽取1-gram到4-gram的重复占比,正常段落4-gram重复率很少超过12%,而机械复读式输出能达到35%以上。更狠的是最长公共子串检测:把前后两段各取300字比对,LCS长度超过40字基本可以判定为结构性重复。杭州一家做合同生成的服务商在生产环境卡了两个阈值:4-gram重复率大于18%或LCS超过55字,触发重写。他们二月份用这套规则拦下了日均2100次重复输出,误伤率控制在4%以内。注意,法律条款本身就有固定表述,这类场景需要白名单放行。
语义嵌入:跨句复述的照妖镜
上述统计方法对“换个说法再说一遍”基本无效。真正压舱的是语义嵌入。把输出按句子切分,用bge-large-zh或text-embedding-3-small做向量化,计算相邻句对余弦相似度。人工写作的相邻句相似度中位数约0.42,而重复生成时连续五句两两相似度能到0.78以上。一个做论文润色的团队实测:对200篇AI生成文本跑滑窗相似度,重复段落检出率91%,比纯n-gram方案高出26个百分点。经验分享里常提的技巧是别只算相邻句,要做三句滑动窗口的标准差——重复生成时相似度曲线几乎是一条平直线,方差小于0.05。
落地时的三个实操提醒
检测不是目的,触发后怎么办才是。第一,不要全局判重,长文中允许局部引用或强调性复现,按段落级别给分数更合理;第二,语义嵌入有模型偏好,换基座模型做向量化时阈值需要重新标定,经验值不能照搬;第三,常见问题集中在长尾概念上,比如“数字化转型”这类词在正常文章里本身就高频,容易误报,需要对专业术语建停用词表。检测方案不必追求单一指标的一锤定音,熵值做初筛、n-gram做复核、语义嵌入做终审,三层漏斗在成本和召回之间目前是最稳的组合。至于要不要直接接自动重写,建议先跑两周影子模式,把人审和机审的差异率压到5%以下再上自动干预。