当前位置:首页>Web3资讯>小语言模型落地,领域词表如何设计才够用
Web3资讯

小语言模型落地,领域词表如何设计才够用

三亿token炼出的五千词边界2025年4月,一家工业质检软件商把缺陷描述模型从7B压缩到0.6B,推理延迟降到19毫秒,但漏检率一度飙到14%。团队排查后发现,问题不在参数规模,而在词表——通用词表

来源:发布时间:2026-11-22 05:17:50栏目:Web3资讯浏览:553 次

小语言模型落地,领域词表如何设计才够用

三亿token炼出的小语型落五千词边界

2025年4月,一家工业质检软件商把缺陷描述模型从7B压缩到0.6B,言模域词用推理延迟降到19毫秒,地领但漏检率一度飙到14%。表何团队排查后发现,设计问题不在参数规模,才够而在词表——通用词表里“划痕”“裂纹”“麻点”被拆成零碎子词,小语型落模型现场拼错概念。言模域词用最终他们把词表从32000裁到5400个,地领漏检率压回2.1%。表何这是设计小语言模型落地时的普遍困境:词表不是越小越好,而是才够越贴领域越好。

先数清楚你领域到底多少词

小语言模型参数量有限,小语型落词表每多一万个token,言模域词用嵌入层就多吃十几兆参数。地领制造业缺陷描述、法律条款检索、医疗病历摘要,实际高频术语往往只有三到八千。做词表设计之前,应该拉取至少两亿到五亿token的领域语料做BPE统计,观察词频拐点。某券商固收团队训练债券公告摘要模型时发现,前4200个词覆盖了97.3%的语料,后面每增加一千词只多覆盖0.2%。他们果断把词表定在4600,加载显存省了41%,微调速度提升近一倍。

别让子词拆散你要的概念

通用分词器会把“预应力混凝土”拆成“预应力”“混凝土”甚至更碎,小模型在生成时容易拼成“预应力的混凝土”,意思没变,但下游字段匹配全乱。设计领域词表时,应把完整术语作为不可拆分的原子词加入。一家电网设备故障诊断团队把“断路器拒动”“零序电流”等327个短语整词加入词表,生成准确率从78%提升到91%。关键操作是:先用领域词典做强制分词,再在BPE训练时锁定这些整词不被二次切分。

留10%冗余给边角场景

词表卡得太死,遇到新设备型号、新法规编号就生成乱码。实操中建议目标词表规模乘以1.1作为冗余,纳入少量数字、日期、单位组合形式以及跨领域借用词。某药企不良反应报告模型把词表定在6100,其中约600个位置留给“注射用”“口服溶液”“缓释片”等剂型组合词,新药上市后只需增量训练两小时即可稳定识别。完整的小语言模型的领域词表设计教程常强调,冗余不是浪费,是给语料漂移留的缓冲带。

落到执行,一条可复用的路径是:统计领域语料词频拐点定基准值,强制整词锁定保语义完整,加一成冗余防新词冲击。别照搬通用词表裁剪方案,那省下的参数往往会在准确率上成倍还回去。