小语言模型领域词表设计疑点解析:规模与覆盖如何平衡
8万词表困住医疗模型:一场覆盖率之争7月中旬,一家三甲医院信息科的技术负责人向记者展示了一组对比数据:基于通用中文词表约8万token)微调的7B医疗小模型,在电子病历ICD编码任务上F1值只有61.

8万词表困住医疗模型:一场覆盖率之争
7月中旬,小语型领析规一家三甲医院信息科的言模域词技术负责人向记者展示了一组对比数据:基于通用中文词表(约8万token)微调的7B医疗小模型,在电子病历ICD编码任务上F1值只有61.3%,表设而将词表替换为包含3.2万个医疗术语、计疑药品通用名、点解检验指标缩写的模覆定制词表后,同等参数规模下F1提升到79.8%。盖何差距不在模型架构,平衡不在训练数据量,小语型领析规就在那一张看似不起眼的言模域词词表上。过去半年,表设随着小语言模型在垂直场景的计疑密集落地,词表设计从工程细节变成了决定成败的点解前置问题。
领域词表要解决的模覆核心矛盾,可以压缩成一句话:规模与覆盖如何平衡。盖何词表太大,embedding矩阵和输出层参数膨胀,显存与推理延迟吃不消;词表太小,专业术语被打散成碎片化的子词,模型学不到完整的语义单元。医疗、法律、金融、工业制造这些领域的高频术语,往往恰好落在通用词表的切分盲区里。
为什么通用词表在领域场景频频失灵
通用中文词表的构建语料主要来自网页、百科、新闻,其token分布偏向日常表达。以“阿托伐他汀钙片”为例,常见通用词表会将其切分为“阿托/伐/他/汀/钙/片”或类似片段,模型需要跨多个token学习这个药品名的整体语义。而一份纳入药典常用名的领域词表,可以直接把这个七字词作为独立token,少走三步注意力计算。问题在于,直接套用BPE或SentencePiece在领域语料上重新训练词表,又会丢掉通用表达的基本盘。某证券研究所在法律文书生成模型上的实验显示,将法律定制词表占比压到30%以下时,模型在日常口语指令上的表现开始出现退化。
领域词表设计的三种实操路线
目前业内形成了几条相对清晰的小语言模型的领域词表设计方法。第一种是“通用底座+领域增量”:保留原词表不动,把领域语料统计得到的高频术语、固定搭配追加为新token,再对embedding做增量训练。第二种是“混合语料重训”:把通用语料与领域语料按一定比例混合后重新跑BPE,比例通常落在1:1到4:1之间,医疗场景常见2:1。第三种更激进——完全基于领域语料训练词表,只适合模型生存范围极度封闭的场景,比如设备故障代码解析。三条路线没有确实优劣,但一个被反复提到的经验是:增量追加的token数量不要超过原词表的15%,否则需要回训底层参数,成本陡增。
容易被忽略的三个隐性成本
词表设计不止是“选哪些词进去”。一个小语言模型的领域词表设计注意事项里,embedding初始化策略的影响常被低估。新增token若用随机向量起步,训练初期会产生明显噪声,用原词表均值或相近token向量做初始化,收敛速度可以缩短约30%。词表规模与推理速度的关系也并非线性:把词表从3万扩到5万,输出层softmax的计算量会直接拉高首token延迟,在CPU部署环境中尤其敏感。另一个隐性问题是token边界与领域标签的冲突,例如金融场景里“多头”既是术语也是日常词,词表合并后需要靠上下文消歧,模型规模越小,这种消歧能力越弱。
回到开头那家医院的项目,最终落地版本将医疗定制词表控制在1.8万token,叠加在原6万通用词表之上,推理延迟增加11%,F1提升18个百分点。这个数字或许能给正在做类似选型的技术团队一个参照:小模型的词表设计没有标准答案,但有一条底线——先想清楚模型要给谁用、在什么设备上跑、词表扩充的代价由谁承担。把这个顺序搞反了,再漂亮的词表也是实验室里的废纸。