当前位置:首页>科技新闻>小语言模型领域词表设计有哪些技术路线
科技新闻

小语言模型领域词表设计有哪些技术路线

百万词表砍到两万,成本省六成上周国内一家医疗信息化厂商完成了一项内部测试:把通用中文词表从 12 万 tokens 压缩到 2.1 万,模型在电子病历结构化任务上的 F1 只掉了 0.8 个点,推理显

来源:发布时间:2026-11-22 05:12:40栏目:科技新闻浏览:497 次

小语言模型领域词表设计有哪些技术路线

百万词表砍到两万,小语型领成本省六成

上周国内一家医疗信息化厂商完成了一项内部测试:把通用中文词表从 12 万 tokens 压缩到 2.1 万,言模域词模型在电子病历结构化任务上的表设 F1 只掉了 0.8 个点,推理显存占用却下降了 61%。计有技术这不是小语型领孤例。2025 年下半年以来,言模域词小语言模型(参数量 1B–7B)在垂直场景落地的表设项目里,词表设计逐渐从“直接复用通用底座”转向“按领域重建或裁剪”,计有技术技术路线开始分化出三种可复用的小语型领做法。

路线一:保留通用底,言模域词只做领域扩增

最保守也最常用的表设方法是不动原词表,把领域高频词、计有技术专业缩写、小语型领药品名、言模域词零部件编号等作为新增 token 追加进去。表设某法律科技团队在 7B 模型上扩增了 1.4 万个法律术语,继续预训练 30 亿 token 后,法条引用准确率从 67% 提到 81%。这条路线的好处是兼容原有分词逻辑,不会破坏已训练好的嵌入;代价是词表越大,softmax 和 embedding 矩阵越重,小模型本来就紧张的推理预算会被进一步吃掉。实际项目里,扩增超过原词表 15% 就有明显速度损耗。

路线二:先筛后训,用熵和频次做预算

针对参数 3B 以下的模型,今年开始有团队直接重建词表。操作上先收集目标领域语料 50–200GB,统计字符级 BPE 合并后的频次与信息熵,再设定一个 token 预算,比如 16384 或 24576,用贪心合并优先保留领域内高互信息的子词。一家工业质检服务商用 1.5B 模型做产线报告解析,把词表从 5 万压到 2.4 万,领域内分词粒度明显变粗,“表面划痕”“色差超标”这些短语从拆成 5–6 个 token 变为 1–2 个,序列长度缩短 38%,推理延迟降低了 29%。注意事项是:重建词表后必须从随机初始化或适配层重训,别指望加载原有权重还能用。

路线三:双词表与动态路由,小模型的新解法

更激进的方案出现在金融和客服场景。做法是保留一个通用小词表处理口语化表达,再用一个领域词表处理专业内容,通过轻量路由器在 token 级别切换。某券商研报摘要系统用 3B 模型加上 8000 个金融术语的辅助词表,在 500 条人工评测样本上,专业名词还原准确率比单一大词表高 11 个百分点,额外参数只增加了约 40MB。常见问题在于训练不稳定,两个词表的 embedding 分布容易漂移,需要在预训练阶段加入对比损失约束。目前这个方法还缺少统一开源实现,多数团队是自研。

从今年几个实际交付项目看,词表设计已经成为小模型降本的关键杠杆,优先级不亚于量化或蒸馏。如果业务语料高度封闭、术语集中度高,直接重建词表往往比扩增更划算;如果只是偶尔遇到专业词,追加 token 更稳妥。双词表路线适合对精度极度敏感、又能接受一定工程复杂度的团队。下一阶段值得观察的是,是否有厂商把领域词表设计直接做成自动化工具链,而不是每个项目再手工统计一遍。