大模型多租户资源隔离落地观察:算力切分如何不越界
一套显存配额击穿三条租户链上周三凌晨,某云厂商推理集群里发生了一起不算罕见但值得细看的事故。一个金融租户跑批量化风控模型,瞬时请求量冲到平峰 17 倍,显存占用从预分配的 42GB 飙到 71GB。调

一套显存配额击穿三条租户链
上周三凌晨,大模某云厂商推理集群里发生了一起不算罕见但值得细看的型多事故。一个金融租户跑批量化风控模型,租户资源瞬时请求量冲到平峰 17 倍,隔离观察显存占用从预分配的落地 42GB 飙到 71GB。调度器没拦住,算力同节点另外两个租户——一家电商的切分对话摘要服务和一家医疗机构的病历结构化任务——推理延迟分别从 180ms 恶化到 3.4 秒和 4.1 秒。事后运维复盘,越界问题不在显存总量不足,大模而在“共享显存池”的型多隔离边界画得太松,单租户突发流量可以挤占邻居的租户资源 KV Cache 空间。这类事故过去半年在多家公有云 MaaS 平台上至少公开披露过 6 起,隔离观察大模型多租户服务的落地资源隔离方法正从“能跑就行”进入硬约束阶段。
显存切分粒度决定隔离成败
大部分人谈隔离只盯着 GPU 卡级分配,算力一卡一租户最干净,切分但成本翻倍。实际落地里,主流做法是在单卡内做 MIG 切片或基于 vGPU 的显存硬限制。拿 A100 80GB 来说,切成 7 个 10GB 实例是常见配置,每个实例的显存上限由驱动层强制,超了直接 OOM,不会波及其他切片。但问题来了:10GB 对 7B 模型勉强够放权重加一小段 KV Cache,并发一高就频繁触发重计算。有团队改用 20GB 切片跑 7B,单卡只放 3 个租户,看似浪费 20GB,实测长文本场景下首 token 延迟反而降了 23%,因为 KV Cache 命中率从 61% 提到 89%。真正的隔离技巧不是把显存切得越细越好,而是按租户的“峰值上下文长度×并发数”去倒推最小切片,留出 15% 左右余量给碎片和驱动开销。
算力配额比显存配额更容易越界
显存限制住之后,算力抢占是第二层战场。同一个 10GB 切片里,租户 A 发一个 batch=32 的请求和租户 B 发 batch=1,SM 占用率完全不同。只做显存隔离不做算力限流,A 能把 B 的延迟打高三倍。目前比较多见的做法是给每个租户设置“并发推理槽位”上限——比如 7B 模型每租户最多同时占用 4 个 decoder step,超出排队。某跨境电商平台的大模型多租户服务的资源隔离经验分享里提到,他们用 token 级调度器按租户 ID 打标签,每 50ms 轮询一次 SM 占用率,超过阈值就暂停低优先级租户的 decode,实测混合负载下 P99 延迟收敛了 37%。代价是调度器本身吃掉约 6% 的算力,但相比租户互相踩踏带来的投诉和赔付,这笔账算得过来。
冷启动与碎片化是隐藏成本
多租户切片的另一个坑在模型加载。每个切片独立加载权重,单卡 7 个切片就要加载 7 份 7B 权重,显存冗余直接翻倍。权重共享的方案有,但落地少——因为租户模型版本、微调 LoRA 权重各不相同,共享只对完全同构的基座模型有效。更现实的折中是“预热池”策略:预先在 2-3 个切片里加载常用基座模型,新租户进来先绑定预热切片,等请求稳定了再迁移到独立切片。迁移过程要断流 2-5 秒,对在线推理不可接受,所以通常放在凌晨低峰做。一家做法律文书生成的 SaaS 厂商实测,这套机制把新租户接入的冷启动时间从 11 分钟压到 40 秒以内,但夜间迁移失败率仍有 1.8%,主要来自显存碎片无法满足目标切片的连续地址需求。
大模型多租户服务的资源隔离注意事项里,最容易被忽略的一条是:任何软件层调度策略都建立在“显存硬隔离”这个地基上。没有驱动级的配额强约束,上层限流做得再精细也是沙上筑塔。给个可操作的判断标准——如果你能在租户 A 的压测期间精确复现租户 B 的延迟抖动曲线,说明隔离边界基本合格;如果 B 的抖动是偶发的、无法对齐 A 的流量特征,那大概率还有共享资源在暗中越界,建议从显存分配器日志开始查起。