大模型多租户资源隔离:企业落地面临哪些现实挑战
过去两周,国内三家头部云厂商的客户经理在闭门沟通中释放了同一个信号:企业版大模型 API 的毛利正在被多租户资源隔离的成本吃掉。某券商技术负责人算过一笔账,他们采购的千卡级推理集群,在未做硬隔离前,单

过去两周,大模国内三家头部云厂商的型多现实客户经理在闭门沟通中释放了同一个信号:企业版大模型 API 的毛利正在被多租户资源隔离的成本吃掉。某券商技术负责人算过一笔账,租户资源他们采购的隔离千卡级推理集群,在未做硬隔离前,企业单个高并发租户的落地突发请求能把相邻租户的首字延迟从 180ms 拉到 1.2 秒,P99 延迟波动超过 6 倍。面临这类事故在 2025 年上半年的挑战金融和政务项目中至少公开发生 7 起。大模型多租户服务的大模资源隔离,已经从架构选型问题变成了商务合同里的型多现实赔付条款问题。
算力与显存隔离为何难以两全
多数团队默认用 vLLM 或 TensorRT-LLM 做实例级隔离,租户资源一个租户一张或几张卡,隔离物理边界清晰,企业但显存碎片化严重。落地以 L40S 48GB 为例,面临跑一个 70B 的 BF16 模型需要至少 4 卡张量并行,单租户独占就是 4 卡起跳,30 个租户吃掉 120 卡,实际利用率常年在 35% 到 50% 之间。反过来,如果采用前缀缓存共享加请求级虚拟化,卡利用率能上 75%,但一个租户触发长序列滑窗缓存崩溃,会把同批次其他租户的 KV Cache 一起冲掉。字节跳动内部在 2024 年底做过一个实验:在 128 卡共享池里注入一个恶意序列长度波动租户,15 分钟内周边租户的失败请求数增加了 11 倍。
优先级与配额往往停留在纸面
云厂商售前文档里常见的“软隔离”方案,靠 token 速率限制和优先级队列做资源编排。现实是,推理框架的调度粒度是 step 级别,而配额限制生效在请求入口,中间存在数百毫秒到数秒的窗口期。某在线教育公司曾给付费租户设了 3倍权重,但一次数学竞赛答题高峰,免费租户的突发并发把调度器队列打满,付费租户的排队位置被挤到 40 秒以后。他们后来复盘发现,Triton Inference Server 的动态批处理会为了凑 batch 而把高低优先级请求混装,优先级只在排队阶段起作用,进入 batch 后完全平等。这个坑在大模型多租户服务的资源隔离经验分享中反复被提及,但真正改起来要动框架源码。
监控数据骗过了大部分运维团队
GPU 利用率、显存占用、请求队列长度,这些指标在单租户时代够用,放到多租户场景全是平均值的幻觉。一个租户跑长文本生成,另一个租户跑短问题分类,平均延迟可能都正常,但交叉影响藏在 P99 和 KV Cache 命中率里。阿里云一位解决方案架构师在最近的技术沙龙上展示过一组数据:某客户 64 卡共享集群,整机利用率 78% 看似健康,拆开看,三个高活跃租户的健康度打分分别是 41、55、63,其中一个租户的退化根本原因是另一个租户的 beam search 参数从 4 改成 8,显存复用概率骤降。大模型多租户服务的资源隔离注意事项里最容易被忽略的一条:隔离效果要按租户分别采样,而不是看整池均值。
眼下企业真正落地的折中方案,是把租户按“风险等级”分池,交易类租户独占小规模推理组,内容生成类租户进入共享池,但共享池内强制统一采样参数和最大生成长度上限。没有统一参数约束的共享池,本质上是在赌所有租户都不会出错,而生产环境里,一定会有人把 temperature 设成 2.0 然后骂模型变蠢。资源隔离做得好的团队,不是框架选得对,而是把“不许干什么”写进了租户接入标准里。