大模型推理请求排队调度为何成为算力瓶颈
推理队列里卡住的十万个请求2025年4月,某头部云厂商的在线推理集群出现了一次典型的排队雪崩:下午3点12分,一个电商客户的商品描述批量生成任务突发涌入,180秒内将常规队列排深推到2.8万条,P99

推理队列里卡住的大模队调度十万个请求
2025年4月,某头部云厂商的型推在线推理集群出现了一次典型的排队雪崩:下午3点12分,一个电商客户的理请力瓶商品描述批量生成任务突发涌入,180秒内将常规队列排深推到2.8万条,求排P99首token延迟从340毫秒蹿到41秒。何成前排的为算对话类请求被后排长文本任务死死压住,重试请求又反过来加剧拥塞,大模队调度最终23个在线业务报障。型推这不是理请力瓶孤例——过去半年,推理排队调度从运维边角话题变成算力交付的求排核心矛盾。
大模型推理请求的何成排队调度之所以难,根源在于请求本身极度不规整:一条多轮对话需要连续占用KV Cache,为算一条代码补全可能瞬间产生几百个短token,大模队调度而一条长文档摘要则要跑三分钟还不吐一个字。型推传统API网关的理请力瓶FIFO调度和固定超时策略在LLM场景下几乎失效,协程池开大了GPU显存被KV Cache吃光,开小了排队长度直接把用户体验打到负数。更麻烦的是,prefill和decode两阶段的算力消耗模式完全不同,混在一起排队时,一个长prompt的prefill能挡住后面几十条轻量请求。
调度器为什么总在“帮倒忙”
不少团队把大模型推理请求的排队调度方法想简单了,以为加个优先级队列就行。现实是,调度器的决策周期和模型推理的物理节奏根本对不齐。vLLM和SGLang这类框架内部有自己的调度器,负责将token块映射到GPU算力上;而集群入口层的调度器只能看到请求的元数据,看不到模型内部每个step的显存占用和并行状态。两层调度各自为政,外层判断“这条请求小、先放进去”,内层可能因为它的prompt刚好触发一次大规模的KV Cache重新分配,把整个batch的执行时间拉长三倍。
一个真实的翻车案例:某社交平台做文生图模型的在线推理,调度器按请求大小加权优先,结果小图请求全部插队成功,但每次小图都引发碎片化的显存分配,大模型推理请求的排队调度经验分享里被反复提到的一个教训就是——显存碎片率从12%飙升到38%,整体吞吐反而降了27%。排队策略不能只看“谁该先走”,还要看“谁走的时候不会弄乱整条路”。
连续批处理与抢占式调度的悖论
解决推理排队调度的主流思路是continuous batching和抢占式调度。把请求动态地插入到正在执行的batch里,当一个请求完成、腾出显存位置时,立刻从前置队列里拉新请求进来填充。这套机制能把空闲算力压到最低,但它的副作用很少被公开讨论:如果队列里塞满了长序列请求,短请求的等待时间会被无限拉长。数据说话:某电商大促期间,一个只有12个token的售后问答,在continuous batching下排队等了19秒,而同一个集群上的一条产品文案生成(约400 token prefill)只等了2.4秒。这就是典型的“调度正义缺失”——不是算力不够,是短请求没资格上车。
于是出现了抢占式的改进:允许调度器暂停正在执行的请求,把算力让给更高优先级的短任务。但抢占不是没有代价的,被暂停的请求要保存KV Cache,等重新调度时再恢复,这个切换过程消耗的HBM带宽和调度时间,常常比被抢占的请求本身还大。大模型推理请求的排队调度技巧里最容易被低估的一点就是:抢占频率超过一定阈值后,系统净吞吐会掉15%以上,因为GPU核心在上下文切换里空转了。
等待区里没有公平,只有权衡
当前排队调度的大模型推理请求常见问题集中在三个方向:长尾延迟不可控、显存碎片随调度策略变化不可预测、以及多租户之间的性能隔离失效。某个金融客户在混合部署时遇到的就是第三种情况:一个量化策略的批处理推理任务和在线问答共用同一个推理集群,凌晨2点批处理跑起来之后,在线问答的P50延迟从280ms涨到1.1秒,第二天客户直接要求独占节点,集群利用率又掉回32%。
大模型推理请求的排队调度注意事项里,最值得写进值班手册的一条是:不要用一个全局的“平均排队时间”来衡量调度质量。P95和P99的峰值、显存碎片率的方差、抢占产生的额外HBM带宽消耗,这三个指标比平均值更能暴露问题。还有一条比较反直觉的经验:有时候主动舍弃部分吞吐、把长请求单独塞进一个低优先级的“慢车道”,比所有请求混在一起跑要划算得多,因为短请求等不起,长请求不在乎多等十几秒。
头部云厂商已经开始把排队调度下沉到推理框架内部,把入口层调度和模型内部的step级调度合并成一个决策链路。这条路难走,但至少方向是对的——排队的本质是把“不可预测的执行时间”压缩成“可承诺的等待时间”,做不到这一点,再多的卡也填不满队列。
上一篇:链上投票法定人数是多少