当前位置:首页>AI新闻>大模型推理请求排队调度为何成为算力瓶颈
AI新闻

大模型推理请求排队调度为何成为算力瓶颈

2024年三季度以来,多家云厂商的推理集群在晚高峰出现了一个尴尬现象:GPU 空转率不足 40%,但用户端排队时长却从年初的 3 秒拉长到 14 秒以上。空转的卡不是没活干,而是活全堵在调度队列里。大

来源:发布时间:2026-11-22 05:30:14栏目:AI新闻浏览:685 次

大模型推理请求排队调度为何成为算力瓶颈

2024年三季度以来,大模队调度多家云厂商的型推推理集群在晚高峰出现了一个尴尬现象:GPU 空转率不足 40%,但用户端排队时长却从年初的理请力瓶 3 秒拉长到 14 秒以上。空转的求排卡不是没活干,而是何成活全堵在调度队列里。大模型推理请求的为算排队调度,正在从工程细节变成决定单位算力产出的大模队调度关键变量。

请求不再均匀,型推调度难度陡增

传统 API 网关的理请力瓶负载均衡逻辑基于“请求来了就分、哪个节点闲就发”的求排静态假设,这套思路在 Transformer 推理场景里几乎失效。何成原因很直接:单条 prompt 的为算计算量差异极大。一个 200 token 的大模队调度短问答请求,prefill 阶段可能只需要 30 毫秒;而一个 4000 token 的型推文档总结请求,prefill 要吃掉 1.2 秒以上,理请力瓶显存占用也翻了几十倍。如果调度器只看节点“是否有空闲”,把短请求塞进正在处理长 prefill 的节点,短请求的 TTFT(首 token 延迟)就会被动延长到秒级。某头部云厂商实测显示,关闭请求长度感知调度后,P99 延迟恶化了 4.7 倍,而 GPU 利用率只上升了 6 个百分点。

队列深度与显存碎片是隐形杀手

排队调度的核心矛盾不在算力总量,而在显存带宽与 KV cache 的分配时序。以 70B 模型为例,单卡 H100 可同时容纳的 KV cache 对应的序列长度是有限的。当调度器为了让吞吐好看而不断加深队列深度,允许过多请求并发进入 decode 阶段,显存碎片会迅速累积。碎片化之后,即便显存名义上还有 20% 剩余,新的高优先级请求也可能因为找不到连续显存块而被迫等待或触发抢占。某推理平台在压测中发现,把单节点并发从 32 提到 48,吞吐只提升了 11%,但平均排队时长从 2.1 秒涨到 8.6 秒——多排的那部分请求几乎全部转化为用户感知到的延迟,没有换来等比例的吞吐收益。大模型推理请求的排队调度注意事项里,控制队列深度比单纯增加并发数重要得多。

抢占策略与批处理窗口的再平衡

目前主流推理框架提供了抢占式调度和动态批处理两种缓解手段,但落地效果差异极大。vLLM 的抢占机制在遇到超高优先级请求时可以暂停正在 decode 的低优先级请求并释放其 KV cache,但频繁抢占会带来昂贵的换入换出开销。一份来自开源社区的压测报告显示,当抢占频率超过每分钟 40 次,端到端吞吐反而下降 18%。另一个被低估的因素是 prefill 与 decode 的批处理窗口配比。将 prefill 请求集中成批可以显著提升计算效率,但代价是等待凑批的延迟增加。某些团队把预填窗口从 10ms 缩到 2ms 后,短请求的排队时长减少了 42%,而长请求吞吐只损失 3%。大模型推理请求的排队调度方法没有银弹,只能按业务延迟预算反推窗口参数。

接下来的半年,推理集群的调度策略大概会分化成两条路线:面向消费者的产品优先保证 TTFT,允许牺牲部分总吞吐;面向企业批量任务的平台则继续优化吞吐,用排队时长换单位成本。真正难的是同时服务两类负载的同一套集群。能把请求级排队调度做细的团队,也许能比其他家少买 20% 的卡——这笔账在 H100 价格回落的当下,依然值得算清楚。