当前位置:首页>科技新闻>大模型推理请求排队调度为何成为算力瓶颈
科技新闻

大模型推理请求排队调度为何成为算力瓶颈

队列积压把GPU喂不饱2025年4月中旬,多家云厂商的推理API监控显示,晚高峰时段请求排队时长从去年同期的300毫秒拉长到2秒以上。某头部平台内部数据更极端:A100集群的KV Cache占用率长期

来源:发布时间:2026-11-22 05:19:20栏目:科技新闻浏览:911 次

大模型推理请求排队调度为何成为算力瓶颈

队列积压把GPU喂不饱

2025年4月中旬,大模队调度多家云厂商的型推推理API监控显示,晚高峰时段请求排队时长从去年同期的理请力瓶300毫秒拉长到2秒以上。某头部平台内部数据更极端:A100集群的求排KV Cache占用率长期在90%以上,但GPU计算利用率只有47%。何成这意味着卡没闲着,为算真正在算的大模队调度比例不到一半,剩余时间全耗在队列调度和上下文切换上。型推大模型推理请求的理请力瓶排队调度正从工程细节变成算力成本的核心变量。

抢占式调度是求排延迟失控主因

vLLM和SGLang默认的抢占式调度(preemption)遇到长序列请求会直接打断正在跑的任务,把KV Cache腾给新请求。何成单次打断的为算上下文切换开销在H100上实测约80–150毫秒,听起来不多,大模队调度但当并发请求超过200路、型推打断频率达到每分钟20次以上,理请力瓶有效算力折损就超过30%。更麻烦的是,被打断的请求重新排队时往往又触发新一轮抢占,形成“抢了又抢”的循环。某电商大促期间的压测数据显示,prefill阶段被抢占超过3次的请求,首token延迟中位数达到7.8秒,是正常请求的11倍。

优先级设计反直觉地加剧饥饿

不少团队给VIP客户或付费更高的请求设置高优先级,期望改善体验。实际效果是:高优先级短请求不断插队,中长请求的decode阶段被反复打断,最终超时重试又产生新的队列压力。一个证券交易场景的案例里,简单行情问答(约80 token输出)优先级调高后,代码生成类请求(约900 token输出)的完成率从98%掉到71%。大模型推理请求的排队调度常见问题里,优先级反转比缺卡更隐蔽——队列本身没有感知请求剩余长度和KV Cache占用,只按标签插队,结果高优先级把整个批次打散,batching效率反而崩了。

连续批处理与队列解耦是出路

换到continuous batching加请求级调度器配合的做法更有操作性:调度器不在队列层做抢占,而是把请求先放进等待区,由batch组包逻辑按KV Cache可用量和预fill/decode比例自动拼批。一家视频平台调整后,把队列与batch调度彻底解耦,取消业务侧优先级、只保留系统级deadline,晚高峰P99延迟从4100毫秒降到850毫秒,GPU利用率稳定在78%上下。大模型推理请求的排队调度经验分享里反复出现一条:别在队列里解决batch该解决的问题。让等待区保持短小、让batch调度器看到完整请求特征,比任何优先级算法都管用。

排队调度的问题不在队列本身,在于调度器对请求长度和KV Cache需求的“失明”。如果明年推理成本还要继续往下打,队列层需要从简单FIFO变成带资源预估的准入控制,否则加再多卡也只是把47%的利用率再摊薄一些。