大模型推理排队调度:高并发下如何平衡延迟与吞吐
调度器决定不了吞吐上限,它决定的是退化曲线2025年第一季度,头部云厂商的推理API平均排队时延比去年同期上升了约40%,但单卡H100的日均token产出几乎没变。这不是硬件瓶颈,是请求抵达模式变了

调度器决定不了吞吐上限,大模队调度高它决定的型推下何是退化曲线
2025年第一季度,头部云厂商的理排推理API平均排队时延比去年同期上升了约40%,但单卡H100的平衡日均token产出几乎没变。这不是延迟硬件瓶颈,是吞吐请求抵达模式变了。大模型推理请求的大模队调度高排队调度,本质是型推下何在一批长短不一、到达随机的理排计算任务里,决定谁先占用显存和算力。平衡调度器不创造吞吐,延迟它只能在延迟与利用率之间分配代价。吞吐一个被忽略的大模队调度高事实是:大多数推理网关的默认FIFO队列在并发超过200时,P99延迟会从3秒直接跳到40秒以上,型推下何而吞吐只提升了6%。理排这个陡峭的退化曲线,才是调度要解决的核心问题。
Continuous batching的队列不是排出来的,是等出来的
vLLM和SGLang默认的continuous batching机制下,请求并不存在传统意义上的“排队”,而是每轮迭代动态组批。但调度器仍在入口处做两件事:控制准入速率、决定prefill与decode的算力分配。2024年底某电商大促的压测数据显示,当prefill请求在队列头等待超过800毫秒,KV cache碎片会使后续迭代的batch利用率下降12%—18%。原因很简单:长文本prefill突发到达时,如果不及早限流,后续decode请求会被迫与它共享显存窗口,造成批次内token数波动。大模型推理请求的排队调度方法里,最有效的往往不是复杂算法,而是入口处按prompt长度分桶加一个硬性超时,简单得让很多人不愿意信。
延迟敏感与吞吐优先,放同一个池子里就是灾难
在线对话、代码补全、批量报告生成三类负载的延迟预算差了两个数量级。把它们混在一个推理集群里,调度器平均延迟再漂亮也没用。2025年3月,某开源调度框架在GitHub issue里公开的案例显示:将代码补全请求(目标延迟500ms)与报告生成请求(可接受30s)按7:3混合后,前者的P95延迟从1.2秒恶化到7.8秒,原因不是算力不够,而是长请求占住了decode窗口。大模型推理请求的排队调度技巧中,按SLO分级队列加权重公平共享,比盲目提高batch size有效得多。经验上,每增加一个延迟等级,整体吞吐损失约5%—8%,但SLA达成率能提升20个百分点以上。
KV cache复用让“排队时间”有了新定义
启用前缀缓存后,两个请求的等待时间不再只是算力排队,还包括命中cache的拼接效率。同一批请求里,如果共享前缀的请求被调度到不同GPU实例,cache命中率会直接腰斩。某金融RAG系统实测:按前缀哈希做一致性路由,命中率从43%提升到78%,等效吞吐涨了31%,而排队延迟反而下降,因为命中的请求prefill阶段几乎被跳过。大模型推理请求的排队调度注意事项里,路由策略与缓存一致性挂钩,比调队列算法优先级更高。另一个常被踩的坑是:把长尾的、prefix差异大的请求与高复用请求放在同一个调度域,会冲刷掉cache,造成端到端延迟剧烈抖动。
优先级调度做不好,连可用性都保不住
大模型推理请求的排队调度常见问题中,最隐蔽的是优先级反转。高优先级请求如果依赖低优先级请求释放显存,而低优先级请求又被持续插队,就会形成活锁。2024年12月某广告平台线上事故即源于此:营销文案生成请求标记为P0,但由于显存被一批P2的离线评测任务占满,P0请求不断重试抢占,最终导致网关级联超时。排障报告里那句话值得贴出来:“调度器维护的不是队列,是显存所有权状态。”分配优先级必须与资源回收策略耦合,否则优先级字段只是安慰剂。
这些实践指向一个直接判断:大模型推理请求的排队调度经验分享的价值,不在于给出一个多功能算法,而在于承认负载分解与资源隔离才是第一位的。先把延迟敏感的交互流量和吞吐型的离线流量物理或逻辑隔离,再谈队列算法。调度器调不好,通常会让人误以为是模型不够快而盲目扩卡——那才是最大的浪费。