大模型推理排队为何频现拥堵
7月17日晚间,多家头部大模型平台的API状态页同时亮起黄灯。有开发者截图显示,某千亿参数模型的标准推理接口排队深度一度达到4.7万请求,平均等待时间从平日的800毫秒飙升至42秒。这不是偶发故障,近

7月17日晚间,大模队为堵多家头部大模型平台的型推现拥API状态页同时亮起黄灯。有开发者截图显示,理排某千亿参数模型的何频标准推理接口排队深度一度达到4.7万请求,平均等待时间从平日的大模队为堵800毫秒飙升至42秒。这不是型推现拥偶发故障,近三个月内类似拥堵在至少六家主流服务商身上反复出现,理排只是何频规模不同而已。
表面看是大模队为堵算力不够,实际瓶颈多在调度层。型推现拥以单张H100为例,理排跑70B模型时并发上限通常在8到16路之间,何频一旦瞬时请求超过这个数,大模队为堵后续请求只能进队列。型推现拥问题在于,理排多数平台的默认队列策略是FIFO——先到先得。这在请求时长接近时没问题,但现实流量里混杂着几百毫秒的短请求和几分钟的长生成任务,短请求被一条长任务堵在后面,平均延迟就被整体拉高。
长任务挤压短请求成拥堵主因
某云厂商内部压测数据显示,当流量中20%的长文本生成长度超过8000token时,FIFO策略下P99延迟会恶化7倍以上。开发者感知到的“排队”往往并非真的没卡可用,而是调度器没有把短请求从长队列里捞出来。一个典型的失败场景:凌晨三点,某长篇小说续写请求占用8张卡跑了11分钟,后面积压了三百多个本该在50毫秒内完成的对话摘要请求,但从监控看GPU利用率高达92%,没人觉得有问题。
已经有一些平台改成基于预测时长的抢占式调度。简单说,模型侧会先跑一个极小的分类器估算请求可能的生成长度,再决定进快队列还是慢队列。某二线厂商在接入这套机制后,短请求的P50延迟从3.1秒降到640毫秒,长任务反而因为不被频繁打断,总体吞吐提升了18%。这个方法不新鲜,但真正把它用在生产级大模型推理上的团队并不多,因为预测失误的代价是长任务被错误塞进快队列。
批处理策略反而放大了排队压力
为了提升吞吐,很多服务商默认打开动态批处理,把到达时间相近的请求拼成一批送给GPU。这在离线场景有效,但在实时API场景里,拼批意味着最早到达的请求要等最晚一个请求就位。某电商平台大促期间实测:批大小设为8时,单个请求的额外等待时间从没有批处理的12毫秒增加到380毫秒。排队压力被批处理窗口放大,而用户看到的就是转圈。
更隐蔽的是抢占式重算。部分推理框架为了提高卡利用率,允许新到的高优先级请求打断正在跑的批,被中断的批需要保存现场再恢复。这个恢复开销在长序列上可能高达数秒,被中断的请求又成了新的拥堵源。有团队分享过一组大模型推理请求的排队调度经验:将中断阈值从“立即抢占”改为“最多等待150毫秒”,整体吞吐反而提高11%,说明调度技术文章里常见的激进策略在生产环境常常帮倒忙。
排队拥堵的本质是排错队列
多数平台把队列当缓冲,而不是当调度对象。真正有效的做法是分层队列加动态加权,而不是全局一个大列表。某开源推理网关的维护者提供了一个数据:把请求按预估长度分成三档后,在相同GPU数量下,用户可感知的超时率从4.2%降到0.7%。这套思路在很多基础架构里早已成熟,只是大模型推理这两年发展太快,工程团队优先保吞吐和显存,排队调度被排到了后面。
未来半年大模型推理请求的排队调度方法会明显分化。高端API可能开始按“延迟敏感”和“吞吐优先”分开计费,低延迟队列价格上浮;开源侧会有更多成熟的队列控制器进入框架默认配置。指望类似问题的团队现在最应该做的不是继续堆卡,而是把现有队列的等待时间分布拉出来看一眼——如果P99和P50之间差了两个数量级,大概率是调度策略的问题,而不是硬件不够。这比盲目扩集群便宜得多,也现实得多。