大模型推理请求排队调度为何影响成本与延迟
排队位置决定等待时长,时间差按秒裂变4月17日上午,某头部云厂商API网关在高峰时段排队深度突破8000。实测显示,同一批提交的30个推理请求,第1个返回耗时2.3秒,第30个返回耗时47.6秒。排队

排队位置决定等待时长,大模队调度时间差按秒裂变
4月17日上午,型推响成某头部云厂商API网关在高峰时段排队深度突破8000。理请实测显示,求排同一批提交的何影30个推理请求,第1个返回耗时2.3秒,本延第30个返回耗时47.6秒。大模队调度排队的型推响成本质不是算力不够,而是理请调度器把请求塞进同一个优先级队列后,后进者只能等前面所有的求排prefill和decode阶段走完。一个7B模型单卡跑,何影decode阶段单token生成约22毫秒,本延请求生成512个token耗时11秒多;如果前面排着500个同类请求,大模队调度最后一位用户的型推响成ttft(首token等待)直接飙到九十多分钟。这个延迟不是理请模型慢,是调度策略没分层。
连续批处理为何会放大调度开销
continuous batching(连续批处理)提升吞吐的代价是调度粒度变细。当调度器每20毫秒做一次batch重组,800个活跃请求每轮都要做KV cache的重新分配和线性扫描。某平台技术文档流出过一组数据:调度器单节点在3000并发下,CPU耗时占端到端延迟的23%,其中排序和抢占判断占了一半以上。一个被忽略的点是:请求长度分布越分散,调度开销越大。512 token的短请求和8192 token的长请求混在一个物理批里,为了等最慢的一个,整批的decode步数被拉长。有个做代码生成的工作室做过对比,按请求长度分桶后,p99延迟从18.4秒降到5.7秒,只是把排队调度方法从全局FIFO改成了预估长度分拣。
抢占与饥饿之间没有温柔中间态
短请求等长请求,长请求又怕被反复打断。某开源推理框架的issue区有个真实案例:agent任务带工具调用,单次会话发来37个请求,全部标记为高优先级,结果普通用户的文本续写被饿死——因为抢占逻辑里高优先级只要来了就切,低优先级请求在10分钟内只拿到2次decode机会。调度器维护人员最后把同一会话的连续请求做了合并计数,超过15个高优先级后自动降权。这个经验分享出来之前,运维群里常见的问题是:为什么我调高了max_batch_size反而变慢?其实是因为抢占频率升高,KV cache频繁换入换出,显存带宽被打满,实际算力利用率掉到了41%。
排队调度的本质是把不确定性前置消化掉。对大多数团队来说,先做好三件事就够:按预估长度分队列、限制单会话的请求突发、给长请求设置decode步数上限。别急着上复杂的公平性算法,因为你连自己的请求分布长什么样都还没量出来。没有监控数据的排队优化,和盲调学习率没什么区别——看着很忙,实际在浪费显存和用户耐心。