大模型推理批处理如何影响首字延迟与吞吐效率
批处理为何同时拉升吞吐与首字延迟4月15日凌晨,某云厂商在其 inference 平台发布了一组压测数据:同样跑 Llama 3 70B,单请求串行推理时首字延迟稳定在 180ms 上下,吞吐只有 3

批处理为何同时拉升吞吐与首字延迟
4月15日凌晨,大模某云厂商在其 inference 平台发布了一组压测数据:同样跑 Llama 3 70B,型推响首单请求串行推理时首字延迟稳定在 180ms 上下,理批率吞吐只有 3.2 req/s。处理迟吞把 batch size 拉到 32 后,何影吞吐冲到 41 req/s,字延但首字延迟的吐效中位数直接飙到 860ms,P99 超过 1.4 秒。大模这不是型推响首故障,是理批率批处理机制的必然代价。GPU 的处理迟吞算力在单个请求上根本喂不饱,SM 利用率长期徘徊在 30% 以下;把多个请求拼进同一个 forward pass,何影矩阵乘法的字延维度拉大,计算密度上来了,吐效但所有请求都得等这一批里最慢的大模那个 token 算完才能继续。
业界普遍把 batch size 当作吞吐开关,却很少正视它对延迟曲线的扭曲。批处理不是免费午餐,它用延迟换吞吐,换得狠不狠,取决于调度策略和请求长度分布。
动态批处理比静态固定更吃调度精度
静态 batching 的问题在长短句混跑时暴露得最彻底。一批 16 个请求里只要有一个 4096 token 长文生成,其余 15 个短问答的全得陪跑,首字延迟被拖垮不说,显存里还留着大量 padding 位置的无效计算。vLLM 的 continuous batching 从 2023 年落地后成为主流方案,核心是把“批次”从固定窗口改成 token 级别的动态进出:有请求结束立刻腾出槽位,新请求可直接插入下一个 step,不用等整批结束。某电商客服机器人在春节大促期间做过对比,同样 8 卡 A100,静态 batch 32 的 P50 首字延迟 1.1 秒,换成 continuous batching 后降到 310ms,吞吐反而提升 18%,因为空槽时间被吃掉了。
大模型推理批处理与首字延迟经验分享里常被忽略的一点是:调度器对序列长度的预估能力,直接决定延迟尾部形态。预分配 KV cache 太大浪费显存,太小又要频繁扩缩,扩缩那一下可能就是几百毫秒的抖动。长尾控制不住,大模型推理批处理与首字延迟常见问题里十有八九都卡在这里。
chunked prefill 为什么是延迟救火队
Prefill 阶段是首字延迟的主要来源。长 prompt 一次性把全部 token 喂进去做矩阵计算,计算量呈超线性增长,十几万 token 的上下文能吃掉数秒 prefill 时间。chunked prefill 把长 prompt 切成固定块,比如每块 512 token,让 prefill 和 decode 在同一个 batch 里交替执行。这样处理一个新进来的长文档请求,不会把正在生成的其他请求全部阻塞住。实测效果:某法律文书摘要服务用 chunked prefill 后,在 20 个并发 decode 请求的负载下,新请求的首字延迟从 4.7 秒压到 900ms,整体吞吐仅下降 6%。
代价是 prefill 总耗时变长,因为多轮 forward 比一次性算完有额外 kernel launch 和中间结果搬运开销。大模型推理批处理与首字延迟技巧里,把 chunk 大小设为 decode batch 可接受的上限,能在延迟波动和吞吐损失之间找到平衡点。设太大救不了延迟,设太小吞吐掉得肉疼。
KV cache 复用和前向拆分才是长期解药
单纯调 batch size 和调度算法已经逼近收益边界。真正能同时改善首字延迟与吞吐效率的,是减少每个请求实际要算的东西。云上推理集群对多轮对话场景启用 prefix caching 后,相同 system prompt 的 KV 直接复用,prefill 计算量砍掉 60% 以上,首字延迟从 520ms 降到 190ms,同时每卡吞吐反而高出一截,因为省下来的算力可以分配给更多 decode 请求。大模型推理批处理与首字延迟注意事项里,prefix 缓存的一致性和脏数据回收比技术本身更麻烦,缓存命中率一旦波动,延迟曲线就会跟着晃。
另一个方向是把 prefill 和 decode 拆到不同 GPU 上跑,prefill 集群吃长文本峰值,decode 集群保稳定生成,中间通过 KV transfer 衔接。这套架构在北美某模型 API 供应商那里已经跑了半年多,首字延迟被压到 300ms 以内,同时整体吞吐比混跑方案高 22%。投入成本不低,但比无脑堆卡更接近治本。
批处理从来不是一个“开多大”的问题,而是“谁和谁排在一起、谁先算、算多少”的调度游戏。下次调 batch size 之前,先看看请求长度分布和 prefill 比例,比盲目拉满要管用得多。