大模型键值缓存内存占用常见疑问解答
KV缓存占用为何常被低估多家推理服务团队在部署 70B 级模型时发现,显存里最贵的往往不是权重,而是键值缓存。以 LLaMA 架构 70B 模型、FP16 权重加载约占 140GB,但如果把批量扩展到

KV缓存占用为何常被低估
多家推理服务团队在部署 70B 级模型时发现,大模答显存里最贵的型键往往不是权重,而是值缓键值缓存。以 LLaMA 架构 70B 模型、存内存占FP16 权重加载约占 140GB,用常但如果把批量扩展到 32 路并发、见疑单条上下文 4096 token,问解键值缓存能轻松吃进 30–50GB。大模答这个数字在长文档摘要或代码审查场景会翻倍。型键很多人按“每 token 几 MB”心算,值缓漏掉了层数、存内存占头数和缓存精度三个乘数,用常结果上线当天就撞上 OOM。见疑
计算公式里藏着两个隐蔽乘数
一条请求的问解键值缓存大小等于:2 × 层数 × 头数 × 每头维度 × token 数 × 每个数值的字节数。以 7B 模型为例,大模答32 层、32 头、每头 128 维,FP16 下每个 token 需要约 1MB——这个数单独看不大。但 13B 到 70B 模型层数涨到 80 层、头数到 64 或更多,单 token 变成 4–8MB。更隐蔽的是 GQA(分组查询注意力):Mistral 和 LLaMA 3 用 8 组 KV 头而非全部 32 头,缓存直接砍到原来的四分之一。看模型 config 时如果只数 attention heads,不看 num_key_value_heads,就会多买三倍显存。
量化KV是性价比最高的省显存手段
权重保持 FP16 不变,只把键值缓存压成 INT8 或 FP8,70B 模型在 32 路并发下能从 48GB 降到 24GB 左右,困惑度上升通常不到 0.5。vLLM 和 TensorRT-LLM 都支持 KV cache 独立量化,实测 Qwen2.5-72B 在 A100 80G 卡上,INT8 KV 缓存能多塞 14 路并发。注意不要连带把权重也压到 4bit 再叠加缓存量化,两个误差会放大,长文本生成时容易出现重复片段。
动态缓存与滑动窗口的取舍
有些框架默认给每个请求预分配等于最大长度的缓存,2000 token 的请求按 8192 上限预留,浪费四倍空间。换成动态分配或 paged attention 后,实际占用接近真实生成长度。但滑动窗口注意力(如 Mistral 的 4096 窗口)要小心:旧 token 的键值丢弃后,如果下游任务需要回看全文,生成质量会明显下降。做长文档问答时,优先扩大窗口或加分块检索,别为了省显存直接开小窗口。
拿到新模型先读 config 里的 num_key_value_heads 和层数,再决定是否量化 KV。显存不够时先动缓存精度,再调并发,最后才考虑缩短上下文。多数生产事故不是权重太大,而是缓存预估错了模型架构参数。