KV Cache 与显存
为什么推理要缓存 K/V、显存怎么算、有哪些压缩手段。
一句话直觉
Prefill 阶段把整段 prompt 的 K/V 都算了一遍,如果 decode 时每一步重算,等于把同样的矩阵乘法做 n 次。缓存下来,每步只算新 token 的 K/V。
KV Cache 是什么?为什么 Decode 阶段必须用它?
基础一句话回答: 把历史 token 在每层的 K、V 张量缓存起来,decode 新 token 时只算它自己的 K/V,再和其他 token 做注意力,避免重复计算。
展开:
- Prefill:处理 prompt,算出每个位置、每层的 K/V,全部写入 cache。
- Decode:每步只算 1 个新 token → 得到 q、k、v → k/v 追加进 cache → 用 q 和整个 cache 做注意力。
- 不缓存的话,生成第 t 个 token 需要重算前 t 个 token 的 K/V,总开销是 O(n²) 次的矩阵乘,实际不可用。
- 代价:KV Cache 占显存,且随 batch × 序列长度线性增长,这是长上下文服务的主要显存开销。
KV Cache 占多少显存?请给出公式并算一个例子。
高频一句话回答: 每 token 每层缓存 2 × n_kv_heads × head_dim × dtype 字节数,再乘层数、序列长度和 batch。
KV 显存 = 2 × L × n_kv × d_head × bytes × seq_len × batch以 Llama-3-8B(32 层、8 组 KV 头、head_dim 128、FP16)为例:
- 单 token 单层:2 × 8 × 128 × 2 B = 4096 B = 4 KiB
- 单 token 全层:4 KiB × 32 = 128 KiB
- 32k 上下文、batch=1:128 KiB × 32768 ≈ 4 GiB
把这个数和权重对比:FP16 权重约 16 GiB,32k 上下文时 KV Cache 已经占到权重量的 1/4;batch=16 就是 64 GiB,直接吃满 80G 卡。这就是为什么长上下文服务要做 GQA、KV 量化、PagedAttention。
有哪些降低 KV Cache 开销的手段?
专家一句话回答: 从架构、精度、存储管理、淘汰策略四个方向下手。
展开:
- 架构层:GQA/MQA 减少 KV 头数;MLA 把 KV 压成低秩潜向量(DeepSeek 路线)。
- 精度层:KV Cache 量化到 INT8/FP8,显存减半,注意对长文本任务做精度回归。
- 存储管理:PagedAttention 把 cache 切成固定大小的 block,按需分配、共享前缀,消除内存碎片和预留浪费,vLLM 因此能把吞吐提到 2–4 倍。
- 淘汰策略:只保留最近窗口(streaming LLM 的 attention sink + 滑窗)、按注意力分数驱逐(H2O)、按层共享。
- 系统层:prefix caching 复用相同前缀;把 cache 卸载到 CPU/NVMe(成本换容量,延迟上升)。