推理服务与并发优化
PagedAttention、连续批处理、TTFT 与吞吐的取舍。
两个指标
- TTFT(首 token 延迟):受 prefill 影响,计算密集。
- TPOT(每 token 延迟):受 decode 影响,访存密集。
vLLM 为什么快?PagedAttention 解决什么问题?
高频一句话回答: 把 KV Cache 像操作系统虚拟内存那样分页管理,按需分配、非连续存储,消除预分配浪费和碎片,从而在同样显存下塞进更大的 batch。
展开:
- 问题:传统实现按最大长度预分配连续 KV 空间,实际长度短时大量浪费,显存利用率常低于 50%。
- 做法:切成固定大小 block(如 16 token),用 block table 做逻辑到物理的映射,物理块可以散落在任意位置。
- 额外收益:相同前缀共享物理块(prefix caching),多轮对话和少样本提示直接省显存、省 prefill。
- 效果:论文报告吞吐提升 2–4 倍,显存浪费从 60–80% 降到 4% 以下。
连续批处理(Continuous Batching)和静态批处理区别在哪?
进阶一句话回答: 静态批处理要等整批全部生成完才收下一批,短请求被长请求拖住;连续批处理在每个 decode 步都能把已完成的请求换出、新请求换入,GPU 几乎不空转。
展开:
- 静态:batch 内最长序列决定总时长,短请求的槽位在等待中被浪费。
- 连续(迭代级调度):每生成一个 token 就重新调度一次,完成的立刻退出,排队的立刻补位。
- 代价:需要动态管理 KV Cache(正好由 PagedAttention 支撑),调度逻辑复杂。
- 相关优化:chunked prefill(把长 prompt 的 prefill 切块,与 decode 混跑,降低 decode 抖动)、抢占与重算(显存不足时把部分请求换出)。
线上延迟高,怎么系统性优化?
专家一句话回答: 先分清是 TTFT 高还是 TPOT 高:TTFT 高说明 prefill 或排队问题(长 prompt、batch 太满),TPOT 高说明 decode 访存瓶颈(batch 太小、模型太大)。
展开:
| 症状 | 原因 | 手段 |
|---|---|---|
| TTFT 高,TPOT 正常 | 排队、长 prompt prefill | 减小 max batch、chunked prefill、prefix cache、缩短提示 |
| TTFT 正常,TPOT 高 | 卡在显存带宽 | 加大 batch 摊薄权重读取、用量化、投机解码 |
| 两者都高 | 模型太大或并发超容量 | 张量并行、多副本 + 负载均衡、限流 |
- 量化:W4A16 直接减少权重读取量,decode 阶段收益最明显。
- 投机解码:小模型起草、大模型验证,2–3 倍加速且输出分布不变(贪心下等价)。
- 缓存:精确匹配缓存、语义缓存,命中直接返回,适合高频重复问题。
- 压测方法:固定输入/输出长度分布,扫并发数画吞吐-延迟曲线,找拐点而不是拍脑袋。