大模型 · 共 13 个专题

推理服务与并发优化

PagedAttention、连续批处理、TTFT 与吞吐的取舍。

3 道题 约 5 分钟 大模型 · 推理与部署

两个指标

  • TTFT(首 token 延迟):受 prefill 影响,计算密集。
  • TPOT(每 token 延迟):受 decode 影响,访存密集。
Q1

vLLM 为什么快?PagedAttention 解决什么问题?

高频

一句话回答: 把 KV Cache 像操作系统虚拟内存那样分页管理,按需分配、非连续存储,消除预分配浪费和碎片,从而在同样显存下塞进更大的 batch。

展开:

  • 问题:传统实现按最大长度预分配连续 KV 空间,实际长度短时大量浪费,显存利用率常低于 50%。
  • 做法:切成固定大小 block(如 16 token),用 block table 做逻辑到物理的映射,物理块可以散落在任意位置。
  • 额外收益:相同前缀共享物理块(prefix caching),多轮对话和少样本提示直接省显存、省 prefill。
  • 效果:论文报告吞吐提升 2–4 倍,显存浪费从 60–80% 降到 4% 以下。
#vLLM#PagedAttention
Q2

连续批处理(Continuous Batching)和静态批处理区别在哪?

进阶

一句话回答: 静态批处理要等整批全部生成完才收下一批,短请求被长请求拖住;连续批处理在每个 decode 步都能把已完成的请求换出、新请求换入,GPU 几乎不空转。

展开:

  • 静态:batch 内最长序列决定总时长,短请求的槽位在等待中被浪费。
  • 连续(迭代级调度):每生成一个 token 就重新调度一次,完成的立刻退出,排队的立刻补位。
  • 代价:需要动态管理 KV Cache(正好由 PagedAttention 支撑),调度逻辑复杂。
  • 相关优化:chunked prefill(把长 prompt 的 prefill 切块,与 decode 混跑,降低 decode 抖动)、抢占与重算(显存不足时把部分请求换出)。
#调度#吞吐
Q3

线上延迟高,怎么系统性优化?

专家

一句话回答: 先分清是 TTFT 高还是 TPOT 高:TTFT 高说明 prefill 或排队问题(长 prompt、batch 太满),TPOT 高说明 decode 访存瓶颈(batch 太小、模型太大)。

展开:

症状原因手段
TTFT 高,TPOT 正常排队、长 prompt prefill减小 max batch、chunked prefill、prefix cache、缩短提示
TTFT 正常,TPOT 高卡在显存带宽加大 batch 摊薄权重读取、用量化、投机解码
两者都高模型太大或并发超容量张量并行、多副本 + 负载均衡、限流
  • 量化:W4A16 直接减少权重读取量,decode 阶段收益最明显。
  • 投机解码:小模型起草、大模型验证,2–3 倍加速且输出分布不变(贪心下等价)。
  • 缓存:精确匹配缓存、语义缓存,命中直接返回,适合高频重复问题。
  • 压测方法:固定输入/输出长度分布,扫并发数画吞吐-延迟曲线,找拐点而不是拍脑袋。
#性能优化