大模型 · 共 13 个专题

量化与显存估算

PTQ 方法对比、精度损失评估、显存怎么算。

3 道题 约 5 分钟 大模型 · 推理与部署

三条主线

权重量化、激活量化、KV Cache 量化,收益和风险依次递增。

Q1

GPTQ、AWQ、SmoothQuant 有什么区别?

专家

一句话回答: GPTQ 和 AWQ 都是只量化权重(W4A16),区别在误差补偿方式;SmoothQuant 做 W8A8,把激活的离群值迁移到权重上,让激活也好量化。

展开:

方法量化对象核心思想适用
GPTQ权重 4bit逐层用 Hessian 近似做误差补偿,按列量化并回补残差GPU 推理,通用
AWQ权重 4bit找出对输出影响大的显著通道,按通道缩放保护通用,速度略优
SmoothQuant权重+激活 8bit用 per-channel 缩放把激活离群值转移到权重需要 INT8 算力的场景
FP8权重+激活硬件原生支持,无需复杂校准H100 及以后
  • W4A16 的解码是显存带宽瓶颈,权重减半几乎直接带来 2 倍加速。
  • 校准数据要贴近真实分布,用 128–512 条即可,领域偏差会放大精度损失。
#量化
Q2

量化后怎么评估精度损失?

进阶

一句话回答: 三层验证:困惑度看整体漂移,任务 benchmark 看能力,业务回归集看实际影响;再做一次长文本和工具调用的专项检查。

展开:

  • PPL:在验证集上算困惑度,涨幅控制在 3–5% 以内通常可接受,但对下游任务不敏感。
  • Benchmark:MMLU、C-Eval、GSM8K 等,关注的是「掉分集中在哪类能力」。
  • 业务集:最有说服力,尤其是格式遵循和长输出任务,量化对小概率 token 的影响会放大成格式错误。
  • 专项:长上下文(KV 量化尤其敏感)、多轮对话一致性、结构化输出合法性。
  • 结论写法:给出「显存下降多少 / 吞吐提升多少 / 精度掉多少」三个数字,才算讲清楚取舍。
#评估
Q3

部署一个 70B 模型,需要多少显存?

高频

一句话回答: 权重 + KV Cache + 激活与碎片。70B FP16 权重约 140 GiB,INT4 约 35 GiB;KV Cache 用 GQA 后单 token 约 320 KiB(80 层),2k 上下文乘 batch 再算。

展开:

  • 权重:参数量 × 每参数字节。FP16 = 2B,INT8 = 1B,INT4 = 0.5B(另加少量量化常数)。
  • KV Cache:2 × L × n_kv × d_head × bytes × seq × batch。Llama-3-70B 是 80 层、8 组 KV、head_dim 128,FP16 下单 token 约 320 KiB。
  • 其他:激活与临时缓冲,经验上留 10–20% 余量;CUDA 上下文和碎片再留几个 GiB。
  • 并行:单卡放不下就用张量并行,权重按卡切分,KV Cache 也按头切分;80G 卡上 70B INT4 单卡可跑,FP16 需要 4 卡以上。
#显存估算