量化与显存估算
PTQ 方法对比、精度损失评估、显存怎么算。
三条主线
权重量化、激活量化、KV Cache 量化,收益和风险依次递增。
GPTQ、AWQ、SmoothQuant 有什么区别?
专家一句话回答: GPTQ 和 AWQ 都是只量化权重(W4A16),区别在误差补偿方式;SmoothQuant 做 W8A8,把激活的离群值迁移到权重上,让激活也好量化。
展开:
| 方法 | 量化对象 | 核心思想 | 适用 |
|---|---|---|---|
| GPTQ | 权重 4bit | 逐层用 Hessian 近似做误差补偿,按列量化并回补残差 | GPU 推理,通用 |
| AWQ | 权重 4bit | 找出对输出影响大的显著通道,按通道缩放保护 | 通用,速度略优 |
| SmoothQuant | 权重+激活 8bit | 用 per-channel 缩放把激活离群值转移到权重 | 需要 INT8 算力的场景 |
| FP8 | 权重+激活 | 硬件原生支持,无需复杂校准 | H100 及以后 |
- W4A16 的解码是显存带宽瓶颈,权重减半几乎直接带来 2 倍加速。
- 校准数据要贴近真实分布,用 128–512 条即可,领域偏差会放大精度损失。
量化后怎么评估精度损失?
进阶一句话回答: 三层验证:困惑度看整体漂移,任务 benchmark 看能力,业务回归集看实际影响;再做一次长文本和工具调用的专项检查。
展开:
- PPL:在验证集上算困惑度,涨幅控制在 3–5% 以内通常可接受,但对下游任务不敏感。
- Benchmark:MMLU、C-Eval、GSM8K 等,关注的是「掉分集中在哪类能力」。
- 业务集:最有说服力,尤其是格式遵循和长输出任务,量化对小概率 token 的影响会放大成格式错误。
- 专项:长上下文(KV 量化尤其敏感)、多轮对话一致性、结构化输出合法性。
- 结论写法:给出「显存下降多少 / 吞吐提升多少 / 精度掉多少」三个数字,才算讲清楚取舍。
部署一个 70B 模型,需要多少显存?
高频一句话回答: 权重 + KV Cache + 激活与碎片。70B FP16 权重约 140 GiB,INT4 约 35 GiB;KV Cache 用 GQA 后单 token 约 320 KiB(80 层),2k 上下文乘 batch 再算。
展开:
- 权重:参数量 × 每参数字节。FP16 = 2B,INT8 = 1B,INT4 = 0.5B(另加少量量化常数)。
- KV Cache:
2 × L × n_kv × d_head × bytes × seq × batch。Llama-3-70B 是 80 层、8 组 KV、head_dim 128,FP16 下单 token 约 320 KiB。 - 其他:激活与临时缓冲,经验上留 10–20% 余量;CUDA 上下文和碎片再留几个 GiB。
- 并行:单卡放不下就用张量并行,权重按卡切分,KV Cache 也按头切分;80G 卡上 70B INT4 单卡可跑,FP16 需要 4 卡以上。