SFT 与 LoRA
什么时候该微调、LoRA 原理、QLoRA 与灾难性遗忘。
先分清三条路
| 需求 | 首选方案 |
|---|---|
| 知识更新、可溯源问答 | RAG |
| 输出格式、风格、语气 | 提示工程 |
| 稳定行为、领域术语、小模型替代大模型 | 微调 |
什么时候应该微调,什么时候用 RAG 或提示词就够了?
高频一句话回答: 需要「改变模型的行为方式」用微调,需要「补充事实知识」用 RAG,需要「调整一次性的输出形式」用提示词。
展开:
- 微调擅长:固定输出结构(严格 JSON、特定话术)、领域术语与缩写、把大模型能力蒸馏进小模型、降低单次调用 token 成本。
- 微调不擅长:注入会变的知识(今天学会的,明天就过期)、需要逐条引用来源的场景。
- 代价:数据标注、训练成本、回归测试、模型版本管理,一套下来比想象中重。
- 经验顺序:先提示词 → 再 RAG → 最后微调。反过来做通常是在给没想清楚的需求打补丁。
LoRA 的原理是什么?r 和 alpha 怎么选?
高频一句话回答: 冻结原权重,用两个低秩矩阵的乘积 ΔW = B·A 去近似权重更新,只训练 A、B。参数量从 d×k 降到 r×(d+k)。
展开:
- 前向:
h = W₀x + (α/r)·BAx,B 初始化为 0,A 随机初始化,所以训练开始时等价于原模型。 - r:秩,常用 8–64。任务越偏离基座、数据越多,r 可以越大;r=8 常常就够。
- alpha:缩放系数,通常设为 r 或 2r,实际起作用的是 α/r 这个比例。
- 目标模块:至少覆盖 q、v 投影,效果好可加 k、o 与 FFN。
- 合并:训练完可把 BA 乘上 α/r 加回 W₀,推理零额外延迟,这是 LoRA 相比 adapter 的大优势。
- 多任务:一个基座挂多个 LoRA,按请求路由加载,省显存。
QLoRA 做了什么?为什么能单卡微调大模型?
进阶一句话回答: 把冻结的基座量化到 4-bit(NF4),反量化后参与计算,梯度只回传到 LoRA 分支。权重大幅瘦身,优化器状态也只覆盖 LoRA 参数。
展开:
- NF4:针对正态分布权重设计的分位数量化,比 INT4 更贴合实际分布。
- 双重量化:对量化常数再量化一次,每参数再省约 0.37 bit。
- 分页优化器:显存峰值时把优化器状态换出到 CPU,避免 OOM。
- 实测:65B 模型可在单张 48G 卡上微调,7B 模型 16G 卡足够。
- 代价:训练速度比 BF16 LoRA 慢(要反复反量化),推理时需要合并或保留量化基座。
微调后通用能力下降(灾难性遗忘)怎么办?
进阶一句话回答: 在训练数据里混入通用指令数据做回放,配合小学习率、少量 epoch、LoRA 和早停,并在训练前后跑同一套通用能力评测。
展开:
- 数据回放:领域数据与通用指令按 1:3 到 1:10 混合,是最有效的手段。
- 学习率:全参微调 1e-5 量级,LoRA 1e-4 到 2e-4,宁小勿大。
- 步数:1–3 epoch,看验证集损失回升就停,过拟合会同时损伤通用能力。
- 参数高效:LoRA 天然限制更新幅度,比全参微调更抗遗忘。
- 验证:固定一套通用 benchmark(如 MMLU 子集、指令遵循集)+ 业务集,双向对比,别只看业务指标涨了就上线。