RLHF、DPO 与推理模型
对齐三阶段、DPO 的取舍、GRPO 与可验证奖励。
一张谱系图
SFT(模仿)→ RM + PPO(人类偏好)→ DPO(偏好直接优化)→ RLVR/GRPO(可验证奖励)
RLHF 的三个阶段分别解决什么问题?
高频一句话回答: SFT 教会模型「按指令说话」,奖励模型学会「人类更喜欢哪种回答」,PPO 用奖励信号把策略往高偏好方向推,同时用 KL 惩罚防止跑偏。
展开:
- SFT:监督微调,让模型具备指令遵循的基本格式。
- RM:用成对偏好数据(chosen / rejected)训练一个打分模型,损失是 Bradley-Terry:
-log σ(r_chosen - r_rejected)。 - PPO:策略生成回答 → 奖励模型打分 → 优势估计 → 策略梯度更新;同时计算与参考模型的 KL 散度作为惩罚项,避免模型为了高分而输出怪异文本。
- 工程复杂度:同时要跑策略、参考、奖励、价值四个模型,显存和调参成本高,这是 DPO 出现的动机。
DPO 相比 RLHF 有什么优势?它的局限是什么?
高频一句话回答: DPO 把「奖励模型 + PPO」合并成一个分类损失,直接用偏好对优化策略,训练稳定、只需两个模型。局限是离线、依赖数据覆盖度,且容易过度优化。
展开:
- 损失:
-log σ(β·log(π(y_w)/π_ref(y_w)) − β·log(π(y_l)/π_ref(y_l))),本质是让 chosen 相对参考模型的概率上升幅度大于 rejected。 - β:控制偏离参考模型的程度,常用 0.1,越小越保守。
- 优势:无需 RM、无需在线采样、实现简单、超参少。
- 局限:只用固定数据集,无法探索策略自己生成的新样本;偏好数据有偏时会被放大;β 过小时模型几乎学不动,过大时输出退化。
- 变体:IPO 解决 DPO 在偏好确定性高时的过拟合,KTO 只需要「好/坏」标签而不需要成对,ORPO 把 SFT 和偏好优化合成一步。
DeepSeek-R1 的训练流程是什么?GRPO 和 PPO 的区别?
专家一句话回答: 先用纯 RL(GRPO + 规则可验证奖励)让模型自己长出长链推理,再冷启动 SFT + 拒绝采样精修。GRPO 去掉了价值网络,用同一问题的多个采样结果的组内均值作为基线来算优势。
展开:
- R1-Zero:不做 SFT,直接在基座上用 GRPO 训练数学/代码这类有标准答案的任务,奖励只看答案对不对和格式是否合规,模型自发出现反思、验算等长链行为。
- 问题:可读性差、中英混杂。于是加冷启动数据做 SFT,再做 RL,最后用拒绝采样构造高质量数据微调。
- GRPO:对每个问题采样 G 个回答,
A_i = (r_i − mean(r)) / std(r),用组内相对优势代替 critic。省掉一个和策略同规模的价值模型。 - 奖励设计:规则奖励(答案匹配、代码单测通过)没有奖励 hacking 空间;若用 RM 做奖励,必须防刷分。
- 和 PPO 的差别:PPO 需要学习 value function 做 baseline,GRPO 用组内统计量,显存省一半、实现简单,但采样成本高(每题要采多次)。