大模型 · 共 13 个专题

RLHF、DPO 与推理模型

对齐三阶段、DPO 的取舍、GRPO 与可验证奖励。

3 道题 约 5 分钟 大模型 · 微调与对齐

一张谱系图

SFT(模仿)→ RM + PPO(人类偏好)→ DPO(偏好直接优化)→ RLVR/GRPO(可验证奖励)
Q1

RLHF 的三个阶段分别解决什么问题?

高频

一句话回答: SFT 教会模型「按指令说话」,奖励模型学会「人类更喜欢哪种回答」,PPO 用奖励信号把策略往高偏好方向推,同时用 KL 惩罚防止跑偏。

展开:

  • SFT:监督微调,让模型具备指令遵循的基本格式。
  • RM:用成对偏好数据(chosen / rejected)训练一个打分模型,损失是 Bradley-Terry:-log σ(r_chosen - r_rejected)。
  • PPO:策略生成回答 → 奖励模型打分 → 优势估计 → 策略梯度更新;同时计算与参考模型的 KL 散度作为惩罚项,避免模型为了高分而输出怪异文本。
  • 工程复杂度:同时要跑策略、参考、奖励、价值四个模型,显存和调参成本高,这是 DPO 出现的动机。
#RLHF#PPO
Q2

DPO 相比 RLHF 有什么优势?它的局限是什么?

高频

一句话回答: DPO 把「奖励模型 + PPO」合并成一个分类损失,直接用偏好对优化策略,训练稳定、只需两个模型。局限是离线、依赖数据覆盖度,且容易过度优化。

展开:

  • 损失:-log σ(β·log(π(y_w)/π_ref(y_w)) − β·log(π(y_l)/π_ref(y_l))),本质是让 chosen 相对参考模型的概率上升幅度大于 rejected。
  • β:控制偏离参考模型的程度,常用 0.1,越小越保守。
  • 优势:无需 RM、无需在线采样、实现简单、超参少。
  • 局限:只用固定数据集,无法探索策略自己生成的新样本;偏好数据有偏时会被放大;β 过小时模型几乎学不动,过大时输出退化。
  • 变体:IPO 解决 DPO 在偏好确定性高时的过拟合,KTO 只需要「好/坏」标签而不需要成对,ORPO 把 SFT 和偏好优化合成一步。
#DPO
Q3

DeepSeek-R1 的训练流程是什么?GRPO 和 PPO 的区别?

专家

一句话回答: 先用纯 RL(GRPO + 规则可验证奖励)让模型自己长出长链推理,再冷启动 SFT + 拒绝采样精修。GRPO 去掉了价值网络,用同一问题的多个采样结果的组内均值作为基线来算优势。

展开:

  • R1-Zero:不做 SFT,直接在基座上用 GRPO 训练数学/代码这类有标准答案的任务,奖励只看答案对不对和格式是否合规,模型自发出现反思、验算等长链行为。
  • 问题:可读性差、中英混杂。于是加冷启动数据做 SFT,再做 RL,最后用拒绝采样构造高质量数据微调。
  • GRPO:对每个问题采样 G 个回答,A_i = (r_i − mean(r)) / std(r),用组内相对优势代替 critic。省掉一个和策略同规模的价值模型。
  • 奖励设计:规则奖励(答案匹配、代码单测通过)没有奖励 hacking 空间;若用 RM 做奖励,必须防刷分。
  • 和 PPO 的差别:PPO 需要学习 value function 做 baseline,GRPO 用组内统计量,显存省一半、实现简单,但采样成本高(每题要采多次)。
#GRPO#推理模型