大模型完整训练流水线：预训练 → SFT → RLHF 深度解析

大模型从随机初始化到能用的 AI 助手，要经历四个阶段。每个阶段解决不同的问题，缺一不可。

1.1 预训练在优化什么——「下一个词预测」

预训练的训练目标极其简单：给定前面的文字，预测下一个词（token）。这叫自回归语言模型（Autoregressive Language Model），对应损失函数是：

1.2 预训练得到了什么——Base Model

预训练结束后，得到的叫 Base Model（基础模型）。它的特点：

1.3 预训练的局限——为什么还需要 SFT

2.1 SFT 到底在做什么——从数据到参数更新的完整过程

SFT（Supervised Fine-Tuning）本质上是一个普通的监督学习，但有几个关键细节决定了它的效果。我们从头到尾完整走一遍：

2.2 Step 1&2：数据格式——ChatML 模板详解

SFT 的原始数据是一批 (prompt, response) 对，比如：

喂给模型之前，必须先套上对话模板（Chat Template），把数据整理成模型能理解的格式。以 ChatML 格式（OpenAI、Qwen 等使用）为例：

# ─────────────────────────────────────────────────────────────
# 送入模型的完整 token 序列（已经过 tokenizer 编码）
# 每一行对应一段原始文本，右边注释说明 loss_mask 状态
# ─────────────────────────────────────────────────────────────
<|im_start|>system\n
你是一个有帮助的 AI 助手。<|im_end|>\n        ← loss_mask = 0，不计算 loss

<|im_start|>user\n
请用简单语言解释什么是递归<|im_end|>\n     ← loss_mask = 0，不计算 loss

<|im_start|>assistant\n
递归就像一面镜子对着另一面镜子，\n        ← loss_mask = 1，计算 loss ✓
你能看到无限层叠的反射。...<|im_end|>\n  ← loss_mask = 1，计算 loss ✓

2.3 Step 3&4：Loss 函数——只计算 response 的 Cross-Entropy

设 response 部分共有 $T$ 个 token，SFT 的 loss 就是对这 $T$ 个位置做 next-token prediction 的交叉熵：

2.4 Step 5：参数更新——全量微调 vs LoRA

Base Model 通常有 7B～405B 参数。SFT 时更新参数有两种策略：

2.5 多轮对话的 SFT 处理

实际场景中 SFT 数据往往是多轮对话。多轮对话的 loss mask 有两种策略：

# 多轮对话的完整 token 序列示例（assistant 回合都计算 loss）
<|im_start|>system\n你是助手。<|im_end|>\n              ← mask
<|im_start|>user\n你好<|im_end|>\n                   ← mask
<|im_start|>assistant\n你好！有什么可以帮你？<|im_end|>\n  ← loss ✓
<|im_start|>user\n解释递归<|im_end|>\n               ← mask
<|im_start|>assistant\n递归是...<|im_end|>\n         ← loss ✓

2.6 SFT 数据质量——「垃圾进，垃圾出」的典型案例

SFT 的学习信号完全来自人类标注，标注质量决定了模型上限。

InstructGPT 的著名结论：13,000 条高质量数据训练的 1.3B 模型，人类偏好胜过没有 SFT 的 175B GPT-3。数据质量 >> 数据量 >> 模型大小。

2.7 SFT 的根本局限——为什么还需要 RLHF

3.1 为什么需要奖励模型——人类实时打分太贵

有了 SFT 模型后，我们知道要用强化学习让模型继续提升。RL 需要一个「奖励信号」——模型生成了一段回答，需要有人或系统告诉它这个回答好不好、好多少分。

最理想的做法是：模型每次生成回答，立刻让人类给个分数。但这有根本性的问题：

3.2 奖励模型如何训练——从「排序」中学打分

关键洞察：让人类说「哪个回答更好」比让人类说「这个回答打几分」要容易得多、一致性更高。

3.3 奖励模型的结构细节

class RewardModel(nn.Module):
    def __init__(self, lm_backbone):
        self.lm = lm_backbone  # SFT 模型
        self.score_head = nn.Linear(
            lm.hidden_size, 1)  # 打分头

    def forward(self, input_ids):
        hidden = self.lm(input_ids)
        # 取最后一个 token 的隐状态
        last = hidden[:, -1, :]
        return self.score_head(last)  # 输出一个分数

4.1 为什么需要 RL——SFT 无法做的事

有了奖励模型后，我们有了一个「自动打分机」。现在核心问题是：如何用这个分数来提升语言模型？

从数学角度，RLHF 的目标是：

4.2 PPO 完整训练流程——一次迭代发生了什么

PPO（Proximal Policy Optimization）是目前 RLHF 中最常用的 RL 算法，核心思想是：每次更新幅度不能太大，防止训练崩溃。

一次 PPO 迭代（对一个 prompt $x$）的完整步骤：

4.3 KL 惩罚——系在 SFT 模型上的「安全绳」

KL 散度惩罚是 RLHF 中最重要的稳定性保障机制。

4.4 RLHF-PPO 需要四个模型同时运行

这是 PPO 最大的工程挑战——需要同时维护和运行四个模型：

DPO（Direct Preference Optimization，直接偏好优化，Stanford 2023）的出发点很简单：能不能不用 RL，直接从偏好数据训练语言模型？

DPO 的核心数学洞察

数学上可以证明：在 KL 约束下的最优策略和奖励函数之间存在一个直接的解析关系：

这意味着奖励函数可以直接用策略的对数概率比来表示。把这个关系代入偏好模型，化简后得到 DPO 损失：

直觉：让好回答 $y_w$ 相对于参考模型的概率提升，比坏回答 $y_l$ 的提升更大。

DPO vs RLHF-PPO 对比

GRPO（Group Relative Policy Optimization，组相对策略优化）是 DeepSeek 团队提出的算法，是 DeepSeek-R1 在数学推理上超越 GPT-4o 的核心技术。

GRPO 解决了 PPO 的什么问题

PPO 需要 Critic（价值网络）来估计每一步的期望回报。Critic 和 Actor 一样大（也是一个 7B/70B 模型），成本极高，而且估计误差会导致训练不稳定。

GRPO 的观察：对于数学题、代码等有客观答案的任务，可以不用 Critic！让模型对同一道题生成多个答案，用组内的相对好坏来计算优势：

SFT 阶段的工程细节

RLHF 阶段的工程细节

四阶段的必要性——每一步都不可少

RLHF 和 DPO/GRPO 的关系一图总结

大模型训练流水线的每一步，本质上都在回答同一个问题：「如何给模型一个学习信号，让它朝着我们想要的方向移动，同时不破坏它已有的能力？」

预训练用「预测下一个词」作为信号；SFT 用「标注员的示例」；RLHF 用「人类对好坏的判断」；GRPO 用「答案是否正确的规则」。信号的来源越精准、越可扩展，模型就能进化得越快、越好。

学习路线建议