On-Policy Distillation（OPD）完全指南

过去一年，On-Policy Distillation（OPD）正在成为大模型后训练的事实新范式。从 Qwen3 用它高效训练轻量模型，到 GLM-5 用它修复多阶段 RL 后的能力遗忘，各家技术报告都指向同一趋势：后训练不再只依赖昂贵的 RL 探索，而是越来越重视把已有强模型的能力稳定迁移到目标模型。

1.1 解决了什么问题：Off-Policy 蒸馏的根本缺陷

传统的知识蒸馏（Knowledge Distillation）是 Off-Policy 的：先让 teacher 生成一批轨迹，学生在这批轨迹上做 SFT（最大化 teacher 输出的对数似然）。这有两个根本问题：

1.2 算法核心流程

1.3 OPD vs Off-Policy 蒸馏（传统 KD）

1.4 OPD vs On-Policy RL（PPO / GRPO）

OPD 和 RL 都是 on-policy 的，因此都具备抗遗忘的优势。但两者在监督信号上有本质区别：

1.5 Logit 空间整合 vs 参数空间整合

OPD 的一个更深层的方法论意义在于：它提供了一种在 logit 空间整合知识的方式，区别于传统的参数空间操作。

§2 On-Policy Cross-Stage Distillation：防止训了一路忘了一路

1.1 问题背景：多阶段 RL 的灾难性遗忘

GLM-5 的 Post-Training 流水线是 SFT → Reasoning RL → Agentic RL → General RL 四段串联。每个阶段针对不同目标优化，但这也带来了一个严峻问题：

1.2 为什么 RL 天然抗遗忘？三个视角

1.3 On-Policy Cross-Stage Distillation 的设计

GLM-5 选择了一种"事后补救"方案：在所有 RL 阶段结束后，专门增加一个 On-Policy Cross-Stage Distillation（跨阶段在线蒸馏） 阶段，系统性地"复习"各阶段的能力。

① Teacher 的构成

GLM-5 论文原文："the final checkpoints from the preceding training stages serve as teacher models, where the training prompts are sampled from the corresponding teachers' RL training sets and mixed in appropriate proportions."

② 核心算法流程（竖向时间线）

1.4 具体例子：Agentic RL 后数学能力下降的修复

1.5 为什么不直接用 Off-Policy 蒸馏（直接让 Student 模仿 Teacher 输出）？

1.6 三类持续学习方法横向对比

在 3.5.2 节中，我们提到SFT ≈ Forward KL（Mode-Covering）而RL ≈ Reverse KL（Mode-Seeking），这直接决定了两种方法的遗忘风险差异。本节深入解释这一关键概念。

2.1 数学定义：两个方向不是对称的

2.2 直观例子：双峰分布的拟合

假设目标分布 P 是双峰高斯：

我们用一个单峰高斯 $Q(x) = \mathcal{N}(\mu, \sigma^2)$ 去逼近 P。参数 μ 和 σ² 怎么选？

P(x)：目标分布（双峰）
    ▲
    │    ▓▓▓          ▓▓▓
    │   ▓▓▓▓▓        ▓▓▓▓▓
    │  ▓▓▓▓▓▓▓      ▓▓▓▓▓▓▓
    └─────────────────────────→ x
        -3    0        3

─────────────────────────────────────────

Forward KL 最优的 Q (μ≈0, σ变大)：
    ▲
    │         ▓▓▓▓▓▓▓▓▓▓▓
    │        ▓▓▓▓▓▓▓▓▓▓▓▓▓
    │       ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓
    └─────────────────────────→ x
         -3    0        3
    → 覆盖两个峰，但每个都不精准

─────────────────────────────────────────

Reverse KL 最优的 Q (μ≈-3 或 μ≈3)：
    ▲
    │    ▓▓▓                或                ▓▓▓
    │   ▓▓▓▓▓                              ▓▓▓▓▓
    │  ▓▓▓▓▓▓▓                            ▓▓▓▓▓▓▓
    └─────────────────────────→ x
        -3    0        3          -3    0        3
    → 只抓一个峰，但拟合精准
          

2.3 为什么 Pre-train / SFT / 传统蒸馏是 Forward KL？

这些方法的核心目标是最大化对数似然（MLE）：

把求和权重明确写出来：

2.4 为什么 OPD / RL / DPO 是 Reverse KL？

最直接的方式：对比 SFT 和 OPD/RL 的优化目标，看谁在控制梯度的"权重"。

2.5 具体例子：两种训练方法的"性格差异"

假设训练数据中，一个问题有 5 种合理回答：

2.6 数学推导：为什么会有这种行为差异

展开 Forward KL 并分析优化目标：

优化时只看第二项：

展开 Reverse KL 并分析优化目标：

过去一年，On-Policy Distillation 已从边缘技术演变为事实上的后训练新范式。Qwen3、GLM-5、MiMo-V2、DeepSeek V4 四家技术报告都指向同一趋势：后训练不再只依赖昂贵的 RL 探索，而是越来越重视把已有强模型的能力稳定迁移到目标模型中。

3.0 四家实现横向总览

3.1 Qwen3：效率革命，OPD 最早的系统性应用

Two-Stage Strong-to-Weak Distillation

3.2 GLM-5：修复多阶段 RL 的灾难性遗忘

GLM-5 的解法（§1 详细介绍）：将 OPD 作为最终收尾阶段，把 Reasoning RL 和 General RL 两个阶段的最终 checkpoint 同时作为教师。由于教师是同一模型的前序版本，架构和词表完全对齐，logit 信号直接可用。

3.3 MiMo-V2-Flash：多专家能力整合，解决 See-Saw Effect

MiMo 三阶段方案

MOPD Advantage 公式（Eq. 9）

其中 $\pi_{\text{domain}_x}$ 是根据提示所属领域动态选取的教师策略。KL 项给出 dense 的 per-token 方向信号；ORM（Outcome Reward Model）项保留与可验证结果的端到端对齐；两者以系数 $\alpha$ 权衡。

3.4 DeepSeek V4：万亿参数专家知识的 Logit-Space 压缩

多专家加权 OPD 目标

系统在任何给定 prompt 上，自动路由到对应领域的专家获取监督信号，以 per-expert 权重 $w_i$ 加权贡献。

三层工程支持（Full-Vocabulary Logit Distillation）

3.5 关键设计维度对比

① 纯蒸馏 vs OPD + ORM 混合

② 教师选取策略对比

OPD 在不到一年内从边缘技术变为主流范式，接下来的演化方向已经初现轮廓。

4.1 Full-Vocabulary KL 将成为标配

DeepSeek V4 已经证明全词表 KL 在理论和实践上都优于 token-level 近似（后者高方差会掩盖各专家的细微差异）。随着 hidden state 缓存和专用 kernel 的开源化（DeepSeek V4 已开源 TileLang），其他团队复制这套工程方案的成本大幅降低。

4.2 OPD + PRM：从结果监督到过程监督

MiMo 的 MOPD 证明 KL + ORM（序列级结果奖励）的组合优于单独任一方案。下一步自然演化是将 ORM 替换为 Process Reward Model（PRM）——对每个推理步骤而非最终答案打分。

4.3 Iterative Co-Evolution：自强化的师生螺旋

MiMo 在论文中提出前瞻性路线图：蒸馏产生的学生模型可以重新进入专家 RL 训练阶段，成为更强的下一代教师，再反哺下一代学生——形成自强化循环。

4.4 OPD 与百万 Token 长上下文的张力

DeepSeek V4 和 MiMo 都将百万 token 长上下文作为核心能力目标，但 OPD 面临一个显著工程困难：

4.5 Inference-Time Distillation：推理时的动态教师

目前的 OPD 全部发生在训练阶段。一个更激进的方向是 inference-time distillation：