GFlowGR

GFlowGR 将生成式推荐（GR）形式化为多步序列生成问题，用 GFlowNet 的 flow-matching 机制提供 Token 级别的监督信号（SFT/DPO/GRPO 只做 Item 级别），通过轨迹采样器（4 种策略）+ 多信号奖励模型（交互信号 + CM 预估 + Token 相似度）+ DB/TB 双 Loss 变体，在淘宝全量广告 1 亿+用户 A/B 测试中实现总营收 +0.43%、非首页搜索 +1.11%，训练成本仅为 SFT 的 2.1×。

生成式推荐（GR）的核心范式

生成式推荐将推荐任务建模为自回归序列生成问题。其框架由三个核心组件构成：

例如，给定用户历史交互 $\{\langle a_3\rangle\langle b_1\rangle\langle c_{15}\rangle, \langle a_1\rangle\langle b_4\rangle\langle c_2\rangle\}$，模型逐步生成 $\langle a_2\rangle \to \langle a_2\rangle\langle b_4\rangle \to \langle a_2\rangle\langle b_4\rangle\langle c_{10}\rangle$，最终解码为一个蓝色 polo 衬衫作为推荐结果。

标准 SFT 训练目标

SFT 的训练目标本质上是 next-token prediction loss——让模型学会在给定用户历史和已生成 prefix 的条件下，正确预测 ground-truth item 的每个 token。这个目标存在两个根本性问题：

• 问题一：只模仿单一 ground truth item。每个训练实例只有一个正样本 item，忽略了用户交互集合中其他有价值的相关 item。实际推荐场景中，一个用户可能同时喜欢多个 item，它们的"价值"也不尽相同（点击 vs 购买 vs 长停留）。
• 问题二：Value-unaware（价值无感知）。SFT 不区分不同 item 的价值差异——一个被购买的商品和一个仅仅浏览的商品，在 SFT 中被同等对待（都是 ground truth），这显然不符合推荐系统的排序目标。

现有微调方法的局限

GFlowNet 的本质与为什么适合 GR

GFlowNet 的核心目标：Generative Flow Networks（GFlowNet）让生成概率正比于奖励：$P(\tau) \propto R(s_L)$。它通过在生成轨迹上的 flow-matching 机制，将终端奖励 $R(s_L)$ 反向传播到每一步 token 生成——这正是 Token 级监督的自然载体。

GR 中 GFlowNet 的简化优势

在 GR 场景中，GFlowNet 的后向概率 $P_B$ 非常简单：

2.1 整体框架

GFlowGR 的核心思想：将 GR 的 token 序列生成视为 GFlowNet 的轨迹 $\tau = s_0 \to s_1 \to \ldots \to s_L$，其中 $s_l$ 是第 $l$ 个 token。通过 GFlowNet 的 flow-matching 约束，让每个 token 的生成概率 $P_F(s_{l+1} \mid s_l)$ 与最终的奖励 $R(s_L)$ 相关联。

2.2 轨迹采样器（Trajectory Sampler）

轨迹采样器的任务是：对于给定用户-交互对 $(U, v)$，将单一的 ground truth item $v$ 扩展为 $N$ 个 item 的交互集 $\{v_n\}_{n \leq N}$（其中 $v_1 = v$），从而提供更丰富的训练信号。GFlowGR 设计了 4 种轨迹采样策略：

2.3 多信号奖励模型（Multi-Signal Reward Model）

GFlowGR 的奖励模型融合三种信号，解决传统 GFlowNet 奖励模型在推荐场景中的两个关键问题：（1）仅依赖交互信号无法评估未观测 item；（2）给增强样本赋零奖励会加剧曝光偏差。

2.4 DB/TB 双 Loss 变体

由于 GR 中后向概率 $P_B(s_l \mid s_{l+1}) = 1$（前文已解释），GFlowNet 的 DB 和 TB Loss 在 GR 场景下有更简洁的形式：

Detailed Balance（DB）Loss — 步骤级

Trajectory Balance（TB）Loss — 轨迹级

2.5 完整损失函数

GFlowGR 的完整训练损失将 SFT loss 和 GFlowNet loss 结合：

2.6 训练与推理流程（Algorithm 1）

数据集与实验设置

三个公开数据集的数据划分方式：每个用户的最后一个交互 item 作为测试样本，倒数第二个作为验证集，其余作为训练集。评估指标为 Hit Rate（R@5, R@10）和 NDCG（N@5, N@10），每个测试重复 3 次（随机种子 {42, 43, 44}）。

Backbone 模型：TIGER（ pioneering GR 框架）和 LETTER（引入协同 item embedding 和多样性约束的 tokenizer）。Baseline 包括 SFT、GRPO、DPO、S-DPO、SPRec、IPA。

公开数据集主实验（Table 2）

以下展示 Beauty 数据集上 TIGER backbone 的完整结果：

关键实验观察

消融实验（Table 3）

在 TIGER/Beauty 上进行消融，验证每个组件的贡献：

参数敏感性分析

工业部署：淘宝全量广告 A/B 测试

GFlowGR 自 2025 年 5 月起部署到淘宝所有搜索广告平台（淘宝移动端、闲鱼 App、淘宝 Web），服务数亿日活用户，驱动数十亿级年营收。

在线 A/B 测试核心指标

核心亮点

• Token 级监督是 GR 的必然方向：SFT 只模仿、DPO 只比大小，都太粗糙。GFlowNet 提供了一套优雅的 Token 级监督框架——这可能是生成式推荐从"能跑"到"跑得好"的关键一步。同时，GFlowNet 的 $P(\tau) \propto R(s_L)$ 还自带多样性保证（不退化为 argmax），这在推荐场景中尤为重要。
• GFlowNet 与 GR 的天然契合：GR 的自回归生成天然是有向无环图（每个 token 是状态节点），正是 GFlowNet 的标准应用场景。更重要的是，$P_B = 1$ 的简化让实现变得极其轻量——核心设计挑战只剩下两个：构造轨迹和设计奖励。这让 GFlowGR 成为工业可落地的方案。
• CM-based Curriculum 是关键工程创新：随机采样产生大量噪声，on-policy 采样不稳定且计算不可行。用 Click Model 做课程学习——先易后难、逐步提升——是一个实用的工程方案，解决了 GFlowNet 训练中"负样本质量"这个核心难题。
• 多信号奖励的设计哲学：真实交互（$r_a$）最可靠但稀疏，预估信号（$r_c$）密集但有偏，格式信号（$r_{\text{sim}}$）保证合理性。三者互补，构成完整的奖励函数。这种"互补信号融合"思路可以推广到其他 RL-based 微调方案。
• 工业可行性是最大亮点：GRPO 在淘宝场景的计算不可行，而 GFlowGR 仅需 SFT 的 2.1× 成本（可通过 doubling GPU 消除），推理端零额外开销。这是 RL-based GR 微调方案中唯一工业可落地的。

与相关工作的对比

潜在不足与开放问题

• 训练成本 2.1× SFT：虽然可通过 doubling GPU 消除时间差距，但对资源受限的系统仍有开销压力。未来可探索更高效的 flow estimator（如用轻量网络替代全 LLM）。
• $\alpha, \beta$ 需按场景调参：论文默认 $R = r_a + r_c + r_{\text{sim}}$（即 $\alpha=\beta=1$），但不同场景的信号质量差异可能导致最优权重不同。论文未详细讨论权重搜索策略。
• CM 的精度瓶颈：$r_c$ 消融实验贡献略小，原因是"CM 预估精度不如 GR 本身"——这暗示 CM 可能不是最佳的外部预估模型。未来可考虑用 GR 自身的 forward probability 作为 $r_c$ 的替代。
• On-policy 采样的不稳定：论文只在公开数据集上比较了 On-policy，工业部署中未使用。On-policy 的不稳定是否可通过更好的采样策略（如 temperature scheduling）解决？
• 推理效率未讨论：GFlowGR 微调后，推理端完全不变——但这意味着模型参数量不变、推理时间不变。论文没有讨论 GFlowNet 微调是否会让模型在推理时产生更"混乱"的 token 分布（因为训练目标从 argmax 变为按奖励比例分布）。
• 与 TIGER/LETTER 的耦合：GFlowGR 目前在两个 GR backbone 上验证，是否对 tokenizer 设计有依赖？如果 tokenizer 的区分性很差（很多 item 共享同一 prefix），DB loss 可能效果下降。

对我的启发

启发一：将 GR 视为 DAG 上的轨迹优化。GFlowGR 提供了一个很好的视角：将生成式推荐的 token 生成过程视为 DAG 上的轨迹采样，用 flow-matching 约束实现 Token 级精细优化。这个视角可以推广到其他序列生成场景（如多轮对话推荐、多步推理推荐），其中每一步生成都需要独立的、精细的监督信号。

启发二：CM-based Curriculum 的课程学习策略。在推荐系统微调中非常实用——与其用全部数据无差别训练，不如按样本难度分层、从易到难地逐步提升模型能力。这种方法在其他 RL-based 微调方案（DPO/GRPO）中也可以借鉴，特别是在"负样本选择策略"这个关键设计点上。

启发三：推理零开销的设计哲学。GFlowGR 只改训练不改推理——这是工业落地的重要保障。类似思路可以推广：任何训练阶段的改进（不管是 RL-based 还是其他），都应该追求"推理端零额外开销"的目标，否则在工业场景中很难被采纳。

启发四：$P_B = 1$ 的简化对工业部署至关重要。很多 GFlowNet 理论工作在复杂的后向概率设计上投入大量精力，但在 GR 场景中 $P_B = 1$ 的简化让实现变得极其轻量。这提醒我们：在特定应用场景中，理论框架的简化版本可能比"完美"版本更实用。

启发五：多信号奖励融合的普适性。"真实交互 + 预估信号 + 格式约束"的三信号融合思路不仅适用于 GFlowGR，也适用于任何需要从稀疏交互数据中学习的推荐微调方案。特别是 $r_{\text{sim}}$ 的"部分正确性"度量——在 DPO/GRPO 中，rejected sample 如果与 chosen 有一部分匹配，是否也应该获得部分 reward 而不是完全被压制？