OneRec-V2 Technical Report

OneRec-V1 已经完成从多级漏斗到端到端生成推荐的范式转换，并在快手主 Feed 承接了 25% 的流量。但 V1 存在两个根本性瓶颈，V2 的全部工作都是围绕解决这两个问题展开的。

2.1 设计原则：为什么不直接用 Decoder-Only？

推荐系统中一条训练样本由"历史序列（Context）+ 目标 item（Target）"构成，只对 Target 计算 Loss。标准 Naive Decoder-Only 会把 Context 和 Target 拼接成一个序列，整体通过 Self-Attention——这样 Context 的计算量和 Decoder-Only 的 Encoder-Decoder 一样多，效率并无提升（见下表）。

2.2 Context Processor（异构用户特征统一化）

Step 0：三路特征进来是啥样的

以 1B 模型为例（$d_{model}=1792, N_{head}=14, d_{head}=128$）：

三路 concat 成一条序列：

Context = [static_0, static_1, ..., short_0, ..., long_0, ...]
形状：(N_s + T_short + T_long) × d_model
     = (4 + 50 + 458) × 1792
     = 512 × 1792

Step 1：维度设计——为什么要用 $d_{\text{context}}$ 公式

Context 最终要变成 Cross-Attention 可以用的 K/V，而 Cross-Attention 的 K/V 维度必须匹配 Q 的 head 结构。公式：

每个 1792 维的 context 向量，沿特征维度被切分成 $S_{kv} \times L_{kv} = 1$ 份（因为所有层共享同一组 KV），每份形状为 $G_{kv} \times d_{head} = 14 \times 128$。

Step 2：RMSNorm 产出最终 K/V

# 默认配置 L_kv=1, S_kv=1 时：
k_0 = RMSNorm(C_0)            # 512 × 14 × 128
v_0 = k_0                     # S_kv=1 → K/V 共享同一表示，不需要额外投影

# 如果 S_kv=2（K/V 独立）：
k_0 = RMSNorm_k(C_0 的前半)    # 512 × 14 × 128
v_0 = RMSNorm_v(C_0 的后半)    # 512 × 14 × 128

# 如果 L_kv=3（每 6 层共享一组 KV）：
# Context 沿特征维度切成 3 份 → C_0, C_1, C_2
# Layer 0-5 用 k_0/v_0, Layer 6-11 用 k_1/v_1, Layer 12-17 用 k_2/v_2

Step 3：各层如何使用这组 KV

Context → Encoder（18层 Self-Attention）→ memory
每个 Decoder Block：
  memory × W_K → K      ← 每层独立投影
  memory × W_V → V      ← 每层独立投影
  target × W_Q → Q
  Attention(Q, K, V)

↑ Encoder 消耗 ~97% FLOPs
↑ 每层还有 W_K/W_V 投影，额外参数+计算

Context → Linear + RMSNorm → KV（一次，极轻量）
每个 Decoder Block：
  直接用预计算的 K/V   ← 无投影，18层共享
  target × W_Q → Q
  Attention(Q, K, V)

↑ Context 完全不做 Self-Attention
↑ K/V 预计算一次，省掉 18× W_K/W_V

$L_{kv}$ 和 $S_{kv}$ 的消融直觉

2.3 Lazy Decoder Block 结构

每个 Lazy Decoder Block 包含三个子模块，按以下顺序执行：

2.4 Scaling Law 验证

首次在生成式推荐系统验证 Scaling Law，实验覆盖 0.1B 到 8B Dense 模型及 4B MoE 模型。拟合结果：

V2 的后训练分两阶段：① SFT（流式曝光数据，与预训练同 Loss）保持实时兴趣捕捉并防止偏离；② RL 基于真实用户反馈，取代 V1 的 Reward Model 方案。

3.1 Duration-Aware Reward Shaping

视频观看时长（play time）是最密集的反馈信号，但有时长偏差：长视频天然有更高绝对观看时长，简单用 play time 作 Reward 会让模型偏向推长视频。

这样同一用户对一个 3 分钟视频完整观看，比对一个 30 秒视频只看 5 秒，reward 更高——体现了真实满意度而非绝对时长。

3.2 GBPO：Gradient-Bounded Policy Optimization

3.2.1 两类训练样本

OneRec 在 RL 阶段使用的曝光样本来自两个源：

3.2.2 ratio=1 引发的两个连锁问题

问题 1：clipping 失效。GRPO/PPO 的损失为 $\min(r \cdot A,\ \text{clip}(r, 1-\epsilon, 1+\epsilon) \cdot A)$，当 $r \equiv 1$ 时 clip 永不触发，对这 75% 样本毫无保护。

问题 2：负样本梯度爆炸。把 $\pi_{old} = sg(\pi_\theta)$ 代入并求导：

3.2.3 关键观察：BCE 梯度天然有界

对二元分类的 BCE Loss，单个负样本（$y=0$）的梯度为：

BCE 的"自洽性"：模型越确定一个样本是负的，梯度越小（已经学好了不再用力）；而 RL 反过来，越确定越用力——这是 RL 不稳定的数学根源。

3.2.4 GBPO 的设计：用 max() 把 RL 梯度对齐到 BCE

为什么这个 max() 恰好等价于 BCE 梯度？对 ratio=1 的传统 pipeline 样本（$\pi_{old} = \pi_\theta$），代入并讨论 $\pi_\theta < 0.5$ 时：

正样本同理：$\max(\pi_{old}, \pi_\theta)$ 在 $\pi_\theta$ 已经很大时取 $\pi_\theta$，对应 BCE 正样本梯度系数 $1/p_\theta$，避免"模型已经很自信"时 ratio 变大引起更新震荡。

3.2.5 GBPO vs GRPO/ECPO 三方对比

3.2.6 实验验证（论文图 9）

3.3 Reward Model vs 真实用户反馈 vs Hybrid

关键发现：Reward Model 更擅长提升互动指标（Like/Follow/Comment），User Feedback 更擅长提升 App 停留时长（时长类指标）。两者方向互补，Hybrid 版本兼顾了两者，但不能简单叠加（有重叠）。

最终 V2 上线规格：1B 参数、context length 3000、Beam Size 512，L20 GPU 推理，时延 36ms，MFU 62%。使用 5% 流量实验组，观测一周。

特别说明：论文额外报告了"关闭缓存"（Caching Disabled）的 1% 流量实验，交互指标（Like/Follow/Comment/Forward）在两个平台的涨幅达到 9.6%–29.2%，但同时观察到冷启动视频曝光减少（44.7% / 36.7%）和 cluster density 上升，说明高强度 RL 对生态系统存在影响，这是未来需要关注的方向。

核心洞察

• 计算效率是 Scaling 的前提：V1 的 Encoder-Decoder 架构虽然合理解决了"历史序列 vs 目标 item"异构问题，但 97% FLOPs 浪费在不参与 Loss 的 Context 编码上，根本上限制了模型规模上限。Lazy Decoder 彻底解决了这个矛盾——把 Context 降级为"静态 KV 条件"，让 Decoder 专注于生成决策。
• Scaling Law 在推荐系统成立：这是该领域首次系统验证 Chinchilla 风格的 Scaling Law 曲线，从 0.1B 到 8B 平滑下降，为未来更大规模的生成式推荐提供了理论支撑和工程路线图。
• On-Policy 数据是 RL 自我进化的关键：V1 因覆盖率有限，无法使用自身生成的样本训练。V2 借助 25% 流量覆盖，用 OneRec 自身曝光样本做 on-policy RL，Video View 等全面指标均转正，体现了自我迭代的复利效应。
• Reward 偏好决定优化方向：Reward Model 更偏互动指标，真实时长 Reward 更偏停留时长，Hybrid 策略能在两者之间取得平衡而不加剧 seesaw 效应。选择 Reward 定义即选择模型优化的"北极星指标"。
• GBPO 解决了 ratio=1 时的梯度稳定问题：传统 pipeline 样本因无法获取老策略概率，$\pi_{old}=sg(\pi_\theta)$，ratio 恒为 1，GRPO/ECPO 等 clipping 方法无法截断，负样本梯度爆炸。GBPO 以 BCE 梯度为动态上界，是该问题的优雅解法。

局限与未来方向