OneRec

设定：总视频数 $|\mathcal{V}|=6$，每层 codebook 大小 $K=3$，层数 $L=2$，则 $w = 6/3 = 2$（每个 cluster 精确包含 2 个视频）。

假设 6 个视频的 embedding（1 维，便于可视化）：

• 视频 A: 0.1  |  视频 B: 0.15  |  视频 C: 0.5  |  视频 D: 0.55  |  视频 E: 0.9  |  视频 F: 0.95

第一层均衡 K-Means（$K=3$，$w=2$）：
初始化 3 个 cluster 中心，假设收敛后：
Cluster 0 中心 ≈ 0.125，Cluster 1 中心 ≈ 0.525，Cluster 2 中心 ≈ 0.925
按均衡约束分配（每个 cluster 精确 2 个视频）：

• Cluster 0 ← {视频 A(0.1), 视频 B(0.15)}（最近 0.125，且恰好 2 个）
• Cluster 1 ← {视频 C(0.5), 视频 D(0.55)}（最近 0.525）
• Cluster 2 ← {视频 E(0.9), 视频 F(0.95)}（最近 0.925）

→ 第一层 SID token（$s_i^1$）：A→0, B→0, C→1, D→1, E→2, F→2

计算第一层残差（$\mathbf{r}_i^2 = \mathbf{r}_i^1 - \mathbf{c}_{s_i^1}^1$）：

• 视频 A 残差：0.1 − 0.125 = −0.025
• 视频 B 残差：0.15 − 0.125 = +0.025
• 视频 C 残差：0.5 − 0.525 = −0.025
• 视频 D 残差：0.55 − 0.525 = +0.025
• 视频 E 残差：0.9 − 0.925 = −0.025
• 视频 F 残差：0.95 − 0.925 = +0.025

第二层均衡 K-Means 作用在残差上（$K=3$，$w=2$）：
残差只有 ±0.025 两种，cluster 大小均衡后：

• Cluster 0（负残差）← {视频 A, 视频 C, 视频 E}，但 $w=2$，所以只能取 2 个！
• 这里体现均衡约束的关键：普通 K-Means 会把 A/C/E 都分到同一个 cluster，而均衡 K-Means 强制每个 cluster ≤ 2 个，会把第 3 个负残差视频分到其他 cluster
• 假设最终：Cluster 0 ← {A, C}，Cluster 1 ← {E, B}，Cluster 2 ← {D, F}

→ 第二层 SID token（$s_i^2$）：A→0, C→0, E→1, B→1, D→2, F→2

最终 2 层 SID：

• 视频 A：(0, 0)  |  视频 B：(0, 1)  |  视频 C：(1, 0)
• 视频 D：(1, 2)  |  视频 E：(2, 1)  |  视频 F：(2, 2)

对比普通 RQ-VAE 沙漏现象：如果不加均衡约束，极端情况下所有视频第一层都分到同一个大 cluster（比如都在 embedding 空间中某个高密度区域），导致 $s_i^1$ 对所有视频都是同一个数字，失去区分能力。均衡约束强制每个 cluster 只有 $w$ 个视频，保证 ID 空间被充分利用。

两者训练代码对比（Encoder-Decoder 架构）：

# ── Next-Item 训练 ─────────────────────────────────────────
# target: 下一个视频的 SID，shape [3]，例如 [9, 3, 1]

enc_out        = encoder(H_u)            # 用户历史，只跑一次
decoder_input  = [BOS, 9, 3]            # 长度 3，去掉最后一个 token
decoder_target = [9, 3, 1]              # 长度 3，去掉开头 BOS

logits = decoder(decoder_input, enc_out) # shape [3, vocab_size]
loss   = cross_entropy(logits, decoder_target)
# ↑ loss 只覆盖 3 个 token（1 个视频）


# ── Session-wise 训练 ──────────────────────────────────────
# target: 完整 5 个视频 session，形式化为带 BOS 分隔的序列

enc_out        = encoder(H_u)            # 完全一样，只跑一次
target_seq     = [BOS,9,3,1, BOS,4,5,4, BOS,6,1,5, BOS,2,7,2, BOS,9,1,3]  # 长度 20
decoder_input  = target_seq[:-1]         # 长度 19
decoder_target = target_seq[1:]          # 长度 19

logits = decoder(decoder_input, enc_out) # shape [19, vocab_size]
loss   = cross_entropy(logits, decoder_target)
# ↑ loss 覆盖 19 个 token（5 个视频）
          

结论一：训练方式完全相同，encoder 调用一模一样，decoder 内部也是标准 causal mask teacher forcing，唯一区别是 decoder_input 的长度（3 vs 19），即 loss 覆盖的 token 数不同。

结论二：为什么 Session-wise 能感知完整 session？
不是因为 Encoder，而是因为 5 个视频的所有 token 都在同一个 decoder_input 序列里。Decoder 的 causal self-attention 在生成视频3的 token 时，天然能"看到"视频1和视频2已经生成了什么——这是 Transformer 自回归的固有能力，与 Encoder 无关。Encoder 只负责处理用户历史 $H_u$，对 session 内部的感知没有贡献。

结论三：Next-Item 推理时的额外问题（Encoder-Decoder 架构下被放大）
推理时 Next-Item 需要循环 5 次：每次生成 1 个视频 → 把它加入 $H_u$ 重新跑 Encoder → 再生成下一个。这导致两个问题：

• Exposure Bias：训练时 decoder_input 始终是真实视频 SID，推理时却要把模型自己生成的视频加入历史——这个模式训练中从未出现过，误差逐步累积
• 推理代价高：需要调用 5 次 Encoder forward，而 Session-wise 只需 1 次

如果把两者都改成纯 Decoder（GPT 风格，把历史和目标拼成一条序列），则 Next-Item 推理时也不需要反馈进 Encoder，两者推理行为等价，唯一区别只剩"训练时 loss 覆盖多少个 token"。 这说明 Next-Item 的额外劣势本质上是 Encoder-Decoder 架构下"训练时序列短、推理时要迭代循环 Encoder"这一不一致带来的。

我们用 $R(\bm{u}, \mathcal{S})$ 表示奖励模型，它负责为不同用户选择偏好数据。其中，输出 $r$ 表示用户 $u$（通常由用户行为表示）对 session $\mathcal{S}=\{\bm{v}_1, \bm{v}_2, \ldots, \bm{v}_m\}$ 的偏好奖励值。

为了使 RM 具备对 session 进行排序的能力，我们首先对 session $\mathcal{S}$ 中每个 item $\bm{v}_i$ 提取 target-aware 表示 $\bm{e}_i = \bm{v}_i \odot \bm{u}$，其中 $\odot$ 表示 target-aware 操作（例如对用户行为做 target attention）。由此得到 session $\mathcal{S}$ 的 target-aware 表示序列 $\bm{h} = \{\bm{e}_1, \bm{e}_2, \cdots, \bm{e}_m\}$。

接着，session 内各 item 通过 self-attention 层相互交互，融合不同 item 之间的必要信息：

然后，我们使用不同的 tower 对多目标奖励进行预测，RM 使用大量推荐数据进行预训练：

在得到每个 session 的所有预测奖励 $\hat{r}^{swt}, \ldots$ 以及真实标签（ground-truth labels）$y^{swt}, \ldots$ 之后，我们直接最小化二值交叉熵损失来训练 RM：

补充说明：论文未具体说明 ground-truth label 的构造方式（如 swt 是绝对时长还是归一化比例），仅说"使用大量推荐数据预训练 + binary cross-entropy loss"。RM 是 session 级别打分，而非 point-wise 对单个视频打分——通过 self-attention 让 session 内 5 个视频互相感知后 Sum 池化得到整体表示，能捕捉单视频排序做不到的多样性/连贯性信息。

OneRec 用 Beam Search 为某个用户生成了 3 个不同的候选 session：

Session A：[搞笑段子①, 搞笑段子②, 搞笑段子③, 搞笑段子④, 搞笑段子⑤] → 主题重复，用户可能看了前 2 个就滑走。Reward Model 预测：swt=0.12, ltr=0.05 → 综合分低。

Session B：[搞笑段子①, 科技评测①, 美食探店①, 搞笑段子②, 健身教程①] → 多样但用户兴趣匹配度参差不齐。Reward Model 预测：swt=0.19, ltr=0.09 → 综合分中等。

Session C：[搞笑段子①, 搞笑段子②, 科技评测①, 美食探店①, 搞笑段子③] → 主题连贯 + 适度多样。Reward Model 预测：swt=0.22, ltr=0.12 → 综合分最高。

IPA 选择 Session C 为 chosen，Session A 为 rejected，构成 DPO 训练的偏好对。

这里的“DPO 样本”不是像传统监督学习那样，提前放在离线数据集里的固定样本，而是 IPA 训练过程中由当前模型在线生成 的偏好对：

• 先给定一个用户历史 $H_u$
• 当前模型 $\mathcal{M}_t$ 用 Beam Search 生成 $N$ 个候选 session
• RM 给这 $N$ 个候选打分
• 最高分作为 chosen $S^w_u$，最低分作为 rejected $S^l_u$

于是得到一个在线构造的偏好对 $(H_u, S^w_u, S^l_u)$，再用于计算 $\mathcal{L}_{\text{DPO}}$。因此，DPO 数据不是“事先标好的训练集”，而是“训练过程中当前模型自己生成、RM 再筛出来的 pair”。

注意：论文确认了进入 DPO 分支时总损失写作 $\mathcal{L}_{\text{NTP}} + \lambda \mathcal{L}_{\text{DPO}}$，但没有展开说明这个分支里 $\mathcal{L}_{\text{NTP}}$ 的监督对象具体是哪条序列，因此这里不再额外假设实现细节。

第 1 轮：模型质量较弱，Beam Search 生成的最优 session 也只能打 0.22 分（勉强好），rejected 打 0.08 分（明显差）。DPO 能学到一些偏好信号，但 chosen session 本身不够好。

第 2 轮（用第 1 轮模型）：模型稍强，现在 Beam Search 的最优 session 能打 0.28 分，rejected 还是 0.09 分。DPO 能从更高质量的 chosen 学习更强的偏好信号。

第 3 轮：最优 session 打 0.31 分……如此迭代，每轮的"自我生成的 hard negative"都是当前模型能力边界上的挑战性样本，比一次性用固定负样本训练效果好得多——这就是"自我改进"的本质。

假设某用户最近看过的历史是：[搞笑A, 搞笑B, 科技C, 美食D, 搞笑E, 健身F, ...]。

• Step 1：Encoder 读历史
  系统先把这些历史视频转成语义 ID token 序列，Encoder 对整段历史做编码，得到用户当前兴趣状态的表示。
• Step 2：Decoder 生成 session
  Decoder 从 [BOS] 开始，自回归生成一整屏推荐的 SID 序列，比如：
  [BOS, a9, b3, c1, BOS, a4, b5, c4, BOS, a6, b1, c5, BOS, a2, b7, c2, BOS, a9, b1, c3]
• Step 3：Beam Search 选最优序列
  在线推理不是只保留一条贪心路径，而是保留 beam size = 128 条候选路径，在 SID 空间中比较哪条完整 session 概率最高。
• Step 4：SID → 视频
  最终把生成出的 5 组 SID 映射回真实视频，得到这一屏真正展示给用户的 5 个视频。

这就是 OneRec 在线 serving 的本质：用户历史 → 生成语义 ID 列表 → 映射回视频 → 直接展示。