GR4AD：为大规模广告系统量身设计的生成式推荐器

假设广告 $i$ = 「李宁旗舰店的篮球鞋短视频」，输入到 Qwen3-VL-7B 的内容是：

• Video：6 帧画面（球场+球员运球）、ASR="夏天打球，必备这双轻量篮球鞋"、OCR="满 199 减 50"、BGM=hiphop
• Product：标题="李宁䨻轻弹篮球鞋"、价格=¥399、品牌=李宁、行业=运动鞋服
• Advertiser：账号="李宁官方旗舰店"、地域=福建、粉丝=820w、广告价值=高

Step 1 — IT：选中 Prompt Template 2（聚焦品牌+行业），MLLM 生成结构化理解 → 把 hidden state $z_i \in \mathbb{R}^{4096}$ 输出。

Step 2 — CL（Swing）：在历史日志里发现，看过 $i$ 的用户中有 12.3% 在 30 分钟内点击了广告 $j$ = 「安踏跑鞋直播间」 → Swing 分数 0.47，列为正样本对 $(i,j)\in \mathcal{P}_i$。

Step 3 — InfoNCE：同 batch 256 条样本里，把 $z_i^\top z_j$（高）拉大，把 $z_i^\top z_k$（$k$=「某手机广告」、「某美妆广告」）压小。温度 $\tau=0.07$。

训完的效果：在 photo-to-photo recall@1 测试（同款商品的两条不同视频能否互相召回），从 Qwen3-VL-7B 的 0.769 提升到 0.896（Table 2）— 这就是 IT+CL 带来的具体收益。

承接上例，UAE 给出 embedding $z_i \in \mathbb{R}^{4096}$。MGMR 走三步：

Level 1（语义粗粒度，码本 16384）：在 16384 个聚类中心里找最近的，比如落到聚类 #2（簇含义≈「运动+服饰+男性向」）→ $s_1 = 2$，残差 $r_1 = z_i - c_2$。

Level 2（语义中粒度，码本 4096）：把 $r_1$ 再在 4096 个中心里找最近，比如 #1（簇含义≈「篮球/球类专项装备」）→ $s_2 = 1$，残差 $r_2 = r_1 - c'_1$。

Level 3（业务字段 hash，槽位 1024）：注意 — 这里 不再用 K-means。直接 $s_3 = \mathrm{hash}(\text{accountID}=\text{"李宁旗舰店"},\ \text{conversion}=\text{"直播间引流"}) \bmod 1024 = 387$。

最终 UA-SID = (2, 1, 387)。

对比看 MG 的价值：同样视觉特征「篮球鞋」，但「安踏官方店 / 商品成交」的另一条广告 → $s_1=2, s_2=1$ 完全一致（因为画面+品类相同），但 hash 后 $s_3 = 819$ → SID 变成 (2, 1, 819)。
没有 MG 时这两条会被合成同一个 SID，模型完全无法区分两家品牌的转化轨迹；加了 MG 后碰撞率从 85.4% → 18.3%。

承接上例，现在线上来了一个用户请求，要为 ta 召回 ≤512 个广告 SID（每个 SID 是 3 级，如 (2,1,387)）。Decoder 共 9 层。

① Vanilla AR 的算账：

• 第 1 级（s₁）：beam=1，跑 9 层 → 9 次 decoder-layer 计算
• 第 2 级（s₂）：beam 扩到 512，跑 9 层 → 512 × 9 = 4608
• 第 3 级（s₃）：beam=512，跑 9 层 → 4608
• 合计 ≈ 9225 次 decoder-layer 计算，且 9 层必须严格串行（每层依赖 $s_{t-1}$）

② LazyAR（K=6）的算账：

• 前 6 层（不依赖 $s_{t-1}$）：3 个 SID 级一次性并行算完 → 3 × 6 = 18，且可一次 GPU forward 完成
• 后 3 层（AR）：第 1 级 beam=1 → 3 次；第 2 级 beam=512 → 1536；第 3 级 beam=512 → 1536
• 合计 ≈ 18 + 3075 ≈ 3093 次，约 1/3 算力，且前 6 层完全并行

③ 具体到那条「李宁篮球鞋」：

• 第 1 级用 BOS + context（用户最近看了 5 条运动相关视频）跑完整 9 层 → 输出概率最高 5 个：$s_1\in\{2, 7, 11, 3, 18\}$（top-1=2，对应"运动服饰男向"）— 这里 LazyAR 不省，因为最难
• 第 2 级以 $s_1=2$ 为前缀展开 beam=512，对每条 beam，前 6 层结果其实和 $s_1$ 无关 → 直接复用；只有最后 3 层注入 $s_1$ 的 emb 后 AR 计算
• 第 3 级同理，前 6 层再次复用，最后 3 层做 hash bucket 预测

→ 实测 QPS +117%，revenue 仅从 +4.32% 跌到 +4.28%（≈无损）。对比 DeepSeek-MTP 同等 QPS 下跌到 +3.98%。

用户 U 看完一个 30 元蛋白粉广告后，购买了我们的李宁篮球鞋（target SID = (2, 1, 387)，eCPM=12，桶号 v=8/10）。同时另一条样本是 U 仅点击了某条手游广告（SID=(18,5,71)，eCPM=0.8，v=1/10）。

① $\mathcal{L}_{SID}$（标准 CE，3 步）：

• step 1：$-\log p(s_1=2 \mid X) = -\log 0.18 \approx 1.71$（第 1 级最难，loss 最大）
• step 2：$-\log p(s_2=1 \mid s_1=2, X) = -\log 0.42 \approx 0.87$
• step 3：$-\log p(s_3=387 \mid s_{1:2}, X) = -\log 0.71 \approx 0.34$
• $\mathcal{L}_{SID} = 1.71+0.87+0.34 = 2.92$

② $\mathcal{L}_{eCPM}$（多预测一个 eCPM 桶）：$-\log p(v=8 \mid y, X) = -\log 0.25 \approx 1.39$

设 $\lambda_e=0.3$ → $\mathcal{L}_{NTP} = 2.92 + 0.3\times 1.39 = 3.34$

③ Sample weight：

• 李宁鞋样本：$w = w_{user}\cdot w_{behavior} = 1.5\times 3.0 = 4.5$（高价值用户 + 购买行为）
• 手游点击样本：$w = 0.8\times 1.0 = 0.8$（低活用户 + 浅点击）
• → 李宁鞋样本贡献的最终 loss ≈ 4.5 × 3.34 = 15.0；手游样本即使 NTP loss 一样大，也只贡献 ≈ 2.7

→ 同一份训练数据下，模型会优先学好「高价值用户深度转化」的分布，而不是被海量"低活用户的浅点击"稀释。这就是 VSL 对纯 CE 的直接超越（+2.80% vs OneRec-V2 +1.68%）。

承接上例，用户请求被 GR4AD 召回了 5 条广告（取 beam top-5 简化），ground-truth reward（eCPM）排序：

① DPO 的处理：

• 只能构造 chosen/rejected 对，最常见做法是把最高 reward 当 chosen、随机抽个低 reward 当 rejected → 比如 (李宁鞋 vs 手游)。
• 问题：模型已经把"手游"排到最后了（rank=5，对齐 reward），这对里没"难样本"；而真正错的是「李宁鞋 vs 安踏鞋」（rank 1↔3 颠倒），DPO 这一对 loss 几乎为 0，错过了关键梯度。

② RSPO 的处理：以李宁鞋（i=1）为 anchor，$\mathcal{E}_1 = \{$安踏、短裤、蛋白粉、手游$\}$（reward 全部更低）。

• 对每个 $y_j\in \mathcal{E}_1$ 算 LambdaRank 系数 $M_{1j} \propto |G_1 - G_j|\cdot|1/D_{|1-j|-1} - 1/D_{|1-j|+1}|$
• 关键：模型把李宁鞋（高 reward）排到了第 3，安踏鞋（低 reward）排到了第 1 → $M_{1,2}$（rank 临近 + reward gap 较大）非常大，这条对的 softmax 项主导整个 loss → 梯度优先把这对 swap 回来。
• 而 (李宁 vs 手游) 这种 rank 已经"对的方向"的对，$M$ 自动很小，几乎不消耗梯度。

→ DPO 像随机刷题，RSPO 像哪里错重点刷哪里。Table 1 上 RSPO (+3.86%) 显著优于 DPO (+3.16%) 与 GRPO (+3.21%)。

同一条李宁鞋样本，假设：

• 场景 A（GR4AD 自产，新鲜）：$p_{ref}$ 是 1 小时前的模型快照，$|\log p_\theta/p_{ref}|$ 平均 0.3 < 阈值 $\delta=1.0$ → $C_{ij}=1$，用 reference 做正则。
• 场景 B（其它 pipeline，无 ref）：根本没记录 $p_{ref}$ → $C_{ij}=0$，等价于把分母里 $p_{ref}$ 设成 1，loss 退化为纯 list-wise SimPO 形式。
• 场景 C（GR4AD 自产，但模型已大改）：$p_{ref}$ 是 3 天前的，$|\log p_\theta/p_{ref}|$ 平均 1.8 > $\delta$ → 强行拉回反而拖后腿，$C_{ij}=0$ 直接丢掉。

这种 gate 让 RSPO 能消化异构来源 + 漂移的训练流，是在线学习能跑稳的关键工程细节。

还是这条召回列表（n=5），李宁鞋 reward 排第 1，模型当前 likelihood 排第 3。我们看权重怎么算：

T₀ 时刻（模型刚冷启）：

• $r_p^{(1)}=3, r_v^{(1)}=1$ → $A^{(1)} = |3-1|/(5-1) = 0.5$（偏离较大）
• $w_{VSL}^{(1)} = w_0 \cdot \exp(0.5\cdot \log(1+12)) = w_0 \cdot 13^{0.5} \approx 3.6\,w_0$ （VSL 权重大）
• $w_{RL}^{(1)} = w_0 \cdot Z_{max}^{1-0.5} = w_0 \cdot \sqrt{Z_{max}}$ （RL 权重适中）
• 👉 这条样本主要走 VSL：先让模型学到「李宁鞋这种 SID 在这个用户的 context 下概率应该更高」

T₅₀₀ 时刻（在线训练 500 步后）：

• 模型已经把李宁鞋拉到 rank=2，安踏到 rank=1 → $A^{(1)} = |2-1|/4 = 0.25$（基本对齐）
• $w_{VSL}^{(1)} = w_0\cdot 13^{0.25} \approx 1.9\,w_0$ （VSL 权重下降）
• $w_{RL}^{(1)} = w_0\cdot Z_{max}^{0.75}$ （RL 权重接近上限）
• 👉 此时样本主要走 RSPO：精修「李宁 vs 安踏」这种相邻位置的 list 级 ranking 错误

→ 等价于"新样本先模仿、老样本再精调"，且完全 sample-level 自适应。比固定 $\lambda_{SFT}+\lambda_{RL}$ 的 HPT 更稳，是在线学习能避免训练崩盘的关键。