OneRanker：用一个模型统一生成与排序的广告推荐新范式

广告推荐系统正在从传统级联架构（召回→粗排→精排）向端到端生成式范式转变。GPR（Tencent）、OneRec（Kuaishou）等工作表明，基于语义 ID 的自回归生成方式可以直接优化最终目标，同时实现高计算效率。

然而，当生成式方法深入渗透到广告系统的排序阶段时，三个核心挑战浮现：

2.1 整体架构：先把骨架搞清楚

OneRanker 本质上是一个用同一个模型完成召回 + 排序的端到端框架。它的输入是用户历史行为序列，最终输出是一个按 eCPM 对齐的广告商品排序列表。整个过程分三步，三步之间通过 Key/Value 透传机制串联：

三步共享同一套模型参数，通过 KV 透传让每一步都能看到前一步的内部状态——这就是"深度耦合"的含义，也是和传统"生成+独立精排"两个模型串联的根本区别。

2.2 Step 1：生成召回（基于 HSTU + MTP）

Step 1 是整个框架的基础，本质上就是一个标准的生成式召回模型，直接沿用了 GPR（Generative Pre-Training for Recommendation，腾讯此前工作）的架构，论文本身没有对 Step 1 做修改，属于"已有基座"。

输入：用户历史行为序列（点击/转化过的商品 SID 序列）

做什么：用一个 Decoder-only 自回归模型（HSTU 架构），根据用户历史序列预测用户接下来最可能交互的商品。

这里的商品不是一个单一 ID，而是经过 RQ-VAE 量化后的多层 SID 序列（比如 [level1=23, level2=7, level3=41] 表示一个商品）。所以"预测一个商品"= 逐层自回归预测这条 ID 序列。

Multi-Token Prediction（MTP） 指的是：在单次前向传播中，并行展开 $m$ 条独立的自回归路径，每条路径各自从 SID 第 1 层开始，独立逐层预测出一个完整商品的 SID：

• 路径 1（兴趣视角 1）：独立预测 [level1=23, level2=7, level3=41] → 商品 A
• 路径 2（兴趣视角 2）：独立预测 [level1=8, level2=15, level3=3] → 商品 B
• …共 $m$ 条路径，各自产出一个候选，合并得到候选集

每条路径的打分方式：SID 是 RQ-VAE 多层量化码（如 [level1=23, level2=7, level3=41] 对应一个商品），自回归预测是逐层预测当前层 codebook 里的哪个量化中心——在每一层，用户向量 $e_{\text{user}}^{(j)}$ 和该层 codebook 的所有 entry 向量逐一算点积，再 softmax 选出编号。三层预测完，拼出完整 SID = 定位到一个商品。论文中的 $s_{j,i} = e_{\text{user}}^{(j)} \cdot e_{\text{item}}^{(i)}$ 里的 $e_{\text{item}}^{(i)}$ 指的是当前层 codebook 的第 $i$ 个量化中心向量，词表 $\mathcal{V}$ 是该层 codebook 大小（通常几百到几千），而非全量商品数量。

路径间的差异从哪里来？——来自训练时不同的 GT 标签。$\mathbf{t}_{i1}$ 在训练时对应的 GT 是用户下一个点击的商品 SID，$\mathbf{t}_{i2}$ 对应的 GT 是用户下一个购买的商品 SID。不同的梯度信号把各路径的 Query embedding 拉向不同的语义方向，自然形成差异化的兴趣视角——这与 Beam Search"运行时选择分叉"的机制完全不同，差异在训练完成后就固定在 Token embedding 里了。

输出两样东西：

• Top-K 候选商品 SID 列表：MTP 多路预测头各自对全量商品词表打分，合并后取 Top-K，这就是后续要排序的候选集
• 用户序列隐层表示（Key/Value cache）：HSTU Decoder 在处理用户行为序列时产生的中间层表示，会被透传给 Step 2 和 Step 3 作为 Key/Value，让后两步不需要重新编码用户历史

⚠️ 注意：Step 1 本身的 MTP 预测头只感知"用户兴趣"（用行为数据训练），不感知 eCPM 等价值目标——这正是 Step 2 要解决的问题。

2.3 Step 2 详解：如何同时解决兴趣/价值冲突和目标无感知

Step 2 的定位是：在 Step 1 的生成基础上，用一个异质注意力解码器对用户表示做二次精化，输出同时包含兴趣信息和价值信息的增强用户向量，供 Step 1 的 MTP 召回打分和 Step 3 的排序使用。它解决了两个问题：

• 问题 A（兴趣 vs 价值冲突）：用"任务 Token 解耦"——让不同 Token 各自独立负责兴趣目标和价值目标，互不干扰
• 问题 B（目标无感知）：用"Fake Item Token"——在生成过程中注入候选商品的语义分布信息，让用户向量感知到"当前要召回的是哪类商品"

下面依次展开这两个机制。

2.3.1 价值感知多任务解耦：任务 Token + 因果掩码

具体做法：引入可学习的任务 Token 序列 $\mathbf{T} = [\mathbf{t}_{i1}, \mathbf{t}_{i2}, \ldots, \mathbf{t}_{im}, \mathbf{t}_v]$，随机初始化后端到端优化。这组 Token 以 Step 1 的用户序列表示为 Key/Value，通过 Cross-Attention 聚合用户兴趣，然后各自走独立输出头：

• 兴趣任务 Token $\mathbf{t}_{i1}, \ldots, \mathbf{t}_{im}$：$m$ 个 Token 对应 $m$ 路召回，每个 Token 训练时对应不同的行为标签作为 GT（如 $\mathbf{t}_{i1}$ 的 GT 是用户下一个点击商品的 SID，$\mathbf{t}_{i2}$ 的 GT 是用户下一个购买商品的 SID），不同的梯度信号把各 Token 的 Query embedding 拉向不同语义方向，从而形成差异化的召回路径。多路召回结果合并取 Top-K 得到候选集
• 价值感知 Token $\mathbf{t}_v$：接独立预测头，拟合 eCPM 等业务价值标签，仅用于计算 loss，不直接产生召回候选。它的作用是：在训练期间通过因果掩码"感染"前面兴趣 Token 的底层表示，让整个用户向量学会价值感知

关键在于因果掩码：任务 Token 之间按"点击→转化→价值"的先验顺序单向可见。$\mathbf{t}_v$ 在 Self-Attention 中能看到所有兴趣 Token 的表示，但兴趣 Token 看不到 $\mathbf{t}_v$——也就是说，价值目标的梯度通过 $\mathbf{t}_v$ 反向传播时，会更新共享的底层用户 KV 表示，但不会直接污染兴趣 Token 的输出。两套目标梯度在输出头层面完全隔离。

2.3.2 Fake Item Token：粗粒度目标感知

Fake Item Tokens $\mathbf{F} = [\mathbf{f}_1, \ldots, \mathbf{f}_k]$ 是通过 K-means 聚类整个 item 空间得到的 $k$ 个聚类中心向量，代表 item 语义空间中的核心锚点。

Query 序列 $\mathbf{Q} = [\mathbf{T}; \mathbf{F}]$ 将任务 Token 和 Fake Item Token 拼接，以 Step 1 的输出作为 Key/Value 进行 Cross-Attention，使模型在生成过程中能够动态感知 item 语义分布，实现粗粒度隐式目标感知。

2.3.3 异质注意力解码器（Heterogeneous Attention Decoder）

在标准 Transformer Decoder 的基础上做了两个关键改进：

2.3.4 双通道表示构造

异质注意力解码器的输出经过 MTP 模块，通过双通道融合机制构造精化的多兴趣表示：

每个 MTP head $i$ 的最终用户表示为：

在 item 侧，计算商品与全部 $k$ 个聚类中心的余弦相似度，构建增强的 item 表示：

内积打分自然融合了语义匹配与目标感知匹配：

2.4 Step 3：统一排序（Unified Ranking）

2.4.1 细粒度目标感知

Step 3 引入专用排序解码器（R-Decoder Block），将排序内化为生成流水线的自然延伸。

输入设计：Query 由（1）排序任务 Token $\mathbf{T}_r \in \mathbb{R}^{d_{\text{task}}}$ 和（2）$n$ 个候选 item Token $\mathbf{I} = [\mathbf{i}_1, \ldots, \mathbf{i}_n]$（来自 MTP 生成结果）组成；Key/Value 融合了 Step 1 的原始多兴趣表示和 Step 2 的精化表示。

掩码策略：候选 item Token 之间互不可见（对角掩码），所有候选 item 可访问排序任务 Token。

输出：每个候选 item Token 位置的输出向量经轻量级 MLP 映射为标量分数 $\mathbf{S} = [s_1, \ldots, s_n]$，直接用于最终排序。R-Decoder 仅使用单层，且结构与 Step 2 的异质注意力解码器相同（Cross-Attention 优先化）。

2.4.2 输入侧一致性

Step 3 的排序解码器直接复用 Step 1 和 Step 2 的输出作为 Key/Value：

• Step 1 → Step 3：传递用户的基础兴趣分布（广度覆盖）
• Step 2 → Step 3：传递生成过程的隐性决策依据，使排序器能够完全理解生成逻辑

这缓解了传统"外挂排序"中的表示碎片化问题——排序器可以感知生成过程的内部状态，而不是面对"黑盒"生成结果。

2.5 损失函数体系

总损失函数为三部分的加权组合：

生成损失 $\mathcal{L}_{\text{MTP}}$

价值感知 head 采用价值加权采样策略，将生成分布向高价值 item 偏移。

排序损失 $\mathcal{L}_{\text{rank}}$（BPR Pairwise Loss）

分布一致性损失 $\mathcal{L}_{\text{DC}}$（核心创新）

将排序器视为教师模型，最小化生成分布与排序偏好分布之间的 KL 散度，推导得到有监督代理损失：

3.1 离线实验（RQ1）

实验遵循 GPR 的实验设置，使用腾讯内部大规模真实数据集，涵盖广告和有机内容场景下的多样化用户交互。

Baselines：HSTU（Meta，万亿参数生成推荐架构）、GPR（腾讯，MTP 版本端到端生成推荐框架）

3.2 在线 A/B 实验（RQ5）

在腾讯微信频道（数亿活跃用户，千万级动态广告池）的生产广告系统上进行分阶段灰度测试：

OneRanker 最终全量上线（100% 流量）成为微信频道广告推荐系统的生产主干模型，综合 GMV-Normal 指标提升 +1.34%，Costs 提升 +0.72%。

4.1 关键结构组件消融（RQ2）

关键发现：

• Step 3（统一排序）贡献最大：从 OneRanker S2（HR@5=0.5448）到完整 OneRanker（HR@5=0.6213），提升 +14%
• Fake Item Token 不可或缺：去掉后 HR@5 下降 -4.5%，NDCG@5 下降 -2.1%
• DC Loss 提供额外增益：去掉后 HR@5 下降 -0.6%
• KV 透传的输入侧一致性关键：Step 2 → Step 3 的 KV 注入比仅 Step 1 KV 还多贡献 +0.14% HR@5

4.2 Step 2 专项设计消融（RQ3）

Cross-Attention 优先化（-3.1% HR@1）和异质掩码策略（-2.9% HR@1）都是必要设计，缺一不可。

DC Loss 的效果验证：

• 排名差异 IQR 压缩：说明单次排名方差减小，决策更稳定
• Top-K 重叠率持续领先：在 K=1 处起点更高，且全程不低于对照组，说明全局分布级别的一致性得到保证

核心贡献梳理

亮点

不足与思考

• K-means 聚类的动态性：Fake Item Token 的聚类中心是静态预计算的，无法随 item 空间的实时变化更新。在 item 高频更新的广告场景中，这可能引入一定的滞后性。
• 三步深度耦合带来训练复杂性：Step 2 需要来自 Step 1 的 KV，Step 3 需要来自 Step 1+2 的 KV，且三步共享反向梯度。梯度流向复杂，对调参和稳定性有更高要求。
• R-Decoder 的延迟开销：Step 3 虽然只用单层 R-Decoder，但在推理时需要对 $n$ 个候选 item 进行 cross-attention，实际延迟影响未在论文中详细分析。