OneReason：让生成式推荐真正"先思考再回答"

两大 LLM 性质：Scaling 与 Reasoning

近年来 LLM 进步主要靠两个性质：

• Scaling property（pre-training 阶段）：模型/数据/算力同步放大，loss 沿着可外推的曲线下降，多个 benchmark 同步抬升。
• Reasoning property（post-training 阶段）：SFT + RL 解锁 CoT，形成"think-before-answer"范式，OpenAI o1、DeepSeek-R1 是典型代表。

OneRec V1/V2 已经在工业推荐里验证了 Scaling 性质（快手实测有显著业务收益），但 Reasoning 性质迟迟激活不起来。原因很简单：OneRec 只学过纯 itemic 序列，里面只有"扁平转移模式"，没有任何"逻辑推理痕迹"。

反常现象：thinking mode 不如 non-thinking mode

OneRec-Think 和 OpenOneRec 已经把 itemic-text 交错数据 + 通用推理数据塞进训练，让模型在推荐任务里也能"先思考再回答"。但作者观察到一个非常反直觉的现象：

借鉴多模态 LLM 的诊断

作者把目光转向 MLLM (multi-modal LLM) 文献，发现一组高度相似的"推理脆弱性"现象：

• 当文本与视觉模态对齐不足时，模型只会"机械地读取表面像素文字"，并不会真正基于视觉语义推理。
• 即使模态对齐做对了，如果 CoT 轨迹本身结构不好，仍然会幻觉 / over-thinking。

由此抽象出两条互补的"先决条件"：

在描述架构之前，作者先回答一个根本问题：什么才算"好的"推荐 CoT？

经典 LLM 推理任务（数学/代码/符号逻辑）有一个唯一正确答案，中间步骤遵守世界知识就能逻辑推导。但推荐场景天然不一样：

• 同一时刻有 多个合理的下一个 item
• 用户真实意图 不可观测，必须从历史行为反推

因此推荐推理是 溯因（abductive）而非 演绎（deductive）——需要"假设潜在兴趣点 → 建模时序演化 → 用其证明候选合理性"。

这个抽象直接落地为 R0–R3 四层认知层级，也是后续 Pre-training / SFT / RL / Benchmark 的"统一骨架"：

这个 R0–R3 的层级化设计是整篇论文最重要的"抽象骨架"，后面每个章节（Pre-training 数据、SFT 数据、Benchmark 任务）都是按这四层组织的，可以理解为"从认知科学倒推工程方案"。

整体三阶段框架

OneReason 的训练流程如 Figure 2 所示，三阶段紧扣 Perception × Cognition 双支柱：

Itemic Tokenizer：把 item 压成 3 个 sub-token

OneReason 的"原子单位"是 itemic pattern——一个 item 被压成 1 个域 token + 3 个 sub-token，整个推荐世界就建在这套 token 上。

编码过程

其中 domain ∈ {video, prod, ad, living, sid}（最后一个 sid 给通用多模态数据用）。

Pre-training：四粒度数据系统（论文最大创新）

之前工作（OneRec-Think、OpenOneRec）按"任务类型"组织数据：item caption / 用户行为序列 / persona-text 交错。作者认为这种组织有 三个结构性缺陷：

1. 语义表达过于同质，模型见到的语言多样性不够
2. 没有显式建模 sub-token 内部的细粒度语义层级，也没有跨 item 的关系逻辑
3. 用户建模套用"完整画像 → 完整序列"的窄条件范式，泛化弱

对应解法是把数据按 从微观到宏观的四个粒度 重组（Figure 5）：

① Token Granularity（最细粒度）

专治"sub-token 是孤立的"问题。除了基本的"单 token → 语义"对齐，OneReason 加了两套关键任务：

• Compositional Prefix Semantic Prediction：给定 sub-token 前缀对 <a_xxxx><b_xxxx>，让模型预测它代表的"组合语义"——以及反向的 Prefix Itemic Token Grounding（自然语言 → 找前缀）。这显式建模了 sub-token 之间如何"组合成语义"。
• Part-to-Whole Semantic Prediction：两步生成——先逐 sub-token 给出细粒度解释，再合成完整 item caption。强制"part → whole"的结构化语义生成。

② Item Granularity（item 级对齐）

类似 OpenOneRec 的 item caption 数据，但有两个关键升级：

• Multi-Perspective Item QA：从"目标人群偏好 / 核心卖点 / 视觉风格 / 负反馈原因"等多个角度问 item，把对齐从单一描述升到多维语义审讯。

③ Relational Granularity（item↔item 关系）

每个训练样本是一条交错链：

三个数据源：

1. search-after-play 表：用户看完视频后搜索并下单某商品 → 直接的 video→product 关联，配套用模板生成自然语言解释
2. TagNext CF Relations：从正反馈用户行为里抽出协同视频对
3. 滑窗共现：多域行为序列里，按时间窗内"足够多用户都正反馈"的标准抽 item 对

三个质量提升手段：

④ User Granularity（用户级序列）

raw user profile 是噪声大、模板化、不连贯的，作者用开源 LLM 先 recaption 成自然流畅的 narrative，再设计两种数据格式：

对齐效果验证：Positive–Negative Similarity Margin

作者引入一个比传统"分别看 sim(pos) / sim(neg)"更直接的指标：

三阶段 Pre-training Recipe

所有 Stage 都用 sample packing，每条 packed 序列固定 48K token；区别只在单条样本最大长度。

SFT：四层认知 CoT 数据

Pre-training 给了模型 perception 基础，SFT 在此之上培养 recommendation cognition——在 instruction 格式下操作已对齐的 itemic token。

SFT 沿着 R0→R3 组织，但额外引入两条正交的训练轴：

R3 的最终 CoT 把 Compression + Transition Judgement 组合成完整的"推荐思维链"。

RL：Specialize-then-Unify（解决核心痛点）

对应解法是分两步：

Step 1：Recommendation-oriented RL（单域专精）

每个域单独设置 reward 信号（针对该域的业务指标），让 RL 在"无冲突环境"里把 thinking 优势充分激活。

Step 2A：Rejection Sampling Fine-tuning (RFT)

从单域专家模型采样高质量轨迹，组合后做监督微调，相当于"用 RL 老师生成新数据，再让基础模型学习"。

Step 2B：Multi-Teacher On-Policy Distillation

把所有单域 RL 模型当老师，学生模型在自己 rollout 的轨迹上对齐多个老师的输出分布——一种 on-policy 蒸馏，比 RFT 更细粒度地保留各域的"思考风格"。

作者刻意把 benchmark 章节放在模型描述之前，因为 OneReason 的所有训练设计都是被 benchmark 反推出来的——四粒度 pre-training、四层 SFT、Specialize-then-Unify RL，每一项都对应 R0–R3 某层暴露出的 gap。

同时保留 MMLU-Pro 等通用智力 sanity check，避免推荐特化把通用能力打没。

四粒度数据消融（最有信息量的实验）

在 0.8B 模型 + 30B token budget 上做了五组配置，验证每个粒度的边际收益：

关键结果（Table 2）

Table 3 的反面教材：item-caption 的副作用

论文 Table 3 给了一个非常生动的 case：

• Exp1 (Baseline)：幻觉一个不存在的剧名，重复输出"我爱的他、我爱的他..."
• Exp2 (+Token)：能正确识别"现代都市言情短剧"的体裁，但说不出具体剧情
• Exp3 (+Item)：意外退化——编造了"《医祖凌云传》"这个不存在的剧名，并把都市爱情错认成医疗剧

这个 case 说明：在 item-caption 数据里残留的业务噪声会让模型"更自信地幻觉"。这也是为什么作者要做 Capacity-Aware Caption Coarse-Graining——容量不匹配，硬塞细节就是在喂幻觉。

Thinking ＞ Non-Thinking（终极目标达成）

这是整篇论文最重要的"绝对结果"——四粒度 pre-training + R0–R3 SFT + Specialize-then-Unify RL 三件套合力，让 thinking mode 真正发挥优势。

CoT 监督的渗透效应（最有趣的副产物）

作者对这个发现的解读非常克制：

• 这是 行为层面 的证据，不能区分增益来自"压缩、推理、还是两者交互"
• 不能证明 CoT 是普适必要的
• 但确实暗示"推荐场景里加 CoT 监督"可能给非思考路径也带来好处

这种科学态度比"鼓吹 CoT 全能"更可靠。它给生产部署留了余地：即便线上不开 thinking mode（避免推理延迟），用 CoT 数据训过的模型也比不训的好。

OneReason 不是纯学术 paper，而是快手实际落地的技术报告。论文第 9 章和附录 A 给出了部署细节：

• Industrial Scenario Adaptation：把 OneReason 集成到快手四条业务线（短视频 / 直播 / 广告 / 电商）的实际推荐链路里，作为 OneRec 的"思考补强"组件
• Online Deployment：处理推理延迟、QPS 承接等工程约束
• Online Experiment：线上 A/B 实验验证业务收益
• OneReason for OneRec（附录 A.2）：OneReason 作为"高层思考器"反哺主链路 OneRec 生成模型，形成闭环

核心亮点

1. 首次系统性回答了"生成式推荐为什么 think 不起来"。把问题归因到 Perception × Cognition 双支柱，并给出可工程化的解法，是这篇 paper 最值钱的部分。
2. 四粒度数据是最有复用价值的工程产物。特别是 Token Granularity 的 Compositional Prefix Prediction，显式建模 sub-token 组合性，直接解决 RQ-KMeans 离散码本的"语义碎片"问题。
3. Capacity-Aware Caption Coarse-Graining 是工程细节里的金子。意识到 3 个 sub-token 装不下精细信息，主动降级 caption 粒度，避免幻觉——这种"承认容量上限"的工程思维比"暴力堆数据"更优雅。
4. Specialize-then-Unify 的 RL 策略把"多任务冲突"和"单任务过拟合"解耦，是非常 LLM-style 的工程思路，可以迁移到其他多域 RL 场景。
5. Margin 度量比单纯看 sim(pos) / sim(neg) 更稳定，值得作为标准对齐度量推广到其他对齐评估场景。
6. 科学态度严谨。对"CoT 监督渗透到 non-thinking"这个有趣发现没过度解读，明确说明"行为证据 ≠ 机制证明"。

不足与开放问题

• R2 (Evolution) 的绝对指标仍然非常低（个位数百分比），说明 用户兴趣时序演化推理 仍是开放问题。CoT 在这一层是不是真的"想清楚了"，值得深究。
• 跨域推荐 Pass@K 仍较低（Cross-Video 0.66%、Cross-Prod 1.65%），离实用工业指标还有距离。
• Itemic Tokenizer 用 RQ-KMeans 三层 8192 码本，配置选择对其他场景是否最优值得 ablate。和 GRID (Snap 2025) 对 RK-Means vs RQ-VAE 的系统研究形成对比。
• "CoT 监督渗透到 non-thinking"的机制不清——是 CoT 提供了更密的信息密度？还是 reasoning trace 本身充当了正则化？这是后续值得拆解的方向。

对国内推荐 LLM 工作的启发

与周边工作的联系