1. 论文基本信息

1.1. 标题

OpenOneRec 技术报告：一个开放的生成式推荐基础模型和基准，以加速生成式推荐 (OpenOneRec Technical Report: An Open Foundation Model and Benchmark to Accelerate Generative Recommendation)

1.2. 作者

论文由 OneRec 团队发布，包括多位核心贡献者和贡献者，主要来自 Kuaishou (快手) 等机构。

1.3. 发表期刊/会议

预印本 (arXiv)。

1.4. 发表年份

2025年。

1.5. 摘要

OneRec 系列模型成功地将碎片化的推荐管道统一为一个端到端的生成式框架，然而，推荐系统与通用智能之间仍存在显著差距。现有推荐系统受限于孤立的数据，通常作为领域专家运行，擅长模式匹配但缺乏世界知识、推理能力和指令遵循能力。此外，还缺乏一个能够评估这些集成能力的整体基准。

为解决这些问题，本文的贡献包括：

1. RecIF-Bench 与开放数据 (RecIF-Bench & Open Data): 提出了 RecIF-Bench，一个涵盖 8 项多样化任务的整体基准，可彻底评估从基础预测到复杂推理的能力。同时，发布了一个包含 16 万用户 9600 万次交互的大规模训练数据集，以促进可复现研究。

2. 框架与扩展 (Framework & Scaling): 为了确保完全可复现性，本文开源了全面的训练管道，包括数据处理、协同预训练和后训练。利用此框架，作者证明了推荐能力可以可预测地扩展，同时减轻了通用知识的灾难性遗忘 (catastrophic forgetting)。

3. OneRec-Foundation 模型系列 (OneRec-Foundation Model Family): 发布了 OneRec-Foundation 模型系列（1.7B 和 8B 参数），在 RecIF-Bench 的所有任务中建立了新的最先进 (state-of-the-art, SOTA) 结果。此外，当迁移到亚马逊基准时，模型在 10 个多样化数据集上，Recall@10 平均提高了 26.8%，超越了最强的基线。

   这项工作标志着向构建真正智能推荐系统迈出了重要一步。然而，实现这一愿景仍面临重大的技术和理论挑战，强调了在此有前景的方向上需要更广泛的研究参与。

1.6. 原文链接

https://arxiv.org/abs/2512.24762

1.7. PDF 链接

https://arxiv.org/pdf/2512.24762v1.pdf

2. 整体概括

2.1. 研究背景与动机

核心问题： 推荐系统与通用智能之间存在显著的差距。尽管 OneRec 系列已经成功地将碎片化的推荐流程统一为端到端的生成式框架，但现有推荐模型仍受限于数据孤岛。这使得它们无法利用大语言模型 (Large Language Models, LLMs) 所驱动的大规模数据扩展，从而无法展现出涌现能力 (emergent capabilities)。

问题的重要性与现有挑战/空白：

• 功能局限： 现有推荐系统主要作为领域专家，擅长模式匹配，但缺乏通用世界知识、推理能力和指令遵循能力。
• 数据孤立： 无法有效整合和利用不同领域的数据，限制了模型学习更广泛、更通用的模式。
• 评估不足： 缺乏一个能够全面评估这些集成能力的整体基准，导致无法充分衡量推荐基础模型 (foundation models) 的潜力和局限。先前的研究，如 LC-Rec 和 OneRec-Think，虽然尝试将离散推荐标识符与 LLM 语言空间对齐，但通常局限于有限的下游任务，容易导致灾难性遗忘 (catastrophic forgetting)。

论文的切入点/创新思路： 本文旨在通过引入一个统一的框架来弥合这一差距，该框架集成了可扩展的预训练 (pre-training)、混合后训练 (post-training) 和整体评估 (evaluation)。通过开发 RecIF-Bench 这一全面的基准，以及开源完整的训练管道和模型，旨在推动构建真正智能的推荐系统。

2.2. 核心贡献/主要发现

论文的主要贡献体现在三个方面：

1. RecIF-Bench：首个整体推荐指令遵循基准和开放数据 (RecIF-Bench: A Holistic Recommendation Instruction-Following Benchmark and Open Data)。

   • 提出了 RecIF-Bench，一个多维度基准，包含 8 项多样化任务，从基础推荐到复杂推理，全面评估推荐系统的能力。该基准覆盖短视频、电商和在线广告三个工业领域。
   • 发布了大规模训练数据集，包含 16 万用户 9600 万次交互，促进研究的可复现性。
   • 同时在 7 个通用基准（如 MATH500、LiveCodeBench、GPQA-Diamond）上评估模型，以验证通用推理和编程能力的保留。

2. 开源框架与验证的扩展定律 (Open-Source Framework & Validated Scaling Laws)。

   • 开源了基于 PyTorch 和 VeRL 构建的完整训练管道，包括数据处理、协同预训练和后训练协议，以及在千亿级别词元 (token) 语料库上训练的模型检查点 (checkpoints)。
   • 引入了一种新颖的两阶段对齐策略：结合在线策略蒸馏 (on-policy distillation) 和面向推荐的强化学习 (Reinforcement Learning, Rec-RL)，以同时恢复通用推理能力并优化任务特定精度。
   • 经验性地验证了推荐领域的扩展定律 (scaling laws)，证明了能力的可预测扩展，同时有效缓解了通用知识的灾难性遗忘。

3. OneRec-Foundation 模型系列 (OneRec-Foundation Model Family)。

   • 发布了 OneRec-Foundation 系列模型（1.7B 和 8B 参数），基于 Qwen 构建，使其具备内在的推荐能力。
   • 该系列包括基于开源数据集训练的标准版本和通过快手千亿级工业语料库增强的专业版本 (Pro versions)。
   • 实验结果表明，在 RecIF-Bench 的所有任务上均达到最先进 (SOTA) 性能。
   • 在 10 个亚马逊数据集上，模型在 Recall@10 上平均领先最强基线 26.8%，证明了其作为基础模型 (foundation model) 的鲁棒性。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 大语言模型 (LLMs)

概念定义： 大语言模型 (LLMs) 是一类基于转换器 (Transformer) 架构的深度学习模型，通常拥有数亿到数千亿甚至更多参数。它们通过在海量文本数据上进行自监督学习 (self-supervised learning) 预训练，学习语言的统计规律、语法、语义和世界知识。LLMs 的一个显著特点是其涌现能力 (emergent capabilities)，即随着模型规模和训练数据量的增加，模型会展现出在小模型中不具备的、意想不到的新能力，如复杂推理、指令遵循和语境学习 (in-context learning)。

3.1.2. 生成式推荐 (Generative Recommendation)

概念定义： 传统的推荐系统通常是判别式的，旨在预测用户对特定物品的评分或点击概率，然后进行排序。而生成式推荐 (Generative Recommendation) 则将推荐任务视为一个序列生成问题，即给定用户历史和上下文，模型直接生成用户可能感兴趣的物品序列或文本描述。这种范式转变使得推荐系统能够利用 LLMs 的强大生成能力，统一多个推荐阶段，并支持更复杂的指令遵循和解释生成。

3.1.3. OneRec 系列

概念定义： OneRec 系列是一系列将碎片化推荐管道统一为端到端生成式框架的模型。它将用户历史视为上下文，并将其作为下一个物品预测的基础，旨在利用 LLMs 的能力来改进推荐系统。

3.1.4. 灾难性遗忘 (Catastrophic Forgetting)

概念定义： 灾难性遗忘 (catastrophic forgetting) 是指神经网络在学习新任务时，会迅速且显著地忘记之前学习到的旧任务知识的现象。这在大规模预训练模型在特定领域数据上进行微调 (fine-tuning) 时尤为常见，因为新的训练数据分布可能与原始预训练数据分布存在较大差异，导致模型权重被过度调整以适应新任务，从而损害其在旧任务上的泛化能力，包括通用世界知识和推理能力。

3.1.5. 指令遵循 (Instruction Following)

概念定义： 指令遵循 (Instruction Following) 是指模型理解并按照自然语言指令执行特定任务的能力。对于 LLMs 而言，这意味着模型不仅能生成流畅的文本，还能根据用户提出的具体要求（例如“推荐一些轻松的视频”、“解释为什么推荐这个商品”）来调整其输出，这对于构建智能且可交互的推荐系统至关重要。

3.1.6. Itemic Tokens (物品词元)

概念定义： 物品词元 (Itemic Tokens) 是一种将离散的物品信息转换为 LLM 可以理解的词元 (token) 序列的策略。由于物品通常由离散 ID 或复杂的多模态特征表示，与 LLM 的连续语言空间存在模态鸿沟 (modality gap)。Itemic Tokens 通过对物品的语义嵌入进行量化，将其压缩成短的、固定长度的离散代码序列，从而使得物品能够像自然语言词元一样被 LLM 处理，实现高效的长上下文建模，并保留物品之间的协同结构和语义关系。

3.1.7. 自回归建模 (Autoregressive Modeling)

概念定义： 自回归建模 (Autoregressive Modeling) 是一种序列生成技术，其中序列中的每个元素（例如，下一个词元 (token)）的生成都依赖于其前面已经生成的所有元素。在 LLM 和生成式推荐的上下文中，这意味着模型通过最大化给定上下文（指令、用户历史和之前生成的词元 (token)）下下一个词元 (token) 的对数似然来生成输出序列。这种统一的公式允许 LLM 在不进行任务特定架构修改的情况下处理从预测到推理的各种任务。

3.2. 前人工作与技术演进

3.2.1. 早期生成式推荐探索

早期的生成式推荐模型，如 P5 (Geng et al., 2022)，尝试将推荐任务表述为语言处理问题，并利用 LLM 的能力。这些工作奠定了将用户历史视为上下文、推荐视为序列生成的范式。

3.2.2. 语义对齐的尝试

为了弥合离散物品 ID 与 LLM 语言空间之间的语义鸿沟 (semantic gap)，一些研究提出了对齐方法。

• LC-Rec (Zheng et al., 2024) 和 OneRec-Think (Liu et al., 2025) 等工作尝试将离散的推荐标识符与 LLM 的语言空间对齐。LC-Rec 专注于通过协同语义 (collaborative semantics) 整合 LLM 进行推荐，而 OneRec-Think 则强调了推荐系统中的内文推理 (in-text reasoning)。
• 这些方法通常将物品表示为文本描述或通过某种方式将物品 ID 映射到 LLM 的嵌入空间。

3.2.3. 现有基准的局限性

论文强调了现有推荐基准的不足，这些基准在评估 LLM 驱动的推荐基础模型 (foundation models) 所需的全面能力方面存在缺陷。

• 传统基准： 通常局限于单一领域内的封闭集排序准确性 (ranking accuracy)。

• 多模态特征： 像 PixelRec 和 NineRec 关注多模态特征，但缺乏多任务和推理能力。

• 多任务和多行为： KuaiSAR 支持多任务和多行为设置，但忽视了多模态和跨领域场景。

• 跨领域和长序列： Yelp 和 Amazon 基准虽然涉及多模态和跨领域，但在长序列、多行为、交错数据 (interleaved data) 和推荐解释方面有所欠缺。

  关键缺陷： 没有现有基准能够评估交错数据 (interleaved data) 处理或推荐解释 (Recommendation Explanation) 这两项对于指令微调 (instruction-tuned) 基础模型 (foundation models) 至关重要的能力。

3.3. 差异化分析

OpenOneRec 的方法与上述相关工作相比，核心区别和创新点在于其统一的框架和全面的评估基准：

1. 统一框架： OpenOneRec 提出了一个整合可扩展预训练 (scalable pre-training)、混合后训练 (hybrid post-training) 和整体评估 (holistic evaluation) 的统一框架。这允许模型不仅学习推荐任务，还能保留和恢复通用智能。

2. Itemic Tokenization： 采用 Itemic Tokens (Luo et al., 2025; Zhou et al., 2025a) 策略，通过层次量化 (hierarchical quantization) 将物品语义嵌入转换为离散词元 (token) 序列，有效桥接了离散物品空间和连续语言空间之间的模态鸿沟 (modality gap)，并支持高效长上下文建模，同时保持物品间的协作结构。这比直接使用文本描述或简单的 ID 嵌入更高效和语义丰富。

3. RecIF-Bench： 首次提出了 RecIF-Bench，一个涵盖 8 项多样化任务（从语义对齐到复杂推理）的整体推荐指令遵循 (instruction-following) 基准。该基准解决了现有基准在多模态内容、跨领域迁移、长交互序列、多用户行为、交错数据 (interleaved data) 处理以及推荐解释 (Recommendation Explanation) 等方面的不足，提供了更全面的评估能力。

4. Scaling Laws： 首次在推荐领域实证验证了扩展定律 (scaling laws)，并发现推荐领域倾向于数据密集型 (data-intensive) 扩展，这为未来推荐基础模型 (foundation models) 的计算预算分配提供了重要指导。

5. 灾难性遗忘缓解： 通过在预训练阶段混合通用领域语料，并在后训练阶段采用在线策略蒸馏 (on-policy distillation) 恢复通用能力，有效缓解了在领域特定任务微调 (fine-tuning) 过程中灾难性遗忘 (catastrophic forgetting) 的问题。

   这些创新点使得 OpenOneRec 能够构建一个更智能、更通用、更具可解释性的推荐系统，并为该领域的发展提供了新的基准和工具。

4. 方法论

OpenOneRec 旨在构建一个能够桥接传统推荐系统和大语言模型 (LLMs) 的基础模型 (foundation model)。其方法论包括预训练 (pre-training) 和后训练 (post-training) 两个主要阶段，并围绕 RecIF-Bench 进行评估。整个框架的概览如原文 Figure 2 所示。

4.1. 预训练 (Pre-Training)

预训练阶段旨在建立物品词元 (itemic tokens) 与文本词元 (tokens) 空间之间的初步对齐，并将协同过滤 (collaborative filtering) 信号编码到模型中，同时保留通用世界知识。

4.1.1. 预训练数据 (Pre-training Data)

4.1.1.1. 推荐语料库 (Recommendation Corpora)

推荐数据来源于快手匿名的用户日志，包括用户侧、物品侧和交互侧的原始元数据 (metadata)，如 Section 3.1 所述。

为了桥接离散 ID 和自然语言之间的模态鸿沟 (modality gap)，作者首先采用 RQ-Kmeans (Luo et al., 2025) 将物品的多模态嵌入 (multimodal embeddings) 量化 (quantize) 为层次物品词元 (hierarchical itemic tokens)。具体来说，使用了三层量化方案，每层码本大小 (codebook size) 为 8192。每个物品 $i$ 被映射到一个层次代码元组 $S_i = (c_1, c_2, c_3)$，然后将其展平为由特殊词元 (tokens) 包装的词元 (token) 序列： <|item_begin|><item_a_c1><item_b_c2><item_c_c3><|item_end|>

为了增强模型的推荐领域能力，将这些原始元数据 (metadata) 组织成三种类型的数据：

1. 物品密集描述数据 (Itemic Dense Caption Data): 用于建立物品词元的初步感知。模型被训练为给定物品词元生成对应的自然语言描述。这有助于在抽象离散的物品表示和丰富的文本描述之间建立语义桥梁。

2. 序列用户行为数据 (Sequential User Behavior Data): 作为核心训练语料库，以增强模型的基础预测能力。该数据捕获用户-物品交互（包括观看、点赞、分享）的时间动态。通过训练模型在这些长期序列中执行下一个物品预测 (next-item prediction)，使其能够内化基本的协同过滤 (collaborative filtering) 信号和时间模式。

3. 交错用户画像接地数据 (Interleaved User Persona Grounding Data): 用于促进量化空间 (quantized space) 的深层语义接地。通过将离散物品表示与异构用户元数据 (metadata)（如静态属性、搜索行为、交互序列和总结的用户兴趣）交错，构建叙事风格的用户画像 $\mathcal{P}_u$。这种交错格式使模型能够学习用户特征和行为模式之间丰富的语义关联，从而在超越表面顺序模式的层面上加深对用户偏好和物品相关性的理解。

   推荐领域数据集来源于 Section 3.1 介绍的原始元数据 (metadata)，并经过严格的基于用户的数据分割 (user-based split)，以避免数据泄露。主要训练语料库包括约 16 万用户、1300 万物品描述及其对应交互。对于 OneRec-Pro 版本，规模扩展到约 2000 万用户和 9800 万物品描述。

4.1.1.2. 通用领域语料库 (General-Domain Corpora)

为了缓解推荐领域数据与基础预训练模型 (base pretrained model) 原始语料库之间显著的分布漂移 (distributional shift) 导致的灾难性遗忘 (catastrophic forgetting)，作者采用数据混合策略 (data-mixing strategy)，在推荐领域样本之外，还协同训练模型以高质量的通用领域文本语料库。

该通用领域文本语料库包含多种语言（包括中文、英文）和数学、医学等领域。为了保持并进一步增强模型的推理能力，优先选择了推理密集型数据，包括数学推导、逻辑谜题和代码语料库。所有这些数据都经过 MinHash 算法 (Broder, 1997) 进行模糊去重 (fuzzy deduplication)，以过滤掉与评估基准高度相似的通用领域样本。

4.1.2. 训练方案 (Training Recipe)

在数据组成方面，推荐领域元数据 (metadata) 与通用领域文本按预定义比例混合。

• OneRec (标准版本): 在公开数据集上训练，包含 330 亿词元 (tokens) 和 4130 万样本。

• OneRec-Pro (专业版本): 利用扩展的内部语料库，包含 1300 亿词元 (tokens) 和 1.791 亿样本。

  模型基于 Qwen3 (Yang et al., 2025) 架构，其完整参数在后训练 (post-training) 阶段用于指令遵循 (instruction following) 和强化学习 (reinforcement learning)。架构与原始 Qwen3 严格保持一致，以保留其基础的语言和推理能力。

预训练方法分为两个阶段 (如原文 Figure 2 的预训练阶段所示):

1. 阶段 1: 物品-文本对齐 (Itemic-Text Alignment):

   • 专注于建立物品词元 (itemic tokens) 和文本词元 (tokens) 空间之间的初步对齐。
   • 通过将这些物品特殊词元附加到原始 Qwen3 分词器 (tokenizer) 来扩展词汇表 (vocabulary)。
   • 物品词元的嵌入参数 (embedding parameters) 从多元正态分布初始化，该分布由现有嵌入 (embeddings) 的均值和协方差参数化。
   • 在此阶段，只有与物品词元对应的嵌入参数 (embedding parameters) 可训练，而模型的其他所有参数都被冻结。
   • 对于大型模型（如 8B 及以上），其输出投影参数 (output projection parameters) 是独立的，这些与物品词元对应的输出投影参数也同时可训练。

2. 阶段 2: 全参数协同预训练 (Full-Parameter Co-Pretraining):

   • 解冻所有模型参数，进行全参数预训练，将推荐知识注入模型。
   • 目标是使模型能够捕获用户行为、物品语义和用户-物品交互中的复杂模式，同时保留从原始 Qwen3 模型继承的通用世界知识。
   • 为防止灾难性遗忘 (catastrophic forgetting)，在此阶段保持了相当大比例的通用领域知识数据。

训练方案细节：

• 优化器 (Optimizer): AdamW，$\beta_1 = 0.9$，$\beta_2 = 0.95$，权重衰减 (weight decay) 为 0.1。
• 学习率调度 (Learning Rate Schedule): 余弦衰减，带线性预热阶段 (warmup phase)。
  • 阶段 1 峰值学习率：$1 \times 10^{-3}$，最小学习率：$1 \times 10^{-4}$。
  • 阶段 2 峰值学习率：$1 \times 10^{-4}$，最小学习率：$2 \times 10^{-5}$。
  • 预热持续时间 (Warmup Duration): 前 10% 的训练步骤。
• 最大上下文长度 (Maximum Context Length): 32K 词元 (tokens)，以适应用户行为数据的长序列性质，捕获长期用户偏好和复杂推荐场景。

4.1.3. 推荐领域的扩展定律 (Scaling Laws in Recommendation)

为了确定计算预算 (compute budget) $C$ 在模型参数 $N$ 和训练词元 (tokens) $D$ 之间的最佳分配，作者遵循了 Hoffmann et al. (2022) 提出的严格方法（即 Chinchilla 扩展定律 (scaling laws)）。

方法论：

• 骨干网络 (Backbone): Qwen3 架构。
• 参数范围 (Parameter Spectrum): $N \in \{0.6, 1.7, 4, 8, 14\} \times 10^9$。
• 词元预算 (Token Budget): 在预训练阶段 2 中改变词元预算 (token budget) $D$，调整余弦学习率调度以匹配每次运行的训练周期。
• 计算预算估算 (Compute Budget Estimation): $C \approx 6ND$。
• 计算最优前沿 (Compute-Optimal Frontier): 通过构建所有模型尺寸下最终训练损失的凸包 (convex hull) 来定义。通过在连续 FLOPs 网格上插值最小损失 $L_{\mathrm{min}}(C)$，提取给定预算下的最优模型尺寸 $N_{\mathrm{opt}}$ 和词元 (token) 计数 $D_{\mathrm{opt}}$。
• 幂律拟合 (Power-Law Scaling Relations): 这些最优轨迹拟合到幂律关系： $$N_{\mathrm{opt}} \propto C^a, \quad D_{\mathrm{opt}} \propto C^b$$ 其中，$a$ 和 $b$ 是缩放指数。

推荐数据上的扩展定律 (Scaling Laws on Recommendation Data): 原文 Figure 5 展示了推荐领域损失的包络线 (envelope)。观察到一个平滑、凸的 (convex) 前沿，证实了推荐领域的扩展行为遵循与自然语言类似的可预测幂律 (predictable power laws)。然而，经验拟合得到的缩放指数为： $$N_{\mathrm{opt}} \propto C^{0.44}, \quad D_{\mathrm{opt}} \propto C^{0.56}$$ 这一分配显著偏离了通用文本的 Chinchilla 扩展定律，后者暗示了等比例分配 ($a \approx 0.5, b \approx 0.5$)。相比之下，本研究结果表明推荐领域处于数据密集型 (data-intensive) 扩展机制 ($b > a$)，这意味着在推荐领域，随着预算的增加，最优计算分配要求更积极地扩展训练数据量，而不是模型参数。

参数拟合与解释 (Parametric Fit and Interpretation): 为了阐明这种行为的驱动因素，作者使用 Hoffmann et al. (2022) 提出的参数函数对最终损失 L(N, D) 进行建模： $$L(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta}$$ 其中，$E$ 是不可约损失 (irreducible loss)，$A/N^\alpha$ 和 $B/D^\beta$ 分别捕获了由于有限模型容量和有限数据大小引起的偏差。将此公式拟合到实验数据得到： $$L(N, D) = 0.4232 + \frac{502.32}{N^{0.3325}} + \frac{7.02}{D^{0.1865}}$$ 基于 Hoffmann et al. (2022) 推导的理论关系，$a = \frac{\beta}{\alpha + \beta}$ 和 $b = \frac{\alpha}{\alpha + \beta}$，从这些系数中得出三个关键见解：

1. 数据饥渴型扩展 (\alpha > \beta): 导出的模型容量指数 ($\alpha \approx 0.33$) 与通用 LLM 文献一致，但数据指数 ($\beta \approx 0.19$) 明显低于典型文本领域的值 ($\beta_{\mathrm{text}} \approx 0.28$)。由于 $\alpha > \beta$，这在数学上必然导致 $b > 0.5$。这证实了由于数据量的回报递减更快（较低的 $\beta$），保持最优性需要更积极地扩展数据量而非模型大小。

2. 热启动的影响 (高 $A$，低 $B$): 观察到缩放系数 $A$ (502.32) 和 $B$ (7.02) 之间存在显著不平衡。在典型的从头训练 (training-from-scratch) 场景中，$A$ 和 $B$ 的量级相当。作者将极低的 $B$ 值归因于从 Qwen3 骨干网络 (backbone) 进行迁移学习 (transfer learning) 的有效性，其中稳健的预训练语言和推理能力降低了初始数据分布的熵 (entropy)。相反，膨胀的系数 $A$ 反映了模型容量和预训练质量的混淆：由于大型变体通常用更多数据进行训练，其下游性能增益在拟合过程中被统计到 $A$ 中。

3. 推荐任务的低熵 (Low E): 估计的不可约损失下限 $E = 0.42$ 远低于自然文本的 $E \approx 1.69$。这表明推荐任务（通过物品密集描述 (Itemic Dense Captions) 等结构化特征丰富）比开放式文本生成具有更低的固有熵 (inherent entropy)，允许模型接近更确定的状态。因此，这强调了精心策划更多样化和高质量推荐语料库的迫切需求，从而扩展信息流形 (manifold)，以防止平凡饱和并促进稳健的泛化。

   作者承认，有限的实验规模可能引入一些拟合噪声，且由于模型不是从头训练，公式未能完全分离预训练骨干网络 (backbone) 的扩展贡献。未来的工作将专注于扩大实验规模和设计更精细的公式。

4.2. 后训练 (Post-Training)

预训练后，模型已学会对齐物品词元 (itemic tokens) 与文本词元 (tokens) 空间，并将协同过滤 (collaborative filtering) 信号编码到模型中。然而，预训练模型在指令遵循 (instruction-following) 和推理能力方面表现出一定程度的下降，尚无法胜任复杂的推荐任务。

后训练 (post-training) 旨在增强模型的推荐能力并恢复预训练模型的通用任务能力。该阶段包括三个步骤：多任务监督微调 (Multi-task Supervised Fine-tuning)、通用能力在线策略蒸馏 (On-policy Distillation for General Capability) 和推荐强化学习 (Reinforcement Learning for Recommendation)。与预训练阶段不同，此阶段对 OneRec 和 OneRec-Pro 版本采用相同的训练数据和等效的后训练策略。整体流程如原文 Figure 6 所示。

4.2.1. 多任务监督微调 (Multi-task Supervised Fine-tuning)

目的： 恢复和增强模型在通用和推荐领域的基础指令遵循 (instruction-following) 和推理能力，为后续的在线策略蒸馏 (on-policy distillation) 和强化学习 (reinforcement learning) 提供坚实基础。

数据构建：

• 设计了一套复杂的指令-响应对 (instruction-response pairs)，模拟真实世界的推荐轨迹。这些对话数据集基于 Section 3.1 介绍的 16 万用户清理后的元数据 (metadata) 合成，确保指令微调 (instruction-tuning) 语料库与评估基准严格分离。
• 为防止通用智能下降，还整合了高质量的开源通用领域数据集，专注于指令遵循 (instruction-following) 和复杂推理。
• 通过将这些通用领域推理样本与推荐特定任务混合，构建了一个专门的 SFT 语料库 (corpus)。具体细节在 Appendix B.5 提供。
• 所有实例都组织成对话格式，并使用 Qwen3 聊天模板 (chat template) (Yang et al., 2025) 序列化。

训练方案：

• 使用与预训练阶段一致的训练方案对预训练模型进行微调 (fine-tune)，但学习率降低（从 $2 \times 10^{-5}$ 降至 $5 \times 10^{-6}$）。
• 经验观察： 此阶段成功恢复了模型的指令遵循 (instruction-following) 能力。通用领域数据获得的推理能力与推荐任务相互促进：模型能够为复杂的推荐查询生成连贯的推理轨迹，即使这些行为在推荐样本中并未明确监督。

4.2.2. 通用能力在线策略蒸馏 (On-policy Distillation for General Capability)

目的： 尽管前一阶段已恢复了基本的指令遵循 (instruction-following) 和思考能力，但通用领域推理能力仍存在持续的能力差距，这可能是由于分布漂移 (distributional shift) 和 RL 初始化骨干网络 (backbone) 的固有敏感性。为解决此问题，设计了通用任务的在线策略蒸馏 (on-policy distillation) 策略。

4.2.2.1. 通过策略梯度进行在线策略蒸馏 (On-Policy Distillation via Policy Gradient)

概念定义： 与传统的离线策略蒸馏 (off-policy distillation) 不同，在线策略蒸馏 (on-policy distillation) (Agarwal et al., 2024) 涉及学生模型生成自己的轨迹 (trajectories)，这些轨迹 (trajectories) 随后由教师评估和监督。

目标函数：

• 为简化和有效性，采用每词元反向 KL 散度 (per-token reverse KL divergence) 作为在线策略蒸馏 (on-policy distillation) 的目标函数。
• 最小化学生模型分布 ($\pi_\theta$) 与教师模型 ($\pi_{\mathrm{teacher}}$) 之间在每个时间步 (timestep) 的散度，条件是学生模型采样的轨迹 (trajectories)： $$\mathbb{D}_{KL}(\pi_\theta \parallel \pi_{\mathsf{teacher}}) = \mathbb{E}_{x \sim \pi_\theta} \left[ \log \pi_\theta(x_{t+1} | x_{1..t}) - \log \pi_{\mathsf{teacher}}(x_{t+1} | x_{1..t}) \right]$$
• 优化： 受 Thinking Machines (2025) 和 $Xu et al. (2025a)$ 启发，直接使用策略梯度 (policy gradient) 方法优化策略 $\pi_\theta$。
• 奖励信号： 对于每个输入提示 $q$，采样轨迹 (trajectory) $o$，并使用学生策略 $\pi_\theta$ 和教师策略 $\pi_{\mathrm{teacher}}$ 之间的反向 KL 散度作为奖励信号 (reward signal)。
• 目标： 通过梯度上升 (gradient ascent) 最大化预期奖励，梯度估计如下： $$\nabla_\theta J(\theta) = \mathbb{E}_{o \sim \mathcal{D}, x \sim \pi_\theta} \left[ \sum_{t=1}^T \nabla_\theta \log \pi_\theta(x_t | o, x_{<t}) \cdot R_{KL}(o, x) \right]$$ 其中，$R_{KL}(o, x)$ 表示从教师分布派生的每词元奖励 (per-token reward)。
• 奖励裁剪 (Reward Clipping): 为缓解极端对数概率比 (log-probability ratios) 引起的数值不稳定性，对反向 KL 散度应用裁剪机制 (clipping mechanism)。最终奖励定义为： $$R_{KL}(o, x) = \mathrm{clip}\left( - \mathbb{D}_{KL}(\pi_\theta || \pi_{\mathrm{teacher}}), \alpha, \beta \right)$$ 其中，$\alpha$ 和 $\beta$ 分别表示下限和上限裁剪阈值。此约束可防止异常奖励信号破坏训练过程的稳定性。整个流程如原文 Figure 7 所示。

4.2.2.2. 通用领域在线策略蒸馏 (On-Policy Distillation on General-Domain)

教师模型 (Teacher Model): 为了恢复通用领域能力，使用原始的 Qwen3 模型（相同参数规模）作为教师模型 $\pi_{\mathrm{teacher}}$ 来监督 SFT 细化后的策略 $\pi_\theta$。

挑战： 教师模型无法识别扩展词汇表 (vocabulary) 中的物品词元 (itemic tokens)。简单地丢弃包含物品词元的轨迹 (trajectory) 会引入显著的采样偏差 (sampling bias)。

鲁棒蒸馏策略 (Robust Distillation Strategy):

1. 提示选择 (Prompt Selection): 所有查询 $q$ 仅从通用领域数据集采样。在这些提示下，策略模型应生成纯文本，不包含物品词元 (itemic tokens)。

2. 物品词元惩罚与截断 (Itemic Token Penalty & Truncation): 如果采样的轨迹 (trajectory) $o$ 在步骤 $t$ 包含物品词元 (itemic token)，则将 $\log \pi_{\mathrm{teacher}}(x_t | \boldsymbol x_{<t})$ 设置为最小值（例如，-1e9)，以模拟该词元 (token) 的零概率，并在 $t$ 之后截断轨迹 (trajectory)。此惩罚由奖励裁剪机制 (reward clipping mechanism) 稳定。

3. 增强探索 (Enhanced Exploration): 在在线策略采样期间，采用相对较高的温度系数 (temperature coefficient)，鼓励策略模型探索词汇表空间 (vocabulary space)（包括物品词元 (itemic tokens)），使蒸馏过程能够主动识别和纠正在通用领域任务中物品词元激活的错误。

   通过此蒸馏过程，从 SFT 数据集中采样 20 万个通用领域问题。为了更好地恢复原始 Qwen3 的指令遵循 (instruction-following) 能力，遵循 Qwen3 技术报告 (Yang et al., 2025) 中的方法，随机在用户提示后附加后缀（/think、/no_think 或空字符串），以对齐模型的行为与强制思考 (forced-thinking)、非思考 (non-thinking) 和自动思考 (auto-thinking) 范式。

4.2.3. 推荐强化学习 (Reinforcement Learning for Recommendation)

目的： 在线策略蒸馏 (on-policy distillation) 恢复了模型的通用推理能力，但它并未直接优化定义推荐质量的离散排序指标 (ranking metrics)（如 Recall 或 NDCG）。SFT 主要关注最大化真实标注序列 (ground-truth sequences) 的似然，但通常受曝光偏差 (exposure bias) 影响，且无法区分“差一点命中”和不相关的推荐。为弥合此差距，引入了最终阶段：面向推荐的强化学习 (Recommendation-oriented Reinforcement Learning, Rec-RL)。

4.2.3.1. 群组相对策略优化 (Group Relative Policy Optimization, GRPO)

方法： 采用 Group Relative Policy Optimization (GRPO) (Shao et al., 2024) 作为强化学习 (reinforcement learning) 框架。与传统的 Actor-Critic 算法（如 PPO）不同，GRPO 计算响应相对于同一提示下采样的一组轨迹 (trajectories) 的优势 (advantage)。这显著降低了计算开销，同时保持了稳定性。

目标函数： 对于每个推荐提示 $q$，从当前策略 $\pi_\theta$ 采样一组 $G$ 个候选响应 $\{R_1, R_2, \ldots, R_G\}$。目标是最大化以下函数： $$\mathcal{L}_{GRPO}(\theta) = \frac{1}{G} \sum_{i=1}^G \left( \mathsf{Adv}_i \cdot \log \pi_\theta(R_i | q) \right) - \beta \cdot KL(\pi_\theta || \pi_{ref})$$ 其中，$\pi_{ref}$ 是在线策略蒸馏 (on-policy distillation) 后获得的模型，$\mathsf{Adv}_i$ 是通过对组内奖励进行归一化计算得到的相对优势 (relative advantage)。

4.2.3.2. 基于规则的推荐奖励 (Rule-based Recommendation Reward)

奖励函数： 为了使模型直接与排序准确性 (ranking accuracy) 对齐，设计了一个稀疏的、基于规则的奖励函数 (reward function) $r(R_i)$，专注于“命中 (Hit)”事件。对于 5 个核心推荐任务（短视频推荐、广告推荐、产品推荐、交互式推荐和标签条件推荐），奖励定义为： $$r(R_i) = \left\{ \begin{array}{ll} +1.0 & \mathrm{if \ the \ target \ itemic \ token \ } s \in R_i \\ 0.0 & \mathrm{otherwise} \end{array} \right.$$ 通过为每个用户交互历史采样多个候选序列（组），GRPO 鼓励模型为导致成功命中的物品词元 (itemic tokens) 分配更高的概率质量，从而在生成空间内有效地执行“软排序 (Soft Ranking)”。

实施细节：

• 使用蒸馏后模型 (model post-distillation) 初始化 RL 训练器。
• 为确保模型不会为了领域特定精度而牺牲其恢复的通用智能，对 $\pi_{ref}$ 施加严格的 KL 惩罚 ($\beta$)。
• 使用与 SFT 阶段相同的数据集，并在整个 RL 训练过程中观察到推荐性能的持续改进。

5. 实验设置

5.1. 数据集

5.1.1. RecIF-Bench

RecIF-Bench 是一个综合基准，旨在严格评估推荐基础模型 (foundation models) 的能力。

数据集构建：

• 规模： 聚合了约 1.2 亿次交互，来自 20 万不同的用户。
• 领域覆盖： 跨越三个异构工业领域，每个领域捕获不同的用户行为模式。

  • 短视频 (Content Domain): 快手平台的短视频，包含各种 APP 标签下的观看行为。提供曝光序列和每次曝光对应的交互类型。

  • 广告 (Commercial Domain): 快手平台广告主赞助的推广短视频，通常包含可点击的重定向。提供用户广告点击行为的点击序列。

  • 产品 (E-commerce Domain): 快手商城中列出的产品。提供用户产品点击行为的点击序列。

    以下是原文 Table 1 提供的 RecIF-Bench 统计数据：

    Domain	# Users	# Items	# Interactions	Avg. Hist. Item	Avg. Tgt. Item
    Short Video	195,026	13,107,675	94,443,611	458.1	8.6
    Ad	151,259	177,548	5,341,911	29.9	5.5
    Product	144,307	2,055,240	20,087,210	132.5	6.7
    Total	202,359	15,340,463	119,872,732	574.9	17.5

原文 Figure 3 展示了 RecIF-Bench 的数据分布分析：

该图像是图表，展示了 RecIF-Bench 数据分布分析。其中 (a) 显示各域项目的热门程度分布（对数-对数坐标），(b-d) 展示短视频、广告和产品域的用户历史长度分布。各子图反映了不同类型项目的互动计数和历史长度特点。

图 3 | RecIF-Bench 的数据分布分析。(a) 各领域物品流行度分布（对数-对数尺度）。(b-d) 分别为短视频、广告和产品领域的用户历史长度分布。

• 丰富元数据 (Rich Metadata): 除了交互日志外，RecIF-Bench 还提供三个维度的综合元数据 (metadata)：

  • 用户侧 (User-side): 每个用户由一个用户画像表示，该画像将自然语言描述与物品词元 (itemic tokens) 交错，包含人口统计学信息（性别、年龄）、内容创作历史、近期搜索、关注的创作者类型、观看偏好、评论、直播观看、购买记录、购物车物品、本地服务优惠券、广告曝光和商业意图信号。
  • 物品侧 (Item-side): 每个物品关联有多模态嵌入 (multimodal embeddings) (4096 维文本嵌入和每帧 1152 维的 5 帧视觉嵌入)。此外，提供约 1300 万视频的密集描述 (dense captions)。
  • 交互侧 (Interaction-side): 对于曝光序列中的每个用户-视频对，记录多标签行为信号，包括点赞、关注、评论、有效观看和不喜欢。

• 物品词元化 (Itemic Tokenization): 为了使这些数据集与 Section 2.1 定义的生成范式对齐，对数据集中的所有物品应用层次量化策略 (hierarchical quantization strategy)。RecIF-Bench 中的每个物品都被预词元化 (pre-tokenized) 为离散词元 (tokens) 的元组 $s = (c_1, c_2, ..., c_k)$。

• 数据分割策略 (Data Splitting Strategy): 采用严格的基于用户的数据分割 (user-based splitting strategy) 来评估泛化能力。从 20 万用户中随机选择 20% 作为保留测试集 (held-out test set)，这些用户及其交互完全排除在训练阶段之外。对于每个用户，将其交互序列按时间进一步划分：指定时间戳之前的交互构成历史 $\mathcal{H}$，之后的部分作为评估目标 $Y$。

5.1.2. Amazon Benchmark

为了评估模型的泛化能力，使用了流行的亚马逊评论基准 (McAuley et al., 2015) 中的十个真实世界数据集，涵盖多样化的领域：婴儿用品、美容、手机与配件、杂货与美食、健康与个人护理、家居与厨房、宠物用品、运动与户外、工具与家居装修、玩具与游戏。

• 数据预处理： 丢弃交互次数少于 5 次的稀疏用户和物品。
• 分割策略： 采用留一法 (leave-one-out strategy) (Rajput et al., 2023; Wang et al., 2024) 分割数据集进行训练和评估。

5.2. 评估指标

评估协议： 采用双度量评估系统 (dual-metric evaluation system)，同时涵盖推荐准确性和生成质量。

5.2.1. 推荐指标 (Recommendation Metrics)

针对推荐任务（Layer 1 和 Layer 2），使用以下指标：

• Pass@K:
  • 概念定义： Pass@K 衡量真实标注物品 (ground truth item) 是否出现在模型生成的前 K 个候选物品 (top-K generated candidates) 中。如果真实物品在其中，则认为该次推荐成功。
  • 数学公式： 该指标通常是一个二元指示函数，表示在每个用户的推荐列表中是否有命中。对于一个用户，其计算方式为： $$\text{Pass@K} = \mathbf{1}(\exists i_{gt} \in R_K)$$
  • 符号解释：
    • $\mathbf{1}(\cdot)$: 指示函数，当括号内条件为真时取 1，否则取 0。
    • $i_{gt}$: 用户的真实标注物品 (ground truth item)。
    • $R_K$: 模型为用户生成的前 K 个推荐物品列表。
• Recall@K:
  • 概念定义： Recall@K 衡量模型在前 K 个推荐中召回了多少相关物品。它关注的是所有相关物品中有多少被成功推荐出来，是衡量覆盖率 (coverage) 和命中率 (hit rate) 的常用指标。
  • 数学公式： $$\text{Recall@K} = \frac{|\text{Relevant Items} \cap R_K|}{|\text{Relevant Items}|}$$
  • 符号解释：
    • $|\cdot|$: 集合中元素的数量。
    • $\text{Relevant Items}$: 用户实际交互或感兴趣的所有相关物品集合。
    • $R_K$: 模型为用户生成的前 K 个推荐物品列表。
    • $\cap$: 集合交集运算符。
• AUC (Area Under the Curve):
  • 概念定义： AUC 用于二分类 (binary classification) 任务，如标签预测。它衡量模型区分正负样本的能力，即模型将一个随机选择的正样本排在随机选择的负样本之前的概率。AUC 值越高表示模型性能越好，1.0 表示完美分类，0.5 表示随机分类。
  • 数学公式： $$\text{AUC} = \frac{\sum_{i \in \text{Positive}} \sum_{j \in \text{Negative}} \mathbf{1}(score(i) > score(j))}{\text{Number of Positive Samples} \times \text{Number of Negative Samples}}$$
  • 符号解释：
    • $\text{Positive}$: 正样本集合。
    • $\text{Negative}$: 负样本集合。
    • score(i): 模型对样本 $i$ 的预测分数。
    • $\mathbf{1}(\cdot)$: 指示函数，当括号内条件为真时取 1，否则取 0。
    • $\text{Number of Positive Samples}$: 正样本的数量。
    • $\text{Number of Negative Samples}$: 负样本的数量。

5.2.2. 文本生成指标 (Text Generation Metrics)

针对文本生成任务（Layer 0 和 Layer 3），采用 LLM-as-Judge 评估，通过提示一个独立的 LLM 来评估生成文本的准确性和连贯性等维度。详细信息在 Appendix B.1 提供，包括信息点提取 (Information Point Extraction)、语义匹配 (Semantic Matching) 和加权评分 (Weighted Scoring)。

5.3. 对比基线

为了证明 OneRec-Foundation 的有效性，将其与两组有竞争力的基线模型 (baselines) 进行比较：

1. 判别式推荐模型 (Discriminative recommender models):

   • BERT4Rec (Sun etal., 2019): 基于 Transformer 的序列推荐模型。
   • GRU4Rec (Hidasi et al., 2016): 基于 GRU 的会话推荐模型。
   • SASRec (Kang and McAuley, 2018): 基于自注意力机制的序列推荐模型。
   • HSTU (Zhai et al., 2024): 面向生成式推荐的万亿参数序列转换器。
   • ReaRec (Tang et al., 2025): 针对序列推荐的潜在推理能力。
   • 特点： 这些判别式方法本质上是任务特定的，每个任务都需要单独训练一个模型。

2. 生成式推荐模型 (Generative recommender models):

   • TIGER (Rajput et al., 2023): 基于生成式检索的推荐系统。

   • LC-Rec (Zheng et al., 2024): 通过整合协同语义 (collaborative semantics) 促进大型语言模型适应推荐任务。

   • 特点： 为了公平比较，LC-Rec 被实现为使用可比较的 Qwen3-8B 骨干网络 (backbone) 的 "LC-Rec-8B"。

     此外，为进行通用智能 (general intelligence) 的健全性检查 (sanity check)，还会与 Qwen3 基础模型 (base model) 进行比较。

6. 实验结果与分析

6.1. RecIF-Bench 主要结果分析

以下是原文 Table 4 提供的所有任务的统一性能比较：

主要发现：

• 最先进的推荐性能 (State-of-the-Art Recommendation Performance): OneRec-Foundation 在绝大多数任务中始终优于所有基线模型 (baselines)。
• 模型和数据扩展效应 (Model and Data Scaling Effects):
  • 数据扩展 (Data Scaling): OneRec-Pro 在相同模型尺寸下始终超越 OneRec，这表明使用更大规模的工业语料库能够显著提升模型性能。
  • 模型扩展 (Model Scaling): 8B 参数模型在所有变体中均优于 1.7B 参数模型，验证了模型规模对推荐能力的重要性。
• 通用能力与推荐能力的权衡 (Trade-off on General Capabilities):

  • 根据 Table 5 和 Table 6，模型成功保留了 Qwen3 骨干网络 (backbone) 的大部分通用能力，尤其是在数学基准上性能下降最小。

  • 然而，在通用知识和推荐能力之间观察到性能权衡，这表明虽然蒸馏过程 (distillation process) 有效地保留了推理能力，但通用数据多样性的限制可能制约了模型的更广泛能力，需要更精细的数据策略来平衡推荐和通用能力。

    以下是原文 Table 5 提供的通用能力（Thinking 模式）性能比较：

    Category	Task			Qwen3-1.7B OneRec-1.7B OneRec-1.7B-Pro			Qwen3-8B OneRec-8B OneRec-8B-Pro
    Math & Text Reasoning	MATH-500	0.8780	0.8840	0.8840	0.9520	0.9460	0.9380
    	GSM8K	0.9121	0.8984	0.8999	0.9568	0.9575	0.9575
    	AIME'24	0.4938	0.4104	0.4146	0.7917	0.7250	0.7188
    General Tasks	MMLU-Pro	0.5422	0.3548	0.3932	0.7235	0.5342	0.5204
    	GPQA-Diamond	0.3788	0.3232	0.3333	0.5606	0.5000	0.5051
    Alignment Tasks	IFEVALstrict prompt	0.6969	0.5471	0.5416	0.8577	0.7893	0.7634
    Coding	LiveCodeBench v5	0.3907	0.2832	0.2832	0.5484	0.4910	0.4667

以下是原文 Table 6 提供的通用能力（Non-Thinking 模式）性能比较：

6.2. 亚马逊基准上的迁移学习 (Transfer Learning on Amazon Benchmark)

为了评估 OneRec-Foundation 的可迁移性 (transferability)，在亚马逊基准的 10 个不同领域进行了全面实验。这些实验严格验证了在多样化开放领域数据上预训练的基础模型 (foundation model) 是否能为特定下游推荐分布的建模提供基础的迁移优势。

主要结果： 以下是原文 Table 7 提供的亚马逊领域跨领域泛化性能：

OneRec-Foundation 在所有 10 个数据集上均建立了新的最先进 (SOTA) 结果。具体而言，模型在每个领域的 Recall@10 上比第二好的基线模型 (baseline) 平均提高了 26.8%。这些结果经验性地证实了大规模生成式预训练赋予模型强大的迁移能力，远超传统协同过滤 (collaborative filtering) 方法。

在迁移学习 (transfer learning) 实验中，确定了两个显著影响性能的关键因素：预训练知识的综合利用 (Comprehensive Utilization of Pre-trained Knowledge) 和多领域联合训练 (Multi-Domain Joint Training)。

6.2.1. 预训练模型利用的自适应策略 (Adaptive Strategies for Pre-trained Model Utilization)

挑战： 迁移学习中的主要挑战是物品标识符的分布漂移 (distributional shift)。预训练的分词器 (tokenizer) 在广泛的开放领域语料库（例如短视频、电商产品）上进行了优化，这可能导致在特定垂直领域（如亚马逊产品）中物品区分不细致。直接应用会导致高冲突率 (collision rate) ($>30\%$)，造成灾难性信息损失。

三种策略：

1. 扩展残差量化 (Extended Residual Quantization):

   • 通过计算预训练的第三层残差并应用有限标量量化 (Finite Scalar Quantization, FSQ) (Mentzer et al., 2023) 来生成第四层代码，将冲突率 (collisions) 降至 3.05%。剩余冲突通过基于流行度的解码 (popularity-based decoding) 解决。
   • 结果：在平均 R@10 上比 LC-Rec 提高了 10.0%，验证了协同过滤 (collaborative filtering) 知识的有效迁移。
   • 局限性：非预训练的第四层破坏了原始的层次语义。

2. 纯文本自适应 (Text-Only Adaptation):

   • 完全绕过物品词元 (itemic tokens)，通过从物品元数据 (metadata) 中提取的 5 个独特关键词来表示每个物品，将冲突率 (collisions) 降至 4.27%。
   • 结果：在平均 R@10 上比扩展残差量化 (Extended Residual Quantization) 提高了 18.8%。模型的语言核心保持完整，能够实现鲁棒的语义理解，而自然语言表示在狭窄领域中更具表达性。
   • 局限性：牺牲了预训练物品词元中嵌入的协同过滤 (collaborative filtering) 信号。

3. 文本增强物品词元 (Text-Augmented Itemic Tokens):

   • 将原始的三层预训练物品词元 (itemic tokens) 与关键词表示连接起来：[itemic_tokens] $^+$ [keywords]。

   • 关键点： 保留原始预训练的物品词元 (itemic tokens)，没有结构性扩展，保持了层次语义。关键词提供了语义消歧（冲突率 (collision rate) 0.47%），并使语言能力得到充分利用。

   • 结果：原文 Table 8 显示，该策略在几乎所有数据集上均达到最先进 (SOTA) 性能。一致的增益验证了有效的迁移学习 (transfer learning) 需要最大化利用基础模型 (foundation model) 的多样化能力（协同过滤 (collaborative filtering)、知识和语义理解），同时严格保持预训练的结构完整性。

     以下是原文 Table 8 提供的预训练模型利用自适应策略的性能比较：

     Strategy	Metric	Baby	Beauty	Cell	Grocery	Health	Home	Pet	Sports	Tools	Toys
     Extended Residual Quantization	R@5	0.0288	0.0534	0.0574	0.0562	0.0479	0.0227	0.0518	0.0315	0.0350	0.0511
     	R@10	0.0407	0.0799	0.0830	0.0861	0.0673	0.0313	0.0758	0.0447	0.0495	0.0701
     	N@5	0.0201	0.0364	0.0389	0.0383	0.0333	0.0162	0.0356	0.0215	0.0243	0.0360
     	N@10	0.0239	0.0449	0.0471	0.0480	0.0396	0.0190	0.0433	0.0258	0.0289	0.0421
     Text-Only Adaptation	R@5	0.0317	0.0630	0.0688	0.0687	0.0529	0.0285	0.0548	0.0368	0.0414	0.0668
     	R@10	0.0448	0.0883	0.0985	0.1048	0.0752	0.0398	0.0850	0.0548	0.0615	0.0931
     	N@5	0.0227	0.0445	0.0473	0.0460	0.0368	0.0199	0.0382	0.0256	0.0288	0.0483
     	N@10	0.0269	0.0526	0.0569	0.0576	0.0440	0.0235	0.0478	0.0314	0.0354	0.0568
     Text-Augmented Itemic Tokens	R@5	0.0352	0.0646	0.0717	0.0688	0.0534	0.0285	0.0563	0.0368	0.0414	0.0693
     	R@10	0.0513	0.0924	0.1036	0.1029	0.0768	0.0398	0.0834	0.0547	0.0593	0.0953
     	N@5	0.0238	0.0456	0.0490	0.0460	0.0376	0.0202	0.0389	0.0256	0.0295	0.0496
     	N@10	0.0289	0.0545	0.0593	0.0576	0.0452	0.0237	0.0478	0.0314	0.0354	0.0579

6.2.2. 领域特定训练 vs. 多领域联合训练 (Domain-Specific Training vs. Multi-Domain Joint Training)

除了物品表示，另一个关键因素是跨领域的训练策略。比较了领域特定训练 (Domain-Specific Training) 与多领域联合训练 (Multi-Domain Joint Training)，以研究预训练基础模型 (foundation model) 是否能从多领域知识整合中受益，与传统生成式推荐器 TIGER 形成对比。

原文 Figure 8 揭示了一个显著的差异。TIGER 在联合训练下表现出持续的性能下降，Recall@10 平均下降 10.6%。相比之下，OneRec-Foundation 平均提高了 2.3%。

该图像是图表，展示了不同训练策略（少量训练、领域特定及多领域联合）对转移性能的影响。通过比较 OneRec-Foundation 和 TIGER 在四个亚马逊领域的 Recall@10，显示了我们方法在不同设置下的表现。绿虚线代表我们与 TIGER 的性能差异（Recall @ 10 之差）。

图 8 | 训练策略（领域特定 vs. 多领域联合）和少量样本学习对转移性能的影响。我们比较了 OneRec-Foundation（我们的模型）与 TIGER 在三种设置下（10% 训练数据的少量样本学习、领域特定策略下的全数据训练、以及联合多领域策略下的全数据训练）在四个亚马逊领域的表现。绿虚线表示 OneRec-Foundation 相对于 TIGER 的性能增益（Recall@10 差异）。

这种差异突出了预训练基础模型的根本优势：

• 像 TIGER 这样的传统模型主要记忆领域特定的协同统计 (collaborative statistics)。当面对异构的多领域数据时，它们难以调和冲突的模式，导致性能下降。
• 相比之下，OneRec-Foundation 的成功源于预训练阶段获得的丰富推荐知识和语义理解能力的独特结合。这使得模型能够提取可泛化模式 (generalizable patterns)，而不是记忆领域特定统计数据。多领域联合训练通过使其接触多样化的交互模式，进一步丰富了模型，实现了有效的跨领域知识迁移。巨大的参数容量提供了足够的表示空间来编码领域特定细微差别，同时保持共享的高级模式。

6.2.3. 少量样本学习：增强的迁移优势 (Few-Shot Learning: Amplified Transfer Advantage)

除了训练策略，原文 Figure 8 还显示，基础模型 (foundation models) 的迁移学习 (transfer learning) 优势在数据稀缺的情况下变得显著增强。

• 在完整训练数据下，OneRec-Foundation 在 Recall@10 上平均超越 TIGER 77.7%。
• 在 10% 少量样本（few-shot）学习机制下，这一差距显著扩大至 219.7%。
• OneRec-Foundation 在仅使用 10% 数据时保留了其完整数据性能的 45.2%，而 TIGER 仅保留了 23.0%。 这一显著的弹性 (resilience) 验证了大规模预训练赋予模型强大的、可迁移的表示，使得在严格数据限制下也能有效进行领域适应 (domain adaptation)。

6.3. 消融研究 (Ablation Study)

6.3.1. 预训练策略消融研究 (Ablation Study on Pre-training Strategies)

进行了消融研究 (ablation study)，以量化预训练管道中物品-文本对齐 (itemic-text alignment)（阶段 1）的贡献。比较了完整阶段模型与省略此初始阶段的变体（w/o Align）。两个版本均使用相同的预训练方案，包括优化器 (optimizer)、学习率调度和上下文长度。由于原始预训练检查点 (checkpoints) 缺乏固有的指令遵循 (instruction-following) 能力，因此在基准测试 (benchmarking) 之前，对两种变体都应用了 Section 5.1 描述的多任务监督微调 (Multi-task SFT)，并在三个模型规模（0.6B、1.7B 和 8B）上进行。

以下是原文 Table 9 提供的预训练策略消融研究结果：

结果分析：

• 结果显示，阶段 1 (物品-文本对齐 (itemic-text alignment)) 作为冷启动 (cold-started) 物品词元 (itemic token) 嵌入 (embeddings) 的基础语义桥梁。
• 通过在全参数微调 (fine-tuning) 之前将这些初始化的参数与预训练潜在空间 (latent space) 对齐，阶段 1 建立了稳健的语义基础，这对于较小模型（0.6B、1.7B）尤其必要。
• 阶段 1 的边际收益与模型尺寸反向扩展 (inversely scale)，这可能是因为较大的骨干网络 (backbones) 具有更强的固有泛化能力。
• 然而，此阶段对于领域特定精度仍然至关重要，特别是在标签预测 (label prediction) 和交互式推荐 (interactive recommendation) 任务中。
• 这些发现强调了显式对齐是优化所有模型规模下推荐性能的先决条件。

6.3.2. 后训练阶段模型能力演变 (Evolution of Model Capabilities Across Post-training Stages)

还分析了模型在每个关键后训练阶段后的性能：多任务监督微调 (Multi-task Supervised Fine-tuning)、通用能力在线策略蒸馏 (On-policy Distillation for General Capability) 和推荐强化学习 (Reinforcement Learning for Recommendation)。如 Table 10、Table 11 和 Table 12 所示，每个阶段都在平衡推荐领域和通用领域性能之间扮演着独特角色。

6.3.2.1. 在线策略蒸馏对通用能力的影响 (Impact of On-policy Distillation on General Capabilities)

以下是原文 Table 10 提供的后训练阶段通用能力（Thinking 模式）性能比较：

以下是原文 Table 11 提供的后训练阶段通用能力（Non-Thinking 模式）性能比较：

结果分析：

• 比较阶段 1 (多任务监督微调 (Multi-task SFT)) 和阶段 2 (在线策略蒸馏 (On-policy Distillation)) 发现，在线策略蒸馏 (on-policy distillation) 显著恢复了通用能力，有效地使模型在大多数通用基准上与 Qwen3 基线 (baseline) 对齐。
• 尽管有显著改进，但相对于原始 Qwen3 基础模型 (base model)，在多项指标上仍存在性能差距。这一差距可能归因于蒸馏阶段 (distillation phase) 的当前数据组成和质量，这表明需要更精细的数据策略来更好地平衡推荐和通用能力。
• 指令漂移 (Instruction Drift): 在多任务监督微调 (Multi-task SFT) 阶段后，观察到“非思考 (Non-Thinking)”模式下的几项指标异常高，有时甚至超过 Qwen3 基础模型 (base model)。定性结果表明，这是由于指令漂移 (instruction drift)，即模型忽略 /no_think 标签并生成“思考 (thinking)”轨迹 (trajectories) (例如 CoT，思维链 (Chain-of-Thought))，导致分数虚高。这个问题通过在线策略蒸馏 (On-policy Distillation) 有效缓解，恢复了模型在不同推理模式之间忠实切换的能力。

6.3.2.2. 推荐强化学习的进步 (Advancements through RL for Recommendation)

以下是原文 Table 12 提供的后训练阶段推荐基准性能：

结果分析：

• 最终的强化学习 (reinforcement learning) 阶段显示出对核心推荐任务的针对性改进。如 Table 12 所示，经过 RL 训练的模型在推荐任务上实现了持续的增益。
• 这些改进源于直接优化排序准确性 (ranking accuracy) 的基于规则的命中奖励 (Hit reward)，鼓励模型为目标物品词元 (itemic tokens) 分配更高的概率质量。
• 值得注意的是，Reco Reason 任务也受益于 RL 训练。这表明通过 RL 获得的精细“推荐直觉”可以转移到解释生成，产生更连贯和相关的推理。

7. 总结与思考

7.1. 结论总结

本文提出了 OpenOneRec，一个旨在弥合传统推荐系统和大语言模型 (LLMs) 之间差距的综合框架。核心贡献包括：

1. RecIF-Bench： 首次提出了 RecIF-Bench，一个涵盖从基础预测到复杂推理的 8 项多样化任务的整体推荐指令遵循 (instruction-following) 基准。

2. 开源框架： 为促进可复现研究和可扩展性，开源了包括数据处理、协同预训练和后训练协议在内的全栈训练管道，并验证了推荐能力的扩展定律 (scaling laws)。

3. OneRec-Foundation 模型： 发布的 OpenOneRec-Foundation 模型系列在 RecIF-Bench 上取得了最先进 (SOTA) 的性能，并在亚马逊基准测试中展现出卓越的可迁移性 (transferability)，平均 Recall@10 提升了 26.8%。

   这些成就证实了统一生成范式的有效性，标志着向构建真正智能推荐系统迈出了重要一步。

7.2. 局限性与未来工作

论文作者指出了当前工作的几个局限性，并提出了未来研究方向：

1. 分词器可迁移性 (Tokenizer Transferability): 尽管推荐骨干网络 (backbone) 显著提升了下游性能，但收益的幅度目前受限于分词器 (tokenizer) 的可迁移性 (transferability)。未来的工作应着力于最大化基础模型 (foundation model) 先验知识 (priors) 的重用，同时确保下游任务的物品索引（代码质量）保持高水准。
2. 数据混合与利用效率 (Data Mixing and Utilization Efficiency): 维持模型的通用智能 (general intelligence) 和推理能力需要混入大量的通用领域文本进行训练。如何研究最佳的数据混合比例以及提高数据利用效率，以平衡领域特定精度与通用能力，是一个亟待解决的挑战。
3. 思维链推理的局限性 (Limitations of Chain-of-Thought Reasoning): 观察到思维链 (Chain-of-Thought) 推理目前仅在有限设置下带来改进。这强调了需要更严格地探索测试时扩展策略 (test-time scaling strategies)，以在多样化的推荐场景中实现一致的推理增益。

7.3. 个人启发与批判

7.3.1. 个人启发

这篇论文提供了一个全面且前瞻性的视角，将大语言模型 (LLMs) 的能力引入推荐系统领域，具有多方面的启发：

• 统一范式的重要性： 将推荐视为一个序列生成问题，并利用 LLM 强大的建模能力，是解决传统推荐系统碎片化和功能单一问题的有效途径。这种统一的框架简化了开发流程，并有望实现更复杂的行为（如解释、交互）。
• 数据作为核心驱动力： 扩展定律 (scaling laws) 的验证再次强调了数据在 LLM 时代的重要性。推荐领域被发现是“数据饥渴型”的，这意味着未来推荐基础模型 (foundation models) 的发展将高度依赖于大规模、高质量和多样化的用户交互数据。
• 通用智能的价值： 论文通过在线策略蒸馏 (on-policy distillation) 有效缓解灾难性遗忘 (catastrophic forgetting)，并成功保留了 LLM 的通用推理能力，这表明通用智能对领域特定任务的“赋能”作用是巨大的。一个能够进行复杂推理的推荐系统，将比纯粹的模式匹配器更有价值。
• 评估基准的引领作用： RecIF-Bench 的提出为该领域提供了一个急需的全面评估工具，它不仅关注传统的准确性指标，还涵盖了指令遵循 (instruction following)、多模态 (multimodal) 理解和解释生成 (explanation generation) 等高级能力，将引导未来的研究方向。
• 开放科学的推动： 开源数据集、训练管道和模型，极大地降低了研究门槛，鼓励社区共同参与，加速了智能推荐系统的发展。

7.3.2. 批判

尽管 OpenOneRec 取得了显著进展，但仍有一些潜在问题或可以改进的地方：

• “黑箱”问题与可解释性： 尽管论文提出了推荐解释 (Recommendation Explanation) 任务，并声称 RL 训练有助于“推荐直觉”，但 LLM 固有的“黑箱”性质仍是一个挑战。生成的解释是否真正反映了模型决策过程，还是仅仅是“合理化”的输出，需要更深入的因果分析 (causal analysis) 和人类评估 (human evaluation) 来验证。
• 数据隐私与偏见： 论文使用了匿名的快手用户日志和工业语料库，但在数据匿名化 (data anonymization) 程度、用户隐私保护 (user privacy protection) 措施以及潜在的数据偏见 (data bias) 方面缺乏详细说明。大规模用户数据的应用必然伴随着这些伦理和社会挑战，应在报告中予以更充分的探讨。
• 计算资源需求： 训练 8B 甚至更大规模的 LLM，并进行多阶段的预训练和后训练（特别是强化学习 (RL)），需要巨大的计算资源。这限制了小型团队或个人研究者复现和进一步改进的门槛。虽然开源有助于复现，但高昂的计算成本仍然是实际应用中的一个障碍。
• “思维链 (Chain-of-Thought)”推理的稳定性： 论文提到 CoT 推理目前仅在有限设置下带来改进，并且 SFT 阶段可能出现指令漂移 (instruction drift)。这表明在复杂推理任务中，LLM 的行为控制和一致性仍是待解决的问题，需要更鲁棒的对齐方法 (alignment methods)。
• 扩展定律的普适性： 论文对推荐领域的扩展定律 (scaling laws) 进行了初步探索，并发现其与通用 LLM 的定律有所不同。然而，其结论是基于特定数据集和 Qwen3 骨干网络 (backbone) 的。这些定律是否具有更广泛的普适性（例如，在不同领域、不同架构或不同物品词元 (itemic token) 方案下），仍需进一步验证。
• 真实世界部署的挑战： 尽管模型在基准上表现出色，但将其部署到真实世界的推荐场景中，仍需面对延迟、吞吐量、在线 A/B 测试、持续学习和快速迭代等工程挑战。论文并未深入探讨这些实际部署的问题。

7.3.3. 迁移与应用

OpenOneRec 的方法和发现可以迁移或应用到其他领域：

• 多模态内容理解： Itemic Tokens 的概念可以将多模态物品（图片、视频、音频）统一编码为 LLM 可处理的格式，这对于多模态对话系统 (multimodal dialogue systems)、内容生成 (content generation) 和跨模态检索 (cross-modal retrieval) 等领域具有参考价值。

• 智能助理与对话系统： 将推荐系统与指令遵循 (instruction following) 和推理能力结合，可以为智能助理和对话系统提供更个性化、更具上下文感知的推荐服务。例如，在旅行规划中，智能助手可以根据用户的历史偏好和当前对话意图提供个性化酒店和活动推荐，并解释其推荐理由。

• 个性化教育： 在线教育平台可以根据学生的学习历史、兴趣和知识水平，个性化推荐学习资源、课程或练习，并解释推荐的原因，帮助学生更好地理解学习路径。

• 知识图谱与语义搜索： 物品-文本对齐 (itemic-text alignment) 和交错用户画像 (interleaved user persona) 的构建方法，可以启发将结构化知识（如知识图谱中的实体）与非结构化文本相结合，以增强语义搜索和问答系统的能力。

  通过解决上述局限性，并进一步探索其跨领域应用潜力，OpenOneRec 有望为智能推荐和更广泛的 LLM 应用带来深远影响。