1. 论文基本信息

1.1. 标题

双层优化生成式推荐：弥合词元化与生成 (Bi-Level Optimization for Generative Recommendation: Bridging Tokenization and Generation)

1.2. 作者

论文作者包括：

• 白亦梦 (Yimeng Bai)：中国科学技术大学
• 刘畅 (Chang Liu)：北京航空航天大学
• 张洋 (Yang Zhang)：新加坡国立大学
• 王定贤 (Dingxian Wang)：Upwork
• 杨弗兰克 (Frank Yang)：Upwork
• 拉宾诺维奇·安德鲁 (Andrew Rabinovich)：Upwork
• 荣文戈 (Wenge Rong)：北京航空航天大学
• 冯福利 (Fuli Feng)：中国科学技术大学

1.3. 发表期刊/会议

ACM Symposium on Neural Gaze Detection, Woodstock '18 (2018年6月3-5日，伍德斯托克，纽约)。

• 注: 论文的 ACM Reference Format 中包含了 "Woodstock '18: ACM Symposium on Neural Gaze Detection, June 03-05, 2018, Woodstock, NY."，这表明论文投稿至该会议，但结合发布时间 2025-10-24T08:25:56.000Z，这可能是一个未来会议的预印本或一个排版上的占位符。在学术界，预印本 (arXiv preprint) 通常在正式发表前发布。

1.4. 发表年份

2025年 (根据 arXiv 发布日期 2025-10-24T08:25:56.000Z)。

1.5. 摘要

生成式推荐 (Generative recommendation) 是一种通过直接生成推荐物品而非依赖匹配的变革性范式。构建此类系统通常涉及两个关键组件：(1) 优化词元化器 (tokenizer) 以获取合适的物品标识符，以及 (2) 基于这些标识符训练推荐器 (recommender)。现有方法往往将这两个组件分开处理——无论是顺序地还是交替地——从而忽略了它们之间的相互依赖性。这种分离可能导致错位：词元化器在没有推荐目标直接指导的情况下进行训练，可能产生次优的标识符，从而降低推荐性能。

为了解决这个问题，本文提出了 BLOGER (Bi-Level Optimization for Generative Recommendation)，一个用于生成式推荐的双层优化框架，它在一个统一的优化过程中明确地建模了词元化器和推荐器之间的相互依赖性。下层负责使用词元化序列训练推荐器，而上层则根据词元化损失和推荐损失共同优化词元化器。本文采用元学习 (meta-learning) 方法高效地解决这一双层优化问题，并引入了梯度手术 (gradient surgery) 以缓解上层更新中的梯度冲突，从而确保物品标识符既信息丰富又与推荐目标对齐。在真实世界数据集上的广泛实验表明，BLOGER 持续优于最先进的生成式推荐方法，同时保持了实际效率，没有显著的额外计算开销，有效地弥合了物品词元化与自回归生成之间的鸿沟。

1.6. 原文链接

• 原文链接 (Original Link): https://arxiv.org/abs/2510.21242
• PDF 链接 (PDF Link): https://arxiv.org/pdf/2510.21242v1.pdf
• 发布状态: 预印本 (arXiv preprint)

2. 整体概括

2.1. 研究背景与动机

传统的推荐系统主要采用检索-排序 (retrieve-and-rank) 的级联方法，通过查询与候选物品的匹配来进行推荐。然而，这种判别式 (discriminative) 范式在大规模物品库中面临可伸缩性 (scalability) 问题，并且容易受到反馈循环 (feedback loops) 和个性化 (personalization) 不足的影响。

生成式推荐 (Generative recommendation) 作为一种新兴的范式，通过直接生成下一个物品的标识符来取代传统的匹配过程。这种方法具有以下优势：

1. 提高可伸缩性 (Improved Scalability): 无需与所有候选物品进行一对一比较。

2. 减少反馈循环 (Reduced Susceptibility to Feedback Loops): 避免了过度依赖用户历史行为造成的推荐偏差。

3. 增强用户个性化 (Enhanced User Personalization): 能够更灵活地生成符合用户偏好的物品。

   生成式推荐系统通常包含两个核心组件：

4. 物品词元化 (Item Tokenization): 将每个物品映射成一个词元序列 (sequence of tokens) 作为其标识符 (identifier)。

5. 自回归生成 (Autoregressive Generation): 基于词元化的交互历史，使用 Transformer 等模型自回归地生成下一个物品的标识符。

   现存问题 (Gap): 现有方法通常将物品词元化和自回归生成视为相互独立的组件，采用顺序优化 (sequential optimization) 或交替优化 (alternating optimization) 策略。这种分离导致了核心问题——错位 (misalignment)：

• 词元化器在训练时缺乏推荐目标的直接指导。

• 可能生成次优的标识符，损害推荐器的预测能力。

• 例如，对于“婴儿配方奶粉”和“尿布”这类经常一起购买但模态不同的物品，解耦的词元化器可能无法捕获它们强烈的用户行为关联。

  本文切入点/创新思路: 针对上述错位问题，本文提出明确建模词元化器和推荐器之间的相互依赖性，在一个统一的优化框架中进行端到端优化，确保词元化过程直接服务于最终的推荐目标。

2.2. 核心贡献/主要发现

本文的主要贡献和发现可以总结如下：

• 提出了双层优化框架 (Bi-Level Optimization Framework): 首次将生成式推荐重新构建为双层优化问题，明确建模了词元化器和推荐器之间的相互依赖性。下层优化推荐器，上层优化词元化器，其中上层的优化目标同时考虑了词元化损失和推荐损失，从而实现了词元化与推荐目标的直接对齐。
• 引入了 BLOGER 框架: 提出了 BLOGER (Bi-Level Optimization for GEnerative Recommendation) 框架，通过结合元学习 (meta-learning) 和梯度手术 (gradient surgery) 技术，高效且有效地解决了双层优化问题，同时没有引入显著的额外计算开销。
  • 元学习策略 (Meta-Learning Strategy): 采用元学习方法来桥接内层和外层优化，通过元梯度 (meta-gradients) 实现词元化器和推荐器之间更有效的双向学习。
  • 梯度手术 (Gradient Surgery): 引入梯度手术来缓解上层优化中词元化损失和推荐损失之间的潜在梯度冲突，确保物品标识符既信息丰富又与推荐目标对齐。
• 实验验证了优越性能: 在两个真实世界数据集 (Beauty, Instruments, Arts) 上进行了广泛实验，结果表明 BLOGER 持续优于最先进的生成式推荐方法。
• 深入分析揭示了性能提升机制: 通过可视化分析，发现 BLOGER 的性能提升主要源于改进的码本利用率 (codebook utilization)，特别是第一层码本的密度和熵值显著增加。这表明推荐损失能够自然地捕获协同信号，并通过梯度优化纠正仅依赖文本信息造成的粗粒度码本分配偏差。

3. 预备知识与相关工作

本节将介绍理解 BLOGER 框架所需的关键概念和技术，并将其置于现有研究的脉络中。

3.1. 基础概念

3.1.1. 生成式推荐 (Generative Recommendation)

概念定义: 生成式推荐是一种新型的推荐范式，其核心思想是直接生成用户可能感兴趣的下一个物品的标识符 (identifier) 或描述，而不是像传统推荐系统那样从一个预定义的候选物品集合中进行检索和排序匹配。它将推荐问题转化为一个序列生成任务，通常利用深度学习模型（特别是基于 Transformer 的模型）来学习用户行为序列并预测下一个物品的表示。

3.1.2. 物品词元化 (Item Tokenization)

概念定义: 物品词元化是指将每个物品（例如，一部电影、一本书、一件商品）映射成一个由离散词元 (discrete tokens) 组成的序列。这些词元作为物品的数字标识符，可以在生成模型中进行操作。词元化的目标是创建一种紧凑、有意义且易于模型学习和生成的物品表示形式。 本文语境: 在本文中，物品词元化通过残差量化 (Residual Quantization, RQ) 实现，将物品的语义嵌入 (semantic embedding) 编码成一个多层次的离散词元序列。这种分层编码能够捕捉物品从粗到细粒度的语义信息。

3.1.3. 自回归生成 (Autoregressive Generation)

概念定义: 自回归生成是一种序列生成方法，其中序列中的每个元素都根据其所有先前已生成的元素以及可能的输入条件进行预测。例如，在自然语言处理中，一个词的生成依赖于其前面的所有词；在生成式推荐中，下一个物品的词元序列是基于用户历史交互序列以及已生成的该物品的前缀词元来预测的。

3.1.4. 双层优化 (Bi-Level Optimization)

概念定义: 双层优化是一种包含两个嵌套优化问题的数学规划范式。它由一个上层问题 (upper-level problem) 和一个下层问题 (lower-level problem) 组成。下层问题的最优解是上层问题约束的一部分，这意味着上层优化变量会影响下层问题的解，而下层问题的最优解又会影响上层问题的目标函数。 数学形式: 一般形式为： $$\begin{array}{rl} \min_{x} & F(x, y^*(x)) \\ \text{s.t.} & y^*(x) \in \arg\min_{y} G(x, y) \end{array}$$ 其中 $x$ 是上层变量， $y$ 是下层变量， $F$ 是上层目标函数， $G$ 是下层目标函数， $y^*(x)$ 是在给定 $x$ 的情况下 $G$ 的最优解。

3.1.5. 残差量化 (Residual Quantization, RQ)

概念定义: 残差量化是一种将连续向量量化为离散码本 (codebook) 索引序列的技术。它通过迭代地量化残差 (residual) 来实现。首先，原始向量被量化到第一个码本中最接近的码字 (codeword)。然后，计算原始向量与该码字之间的残差，并将此残差向量量化到第二个码本。这个过程重复进行 $L$ 次，产生一个 $L$ 个码字索引的序列，从而在保持信息量的同时，实现了多层次、由粗到细的量化。 优势: 能够有效压缩数据，并为生成模型提供分层结构化的离散表示。

3.1.6. 元学习 (Meta-Learning)

概念定义: 元学习，又称“学会学习” (learning to learn)，是一种旨在使机器学习模型能够快速适应新任务或新环境的方法。它通常涉及在一个“任务分布”上进行训练，使得模型能够学习如何通过少量数据或少量迭代来解决新的、未见过的任务。 本文语境: BLOGER 采用类似于 MAML (Model-Agnostic Meta-Learning) 的元学习策略来解决双层优化问题。通过内层对推荐器的“快速适应”来评估词元化器的质量，从而指导词元化器的更新。

3.1.7. 梯度手术 (Gradient Surgery)

概念定义: 梯度手术是一种处理多任务学习中梯度冲突 (gradient conflicts) 的技术。在多任务学习中，当不同任务的梯度方向相互冲突时（例如，它们指向相反的方向），同时优化这些任务可能会导致训练不稳定或性能下降。梯度手术通过调整或投影 (projecting) 梯度，以消除它们之间的冲突分量，确保不同任务的梯度在更新模型参数时不会相互抵消，从而促进更稳定的多任务优化。

3.1.8. Transformer 模型 (Transformer Model)

概念定义: Transformer 是一种基于自注意力 (self-attention) 机制的深度学习模型，最初用于自然语言处理。它由一个编码器 (encoder) 和一个解码器 (decoder) 组成，能够处理序列数据并捕捉长距离依赖关系。 本文语境: BLOGER 中的推荐器采用了基于 Transformer 的编码器-解码器架构，具体是 T5 (Text-to-Text Transfer Transformer)，用于自回归生成物品的词元序列。

3.2. 前人工作

论文在“Related Work”和“Introduction”部分提到了多种相关工作。

3.2.1. 生成式推荐 (Generative Recommendation)

• 早期工作: 探索将协同知识 (collaborative knowledge) 融入大型语言模型 (LLM)，通过生成物品标识符或文本描述进行推荐。
  • BIGRec [3]: 使用物品标题表示物品，并通过两步接地 (bi-step grounding) 范式微调 LLM 进行推荐。
  • IDGenRec [37]: 为物品生成独特、简洁、语义丰富且平台无关的文本标识符，使其更好地适应基于 LLM 的推荐器。
  • BinLLM [48]: 将从外部模型获得的协同嵌入 (collaborative embeddings) 转换为二进制序列，以适应 LLM 的输入格式。
  • P5 [10]: 结合协同知识和 LLM，通过谱聚类 (spectral clustering) 在物品共现图 (item co-occurrence graphs) 上生成物品标识符。
• 基于序列到序列 (Seq2Seq) 的方法: 将物品词元化与自回归生成相结合，将推荐问题表述为序列到序列任务。
  • 顺序优化 (Sequential Optimization): 词元化器独立训练，生成静态标识符，然后推荐器使用这些标识符进行生成。
    • TIGER [34]: 使用文本嵌入构建物品的语义 ID（码字元组），并使用 Transformer 预测下一个物品。
    • LETTER [40]: 在 TIGER 基础上引入可学习的词元化器，结合分层语义、协同信号和码分配多样性来提高标识符质量。
    • QARM [26]: 挖掘高质量下游任务的物品-物品对，指导量化码学习。
    • TokenRec [31]: 学习将 ID 词元化，以便用于基于 LLM 的生成式推荐。
    • 其他如 [36, 42, 43, 52] 也采用类似方法。
  • 交替优化 (Alternating Optimization): 词元化器和推荐器交替迭代更新。
    • ETEGRec [22]: 引入两个辅助损失 (auxiliary losses) 来对齐词元化器和推荐器的中间表示，通过交替更新实现端到端训练。

3.2.2. 推荐系统中的双层优化 (Bi-Level Optimization in Recommendation)

• 双层优化在推荐系统中已有应用，通常用于建模内在的相互依赖性。
  • BOD [44]: 利用双层优化自适应地学习样本权重，以减轻隐式反馈中的噪声。
  • LabelCraft [2]: 应用双层优化在短视频推荐中从原始反馈自动生成可靠标签，直接与平台目标对齐。
  • 其他应用包括 [6, 9, 14, 35] 等，例如对抗性训练 (CFGAN, APR)。
• 求解方法: 针对双层优化问题，通常采用基于梯度的方法，例如：
  • 显式梯度更新 [8]: 如 MAML，通过一步优化器更新来显式近似内层解。
  • 隐式函数更新 [33]: 利用最优性条件，避免展开内层迭代。
  • 闭式技术 [5]: 对特定问题类生成精确梯度。
  • BLOGER 属于第一类，并创新性地结合了梯度手术。

3.3. 技术演进与差异化分析

3.3.1. 技术演进

该领域的技术演进路径为：

1. 传统判别式推荐 (Traditional Discriminative Recommendation): 基于匹配，通常使用矩阵分解 (MF)、图神经网络 (LightGCN)、序列模型 (Caser, GRU4Rec, HGN, SASRec) 等。
2. 生成式推荐初步探索 (Early Generative Recommendation): 结合 LLM 或谱聚类，通过生成文本或离散 ID 进行推荐 (P5, BIGRec, IDGenRec, BinLLM)。
3. 物品词元化与自回归生成结合 (Item Tokenization + Autoregressive Generation): 将物品表示为词元序列，并使用 Transformer 进行生成。
   • 顺序优化 (Sequential): 先训练词元化器，再训练推荐器 (TIGER, LETTER)。
   • 交替优化 (Alternating): 词元化器和推荐器交替训练，可能引入辅助损失 (ETEGRec)。
4. 双层优化 (Bi-Level Optimization): 本文提出的 BLOGER，通过双层优化框架直接建模词元化器和推荐器之间的相互依赖，实现端到端优化和目标对齐。

3.3.2. 差异化分析

BLOGER 与现有生成式推荐方法的核心区别如 表 1 (Table 1) 所示：

具体而言：

• 优化范式: BLOGER 采用双层优化 (Bi-Level Optimization)，而 TIGER 和 LETTER 采用顺序优化 (Sequential Optimization)，ETEGRec 采用交替优化 (Alternating Optimization)。双层优化更直接地建模了词元化器和推荐器之间的依赖关系。
• 与推荐目标的对齐:
  • TIGER 和 LETTER：缺乏 (×) 对齐，词元化器训练时与推荐任务无关。
  • ETEGRec：通过构建辅助损失 (Auxiliary Loss)，在中间层对齐词元化器和推荐器，但需要额外的适配器层。
  • BLOGER：直接使用推荐损失 (Recommendation Loss) 作为上层优化的一部分，为词元化器提供直接监督，无需手工设计的辅助目标，确保了词元化过程与最终推荐任务的紧密对齐。
• 词元序列生成:
  • TIGER 和 LETTER：使用预处理 (Pre-processed) 的静态词元序列。
  • ETEGRec 和 BLOGER：逐步精炼 (Gradually Refined) 词元序列，在训练过程中动态调整。
• 耦合机制: BLOGER 利用元梯度 (meta-gradients) 在梯度层面建立了推荐器和词元化器之间的连接，使得词元化器能够直接接收来自推荐器的优化信号。这比 ETEGRec 中迭代独立的交替更新能更细粒度地捕捉两个模块之间的交互。

4. 方法论

本节将详细阐述 BLOGER 框架的设计思想、模型架构以及双层优化策略的实施。

4.1. 方法原理

BLOGER 的核心原理在于认识到生成式推荐中物品词元化器 (tokenizer) 和自回归推荐器 (recommender) 之间存在固有的相互依赖关系。词元化器的性能直接影响推荐器的有效性，因为优质的词元表示能够带来更准确的物品预测。反之，推荐器需要词元化器提供高质量的物品标识符才能有效地建模用户偏好。

基于这种相互依赖性，BLOGER 将生成式推荐任务重新表述为一个双层优化 (bi-level optimization) 问题。

• 下层 (Inner-level): 优化推荐器 $\mathcal{R}_\theta$，使其在给定词元化器 $\mathcal{T}_\phi$ 生成的词元序列上，最小化推荐损失 $\mathcal{L}_{\mathrm{rec}}$。
• 上层 (Upper-level): 优化词元化器 $\mathcal{T}_\phi$，使其在两个目标上取得平衡：

  1. 生成的词元序列能够使经过训练的推荐器达到最小的推荐损失。

  2. 词元化器自身满足词元化质量（通过词元化损失 $\mathcal{L}_{\mathrm{token}}$ 衡量）。

     这种双层结构确保了词元化器的优化受到推荐任务的直接指导，从而在词元化和自回归生成之间建立起明确的桥梁。

4.2. 核心方法详解

4.2.1. 问题重构 (Problem Reformulation)

我们用 $\mathcal{T}_\phi$ 表示词元化器，其参数为 $\phi$；用 $\mathcal{R}_\theta$ 表示推荐器，其参数为 $\theta$。双层优化问题被形式化为：

$$\begin{array}{r l} \underset{\phi}{\operatorname*{min}} & \mathcal{L}_{\mathrm{rec}}(\mathcal{T}_\phi, \mathcal{R}_{\theta^*}) + \lambda \mathcal{L}_{\mathrm{token}}(\mathcal{T}_\phi) \\ \mathrm{s.t.} & \theta^* = \arg \underset{\theta}{\operatorname*{min}} \mathcal{L}_{\mathrm{rec}}(\mathcal{T}_\phi, \mathcal{R}_\theta) \end{array}$$

• 符号解释:

  • $\phi$: 词元化器 $\mathcal{T}_\phi$ 的参数。
  • $\theta$: 推荐器 $\mathcal{R}_\theta$ 的参数。
  • $\mathcal{L}_{\mathrm{rec}}(\mathcal{T}_\phi, \mathcal{R}_\theta)$: 推荐损失 (recommendation loss)，衡量推荐器 $\mathcal{R}_\theta$ 在由词元化器 $\mathcal{T}_\phi$ 生成的词元化输出上的性能。
  • $\mathcal{L}_{\mathrm{token}}(\mathcal{T}_\phi)$: 词元化损失 (tokenization loss)，衡量词元化器 $\mathcal{T}_\phi$ 自身的内在质量，独立于推荐器。
  • $\lambda$: 超参数，控制词元化损失在整体目标中的相对重要性。
  • $\theta^*$: 在给定词元化器 $\mathcal{T}_\phi$ 的情况下，通过最小化推荐损失 $\mathcal{L}_{\mathrm{rec}}(\mathcal{T}_\phi, \mathcal{R}_\theta)$ 获得的最佳推荐器参数。这意味着 $\theta^*$ 是 $\phi$ 的函数。
  • $\mathcal{L}_{\mathrm{rec}}(\mathcal{T}_\phi, \mathcal{R}_{\theta^*})$: 经过训练的推荐器 $\mathcal{R}_{\theta^*}$ 在词元化器 $\mathcal{T}_\phi$ 条件下的推荐损失。

• 下层目标 (Equation (2b)): $\theta^* = \arg \underset{\theta}{\operatorname*{min}} \mathcal{L}_{\mathrm{rec}}(\mathcal{T}_\phi, \mathcal{R}_\theta)$。这表示在词元化器 $\mathcal{T}_\phi$ 固定时，训练推荐器 $\mathcal{R}_\theta$ 以最小化推荐损失。

• 上层目标 (Equation (2a)): $\underset{\phi}{\operatorname*{min}} \mathcal{L}_{\mathrm{rec}}(\mathcal{T}_\phi, \mathcal{R}_{\theta^*}) + \lambda \mathcal{L}_{\mathrm{token}}(\mathcal{T}_\phi)$。这表示寻找一个最优的词元化器 $\mathcal{T}_\phi$，使得在该词元化器产生的输出上训练的推荐器 $\mathcal{R}_{\theta^*}$ 能够达到最小的推荐损失，同时词元化器自身也能最小化其词元化损失。

4.2.2. BLOGER 框架概述

BLOGER 框架的概览如 图 2 (Figure 2) 所示。它包含一个编码器-解码器模型架构和一个定制的学习方案。

该图像是论文中图2的示意图，展示了BLOGER框架的整体结构。左侧为模型架构，包含Tokenizer、Embedding Table和Recommender，构造基于概率的混合表示；右侧为元学习策略和梯度手术，后者通过 G_{rec} ot G_{token} 的操作缓解梯度冲突。

Figure 2: An overview of the proposed BLOGER framework, which comprises an encoder-decoder model architecture and a tailored learning scheme. Specifically, we construct a mixed representation based on the assignment probabilities over the codebook to ensure the differentiability of the recommendation loss to the tokenizer. Besides, we adopt a meta-learning strategy to enable efficient optimization, and apply gradient surgery to extract beneficial components from the gradients of the recommendation loss.

4.2.3. 词元化器 (Tokenizer)

词元化器 $\mathcal{T}_\phi$ 采用基于残差量化 (Residual Quantization, RQ) 的 RQ-VAE 模型 [20]，将每个物品表示为 $L$ 个离散词元的序列。这种分层编码具有以下优点：

1. 树状结构物品空间 (Tree-structured Item Space): 自然地引入了适合生成建模的树状结构。
2. 协同语义捕获 (Collaborative Semantics): 共享相同前缀词元 (prefix tokens) 的物品能够捕捉协同语义，促进相关物品间的信息共享。

1. 编码 (Encoding): 给定物品 $i$ 的语义嵌入 $z$（通常是预训练的文本嵌入或协同嵌入），词元化器首先使用一个基于多层感知机 (MLP) 的编码器将其编码为潜在表示 $r$：

$$r = \operatorname { E n c o d e r } _ { \mathcal { T } } ( z )$$

• 符号解释:
  • $z$: 物品 $i$ 的语义嵌入。
  • $\operatorname { E n c o d e r } _ { \mathcal { T } }$: 词元化器中的 MLP 编码器。
  • $r$: 输入语义嵌入 $z$ 经过编码器后的潜在表示。

2. 量化 (Quantization): 潜在表示 $r$ 随后被量化为 $L$ 个离散词元，通过查询 $L$ 个不同的码本 (codebooks)。在每个级别 $l$，存在一个码本 $C _ { l } = \{ e _ { l } ^ { k } \} _ { k = 1 } ^ { K }$，其中 $K$ 是码本大小，$e _ { l } ^ { k }$ 是第 $l$ 个码本中的第 $k$ 个码字 (codeword)。量化过程如下：

$$\begin{array} { c } { P ( k | v _ { l } ) = \displaystyle \frac { \exp { \left( - \| v _ { l } - e _ { l } ^ { k } \| ^ { 2 } \right) } } { \sum _ { j = 1 } ^ { K } \exp { \left( - \| v _ { l } - e _ { l } ^ { j } \| ^ { 2 } \right) } } , } \\ { c _ { l } = \arg { \operatorname* { m a x } _ { k } P ( k | v _ { l } ) } , } \\ { v _ { l } = v _ { l - 1 } - e _ { l - 1 } ^ { c _ { l - 1 } } . } \end{array}$$

• 符号解释:
  • $P ( k | v _ { l } )$: 在第 $l$ 个级别，将残差向量 $v_l$ 分配给第 $k$ 个词元的概率。通过计算 $v_l$ 与码本 $C_l$ 中所有码字之间的欧几里得距离，并使用 softmax 函数（这里是 exp 形式）进行归一化。
  • v _ { l }: 在第 $l$ 个级别上的残差向量。对于第一个级别，$v _ { 1 } = r$ (即编码器的输出)。
  • $e _ { l } ^ { k }$: 第 $l$ 个码本 $C_l$ 中的第 $k$ 个码字。
  • c _ { l }: 第 $l$ 个级别为物品选择的离散词元（码字索引），通过选择概率最大的码字获得。
  • $v _ { l } = v _ { l - 1 } - e _ { l - 1 } ^ { c _ { l - 1 } }$: 残差更新公式。在每个级别，从前一级的残差向量中减去被选中的码字，以获得当前级别的残差向量。

3. 重建 (Reconstruction): 将原始语义嵌入量化为分层词元序列 $[c_1, \ldots, c_L]$ 后，得到量化表示 $\tilde{r} = \sum _ { l = 1 } ^ { L } e _ { l } ^ { c _ { l } }$。这个量化表示随后被送入一个基于 MLP 的解码器，以重建原始语义嵌入：

$$\tilde { z } = \mathrm { D e c o d e r } _ { \mathcal { T } } ( \tilde { r } )$$

• 符号解释:
  • $\tilde { r }$: 量化后的表示，是所有级别选定码字的向量和。
  • $\mathrm { D e c o d e r } _ { \mathcal { T } }$: 词元化器中的 MLP 解码器。
  • $\tilde { z }$: 重建的语义嵌入。

4. 词元化损失 (Tokenization Loss): 上层目标中的词元化损失 $\mathcal{L}_{\mathrm{token}}(\mathcal{T}_\phi)$ 定义如下：

$$\mathcal { L } _ { \mathrm { t o k e n } } ( \mathcal { T } _ { \phi } ) = \sum _ { i } ( \Vert \tilde { \boldsymbol { z } } - \boldsymbol { z } \Vert ^ { 2 } + \sum _ { l = 1 } ^ { L } \Vert \mathrm { s g } [ \boldsymbol { v } _ { l } ] - \boldsymbol { e } _ { l } ^ { c _ { l } } \Vert ^ { 2 } + \beta \Vert \boldsymbol { v } _ { l } - \mathrm { s g } [ \boldsymbol { e } _ { l } ^ { c _ { l } } ] \Vert ^ { 2 } )$$

• 符号解释:
  • $\sum_i$: 对序列中每个物品 $i$ 求和。
  • $\Vert \tilde { \boldsymbol { z } } - \boldsymbol { z } \Vert ^ { 2 }$: 重建损失 (reconstruction loss)。鼓励重建嵌入 $\tilde{z}$ 尽可能接近原始输入 $z$。
  • $\sum _ { l = 1 } ^ { L } \Vert \mathrm { s g } [ \boldsymbol { v } _ { l } ] - \boldsymbol { e } _ { l } ^ { c _ { l } } \Vert ^ { 2 }$: 第一个量化损失项。最小化残差向量 $v_l$ (通过 stop-gradient 操作 sg[·] 阻止梯度流向 $v_l$) 与选定码字 $e_l^{c_l}$ 之间的差异，用于更新码本。
  • $\beta \Vert \boldsymbol { v } _ { l } - \mathrm { s g } [ \boldsymbol { e } _ { l } ^ { c _ { l } } ] \Vert ^ { 2 }$: 第二个量化损失项。最小化残差向量 $v_l$ 与选定码字 $e_l^{c_l}$ (通过 sg[·] 阻止梯度流向 $e_l^{c_l}$) 之间的差异，用于更新编码器。
  • $\mathrm { s g } [ \cdot ]$: stop-gradient 操作，阻断梯度回传。
  • $\beta$: 加权系数，通常设为 0.25，平衡编码器和码本的更新。

4.2.4. 推荐器 (Recommender)

生成式推荐器 $\mathcal{R}_\theta$ 采用基于 Transformer 的编码器-解码器架构 T5 [32]。

1. 混合表示 (Mixed Representation): 由于词元化器输出的是离散词元序列，这使得直接从推荐损失向词元化器回传梯度变得困难。为了解决这一不可微分问题，本文引入了可微分的软表示 (soft representations) 来促进基于梯度的优化。

对于词元序列中的给定词元 $c_l^t$ ($l=1, \ldots, L$, $t=1, \ldots, T+1$)：

• 首先，从推荐器的词汇嵌入 (vocabulary embeddings) $E^V$ 中查找其硬嵌入 (hard embedding) $\boldsymbol{h}_l^t$。

• 同时，将从词元化器（通过 Equation (5)）获得的概率分布 $P(k | v_l^t)$ 填充零，使其与完整词汇表的大小匹配。

• 使用这个填充后的概率分布作为权重，计算词汇嵌入 $E^V$ 的加权平均值，得到软嵌入 (soft embedding) $\boldsymbol{s}_l^t$。

• 最终，词元的混合表示 (mixed representation) 计算如下：

  $$\mathbf { \ o } _ { l } ^ { t } = s _ { l } ^ { t } + \operatorname { s g } [ \pmb { h } _ { l } ^ { t } - s _ { l } ^ { t } ]$$

• 符号解释:

  • $\mathbf { \ o } _ { l } ^ { t }$: 第 $l$ 个级别，第 $t$ 个物品的词元的混合表示。
  • $s _ { l } ^ { t }$: 第 $l$ 个级别，第 $t$ 个物品的词元的软嵌入，通过概率加权平均计算。
  • $\pmb { h } _ { l } ^ { t }$: 第 $l$ 个级别，第 $t$ 个物品的词元的硬嵌入，直接从词汇表中查找。
  • $\operatorname { s g } [ \cdot ]$: stop-gradient 操作。

• 作用: 这种混合表示既保留了硬嵌入的数值一致性，又通过允许梯度仅流经软嵌入来实现了端到端可微分性。

2. 序列到序列 (Seq2Seq) 公式:

• 编码器输入: 将用户历史交互序列 $S = [i_1, \ldots, i_T]$ 词元化后，所有词元的混合表示构成输入序列嵌入 $E^X = [\pmb{o}_1^1, \pmb{o}_2^1, \ldots, \pmb{o}_{L-1}^T, \pmb{o}_L^T]$。它被送入编码器以获得隐藏表示：

  $$H ^ { E } = \operatorname { E n c o d e r } _ { \mathcal { R } } ( E ^ { X } )$$

• 符号解释:

  • $H ^ { E }$: 编码器输出的隐藏表示。
  • $\operatorname { E n c o d e r } _ { \mathcal { R } }$: 推荐器中的 Transformer 编码器。
  • $E ^ { X }$: 输入序列的混合表示嵌入。

• 解码器输入: 在目标序列 $Y = [c_1^{T+1}, \ldots, c_L^{T+1}]$ 前添加一个特殊的序列开始 [BOS] 词元，并计算其混合表示 $E^Y = [\pmb{o}^{\bar{\mathrm{BOS}}}, \pmb{o}_1^{\bar{T+1}}, \ldots, \pmb{o}_L^{T+1}]$。解码器以编码器输出 $H^E$ 和目标嵌入序列 $E^Y$ 作为输入，建模用户偏好表示：

  $$H ^ { D } = \operatorname { D e c o d e r } _ { \mathcal { R } } ( H ^ { E } , E ^ { Y } )$$

• 符号解释:

  • $H ^ { D }$: 解码器输出的隐藏表示。
  • $\operatorname { D e c o d e r } _ { \mathcal { R } }$: 推荐器中的 Transformer 解码器。
  • $E ^ { Y }$: 目标序列的混合表示嵌入。

3. 推荐损失 (Recommendation Loss): 解码器输出 $H^D$ 通过与词汇嵌入矩阵 $E^V$ 进行内积投影到词汇空间，以预测目标物品词元。下层优化目标中的推荐损失 $\mathcal{L}_{\mathrm{rec}}(\mathcal{T}_\phi, \mathcal{R}_\theta)$ 涉及优化目标词元负对数似然 (negative log-likelihood)：

$$\mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta } ) = - \sum _ { l = 1 } ^ { L } \log P ( Y _ { l } | X , Y _ { < l } )$$

• 符号解释:
  • $Y_l$: 目标序列中的第 $l$ 个词元。
  • $X$: 输入序列。
  • $Y_{<l}$: 目标序列中所有先前的词元。
  • $\log P ( Y _ { l } | X , Y _ { < l } )$: 在给定输入序列 $X$ 和先前已生成的词元 $Y_{<l}$ 的条件下，预测第 $l$ 个目标词元的对数概率。

4.2.5. 定制学习方案 (Tailored Learning Scheme)

BLOGER 采用基于元学习算法 MAML [8] 的训练策略，交替迭代更新词元化器 $\mathcal{T}_\phi$ 和推荐器 $\mathcal{R}_\theta$。

1. $\theta$ 的更新 (Update of $\theta$): 对于下层目标，直接应用词元化结果并优化推荐损失来更新推荐器参数 $\theta$：

$$\theta \leftarrow \theta - \eta _ { \mathcal { R } } \nabla _ { \theta } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta } )$$

• 符号解释:
  • $\eta _ { \mathcal { R } }$: 推荐器的学习率。
  • $\nabla _ { \theta } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta } )$: 推荐损失相对于推荐器参数 $\theta$ 的梯度。

2. $\phi$ 的更新 (Update of $\phi$): 对于上层目标，为了更新词元化器 $\mathcal{T}_\phi$，理论上需要获得最优推荐器参数 $\theta^*$，这需要完整训练推荐器，计算成本过高。因此，本文遵循元学习方法，执行推荐器的试探性更新 (tentative update)，然后利用这个临时更新的推荐器的性能来指导词元化器的优化。

• 元训练 (Meta Training): 保持词元化器参数 $\phi$ 不变，并计算推荐损失 Equation (11)。然后，执行一步梯度下降，得到一个试探性的推荐器 $\mathcal{R}_{\theta'}$：

  $$\theta ^ { \prime } = \theta - \eta _ { \mathcal R } \nabla _ { \theta } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta } )$$

• 符号解释:

  • $\theta'$: 试探性更新后的推荐器参数。

• 元测试 (Meta Testing): 获得试探性推荐器 $\mathcal{R}_{\theta'}$ 后，使用它来计算推荐损失 $\mathcal{L}_{\mathrm{rec}}(\mathcal{T}_\phi, \mathcal{R}_{\theta'})$，并结合词元化损失 $\mathcal{L}_{\mathrm{token}}(\mathcal{T}_\phi)$ 构成整体的上层损失。然后更新 $\phi$：

  $$\phi \leftarrow \phi - \eta _ { \mathcal { T } } ( \nabla _ { \phi } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta ^ { \prime } } ) + \lambda \nabla _ { \phi } \mathcal { L } _ { \mathrm { t o k e n } } ( \mathcal { T } _ { \phi } ) )$$

• 符号解释:

  • $\eta _ { \mathcal { T } }$: 词元化器的学习率。
  • $\nabla _ { \phi } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta ^ { \prime } } )$: 推荐损失对词元化器参数 $\phi$ 的梯度，通过试探性更新的推荐器 $\mathcal{R}_{\theta'}$ 计算。
  • $\nabla _ { \phi } \mathcal { L } _ { \mathrm { t o k e n } } ( \mathcal { T } _ { \phi } )$: 词元化损失对词元化器参数 $\phi$ 的梯度。

• 元梯度计算: 推荐损失的元梯度 $\nabla _ { \phi } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta ^ { \prime } } )$ 可以通过链式法则反向传播计算：

  $$\nabla _ { \phi } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta ^ { \prime } } ) \approx \nabla _ { \phi } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta } ) - \eta _ { \mathcal R } \nabla _ { \phi } \nabla _ { \theta } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta ^ { \prime } } ) \nabla _ { \theta } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta } )$$

3. 梯度手术 (Gradient Surgery): 在实践中，$\nabla _ { \phi } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta ^ { \prime } } )$ 和 $\lambda \nabla _ { \phi } \mathcal { L } _ { \mathrm { t o k e n } } ( \mathcal { T } _ { \phi } )$ 这两个梯度之间可能存在冲突（例如，它们的余弦相似度为负），这会损害多任务学习的性能。为解决此问题，本文引入梯度手术 [45]。

具体地，当两个梯度 $G _ { \mathrm { r e c } } = \nabla _ { \phi } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta ^ { \prime } } )$ 和 $G _ { \mathrm { t o k e n } } = \nabla _ { \phi } \mathcal { L } _ { \mathrm { t o k e n } } ( \mathcal { T } _ { \phi } )$ 的余弦相似度为负时，将 $G _ { \mathrm { r e c } }$ 投影到 $G _ { \mathrm { t o k e n } }$ 的法平面上，以消除冲突分量。调整后的梯度计算如下：

$$\begin{array} { r l r } & { } & { G _ { \mathrm { r e c } } ^ { \mathrm { p r o j } } = G _ { \mathrm { r e c } } - \frac { G _ { \mathrm { r e c } } \cdot G _ { \mathrm { t o k e n } } } { \| G _ { \mathrm { t o k e n } } \| ^ { 2 } } G _ { \mathrm { t o k e n } } , } \\ & { } & { G _ { \mathrm { r e c } } = \nabla _ { \phi } \mathcal { L } _ { \mathrm { r e c } } ( \mathcal { T } _ { \phi } , \mathcal { R } _ { \theta ^ { \prime } } ) , } \\ & { } & { G _ { \mathrm { t o k e n } } = \nabla _ { \phi } \mathcal { L } _ { \mathrm { t o k e n } } ( \mathcal { T } _ { \phi } ) . \qquad } \end{array}$$

• 符号解释:
  • $G _ { \mathrm { r e c } }$: 推荐损失对词元化器参数的梯度。
  • $G _ { \mathrm { t o k e n } }$: 词元化损失对词元化器参数的梯度。
  • $G _ { \mathrm { r e c } } ^ { \mathrm { p r o j } }$: 经过投影调整后的推荐损失梯度。
• 作用: 经过投影后，$G _ { \mathrm { r e c } } ^ { \mathrm { p r o j } } \cdot G _ { \mathrm { t o k e n } } = 0$，意味着它们之间的余弦相似度变为零，从而消除了梯度冲突，增强了多任务优化的稳定性。然后，在 Equation (16) 中，使用 $G _ { \mathrm { r e c } } ^ { \mathrm { p r o j } }$ 替代原始的 $G _ { \mathrm { r e c } }$ 进行更新。

4. 训练算法 (Algorithm 1):

• 算法流程:
  1. 循环直到收敛 (Line 1): 整个训练过程在一个主循环中进行。
  2. 更新 $\theta$ (Line 2): 在每个训练步骤中，首先根据 Equation (14) 更新推荐器参数 $\theta$。这是内层优化的一步。
  3. 条件更新 $\phi$ (Line 3-11): 每隔 $M$ 步，才进行词元化器参数 $\phi$ 的更新。
     • 计算试探性 $\theta'$ (Line 4): 根据 Equation (15) 计算试探性推荐器参数 $\theta'$。
     • 计算梯度 (Line 5): 计算推荐损失梯度 $G_{\mathrm{rec}}$ 和词元化损失梯度 $G_{\mathrm{token}}$。
     • 梯度手术 (Line 6-9): 如果 $G_{\mathrm{rec}} \cdot G_{\mathrm{token}} < 0$ (即梯度方向冲突)，则根据 Equation (17) 对 $G_{\mathrm{rec}}$ 进行投影调整。
     • 更新 $\phi$ (Line 10): 根据 Equation (16) 更新词元化器参数 $\phi$，其中 $G_{\mathrm{rec}}$ 可能已通过梯度手术进行了调整。
• $M$ 的作用: 词元化器每 $M$ 步才更新一次，这使得推荐器有足够的时间在词元化器更新之间进行更充分的优化，从而为词元化器提供更稳定的梯度信号。

4.2.6. 复杂度分析 (Complexity Analysis)

BLOGER 的计算复杂度分析如下：

• 符号定义:
  • $d$: 模型维度 (model dimension)。
  • $K$: 每个码本的大小。
  • $L$: 码本的数量 (即词元序列长度)。
  • $T$: 序列长度 (sequence length)。
• 词元化器 (Tokenizer) 复杂度:
  • 编码器和解码器层的计算复杂度：$O(d^2)$。
  • 获取混合表示（码本查找和软表示操作）的计算复杂度：$O(LKd)$。
  • 词元化损失的计算复杂度：$O(d + Ld)$。
  • 因此，词元化一个物品的总时间复杂度为：$O(d^2 + LKd)$。
• 推荐器 (Recommender) 复杂度:
  • 自注意力 (self-attention) 和前馈层 (feed-forward layers) 的主要计算成本：$O(T^2d + Td^2)$。
  • 推荐损失的计算复杂度：$O(TLKd)$。
• 整体训练成本: 尽管元学习和梯度手术会略微增加前向和反向传播的次数，但它们不会改变整体计算复杂度的数量级。
  • BLOGER 的总训练成本为：$O(TLKd + T^2d + Td^2)$。
• 效率对比: 这个复杂度与 TIGER [34] 的数量级匹配，而其推理 (inference) 复杂度保持不变。这表明 BLOGER 在保持实际效率的同时，没有引入任何显著的额外计算开销。

5. 实验设置

本节详细描述 BLOGER 框架的实验环境、所用数据集、评估指标、对比基线以及具体的实现细节。

5.1. 数据集

实验使用了 Amazon Review Data [12, 29] 的三个子集：

• Beauty (美妆)
• Instruments (乐器)
• Arts (艺术)

数据预处理:

• 5-核过滤 (5-core filtering): 遵循惯例 [18, 34]，移除互动次数少于五次的用户和物品。
• 序列长度: 每位用户的互动历史被截断或填充至固定长度 20。
• 数据划分 (Leave-one-out strategy): 采用广泛使用的留一法。
  • 测试集: 每个用户最新的互动记录。
  • 验证集: 每个用户倒数第二新的互动记录。
  • 训练集: 所有其他互动记录。

数据集统计信息 (Table 2):

• 符号解释:
  • #User: 用户数量。
  • #Item: 物品数量。
  • #Interaction: 互动记录数量。
  • Sparsity: 稀疏度，表示互动矩阵中零元素的比例。
  • AvgLen: 物品序列的平均长度。

5.2. 评估指标

为了评估不同方法在序列推荐中的性能，采用了两个广泛使用的指标：

• Recall@K (召回率@K)
• NDCG@K (归一化折损累积增益@K) 其中 $K$ 取值为 5 和 10。 评估采用全排名 (full ranking) 方式，即在整个物品集合上进行评估，以避免采样偏差。

5.2.1. Recall@K (召回率@K)

概念定义: Recall@K 衡量推荐系统在生成的 Top-K 推荐列表中成功找出相关物品的比例。它关注的是系统“找全”相关物品的能力，即使相关物品排名靠后，只要在 Top-K 中，也算作成功。在序列推荐中，通常每个用户只有一个真实下一个互动物品，因此它衡量的是该真实物品是否出现在推荐列表的前 K 位。

数学公式: $$\text{Recall}@K = \frac{|\text{Relevant items in top-K}|}{|\text{All relevant items}|}$$ 在序列推荐的留一法设置中，对于每个用户，All relevant items 通常为 1 (即下一个真实物品)。

符号解释:

• $|\text{Relevant items in top-K}|$: 在推荐系统生成的 Top-K 物品列表中，属于真实相关物品的数量。
• $|\text{All relevant items}|$: 对于给定用户，所有真实相关物品的总数。

5.2.2. NDCG@K (Normalized Discounted Cumulative Gain at K)

概念定义: NDCG@K 是一种用于评估排名质量的指标，它考虑了物品的相关性等级以及它们在推荐列表中的位置。相关性越高的物品排名越靠前，NDCG@K 值越高。它通过对排名靠前的相关物品给予更高的权重（即“折损累积增益”），并将其归一化，以实现跨不同查询的比较。

数学公式: 首先计算折损累积增益 (Discounted Cumulative Gain, DCG@K)： $$\text{DCG}@K = \sum_{i=1}^{K} \frac{2^{\text{rel}_i} - 1}{\log_2(i+1)}$$ 然后计算理想折损累积增益 (Ideal Discounted Cumulative Gain, IDCG@K)，即在完美排名下的 DCG 值： $$\text{IDCG}@K = \sum_{i=1}^{K} \frac{2^{\text{rel}_{i_{ideal}}} - 1}{\log_2(i+1)}$$ 最后计算 NDCG@K： $$\text{NDCG}@K = \frac{\text{DCG}@K}{\text{IDCG}@K}$$

符号解释:

• $K$: 评估的推荐列表的长度。
• $i$: 推荐列表中的位置索引，从 1 开始。
• $\text{rel}_i$: 推荐列表中在位置 $i$ 的物品的相关性得分。在序列推荐中，如果位置 $i$ 的物品是下一个真实互动物品，则 $\text{rel}_i=1$，否则 $\text{rel}_i=0$。
• $\text{rel}_{i_{ideal}}$: 在理想排名下，位置 $i$ 的物品的相关性得分。即，如果理想排名下位置 $i$ 的物品是下一个真实互动物品，则 $\text{rel}_{i_{ideal}}=1$，否则 $\text{rel}_{i_{ideal}}=0$。

5.3. 对比基线

基线模型分为两类：

1. 传统推荐模型 (Traditional recommender models):

• MF [19]: 矩阵分解 (Matrix Factorization)。通过将用户-物品互动分解为用户嵌入和物品嵌入来捕捉潜在空间中的关系。
• LightGCN [13]: 轻量级图卷积网络 (Light Graph Convolution Network)。通过轻量级图卷积网络捕获高阶用户-物品互动。
• Caser [38]: 利用水平和垂直卷积滤波器来建模用户行为序列。
• GRU4Rec [15]: 基于 RNN 的序列推荐器，使用 GRU (Gated Recurrent Unit) 编码历史互动。
• HGN [27]: 分层门控网络 (Hierarchical Gating Networks)。采用分层门控网络从物品序列中捕获长期和短期用户兴趣。
• SASRec [18]: 自注意力序列推荐器 (Self-Attentive Sequential Recommendation)。采用自注意力机制捕获用户互动历史中的长期依赖关系。

2. 生成式推荐模型 (Generative recommender models):

• P5 [10]: Recommendation as Language Processing。通过谱聚类在物品共现图上生成物品标识符，将协同知识整合到基于 LLM 的生成式推荐器中。
• TIGER [34]: Generative Retrieval。利用文本嵌入为物品构建语义 ID，并采用生成式检索范式进行序列推荐。
• LETTER [40]: Large Item Tokenization for Generative Recommendation。通过引入可学习的词元化器，结合分层语义、协同信号和码分配多样性来增强 TIGER。
• ETEGRec [22]: Generative Recommender with End-to-End Learnable Item Tokenization。引入两个辅助损失来对齐词元化器和推荐器的中间表示，并通过交替优化实现两者的端到端训练。

5.4. 实现细节

• 传统方法: 遵循 [53] 提供的实现。
• 生成式方法 (统一配置): 为了公平比较，生成式推荐器采用统一配置：
  • Transformer 层数: 编码器和解码器均为 4 层。
  • 模型维度 (Model Dimensions): 128。
  • Dropout 率: 0.1。
  • 注意力头数 (Attention Heads): 每层 6 个，维度为 64。
  • MLP 隐藏层维度: 1024。
  • 激活函数: 全程使用 ReLU。
• 物品词元化 (Item Tokenization):
  • RQ-VAE: 使用 4 级别码本。
  • 码本初始化: 每个码本通过 k-means 进行初始化。
  • 码本大小: 每个码本包含 256 个码字嵌入。
  • 码字嵌入维度: 32。
• 语义嵌入来源:
  • ETEGRec: 遵循原始实现，使用预训练的 SASRec 嵌入作为语义嵌入。
  • 其他方法: 利用 LLaMA2-7B [39] 处理标题和描述，生成文本嵌入。
• BLOGER 训练细节:
  • 词元化器预训练:
    • 预训练 20,000 轮 (epochs)。
    • 批处理大小 (Batch Size): 1,024。
    • 优化器: AdamW [25]。
    • 学习率: 1e-3。
    • 权重衰减 (Weight Decay): 1e-4。
  • 双层优化:
    • 批处理大小: 256。
    • 优化器: AdamW。
    • 早停 (Early Stopping): 基于验证集推荐损失，耐心值 (patience) 为 20。
    • 推荐器学习率: 5e-4。
    • 物品词元化器学习率: 1e-4。
    • 超参数 $\lambda$: 在集合 $\{1, 5e-1, 1e-1, 1e-2, 1e-3, 1e-4\}$ 中调优。
    • 超参数 $M$: 调整以确保每轮训练中 $\phi$ 更新 $\{1, 2, \ldots, 10\}$ 次。
• 推理 (Inference):
  • 约束解码 (Constrained Decoding): 使用 Trie (前缀树) 确保只生成有效的物品标识符 [17]。
  • 束搜索大小 (Beam Size): 统一设置为 20。
• 基线方法超参数: 根据各自论文中定义的范围进行搜索。

6. 实验结果与分析

本节将详细分析 BLOGER 在不同实验设置下的性能表现，并与基线方法进行比较，深入探讨其有效性的原因。

6.1. 核心结果分析

6.1.1. 总体性能 (RQ1)

以下是原文 Table 3 的结果，展示了 BLOGER 与基线模型在 Beauty、Instruments 和 Arts 三个数据集上的总体性能比较。

观察与分析:

• BLOGER 的优越性: BLOGER 在所有数据集和所有评估指标 (Recall@K, NDCG@K) 上均取得了最优性能，持续超越所有对比基线。这验证了其双层优化框架和定制学习策略的有效性。论文强调，BLOGER 未引入任何额外的辅助对齐损失，表明推荐损失本身为词元化过程提供了直接有效的监督，印证了词元化与生成之间相互依赖的直觉。
• 生成式推荐优于传统推荐: 整体而言，生成式推荐方法（P5, TIGER, LETTER, ETEGRec, BLOGER）显著优于传统推荐方法（MF, LightGCN, Caser, GRU4Rec, HGN, SASRec）。这主要是因为生成式方法能够利用残差量化 (RQ-VAE) 捕获物品的层次语义结构，从而实现更精细的物品区分，克服了传统方法对离散 ID 表示的依赖限制。
• 现有生成式方法的提升: ETEGRec 和 LETTER 相较于 TIGER 性能有所提升。
  • LETTER 通过引入协同嵌入作为辅助信号，解决了物品语义相似但互动模式不同的挑战。
  • ETEGRec 则通过在交替优化过程中，在词元化器和推荐器的中间层应用辅助对齐损失，使两个模型能够相互补充。

6.1.2. 消融实验 (RQ2)

为了验证 BLOGER 各组件的有效性，论文进行了一系列消融实验。以下是原文 Table 4 的结果，展示了在 Beauty 数据集上的消融研究结果。

模型变体说明:

• BLOGER: 完整的 BLOGER 框架。
• w/LETTER: 将 LETTER 的协同正则化机制整合到 BLOGER 中，词元化器使用预训练的 LETTER。
• w/o GS: 移除梯度手术 (Gradient Surgery) 操作，直接使用原始梯度进行更新。
• Joint: 移除双层优化框架，将推荐损失和词元化损失简单地组合成一个联合优化目标，同时优化两个模型。
• Joint w/ GS: 在 Joint 变体的基础上应用梯度手术。
• Fixed: 固定词元化器，只优化推荐器，功能上等同于 TIGER 的设计。

观察与分析:

• w/LETTER 的提升: 将 BLOGER 与 LETTER 结合 (w/LETTER) 实现了比单独使用 BLOGER 或 LETTER 更好的性能。这表明当文本嵌入作为量化基础时，协同正则化是有效的。该结果也验证了 BLOGER 框架的通用性，可以与更先进的词元化器骨干进行集成，进一步提升性能。
• 梯度手术 (w/o GS) 的重要性: 移除梯度手术 (w/o GS) 导致性能显著下降。这表明在缺乏梯度冲突解决机制的情况下，简单地结合推荐损失和词元化损失无法为词元化器提供有效的监督。强调了梯度手术在提取信息丰富且无冲突梯度方面的必要性。
• 联合优化 (Joint) vs. 双层优化 (BLOGER): Joint 变体优于 Fixed 变体，因为联合优化允许词元化器在训练过程中逐步精炼标识符结构。然而，Joint 变体的性能仍落后于 BLOGER，这突出显示了双层优化在捕捉词元化和推荐之间相互依赖关系方面的有效性。
• 联合优化中的梯度手术 (Joint w/ GS): 在 Joint 变体上应用梯度手术并未带来显著性能提升。这可能是由于缺乏元梯度信号来协调两个组件之间的优化，进一步凸显了双层优化中元学习策略的重要性。

6.1.3. 超参数分析 (RQ3)

论文研究了两个关键超参数对 BLOGER 性能的影响：

• $\lambda$: 控制上层优化中推荐损失和词元化损失之间的平衡。

• $M'$: 控制每轮训练中词元化器参数 $\phi$ 的更新频率。

  以下是原文 Figure 3 的结果。

  该图像是两幅折线图，展示了BLOGER在不同超参数取值下的性能表现。左图横轴为损失权重$\lambda$，纵轴显示Recall@5和NDCG@5指标；右图横轴为分词器参数$\phi$的更新频率$M^{\prime}$，纵轴同样为Recall@5和NDCG@5。图中红线表示Recall@5，蓝线表示NDCG@5，反映了超参数对推荐性能的影响。

Figure 3: Results of the performance of BLOGER across different values of hyper-parameters. $\lambda$ controls the balance between the recommendation loss and tokenization loss in the outer level, and $M ^ { \prime }$ representing the update frequency of the tokenizer parameters $\phi$ .

观察与分析:

• $\lambda$ 的影响:
  • 当 $\lambda$ 值过小 (例如 1e-4) 时，词元化损失的约束太弱，可能扰乱已学习的标识符结构，导致性能下降。
  • 当 $\lambda$ 值过大 (例如 1, 5) 时，推荐损失对词元化器的有效监督作用被削弱，阻碍了直接对齐，性能也会下降。
  • 实验证据表明，$\lambda = 0.5$ 在保持标识符结构和实现推荐损失的有效监督之间取得了最佳平衡。
• $M'$ 的影响:
  • 当词元化器的更新频率 $M'$ 在 1 到 4 之间时，BLOGER 表现稳定。这意味着允许推荐器在词元化器更新之间进行更充分的优化，可以提供稳定的梯度。
  • 当更新频率 $M'$ 过高时 (例如 $M'$ 接近 10，意味着 $\phi$ 更新非常频繁)，推荐器缺乏足够的机会在词元化器更新之间进行优化，导致元梯度不稳定，从而损害词元化器训练的有效性并降低整体性能。

6.1.4. 时间效率 (RQ4)

为了评估 BLOGER 的时间效率，论文将其与 TIGER 在相同的 GPU 配置 (NVIDIA RTX 3090) 下进行了比较。以下是原文 Table 5 的结果。

观察与分析:

• 训练时间: BLOGER 的训练时间略有增加 (26.6 s/epoch vs. 23.7 s/epoch)。这是由于元学习策略和梯度手术引入的额外计算。
• 测试时间: BLOGER 的测试时间与 TIGER 几乎相同 (66.9 s/epoch vs. 66.7 s/epoch)。两者在测试时都采用了贪婪解码 (greedy decoding)。
• 结论: 这些结果表明 BLOGER 的双层优化学习策略在推理时引入的额外开销可以忽略不计，验证了其在 Section 3.2.4 中提出的复杂度分析：尽管训练过程略有复杂，但其整体计算复杂度数量级与现有方法相当，并保持了实际效率。

6.1.5. 深入分析：性能驱动因素 (RQ5)

为了更深入理解 BLOGER 的有效性，论文对学习到的词元化器进行了可视化分析，特别是码本利用率 (codebook utilization) 模式。比较了 TIGER 和 BLOGER 在 Beauty 数据集上每个级别码本的密度 (Density) 和熵 (Entropy)。

• 密度: 激活码字与总码字数的比率。

• 熵: 衡量码字使用的均匀程度。

  以下是原文 Figure 4 的结果。

  该图像是图4，展示了TIGER与BLOGER在残差量化过程四个码本（Codebook）中码字激活密度和熵值的对比。图中“Density”表示激活码字与总码字数的比值，“Entropy”衡量码字使用的均匀度，反映码本利用率。

Figure 4: Codebook utilization comparison between TIGER and BLOGER, where "Codebook $i ^ { \dag }$ denotes the $i$ -th codebook in the residual quantization process. "Density" is defined as the ratio of activated codewords to the total number of codewords, and "Entropy" measures the distribution of codeword usage, indicating how evenly the codewords are utilized.

观察与分析:

• 第一级码本的显著改进: BLOGER 在第一级码本 (Codebook 1) 上相比 TIGER 展现出显著改进。密度从 47% 增加到 65%，熵从 6.05 增加到 7.14。
• 后续码本无显著差异: 在后续的码本级别中，BLOGER 和 TIGER 之间没有观察到实质性差异。
• 原因分析: 论文将第一级码本的改进归因于它在残差量化操作中承载了最多的信息，因此对额外的监督信号更敏感。
• 核心洞察: BLOGER 的主要特点是词元化器通过双层优化框架接收推荐损失的额外监督。这种推荐损失作为协同信息 (collaborative information) 的自然指示器，纠正了仅依赖文本信息造成的粗粒度码本分配偏差。通过在双层优化框架中融入这一损失，词元化器能够更好地捕获潜在的协同信号，从而提高物品表示质量和整体推荐性能。这解释了 BLOGER 性能提升的根本原因。

6.2. 数据呈现 (表格)

本节已在 6.1.1. 总体性能 和 6.1.2. 消融实验 中完整转录了 Table 3 和 Table 4。在 6.1.4. 时间效率 中转录了 Table 5。

6.3. 消融实验/参数分析

本节已在 6.1.2. 消融实验 和 6.1.3. 超参数分析 中详细分析了相关结果。

7. 总结与思考

7.1. 结论总结

本文通过将生成式推荐任务重新构建为双层优化 (bi-level optimization) 问题，成功地明确捕捉了物品词元化器 (tokenizer) 和推荐器 (recommender) 之间复杂的相互依赖关系。提出的 BLOGER (Bi-Level Optimization for GEnerative Recommendation) 框架，通过巧妙地结合元学习 (meta-learning) 和梯度手术 (gradient surgery) 技术，有效地解决了这一具有挑战性的优化问题，且未引入显著的额外计算开销。

BLOGER 实现了词元化目标与推荐目标的直接对齐，促进了两个组件的相互增强。实验结果表明，BLOGER 在真实世界数据集上持续超越了最先进的生成式推荐方法。深入分析揭示，性能提升主要源于改进的码本利用率，尤其是第一级码本，这表明推荐损失能够自然地捕获协同信号，并通过梯度优化纠正仅依赖文本信息导致的码本分配偏差。

7.2. 局限性与未来工作

论文作者指出了以下局限性和未来研究方向：

• 通用性验证: 计划在更多样化的数据集上，特别是大规模工业数据集上，进一步验证 BLOGER 的泛化能力、可伸缩性和实际适用性。
• 实际部署考量: 将研究实际部署方面的考量，以促进 BLOGER 在生产环境中的采用。
• 推理能力探索: 旨在探索推荐背景下的推理能力 (reasoning capabilities) [24, 50]。

7.3. 个人启发与批判

7.3.1. 个人启发

1. 双层优化的强大范式: 这篇论文清晰地展示了双层优化在解决机器学习系统中组件间“错位”问题上的强大潜力。在许多复杂的端到端系统中，不同的子模块虽然协同工作，但其优化目标可能并不完全一致或直接可微。BLOGER 提供了一个优雅的解决方案，通过将一个模块的优化结果作为另一个模块的约束，实现了更深层次的对齐。这对于未来设计多阶段或多组件的机器学习系统具有普遍指导意义。
2. 元学习与梯度手术的结合应用: 将 MAML 风格的元学习与梯度手术相结合，高效地处理双层优化问题中的不可微分性和梯度冲突，是一个非常实用的工程与理论结合点。元学习提供了一种评估上层参数对下层最优解影响的近似方法，而梯度手术则确保了在复杂多目标优化中梯度的建设性叠加，而非相互抵消。这种组合策略为解决其他多目标或层次化优化问题提供了新的思路。
3. 协同信号的隐式捕获: 论文通过码本利用率的可视化，揭示了推荐损失能够“自然地”捕获协同信号，并纠正词元化器仅依赖文本信息造成的偏差。这意味着，一个设计得当的下游任务损失，本身就可能蕴含着丰富的、能够反哺上游任务的隐式信息。这鼓励研究者在设计复杂系统时，更多地思考如何通过端到端的优化，让任务损失的信号在整个网络中流动，而不仅仅是为每个子任务设计独立的损失。

7.3.2. 批判与潜在改进

1. 元学习的稳定性与敏感性: 虽然 MAML 风格的元学习方法在实验中表现良好，但众所周知，这类方法通常对内层学习率、内层优化步数以及模型架构比较敏感。论文中对 $M'$ (词元化器更新频率) 的敏感性分析也部分证实了这一点。在更复杂的场景或更大规模模型上，如何保证元学习过程的稳定性和收敛性可能仍是一个挑战，这可能需要更鲁棒的元优化器或动态调整策略。
2. 梯度手术的启发式性质: 梯度手术作为一种处理梯度冲突的方法，本质上是一种启发式 (heuristic) 策略，它通过投影来消除冲突，但可能不是理论最优的解决方案。在某些情况下，梯度冲突可能反映了不同目标之间真正的权衡 (trade-off)。简单地消除冲突可能会导致模型在某些维度上的学习不足。未来的工作可以探索更原理性的多目标优化方法，例如 Pareto 优化或多任务学习中的不确定性加权损失，以更精细地处理目标间的相互作用。
3. 对预训练语义嵌入的依赖: 论文提到 ETEGRec 使用预训练的 SASRec 嵌入，其他方法使用 LLaMA2-7B 生成文本嵌入。这意味着词元化器并非从零开始学习物品的语义，而是建立在强大的预训练语义表示之上。虽然这在实践中是高效且合理的，但它也意味着 BLOGER 的性能在一定程度上受限于这些上游语义嵌入的质量。探索更彻底的端到端学习，即语义嵌入本身也参与到双层优化中，可能会带来更根本的突破，但也可能显著增加复杂度。
4. 码本利用率分析的局限性: 论文通过码本的密度和熵来分析其利用率，这是一个很好的定性分析。然而，进一步的分析可以包括：例如，展示由 BLOGER 学习到的高密度/高熵第一级码本中的具体码字所代表的物品聚类示例，或者这些码字如何协同地捕捉用户协同偏好，提供更直观的证据。
5. 计算开销的“不显著”: 尽管论文声称“没有显著的额外计算开销”，但 Table 5 显示 BLOGER 的训练时间仍比 TIGER 增加了约 12% (2.9/23.7)。虽然这对于现有模型来说可能“不显著”，但对于超大规模工业级部署，即使是微小的训练时间增加也可能带来巨大的资源消耗。因此，未来的工作在保持性能优势的同时，进一步优化训练效率，仍是一个重要的方向。