1. 论文基本信息

1.1. 标题

SCoTER: Structured Chain-of-Thought Transfer for Enhanced Recommendation (SCoTER：结构化思维链迁移增强推荐)

1.2. 作者

论文的作者团队来自腾讯 (Tencent) 和中国科学院 (Chinese Academy of Sciences)，具体信息如下：

• 杨武 (Yang Wu)*， 腾讯， 中国北京

• 李倩 (Qian Li)*， 腾讯， 中国北京

• 熊玉玲 (Yuling Xiong)， 腾讯， 中国北京

• 唐宏波 (Hongbo Tang)， 腾讯， 中国北京

• 刘迅 (Xun Liu)， 腾讯， 中国北京

• 张军 (Jun Zhang)†， 腾讯， 中国北京

• 于欢 (Huan Yu)， 腾讯， 中国北京

• 姜杰 (Jie Jiang)， 腾讯， 中国北京

• 石海龙 (Hailong Shi)†， 中国科学院， 中国北京

  注：带 * 表示共同第一作者，带 † 表示通讯作者。

1.3. 发表期刊/会议

该论文目前作为预印本 (preprint) 发布在 arXiv 平台。其出版状态显示为 Published at (UTC)：2025-11-24T03:00:04.000Z，表明其为一篇近期发布的研究，尚未经过同行评审或正式发表于期刊/会议。

1.4. 发表年份

2025年

1.5. 摘要

摘要简要概括了论文的研究目的、核心方法、主要结果和关键结论。 原文摘要： $Harnessing the reasoning power of Large Language Models (LLMs) for recommender systems is hindered by two fundamental challenges. First, current approaches lack a mechanism for automated, data-driven discovery of effective reasoning patterns, relying instead on brittle manual templates or unstable zero-shot prompting. Second, they employ structure-collapsing integration: direct prompting incurs prohibitive online inference costs, while feature extraction collapses reasoning chains into single vectors, discarding stepwise logic. To address these challenges, we propose SCoTER (Structured Chain-of-Thought Transfer for Enhanced Recommendation), a unified framework that treats pattern discovery and structure-aware transfer as a jointly optimized problem. Specifically, SCoTER operationalizes this through two synergistic components: a GVM pipeline for automated pattern discovery and a structure-preserving integration architecture that transfers stepwise logic to efficient models. Formally, we provide information-theoretic justification proving that structure-preserving transfer achieves tighter performance bounds than structure-agnostic alternatives. Empirically, experiments on four benchmarks demonstrate improvements of 3.75\%-11.59\% over a strong TIGER backbone. Moreover, in production deployment on the Tencent Advertising Platform, SCoTER achieved a 2.14\% lift in Gross Merchandise Value (GMV) while eliminating online LLM inference costs. Overall, SCoTER establishes a principled and production-validated blueprint for transferring structured LLM reasoning to large-scale recommender systems.$

摘要概括： 大型语言模型 (Large Language Models, LLMs) 在推荐系统中的应用面临两大挑战：一是缺乏数据驱动的自动化推理模式发现机制，现有方法依赖手动模板或不稳定的零样本提示 (zero-shot prompting)；二是集成方式会破坏推理结构，直接提示 (direct prompting) 成本高昂，而特征提取 (feature extraction) 则会丢失逐步逻辑 (stepwise logic)。为解决这些问题，论文提出了 SCoTER (Structured Chain-of-Thought Transfer for Enhanced Recommendation)，一个统一框架，将模式发现 (pattern discovery) 和结构感知迁移 (structure-aware transfer) 视为一个联合优化问题。SCoTER 包含两个协同组件：用于自动化模式发现的 GVM (Generate-Validate-Mine) 流水线，以及将逐步逻辑迁移到高效模型中的结构保持集成架构。理论上，论文提供了信息论依据，证明结构保持迁移 (structure-preserving transfer) 比结构无关 (structure-agnostic) 方法能达到更紧密的性能界限。实验结果显示，在四个基准测试中，SCoTER 相较于强大的 TIGER 主干模型 (backbone model) 取得了 3.75%–11.59% 的提升。此外，在腾讯广告平台的生产部署中，SCoTER 实现了商品交易总额 (Gross Merchandise Value, GMV) 2.14% 的增长，同时消除了在线 LLM 推理成本。SCoTER 为将结构化 LLM 推理迁移到大规模推荐系统提供了原则性且经过生产验证的蓝图。

1.6. 原文链接

• 原文链接: https://arxiv.org/abs/2511.19514v1
• PDF 链接: https://arxiv.org/pdf/2511.19514v1.pdf

2. 整体概括

2.1. 研究背景与动机

2.1.1. 论文试图解决的核心问题是什么？

论文旨在解决将大型语言模型 (LLMs) 的强大推理能力应用于推荐系统 (recommender systems) 时面临的两个核心挑战：

1. 推理模式发现的自动化与数据驱动： 如何自动、数据驱动地发现适用于推荐任务的有效推理模式 (reasoning patterns)，而非依赖于脆弱的手动模板或不稳定的零样本提示 (zero-shot prompting)。在推荐这一主观领域，缺乏清晰的真值 (ground truth)，用户意图多样，且长尾物品 (long-tail items) 数据稀疏，使得推理路径的验证尤为困难。
2. 结构化推理的有效迁移与集成： 如何在将 LLM 推理能力集成到推荐系统时，既能保持其逐步逻辑 (stepwise logic) 的结构完整性，又能满足生产环境对低延迟 (low-latency) 的严苛要求，避免“结构坍塌 (structure-collapsing)”的问题。传统的直接提示 (direct prompting) 会带来高昂的在线推理成本，而特征提取 (feature extraction) 则会将推理链 (reasoning chains) 压缩成单一向量，丢失宝贵的逐步逻辑信息。

2.1.2. 为什么这个问题在当前领域是重要的？现有研究存在哪些具体的挑战或空白（Gap）？

LLMs 展现出强大的推理能力，尤其是在思维链 (Chain-of-Thought, CoT) 提示下，但在将其从客观、逻辑驱动的任务转移到推荐系统这一主观领域时，现有方法存在显著不足：

• 模式发现的局限性： 当前的模式发现方法大多依赖于启发式 (heuristic)、手工设计的方案，而非从数据中学习。这导致模式设计与下游推荐任务脱节，生成的模式缺乏泛化能力且脆弱。这些方法主要面向具有可验证真值的客观任务，难以适应推荐领域的主观性、稀疏奖励 (sparse rewards) 和复杂的用户行为。
• 迁移机制的结构缺失： 现有的 LLM 集成策略通常牺牲了推理的结构完整性。它们将推理过程视为静态特征，与生成逻辑分离，导致推理的逐步逻辑被破坏，无法充分发挥 CoT 的真正优势。
• 分离优化的问题： 现有工作往往将模式发现 ("what to transfer") 和迁移集成 ("how to transfer") 作为独立问题处理。这种分离导致模式设计时未考虑集成成本，集成策略又未充分保留模式的核心逻辑有效性，形成了一个效率低下、无法联合优化的恶性循环。

2.1.3. 这篇论文的切入点或创新思路是什么？

论文的创新思路在于提出一个统一框架 (unified framework) SCoTER，将推理模式的发现和结构感知迁移视为一个共同优化的问题 (jointly optimized problem)。它旨在打破现有方法的“分离优化”困境，通过系统性的、数据驱动的方法来解决这两个相互关联的挑战。

2.2. 核心贡献/主要发现

论文的主要贡献如下：

• 统一的推理迁移框架： 提出了 SCoTER 框架，将模式发现和结构保持 (structure preservation) 统一为联合优化问题。通过信息论分析，证明了结构保持迁移能够实现比结构无关替代方案更紧密的性能界限。
• 自动化模式发现流水线： 引入了 GVM (Generate-Validate-Mine) 流水线，通过潜在模式抽象 (latent pattern abstraction) 实现数据驱动的模式选择，取代了传统的手动模板。它能够从数据中自动探索、验证和提取最有效的推理模式。
• 结构保持集成架构： 提出了一种轻量级架构，利用预计算的逐步嵌入 (stepwise embeddings) 和顺序感知融合 (order-aware fusion) 机制，在消除在线 LLM 推理成本的同时，保留了 CoT 的序列依赖性。
• 全面的验证：
  • 经验验证： 在四个基准数据集上，相较于强大的 TIGER 主干模型，实现了 3.75% 至 11.59% 的显著性能提升。
  • 生产验证： 在腾讯广告平台的实际生产部署中，实现了商品交易总额 (GMV) 2.14% 的增长，并消除了在线 LLM 推理成本，同时降低了用户负面反馈率。

3. 预备知识与相关工作

3.1. 基础概念

为了更好地理解 SCoTER 框架，我们需要了解以下几个基础概念：

3.1.1. 大型语言模型 (Large Language Models, LLMs)

LLMs 是指参数量巨大（通常达到数十亿甚至数万亿）、在大规模文本数据上进行训练的深度学习模型。它们通过学习语言的统计规律，能够执行多种复杂的自然语言处理 (Natural Language Processing, NLP) 任务，包括文本生成、问答、翻译和推理等。近年来，LLMs 在许多领域展现出强大的“涌现能力 (emergent capabilities)”，即在模型规模达到一定程度后，会展现出以前小模型不具备的能力，其中就包括复杂的推理能力。

3.1.2. 思维链 (Chain-of-Thought, CoT)

CoT 是一种提示工程 (prompt engineering) 技术，旨在通过引导 LLMs 输出一系列中间的推理步骤，来解决复杂问题。传统上，LLMs 可能会直接给出答案，但对于需要多步逻辑的问题，这种方式往往性能不佳。CoT 通过在提示中加入“让我们一步步思考 (Let's think step by step)”等引导性语句，或者提供包含推理步骤的少样本示例 (few-shot examples)，促使 LLM 模仿人类的思维过程，将复杂问题分解为更小的、可管理的步骤。这不仅能提高 LLM 在推理任务上的表现，也使得其决策过程更具可解释性。

3.1.3. 推荐系统 (Recommender Systems)

推荐系统 是一类信息过滤系统，旨在预测用户对物品（如商品、电影、新闻等）的偏好，并向其推荐可能感兴趣的物品。它们广泛应用于电子商务、媒体流服务等领域。推荐系统 的目标是提高用户满意度、促进平台内容消费或商品销售。常见的推荐方法包括协同过滤 (collaborative filtering)、基于内容的推荐 (content-based recommendation) 和混合推荐 (hybrid recommendation)。顺序推荐 (sequential recommendation) 是一种特殊的推荐任务，它考虑用户与物品交互的顺序性，通过分析用户历史行为序列来预测用户下一个可能感兴趣的物品。

3.1.4. 信息论 (Information Theory) 概念

• 互信息 (Mutual Information, MI): 互信息 I(X; Y) 衡量了两个随机变量 $X$ 和 $Y$ 之间的相互依赖程度。它量化了在已知一个变量的情况下，另一个变量所提供的信息量。如果 $X$ 和 $Y$ 是独立的，则互信息为 0。公式上可以表示为 $I(X; Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)$，其中 $H$ 是熵 (entropy)。在本文中，$I(C; Y|S)$ 衡量了在给定用户序列 $S$ 的情况下，推理链 $C$ 对预测下一个物品 $Y$ 的信息量。
• 数据处理不等式 (Data Processing Inequality, DPI): DPI 是信息论中的一个基本原理，它指出如果 $X \to Y \to Z$ 构成一个马尔可夫链 (Markov chain)（即 $Z$ 仅依赖于 $Y$ 而不直接依赖于 $X$），那么对 $Y$ 进行任何处理都不会增加 $Z$ 和 $X$ 之间的互信息。换句话说，任何对数据进行的确定性或随机性处理都不能增加它所包含的关于原始信息源的信息。在本文中，它被用来证明顺序感知编码器 (order-sensitive encoder) 比顺序无关编码器 (order-agnostic encoder) 保留更多信息。
• 全变差距离 (Total Variation Distance, TVD): TVD 是一种衡量两个概率分布 $P$ 和 $Q$ 之间相似性或差异性的指标。它定义为 $\mathrm{T V} (P, Q) = \frac { 1 } { 2 } \sum _ { x } | P ( x ) - Q ( x ) |$。TVD 介于 0 和 1 之间，0 表示两个分布完全相同，1 表示它们完全不同。在本文中，它用于量化在推理链的不同排列下，预测分布的变化程度。

3.1.5. Transformer (Transformer)

Transformer 是一种基于自注意力 (self-attention) 机制的深度学习模型架构，最初由 Google 在 2017 年提出并广泛应用于 NLP 领域。它彻底改变了序列建模的方式，取代了传统的循环神经网络 (Recurrent Neural Networks, RNNs) 和长短期记忆网络 (Long Short-Term Memory, LSTMs)。Transformer 的核心是 注意力机制 (attention mechanism)，特别是 自注意力 (self-attention)，它允许模型在处理序列中的每个元素时，都能考虑到序列中所有其他元素的重要性，并为其分配不同的权重。Transformer 架构的成功推动了 LLMs 的发展。在本文中，SCoTER 使用 Transformer 作为其主干模型架构，并利用其进行顺序编码。

3.1.6. 对比学习 (Contrastive Learning)

对比学习 是一种自监督学习 (self-supervised learning) 方法，其核心思想是学习一个编码器 (encoder)，使得相似的样本在嵌入空间 (embedding space) 中距离更近，而不相似的样本距离更远。它通过构建“正样本对 (positive pairs)”（相互相似的样本）和“负样本对 (negative pairs)”（相互不相似的样本），并优化一个损失函数（如 InfoNCE loss）来拉近正样本对的距离，推开负样本对的距离。在 SCoTER 中，对比学习 用于将推理步骤的嵌入与目标物品的嵌入对齐，确保推理逻辑与推荐目标一致。

3.2. 前人工作

论文将相关工作分为两类：LLM 推理在推荐系统中的应用和自动化推理发现。

3.2.1. LLM 推理在推荐系统中的应用

这一领域的研究旨在将 LLMs 的推理能力引入推荐系统，通常通过提示工程 (prompt engineering) 或知识蒸馏 (knowledge distillation) 等方式实现。

• CoT-Rec [8]： 采用两阶段提示 (two-stage prompting) 来分析用户偏好。
• GOT4Rec [9]： 使用思维图 (Graph-of-Thought) 框架。
• ThinkRec [28]： 通过推理数据合成转向系统 2 思维 (System 2 thinking)。
• RecGPT [27]： 旨在统一多步推理框架。
• ReaRec [15]： 在推理时使用自回归细化 (inference-time autoregressive refinement)。
• RDRec [19]： 将逐步原理 (step-by-step rationales) 蒸馏到更小的模型中。
• TrackRec [24]： 使用迭代反馈框架。
• 共同局限性： 这些方法主要依赖启发式的推理路径，而非从用户序列中挖掘模式，并且未能将模式发现和集成进行联合优化。

3.2.2. 自动化推理发现

这类工作试图取代手动模板设计，自动生成或发现推理模式。

• Auto-CoT [31]： 通过采样多样化问题和生成原理 (rationales) 来自动构建演示 (demonstrations)。
• Self-prompted CoT [17]： 使 LLM 能够自我诱导推理步骤。
• Self-Consistency [20]： 通过采样多条路径来改进推理。
• 更广泛的方法： 包括 APE [35] 用于自动提示工程 (automatic prompt engineering)，PromptBreeder [1] 用于进化优化 (evolutionary optimization)，以及 Self-discover [34] 用于组合原子推理模块 (atomic reasoning modules)。
• 共同局限性： 这些方法主要为具有可验证真值的客观任务设计。它们在推荐领域的效果较差，因为推荐任务具有主观性，且稀疏的奖励信号 (sparse rewards) 使得改进推理路径变得困难。
• SCoTER 的对比： SCoTER 通过从广泛的用户行为中进行采样，并进行深入分析，使用召回率 (Recall) 作为密集的奖励信号 (dense reward signal) 来解决这一问题。

3.3. 技术演进

推荐系统的发展经历了从基于内容的推荐和协同过滤等早期方法，到利用深度学习模型（如 RNN、CNN、Transformer）进行顺序推荐的演变。近年来，随着 LLMs 在自然语言理解和生成方面取得突破，研究人员开始探索如何将 LLMs 的强大推理能力融入推荐系统，以提供更具解释性和个性化的推荐。最初的尝试主要集中在简单的提示工程，即通过设计特定的文本提示来让 LLM 直接生成推荐或解释。然而，这种直接应用面临在线推理成本高昂、难以捕获推荐任务的微妙之处以及缺乏结构化推理的挑战。SCoTER 正是在此背景下提出的，它代表了将 LLMs 推理能力与推荐系统深度融合的下一代尝试，旨在解决模式发现的自动化和结构化推理的有效迁移问题。

3.4. 差异化分析

SCoTER 的核心区别和创新点在于它统一地解决了 LLM 在推荐系统中应用的两大挑战，即“什么要迁移 (what to transfer)”和“如何迁移 (how to transfer)”。

• 与现有 LLM 推理推荐工作的区别： 现有的 LLM 推荐方法，如 CoT-Rec、RDRec 等，大多采用启发式推理路径或将推理过程蒸馏到小模型，但它们并未系统性地从数据中发现最佳推理模式，也未能联合优化模式发现和集成。SCoTER 的 GVM 流水线则能数据驱动地发现最有效的推理模式，而非依赖手动设计。
• 与自动化推理发现工作的区别： 现有的自动化推理发现方法，如 Auto-CoT、Self-prompted CoT 等，主要面向客观任务。它们难以应对推荐领域的主观性、稀疏奖励和缺乏明确真值的问题。SCoTER 专门为推荐任务设计，通过利用 Recall 指标作为密集奖励信号，有效解决了这一难题。
• 结构保持的优势： 大多数方法在集成 LLM 推理时，会将其简化为单一特征向量，从而损失 CoT 的逐步逻辑。SCoTER 则通过其结构保持集成架构，确保了推理过程的序列依赖性得到完整保留，这在理论上和实验上都被证明是优越的。

4. 方法论

4.1. 方法原理

SCoTER 框架的核心思想是将推理模式的发现和结构感知的迁移视为一个联合优化的系统问题，而非相互独立的步骤。其目的是克服现有方法中推理模式发现依赖手动启发式和推理结构在迁移过程中被破坏的问题。

整个框架由两个协同组件构成：

1. GVM 流水线 (Generate-Validate-Mine pipeline)： 解决了“什么要迁移 (what to transfer)”的问题。它将模式发现从启发式过程转变为数据驱动的优化过程。具体来说，它通过一个 LLM 生成多样化的候选推理路径，然后根据其推荐质量进行经验性验证，最后从中挖掘出最有效和可泛化的模式。这个过程旨在最大化推理模式对预测值的互信息 $I(P; Y|S)$。

2. 结构保持集成架构 (Structure-Preserving Integration Architecture)： 解决了“如何迁移 (how to transfer)”的问题。它将发现的最佳推理模式的逐步逻辑 (stepwise logic) 转移到高效的推荐模型中。通过离线结构化蒸馏 (structured distillation) 生成逐步嵌入，再通过在线顺序保持融合 (order-preserving fusion) 将这些嵌入与主干模型集成，确保了推理链的序列结构被保留，同时避免了高昂的在线 LLM 推理成本。这个组件旨在保留推理链的有序细节所包含的信息 $I(C; Y|S, P)$。

   通过这种联合优化，SCoTER 能够系统性地发现和利用 LLM 的结构化推理能力，从而显著提升推荐性能。

4.2. 理论基础 (Theoretical Foundation)

本节为 SCoTER 框架提供了理论基础，主要基于信息论 (Information Theory)。

4.2.1. 形式定义 (Formal Definitions)

为了建立理论，首先定义一些核心组件：

• 顺序推荐 (Sequential Recommendation): 给定用户集合 $\boldsymbol { \mathcal { U } }$ 和物品集合 $\boldsymbol { \mathcal { I } }$。 每个用户 $u \in \mathcal { U }$ 都有一个按时间顺序排列的交互历史 $S = [ i _ { 1 } , \dots , i _ { T } ] \in \mathcal { I } ^ { T }$，其中 $i_t$ 是用户在时间 $t$ 交互的物品。 目标是学习一个模型 $q _ { \theta }$ 来近似真实的下一个物品分布 $p ^ { * } ( Y | S )$，其中 $Y$ 是下一个要推荐的物品。

• 推理模式 (Reasoning Pattern ( P ) ): 一个模式 $P = ( p _ { 1 } , \dotsc , p _ { k } ) \in \mathcal { P }$，具有固定长度 $k$。 它是一个高层级的推理模板，例如 $P =$ ("Analyze history" "Identify preferences" "Predict features" "Recommend items")。

• 推理链 (Reasoning Chain ( C ) ): 对于给定的用户序列 $S$ 和模式 $P$，一个推理链 $C = \left( c _ { 1 } , \ldots , c _ { k } \right)$ 由一个模式条件化的 LLM 生成，记作 $C \sim G _ { P } ( S )$。 推理链中的每个句子 c _ { j } 都用用户特定的细节实例化了模板 p _ { j }。 所有可能的链的空间表示为 $\mathcal{C}$。

• 编码器 (Encoders):

  • 顺序感知编码器 (Order-sensitive encoder): 一个编码器 $\psi : C \to \mathbb { R } ^ { k \times d }$ 是顺序敏感的，如果对于某个非恒等排列 (non-identity permutation) $\pi \neq \mathrm{id}$，有 $\psi ( C ) \neq \psi ( C _ { \pi } )$。它将推理链表示为 $k$ 个步骤嵌入 (step-embeddings) 的序列（例如，通过 Transformer）。
  • 顺序无关编码器 (Order-agnostic encoder): 一个编码器 $\phi : C \to \mathbb { R } ^ { d }$ 是顺序无关的，如果对于所有排列 $\pi$，有 $\phi ( C ) = \phi ( C _ { \pi } )$。它将步骤嵌入的序列压缩成一个单一的 $d$ 维向量表示（例如，通过均值池化 (mean pooling)）。

• $(\rho, \delta)$-顺序敏感性 ((ρ,δ)-Order Sensitivity): 一个任务是 $(\rho, \delta)$-顺序敏感的，如果以至少 $\rho$ 的概率，对于一个用户序列 $S$，可以生成一个推理链 $C$，其预测分布在步骤排列下至少改变 $\delta$（以全变差距离 (Total Variation Distance, TV distance) 衡量）。 形式上， $\operatorname* { P r } ( S \in \Omega _ { \delta } ) \geq \rho$ ，其中 $\Omega _ { \delta } = \{ S \mid \exists C \sim G _ { P } ( S ) , \pi \neq \mathrm { i d }$ s.t. $\mathrm { T V } ( q _ { \theta } ( \cdot | S , C ) , q _ { \theta } ( \cdot | S , C _ { \pi } ) ) \geq \delta \}$。

4.2.2. 优化目标 (Optimization Objective)

为了联合识别最优模式 $P ^ { * }$ 并训练近似 $p ^ { * } ( Y | S )$ 的模型 $\theta$，SCoTER 框架最大化通过对链 $C \sim G _ { P ^ { * } } ( S )$ 进行边缘化 (marginalizing) 得到的期望对数似然 (expected log-likelihood)： $$\operatorname* { m a x } _ { \theta } \mathbb { E } _ { S , Y \sim \hat { p } ^ { * } } \left[ \log \mathbb { E } _ { C \sim G _ { P ^ { * } } ( S ) } \left[ q _ { \theta } ( Y | S , C ) \right] \right]$$ 这个目标有效地将模式发现（寻找 $P ^ { * }$）与模型训练（优化 $\theta$）解耦。

4.2.3. 信息论证明 (Information-Theoretic Justification)

SCoTER 框架的架构设计动机是基于推理链的预测价值 $I ( C ; Y | S )$ 的分解。使用一个操作符 $f ( C ) = P$ 从链中提取模式，这个价值可以分解为： $$I ( C ; Y | S ) \ = \ I ( f ( C ) ; Y | S ) + I ( C ; Y | S , f ( C ) )$$ 这个分解定义了 SCoTER 两个组件的目标：

• 模式发现 (Pattern Discovery): 第一项 $I ( P ; Y | S )$ 量化了模式的预测价值。GVM 流水线旨在发现 $P ^ { * } = \arg \operatorname* { m a x } _ { P \in { \mathcal { P } } } I ( P ; Y | S )$。

• 结构保持 (Structure Preservation): 第二项 $I ( C ; Y | S , P )$ 量化了链的有序细节的价值。结构化集成架构旨在保留这些信息。

  接下来，通过以下定理正式化了保留顺序的优势：

定理 3.1 (信息论优势) (InforMation-TheoretIC AdvantAgE). 设 $\mathcal { H } _ { s e q } = \psi ( C )$ 和 $\mathcal { H } _ { b a g } = \phi ( C )$ 分别是来自顺序感知 (order-sensitive) 编码器和顺序无关 (order-agnostic) 编码器的表示。由于 $\mathcal { H } _ { b a g }$ 可以从 $\mathcal { H } _ { s e q }$ 导出，数据处理不等式 (Data Processing Inequality) 暗示： $$I ( \mathcal { H } _ { s e q } ; Y | S ) \ \ge \ I ( \mathcal { H } _ { b a g } ; Y | S )$$

• 证明 (Proof): 这个定理的证明依据是数据处理不等式 (Data Processing Inequality)。由于顺序无关表示 $\mathcal { H } _ { b a g }$ 是顺序感知表示 $\mathcal { H } _ { s e q }$ 的一个确定性函数（例如，通过均值池化 (mean pooling) 从序列中聚合得到一个单一向量），根据数据处理不等式，对数据进行任何处理都不能增加它所包含的关于原始信息源的互信息。因此，顺序感知编码器保留的信息量（关于 $Y|S$）不会少于顺序无关编码器。

引理 3.2 (性能下界) (PerfoRMANCE LowER BoUND). 对于任何模型 $q _ { \theta }$，期望召回率 (expected recall) 的下界为： $$\mathbb { E } [ \mathrm { R e c a l l } @ \mathrm { K } ] \ge \mathbb { E } [ m _ { K } ( S , C ) ] - \mathbb { E } \left[ \mathrm { T V } \left( p _ { S } ^ { * } , q _ { \theta } ( \cdot | S , \mathrm { E n c o d e r } ( C ) ) \right) \right]$$ 其中 m _ { K } ( S , C ) 是模型对其预测的前 $K$ 个物品的概率之和， $p _ { s } ^ { * }$ 表示真实分布 $p ^ { * } ( \cdot | S )$。

• 证明 (Proof):
  1. 步骤 1: 对于给定的序列 $S$，期望召回率定义为： $$\mathbb { E } [ \mathrm { R e c a l l } @ \mathrm { K } | S ] = \mathbb { E } \big [ \mathbf { 1 } _ { Y \in A _ { q } } | S \big ] = p _ { S } ^ { * } \big ( A _ { q } )$$ 其中 A _ { q } 是模型预测的前 $K$ 个物品的集合。
  2. 步骤 2: 根据全变差距离 (Total Variation, TV) 的定义，对于任何事件 A _ { q }： $$| p _ { S } ^ { * } ( A _ { q } ) - q _ { \theta } ( A _ { q } | S ) | \leq \mathrm { T V } ( p _ { S } ^ { * } , q _ { \theta } )$$
  3. 步骤 3: 从步骤 2，我们可以得到： $$p _ { S } ^ { * } ( A _ { q } ) \ge q _ { \theta } ( A _ { q } | S ) - \mathrm { T V } ( p _ { S } ^ { * } , q _ { \theta } )$$
  4. 步骤 4: 根据定义，$q _ { \theta } ( A _ { q } | S )$ 是模型预测的前 $K$ 个物品的概率之和，即： $$q _ { \theta } ( A _ { q } | S ) = \sum _ { y \in A _ { q } } q _ { \theta } ( y | S ) = m _ { K }$$
  5. 步骤 5: 结合步骤 1、3 和 4： $$\mathbb { E } [ \mathrm { R e c a l l } @ \mathrm { K } | S ] \ge m _ { K } - \mathrm { T V } \big ( p _ { S } ^ { * } , q _ { \theta } \big )$$
  6. 步骤 6: 对所有样本 $S$ 取期望： $$\mathbb { E } [ \mathrm { R e c a l l } ( \varpi \mathrm { K } ] \ge \mathbb { E } [ m _ { K } ] - \mathbb { E } [ \mathrm { T V } ( p _ { S } ^ { * } , q _ { \theta } ) ]$$

引理 A.4 (碰撞惩罚) (CoLLISION PENALTY). 对于任何 $S \in \Omega _ { \delta }$，存在一个排列 $\pi \neq \mathrm{id}$，使得对于顺序无关编码器 $\phi$： $$\operatorname* { m a x } \{ T V ( p ^ { * } ( \cdot | S , C ) , q _ { \phi } ( \cdot | \phi ( C ) ) ) , T V ( p ^ { * } ( \cdot | S , C _ { \pi } ) , q _ { \phi } ( \cdot | \phi ( C ) ) ) \} \geq \frac { \delta } { 2 }$$

• 证明 (PROOF). 由于 $S \in \Omega _ { \delta }$，我们有 $\mathrm { T V } ( p ^ { * } ( \cdot | S , C ) , p ^ { * } ( \cdot | S , C _ { \pi } ) ) \geq \delta$。 一个顺序无关编码器 $\phi$ 对于 $C$ 和 $C _ { \pi }$ 会产生相同的预测 $q _ { \phi }$。 根据三角不等式 (triangle inequality)： $$\begin{array} { r l } & { \delta \leq \mathrm { T V } \big ( p ^ { * } ( \cdot | S , C ) , p ^ { * } ( \cdot | S , C _ { \pi } ) \big ) } \\ & { \quad \leq \mathrm { T V } \big ( p ^ { * } ( \cdot | S , C ) , q _ { \phi } \big ) + \mathrm { T V } \big ( q _ { \phi } , p ^ { * } ( \cdot | S , C _ { \pi } ) \big ) } \end{array}$$ 如果右侧的两项都小于 $\delta / 2$，那么它们的和将小于 $\delta$，这将导致矛盾。因此，至少有一项必须大于或等于 $\delta / 2$。

引理 A.5 (期望拟合误差下界) (Expected Fitting Error Lower Bound). 对于顺序无关编码器 $\phi$： $$\mathbb { E } [ T V ( p _ { S } ^ { * } , q _ { \phi } ) ] \ge \rho \cdot \frac { \delta } { 2 }$$

• 证明 (Proor). 我们将期望分解为敏感样本和非敏感样本： $$\begin{array} { r l } & { \mathbb { E } [ \mathrm { T V } ( p _ { S } ^ { * } , q _ { \phi } ) ] = \rho \cdot \mathbb { E } [ \mathrm { T V } ( p _ { S } ^ { * } , q _ { \phi } ) | S \in \Omega _ { \delta } ] } \\ & { \qquad + \left( 1 - \rho \right) \cdot \mathbb { E } [ \mathrm { T V } ( p _ { S } ^ { * } , q _ { \phi } ) | S \not \in \Omega _ { \delta } ] } \end{array}$$ 根据之前的引理 A.4，敏感样本的条件期望至少为 $\delta / 2$。由于第二项是非负的，结果成立。

定理 3.3 (顺序感知性能优势) (OrDeR-Aware PerforMance AdvantAge). 对于 $(\rho, \delta)$-顺序敏感任务，顺序感知编码器 $\psi$ 比顺序无关编码器 $\phi$ 具有性能优势： $$\begin{array} { r } { \mathbb { E } _ { \psi } \left[ R e c a l l @ K \right] - \mathbb { E } _ { \phi } \left[ R e c a l l @ K \right] \ge \left( \mathbb { E } [ m _ { K } ] _ { \psi } - \mathbb { E } [ m _ { K } ] _ { \phi } \right) } \\ { + \displaystyle \frac { \rho \delta } { 2 } - \mathbb { E } [ T V ( p _ { S } ^ { * } , q _ { \psi } ) ] } \end{array}$$

• 证明 (Proor).
  1. 步骤 1: 我们将引理 3.2 (性能下界) 应用于每个编码器： $$\begin{array} { r l } & { \mathbb { E } _ { \psi } [ \mathrm { R e c a l l } ( \varpi \mathrm { K } ] \ge \mathbb { E } [ m _ { K } ] _ { \psi } - \mathbb { E } [ \mathrm { T V } ( p _ { S } ^ { * } , q _ { \psi } ) ] } \\ & { \mathbb { E } _ { \phi } [ \mathrm { R e c a l l } ( \varpi \mathrm { K } ] \ge \mathbb { E } [ m _ { K } ] _ { \phi } - \mathbb { E } [ \mathrm { T V } ( p _ { S } ^ { * } , q _ { \phi } ) ] } \end{array}$$
  2. 步骤 2: 从第一个不等式中减去第二个不等式，得到性能优势的下界： $$\begin{array} { r l } & { \mathrm { A d v a n t a g e } \geq ( \mathbb { E } [ m _ { K } ] _ { \psi } - \mathbb { E } [ m _ { K } ] _ { \phi } ) } \\ & { \qquad + \left( \mathbb { E } [ \mathrm { T V } ( p _ { S } ^ { * } , q _ { \phi } ) ] - \mathbb { E } [ \mathrm { T V } ( p _ { S } ^ { * } , q _ { \psi } ) ] \right) } \end{array}$$
  3. 步骤 3: 使用引理 A.5 中顺序无关编码器的固有误差下界 $\mathbb { E } [ \mathrm { T V } ( p _ { S } ^ { * } , q _ { \phi } ) ] \ge \rho \cdot \frac { \delta } { 2 }$，我们得到最终结果： $$\mathrm { A d v a n t a g e } \geq \left( \mathbb { E } [ m _ { K } ] _ { \psi } - \mathbb { E } [ m _ { K } ] _ { \phi } \right) + \frac { \rho \delta } { 2 } - \mathbb { E } [ \mathrm { T V } ( p _ { S } ^ { * } , q _ { \psi } ) ]$$ 这些理论结果共同证明了 SCoTER 结构保持方法在理论上的优越性。

4.3. 自动化推理模式发现 (What to Transfer: Automated Discovery of Reasoning patterns)

SCoTER 通过 Generate-Validate-Mine (GVM) 流水线取代了手动模板设计，该流水线系统地从多样化的候选推理链中挖掘出最优模式，并将其提取为符号模板 (symbolic template) 以供后续迁移。

4.3.1. 生成 (Generate)

• 目标： 为每个用户序列 $S$ 生成一组多样化的候选推理链。
• 过程： 使用一个 LLM (例如 DeepSeek-R1)，通过一个结构化提示 (structured prompt) 来指导模型生成。该提示指示 LLM 充当“推荐专家”，并定义了特定的输出格式。
• 输出格式 (根据文本描述，原文未提供图4):
  1. 一个简洁、逐步的推理链，包含在 <cot_path> 标签中，捕获核心逻辑。
  2. 对该逻辑的详细阐述，包含在 $<reason>$ 块中。
  3. 一个包含 20 个排名推荐的列表，包含在 $<recommendations>$ 标签中。 这种显式分离对于后续的“挖掘 (Mine)”阶段至关重要，因为它将抽象推理模式与其详细解释解耦。
• 多样性机制：
  • 生成阶段： 使用 temperature (温度) 和 top-p nucleus sampling (核采样) 参数来鼓励生成多样化的推理风格。
  • 后处理阶段： 使用 cosine similarity (余弦相似度) 阈值 $\gamma$ 剪枝 (prune) 近似重复的路径，以保留语义多样性并减轻相似推理链的过度表示。

4.3.2. 验证 (Validate)

• 目标： 基于推荐质量为每个生成的推理链提供一个量化分数，作为后续挖掘的经验依据。
• 评估指标： 使用 Recall@20 作为标准指标。
• 实例评估： 对于每个候选推理链 $C$，将其生成的 20 个推荐列表 $\widehat { Y } _ { 2 0 } ( C )$ 与真实目标物品集 $Y ^ { * }$ 进行比较。单个实例的链性能计算如下： $$\mathrm { R e c a l l } @ 2 0 ( C ) \ = \ \frac { | \widehat { Y } _ { 2 0 } ( C ) \cap Y ^ { * } | } { | Y ^ { * } | } .$$
• 泛化质量评估： 将 Score(C) 定义为在用户分布上 Recall@20 的期望值，衡量一个链持续产生高质量推荐的能力： $$\mathrm { S c o r e } ( C ) ~ = ~ \mathbb { E } _ { S } \big [ \mathrm { R e c a l l } @ 2 0 ( C ) \big ] .$$ 这些分数提供了链预测价值的经验估计，使得“挖掘”阶段能够识别最大化 $I ( P ; Y | S )$ 的模式。

4.3.3. 挖掘 (Mine)

• 目标： 从候选推理链中抽象出一个最优的、单一的推理模式。
• 过程：
  1. 嵌入空间转换： 使用预训练的句子编码器 (sentence encoder) (例如 Qwen3-8B-Embedding [30]) 将文本推理链转换为密集的嵌入空间。
  2. 聚类： 在嵌入空间中执行无监督聚类 (unsupervised clustering) 以分组语义相似的链，形成一组初始候选模式。
  3. 模式选择：
     • 质量 (Quality)： 主要选择标准。对于候选模式 $P$，设 C _ { P } 是分配给它的链集。质量定义为聚类中所有链的平均 Recall@20 分数： $$\operatorname { Q u a l i t y } ( P ) = { \frac { 1 } { | C _ { P } | } } \sum _ { C \in C _ { P } } \operatorname { S c o r e } ( C ) .$$
     • 结构一致性 (Structural Coherence)： 模式内部的语义相似性要高。
     • 性能稳定性 (Performance Stability)： 模式内部分数的方差要低。 最终选择在这些因素之间取得最佳整体平衡的模式。
  4. 模板提取： 识别最优模式 $P ^ { * }$ 并将其提取为符号化、可泛化的模板。这个过程通过两阶段 LLM 驱动的合成实现：
     • 选择与模式语义中心最相似的 top-N 链（例如 $N=10$）作为示例。
     • 将这些示例编译成一个元提示 (meta-prompt)，指导一个强大的 LLM 合成共享的逻辑结构，最终得到捕获发现模式核心推理逻辑的最优 CoT 模板 (Optimal CoT Template)。

4.4. 结构保持集成 (How to Transfer: Structure-Preserving Integration)

为了在不损失结构的情况下迁移发现的模式 $P ^ { * }$，SCoTER 采用了两阶段过程：首先是离线结构化蒸馏 (Structured Distillation)，将模式物化 (materializes) 为逐步嵌入；其次是在线顺序保持融合 (Order-Preserving Fusion)，将这些嵌入与主干模型集成，同时保留序列依赖性。

4.4.1. 结构化蒸馏 (Structured Distillation)

• 目标： 保留逐步结构信息，从而保留由 $I ( C ; Y | S , P )$ 捕获的信息。
• 方法： 通过结构化教师-学生蒸馏 (teacher-student distillation) 框架实现。
  1. 教师模型生成： 利用最优模板指导强大的教师 LLM (例如 DeepSeek-R1) 生成结构化推理链。对于训练语料库中的每个用户序列 $S$，教师模型生成符合模板的推理 $C = \left( c _ { 1 } , c _ { 2 } , \dots , c _ { K } \right)$。
  2. 学生模型微调： 创建训练对 $\{ ( S _ { i } , C _ { i } ) \} _ { i = 1 } ^ { N }$，其中学生模型学习在给定用户序列作为输入的情况下生成结构化推理。一个更小、更高效的学生模型 (例如 Qwen3-8B) 在这个合成数据集上进行微调 (finetuned)，使其能够生成适应特定用户上下文的模式一致推理链。
  3. 步骤嵌入提取： 将蒸馏后的学生模型应用于所有数据划分，为每个序列 S _ { i } 生成相应的推理链 C _ { i } = ( c _ { i , 1 } , c _ { i , 2 } , . . . , c _ { i , K } )。对于每个生成的推理步骤 c _ { i , j }，使用预训练的句子编码器 (例如 Qwen3-8B-Embedding [30]) 提取一个密集嵌入。 $$\mathbf { e } _ { i , j } = { \mathrm { S e n t e n c e E n c o d e r } } ( c _ { i , j } ) , \quad j = 1 , 2 , . . . , K .$$ 这个过程将文本推理步骤转换为固定维度的嵌入，其中 ${ \bf e } _ { i , j } \in \mathbb { R } ^ { D }$ 表示序列 S _ { i } 的第 $j$ 个推理步骤的嵌入。
  4. 结构化表示矩阵： 每个序列的逐步嵌入被组装成一个结构化表示矩阵 $\mathbf { H } _ { i } \in \mathbb { R } ^ { K \times D }$，该矩阵保留了推理步骤的序列结构： $${ \bf H } _ { i } = [ { \bf e } _ { i , 1 } ; { \bf e } _ { i , 2 } ; \ldots ; { \bf e } _ { i , K } ] .$$ 矩阵 $\{ \mathbf { H } _ { i } \} _ { i = 1 } ^ { N }$ 离线计算并存储，从而支持轻量级的在线融合阶段，实现预计算推理表示的快速检索和集成，而无需承担生成延迟。

4.4.2. 顺序保持融合 (Order-Preserving Fusion)

• 目标： 使用一个轻量级、模型无关的融合架构，将预计算的逐步嵌入与主干推荐模型集成。这个在线组件优先考虑服务效率，同时保留对推理有效性至关重要的序列结构。
• 过程：
  1. 推理时检索： 在推理过程中，为每个用户序列从离线存储库中检索其对应的推理矩阵 $\mathbf { H } _ { i } \in \mathbb { R } ^ { K \times D }$。
  2. 适配器模块投影： 一个适配器模块将这些推理嵌入投影到目标模型的表示空间： $$\mathbf { z } _ { i , j } = \mathrm { L a y e r N o r m } ( \mathbf { W } _ { \mathrm { p r o j } } \mathbf { e } _ { i , j } + \mathbf { b } _ { \mathrm { p r o j } } )$$ 其中 ${ \bf e } _ { i , j } \in \mathbb { R } ^ { D }$ 是 $\mathbf { H } _ { i }$ 中的第 $j$ 个步骤嵌入，${ \bf W } _ { \mathrm { p r o j } } \in \mathbb { R } ^ { d _ { \mathrm { i t e m } } \times D }$ 将其投影到主干模型的物品嵌入维度，$\mathbf { z } _ { i , j } \in \mathbb { R } ^ { d _ { \mathrm { i t e m } } }$ 是适配后的表示。
  3. 位置编码增强： 为了保留结构化推理的关键序列依赖性，每个投影嵌入都通过可学习的位置编码 (positional encodings) 进行增强： $$\mathbf { z } _ { i , j } ^ { \mathrm { p o s } } = \mathbf { z } _ { i , j } + \mathbf { P } _ { j }$$ 其中 $\mathbf { P } _ j \in \mathbb { R } ^ { d \mathrm { i t e m } }$ 是编码每个步骤在推理序列中作用的位置嵌入。
  4. 交叉注意力 (Cross-Attention)： 采用交叉注意力机制，使每个序列位置能够选择性地关注相关的推理步骤。设 $\mathbf { e } _ { \mathrm { s e q } } = \left[ \mathbf { e } _ { 1 } , \mathbf { e } _ { 2 } , \ldots , \mathbf { e } _ { T } \right]$ $\in \mathbb { R } ^ { T \times d _ { \mathrm { i t e m } } }$ 表示主干模型的用户序列嵌入，$\mathbf { Z } ^ { \mathrm { p o s } } = [ { \bf z } _ { 1 } ^ { \mathrm { p o s } } , \ldots , { \bf z } _ { K } ^ { \mathrm { p o s } } ] \in \mathbb { R } ^ { K \times d _ { \mathrm { i t e m } } }$ 表示带有位置编码的投影 CoT 嵌入。在交叉注意力中，序列嵌入作为查询 (queries)，推理步骤作为键 (keys) 和值 (values)。 $$\mathbf { A } = \mathrm { A t t e n t i o n } ( \mathbf { e } _ { \mathrm { s e q } } , \mathbf { Z } ^ { \mathrm { p o s } } , \mathbf { Z } ^ { \mathrm { p o s } } )$$
  5. 自适应门控 (Adaptive Gating)： 注意力输出通过自适应门控与原始序列集成： $$\begin{array} { r } { \mathbf { g } = \sigma ( \mathbf { W } _ { g } [ \mathbf { e } _ { \mathrm { s e q } } ; \mathbf { A } ] + \mathbf { b } _ { g } ) \qquad } \\ { \mathbf { E } _ { \mathrm { f u s e d } } = \mathrm { L a y e r N o r m } ( \mathbf { g } \odot \mathbf { e } _ { \mathrm { s e q } } + ( 1 - \mathbf { g } ) \odot \mathbf { A } ) } \end{array}$$ 其中 $[ { \bf e } _ { \mathrm { s e q } } ; { \bf A } ]$ 表示沿特征维度进行拼接，最终的 LayerNorm (层归一化) 应用于门控输出。
  6. 对比学习组件 (Contrastive Learning Component)： 为了将推理空间与推荐目标对齐，采用 InfoNCE loss [12] 进行对比学习。损失函数计算最终推理步骤嵌入 $\mathbf { z } _ { K }$ 与目标物品嵌入 $\mathbf { v } _ { \mathrm { t a r g e t } }$ 之间： $$\mathcal { L } _ { \mathrm { I n f o N C E } } = - \log \frac { \exp ( \sin ( \mathbf { z } _ { K } , \mathbf { v } _ { \mathrm { t a r g e t } } ) / \tau ) } { \sum _ { j = 1 } ^ { B } \exp ( \sin ( \mathbf { z } _ { K } , \mathbf { v } _ { j } ) / \tau ) }$$ 其中 $s \mathrm { i m } ( \cdot , \cdot )$ 表示 cosine similarity (余弦相似度)，$\tau$ 是温度参数 (temperature parameter)，$B$ 是批量大小 (batch size)，$\{ \mathbf { v } _ { j } \} _ { j = 1 } ^ { B }$ 包括目标物品和来自其他批次物品的负样本 (negative samples)。
  7. 总训练目标： 将推荐损失 $\mathcal { L } _ { \mathrm { r e c } }$ 与对比对齐损失 $\mathcal { L } _ { \mathrm { I n f o N C E } }$ 结合： $$\mathcal { L } _ { \mathrm { t o t a l } } = \mathcal { L } _ { \mathrm { r e c } } + \lambda \mathcal { L } _ { \mathrm { I n f o N C E } }$$ 其中 $\lambda$ 是控制对比项贡献的超参数 (hyperparameter)。 这种结构化的集成架构保留了 CoT 推理的逐步性质，使下游模型能够利用渐进式推理流 (progressive reasoning flow) 和最终面向推荐的表示 (recommendation-oriented representations) 来提高预测准确性。

4.5. 手动 CoT 模板 (Manual CoT Templates)

作为对比，原文在附录 B 中提供了用于实验的手动 CoT 模板。这些模板代表了启发式的、复杂程度递增的推理结构。它们以特定的字符串形式指导 LLM 的推理过程，并要求其输出 <cot_path>、$<reason>$ 和 $<recommendations>$。

4.5.1. 两步模板 (Two-step Template)

一个直接的两阶段推理路径，侧重于挖掘兴趣然后推荐。 <cot_path>User Interest Mining -> Item Tag Prediction & Recommendation </cot_path>

4.5.2. 三步模板 (Three-step Template)

该模板增加了一个明确的中间步骤，用于在兴趣提取之前总结用户档案。 <cot_path>User Profile Summary -> User Interest Extraction -> Item Recommendation </cot_path>

4.5.3. 五步模板 (Five-step Template)

一个更细粒度的模板，将分析分解为多个不同的阶段，从数据分析到特征预测，最后进行推荐。 <cot_path>Behavioral Data Analysis -> Interest Pattern Recognition -> Preference Trend Analysis -> Predictive Feature Generation -> Targeted Item Recommendation </cot_path>

这些模板旨在作为 GVM 发现模式的基线对比，验证自动化发现的优越性。

5. 实验设置

5.1. 数据集

实验在四个广泛使用的数据集上进行：三个 Amazon Product Reviews 数据集子集 (Beauty、Instruments 和 Sports) 以及 Yelp 数据集。

以下是原文 Table 2 的内容，总结了这些数据集的统计信息：

数据集特点和处理：

• 来源： Amazon Product Reviews 数据集 [3, 11] 和 Yelp 数据集。

• 处理： 遵循先前工作 [33]，数据经过 5-core 密度处理，即移除所有交互次数少于五次的用户和物品。

• 序列长度： 所有用户序列通过填充或截断 (padding or truncation) 统一到 20 个物品的长度，以保留其最近的交互。

• 划分： 采用留一法 (leave-one-out protocol) 进行评估：每个用户的最后一次交互用于测试，倒数第二次交互用于验证，其余交互用于训练。

  这些数据集涵盖了不同的领域（电子产品、体育用品、本地服务评论等），且具有不同的稀疏度，有助于全面评估方法的泛化能力。

5.2. 评估指标

性能通过两个标准的 Top-K 排名指标进行评估：Recall@K (召回率) 和 NDCG@K (归一化折扣累积增益)。按照惯例，主要结果报告了 $K \in \{ 5 , 1 0 \}$ 的值。为了确保公平评估并避免采样偏差，对每个用户的整个物品目录进行全面排名。

5.2.1. 召回率 (Recall@K)

• 概念定义 (Conceptual Definition): Recall@K 衡量的是在模型推荐的前 $K$ 个物品中，有多少比例的用户实际感兴趣的物品被成功召回。它主要关注模型找到所有相关物品的能力，即使这些物品排名靠后，只要在 Top-K 列表中出现就算命中。
• 数学公式 (Mathematical Formula): $$\mathrm{Recall@K} = \frac{|\text{Relevant Items in Top-K}|}{|\text{True Relevant Items}|}$$
• 符号解释 (Symbol Explanation):
  • Relevant Items in Top-K: 模型在前 $K$ 个推荐结果中命中的用户感兴趣的物品集合。
  • True Relevant Items: 用户实际感兴趣的所有物品集合（在测试集中）。

5.2.2. 归一化折扣累积增益 (Normalized Discounted Cumulative Gain, NDCG@K)

• 概念定义 (Conceptual Definition): NDCG@K 是一个综合考虑推荐列表相关性和排名的指标。它不仅关注相关物品是否被推荐，还强调高相关性的物品是否排在推荐列表的前面。排名越靠前、相关性越高的物品对 NDCG 的贡献越大。通过与理想排名（即所有相关物品按相关性降序排列）的 DCG 进行归一化，NDCG 能够在不同查询之间进行公平比较。
• 数学公式 (Mathematical Formula): $$DCG@K = \sum_{i=1}^{K} \frac{2^{rel_i}-1}{\log_2(i+1)}$$ $$IDCG@K = \sum_{i=1}^{K} \frac{2^{rel\_sorted_i}-1}{\log_2(i+1)}$$ $NDCG@K = \frac{DCG@K}{IDCG@K}$
• 符号解释 (Symbol Explanation):
  • $K$: 推荐列表的长度。
  • $rel_i$: 推荐列表中第 $i$ 个物品的相关性得分（通常为 0 或 1，表示不相关或相关）。
  • $\log_2(i+1)$: 折扣因子，随着 $i$ 增加而减小，使得排名靠后的物品贡献降低。
  • DCG@K: 折扣累积增益，衡量当前推荐列表的质量。
  • $rel\_sorted_i$: 将所有相关物品按真实相关性从高到低排序后，在理想推荐列表中第 $i$ 个物品的相关性得分。
  • IDCG@K: 理想折扣累积增益，是完美推荐列表的 DCG 值，用于归一化。

5.3. 对比基线

论文将提出的方法 SCoTER 与一系列具有代表性的基线模型进行了比较，涵盖了不同范式：

• MF [7] (Matrix Factorization)： 经典的协同过滤模型，通过矩阵分解学习用户和物品的潜在嵌入。
• LightGCN [4]： 图卷积网络 (Graph Convolutional Network)，通过邻域聚合捕获协同信号。
• Caser [16]： 顺序推荐模型，采用卷积神经网络 (Convolutional Neural Networks) 捕获局部序列模式。
• HGN [10] (Hierarchical Gating Networks)： 顺序推荐模型，利用分层门控网络 (hierarchical gating network) 自适应地整合用户的长短期偏好。
• Bert4Rec [14]： 顺序推荐模型，使用深度双向自注意力机制 (deep bidirectional self-attention mechanism) 对用户序列进行建模。
• SASRec [6]： 顺序推荐模型，使用自注意力机制 (self-attention mechanism) 捕获长程依赖 (long-range dependencies) 和动态用户偏好。
• TIGER [13]： 生成式模型 (generative model)，将物品表示为离散的词元序列，通过自回归解码 (autoregressive decoding) 进行推荐。由于其强大的生成性能和与推理集成的架构兼容性，TIGER 被选作 SCoTER 的主干模型 (backbone)。
• SCoTER： 论文提出的方法，通过集成结构化思维链推理来增强 TIGER 主干模型。

5.4. 实现细节

• 通用配置 (Generative Methods)： 采用基于 T5 架构的统一配置。主干模型是一个 4 层 Transformer，模型维度为 128，六个注意力头（维度 64），1024 单元的隐藏 MLP，ReLU 激活函数，以及 0.1 的 dropout 率。
• 词元化 (Tokenization)： 词元化器 (tokenizer) 使用 RQ-VAE 进行离散语义编码 (discrete semantic encoding)，包含 4 个码本 (codebooks)，每个码本包含 256 个维度为 32 的嵌入。RQ-VAE 的语义输入来源于通过 Qwen3-8B-Embedding [30] 处理的物品标题和描述的嵌入。
• 推理 (Inference)： 推理时使用 20 的 beam size (集束搜索大小)，以平衡推荐质量和效率。
• SCoTER 特有配置：
  • 交叉注意力 (Cross-attention)： 采用多头交叉注意力（6 个头）在序列嵌入 $\mathbf { e } _ { \mathrm { s e q } }$ 和预计算的离线推理嵌入 $\mathbf { Z } ^ { \mathrm { p o s } }$ 之间。
  • 位置编码 (Positional Embeddings)： 使用可学习的位置嵌入来保留序列依赖性。
  • 自适应门控 (Adaptive Gating)： 使用 sigmoid 激活函数来控制序列和推理表示的融合。
• 训练 (Training)： 使用 Adam 优化器，学习率 $2 \times 1 0 ^ { - 4 }$，权重衰减 $5 \times 1 0 ^ { - 5 }$，训练 200 个周期 (epochs) 并采用早停 (early stopping)。对比学习权重 $\lambda$ 设置为 0.1。

6. 实验结果与分析

6.1. 核心结果分析 (RQ1)

SCoTER 框架在与基线模型的性能比较中展现出显著优势。以下是原文 Table 1 的内容，展示了在四个数据集上的性能比较：

分析：

• 全面领先： SCoTER 在所有四个数据集 (Beauty, Instruments, Sports, Yelp) 和所有评估指标 (Recall@5, Recall@10, NDCG@5, NDCG@10) 上均持续优于所有基线模型。这表明其方法的鲁棒性和泛化能力。

• 显著提升： 相较于作为其主干模型的 TIGER，SCoTER 取得了 3.75% 到 11.59% 的显著性能提升。其中，Beauty 和 Sports 数据集上的提升最为显著，这可能归因于这两个数据集的物品特征和用户行为模式更适合 CoT 推理进行挖掘。

• Top-K 精度提升： SCoTER 在 Top-5 指标（例如 Recall@5 和 NDCG@5）上的提升通常比 Top-10 指标更为显著。这表明结构化推理对于需要高精度的场景特别有效，即模型推荐的前几个物品必须非常准确。

• 基线表现： 在基线模型中，SASRec 作为传统的顺序推荐方法表现最佳，而 TIGER 作为生成式模型也展现出强大的能力。然而，即使是这些强基线，也未能像 SCoTER 那样系统地优化推理模式和保留顺序感知推理表示。

• 验证框架有效性： SCoTER 提升 TIGER 性能的能力，证明了其显式集成推理模式发现和结构感知集成策略的价值，成功解决了 TIGER 等模型在这方面的局限性。

  这些实证结果有力地验证了 SCoTER 框架的整体有效性，证明了其能够成功迁移推理能力以增强推荐性能。

6.2. 自动化模式发现分析 (RQ2)

为了评估自动化发现的有效性，论文将 GVM 发现的模式与几种手动模板进行了比较。这些手动模板（详见附录 B）代表了基于领域知识和专家直觉的通用推理结构。

以下是原文 Figure 3 的内容描述： 下图（原文 Figure 3）是一个条形图，展示了在 Beauty 数据集上，手动 CoT 模板（两步、三步、五步）与自动发现 CoT 模式在与 TIGER 主干模型集成后的性能提升对比。

• 手动 CoT 模板（两步、三步、五步）：在 Recall@5、Recall@10、NDCG@5、NDCG@10 等指标上均相对于 TIGER 有所提升，但提升幅度相对较小。例如，表现最好的手动模板在 Recall@5 上的提升约为 5% 左右。

• 自动发现 CoT（SCoTER）：在所有指标上都显著优于手动模板。例如，其在 Recall@5 上的提升高达 10.71%，几乎是表现最好的手动模板的两倍。在 NDCG@5 上，自动发现 CoT 也实现了 7.39% 的提升。

  该图像是一个条形图，展示了在美容数据集上，相较于 TIGER 模型，基于手动和发现的链式思维模板的性能提升。各个评价指标下，发现的链式思维方法表现出更高的性能增益，特别是在 Recall@5 和 NDCG@5 上，增益达到了 10.71% 和 10.44%。

图 3：在 Beauty 数据集上与 TIGER 主干模型集成后的性能提升。手动 CoT 模板（两步、三步、五步）与自动发现的 CoT 进行比较。

此外，以下是原文 Table 4 的内容，展示了 LLM 作为推荐器的性能，即模型直接从推理链生成推荐，不与主干模型集成。

分析：

• GVM 的显著优势： 如图 3 所示，GVM 发现的模式在与 TIGER 集成后，其性能提升远超所有手动模板。例如，在 Recall@5 上的 10.71% 提升几乎是最佳手动模板增益的两倍，建立了显著的性能差距。这表明 GVM 能够发现比人类直觉更有效、更适合特定推荐任务的推理模式。
• 超越集成设置： 表 4 进一步证明了 GVM 模式在独立 LLM 生成中的优越性。无论是对 DeepSeek-R1 还是对微调后的 Qwen3-8B，SCoTER 模式都持续优于手动替代方案。这凸显了 GVM 流水线从数据中系统性发现有效模式的根本性架构优势。
• GVM 优势的根源：
  • 数据驱动： 手动模板通常依赖于泛化的人类经验，虽然提供了合理的起点，但难以捕获特定用户交互中细粒度、动态的信号。GVM 通过其“生成 (Generate)”阶段探索大量的潜在推理模式，超越了预定义的假设。
  • 实证验证： “验证 (Validate)”阶段作为经验过滤器，根据实际推荐性能对每个候选模式进行评分，确保只有数据支持的推理路径才能存活下来，形成了一个有效的反馈循环。
  • 有效抽象： “挖掘 (Mine)”阶段从经过验证的模式中提炼出最有效和可泛化的逻辑，生成最优 CoT 模板。 这种系统性的发现过程使得 SCoTER 能够识别出那些不仅理论上合理，而且在经验上被证明更有益的潜在数据特定推理结构。

6.3. 结构保持集成分析 (RQ3)

为了验证结构保持集成架构的有效性，论文进行了一项系统性的消融研究 (ablation study)。以下是原文 Table 3 的内容，展示了在 Beauty 数据集上的消融结果：

分析：

• 每个组件的重要性： 结果表明，架构中的每个组件都至关重要，其移除会导致 2.30% 到 6.22% 的 Recall@5 性能下降。
• 逐步 CoT 嵌入 (Step-wise CoT embedding) 的关键作用： 移除逐步 CoT 嵌入导致最大的性能下降，Recall@5 下降 6.22%。这强调了保留推理链中渐进细化 (progressive refinement) 的重要性。每个推理步骤都建立在之前的洞察之上，迭代地缩小推荐空间。如果将这种多步结构压缩成单一向量，就会丢弃中间的逻辑依赖关系，使得模型无法从逐步推敲中获益。
• 位置编码 (Positional encoding) 的补充增强： 移除位置编码导致 Recall@5 下降 2.30%。它确保模型能够区分推理序列中早期假设探索和最终细化。缺乏明确的位置信号会阻碍模型在不同推理阶段应用适当的注意力权重，从而影响其利用序列结构的能力。
• 对比学习 (Contrastive learning) 的作用： 移除对比学习导致 Recall@5 下降 4.84%。它提供了一个关键的监督信号，引导推理逻辑超越单纯的内部一致性，使其与用户偏好对齐。因此，其移除会导致更大的性能下降。
• 协同效应： 消融研究揭示了这些组件之间的协同效应。同时移除位置编码和对比学习导致的性能下降大于它们各自影响的总和。这表明两者之间存在合作关系：位置编码保留了序列逻辑，而对比学习将此逻辑与推荐目标对齐。
• 整体优势： 最终，与原始 TIGER 主干模型相比，完整 SCoTER 模型在 Recall@5 上仍有 9.68% 的显著提升，验证了整个结构保持集成架构的有效性。

6.4. 集成协同效应分析 (RQ4)

通过比较独立 LLM 生成的推荐与完全集成模型的结果，揭示了一个关键的见解。

分析：

• 独立 LLM 与集成模型的性能差距： 从 Table 4 可以看到，即使是使用 SCoTER 模式微调后的 Qwen3-8B（最佳直接生成配置），其 Recall@20 仅达到 0.0363。然而，在 Table 1 中，SCoTER 集成到 TIGER 主干模型后，其 Recall@10 达到 0.0656 (对于 Beauty 数据集)。这种巨大的性能差距（注意指标 K 值不同，但差距仍然显著）突显了融合互补信息源的根本价值。

• 协同作用的来源：

  • LLM 优势： LLM 生成依赖于显式语义逻辑，能够提供可解释的推理。
  • 推荐系统主干优势： 推荐系统主干模型提供了隐式协同信号 (implicit collaborative signals)，如物品共现模式 (item co-occurrence patterns) 或用户口味聚类 (user taste clusters)，这是现代推荐器的基础，但 LLM 自身缺乏。
  • SCoTER 的融合： SCoTER 架构的优势在于其能够协同这两种不同的模态。主干模型提供了强大的协同先验 (collaborative priors)，而 CoT 模块则注入了可解释的推理层。这种融合创造了既有经验基础又逻辑合理的推荐，这是任何单一组件都无法单独实现的。

• 任务特定适应性优于原始模型规模： 结果还揭示了另一个关键洞察：任务特定适应性比原始模型规模更重要。Table 4 显示，较小的、经过微调的 Qwen3-8B (Recall@20 为 0.0363) 持续优于大得多的 DeepSeek-R1 (Recall@20 为 0.0105)。这验证了 SCoTER 的结构化蒸馏 (structured distillation) 方法，证明了它能够将复杂的推理能力有效地迁移到高效的小型模型中。

  总而言之，这证实了将 LLM 推理集成到大规模、生产就绪的系统中是可行的路径。

6.5. 在线 A/B 测试 (Online A/B Test)

SCoTER 的实际效果通过在腾讯广告平台上的在线 A/B 测试得到验证。

以下是原文 Table 5 的内容，展示了在腾讯广告平台上的在线 A/B 测试的相对提升：

分析：

• 部署背景： 基于可喜的离线结果（在 HitR@100 指标上获得 +6.1% 的相对提升），研究团队启动了在线 A/B 测试。

• 测试配置： 使用 5% 的流量实验组，将 SCoTER 与现有在线模型进行了一周的比较，主要评估指标为商品交易总额 (Gross Merchandise Value, GMV)。

• GMV 显著提升： SCoTER 带来了总体 GMV 显著提升了 +2.14%。

• 缓解数据稀疏问题： 分层分析 (stratified analysis) 显示，性能提升对于交互历史稀疏 (sparse interaction histories) 的用户最为显著，实现了 +4.10% 的 GMV 提升。这与交互历史密集 (dense histories) 用户获得的 +1.49% 提升形成对比，突显了 SCoTER 在缓解数据稀疏问题方面的巨大潜力。

• 改善用户体验： SCoTER 也展现了积极的用户体验趋势。观察到平均负面反馈率 (Negative Feedback Rate) 下降 0.24%，并且“不感兴趣”率 (Not Interested Rate) 下降 0.25%。这些结果表明，SCoTER 生成的推荐不仅能带来更高的收益，而且与用户偏好更加一致。

  这些在线实验结果进一步验证了 SCoTER 在真实世界大规模生产环境中的有效性和实用价值。

7. 总结与思考

7.1. 结论总结

本研究识别并解决了在将 CoT 推理应用于推荐系统时面临的两个核心挑战：自动化发现有效推理模式（而非依赖脆弱的手工启发式方法），以及在低延迟需求下将这些模式迁移到高效模型中而不破坏其基本逐步逻辑。为解决这些挑战，论文提出了 SCoTER，一个创新的统一框架，包含用于模式发现的自动化 GVM 流水线和结构保持集成架构。

SCoTER 的有效性在理论和实证两方面均得到验证。理论上，信息论分析证明了结构保持迁移在性能上优于结构无关的替代方案。实践中，全面的实验结果表明，SCoTER 不仅持续超越了最先进的基线模型，还在腾讯广告平台的生产环境中实现了 GMV 2.14% 的显著提升。这些结果共同确立了 SCoTER 作为将结构化 LLM 推理集成到大规模推荐系统中的系统化、经验验证的蓝图。

7.2. 局限性与未来工作

论文虽然没有专门的章节讨论局限性和未来工作，但从其提出的问题和解决方案中，可以推断出以下几点：

7.2.1. 局限性

• GVM 流水线的初始 LLM 依赖： GVM 流水线的“生成”阶段依赖于一个强大的 LLM 来生成初始的候选推理链。尽管后续有验证和挖掘，但初始 LLM 的能力和潜在偏差仍可能影响模式发现的上限。如果初始 LLM 无法产生足够多样或高质量的推理，那么发现的模式也可能受限。
• 模式抽象的复杂性： “挖掘”阶段通过聚类和元提示合成来抽象符号模板。这个过程可能存在一定程度的模式简化或信息损失，尤其是在处理非常复杂或模糊的用户意图时。如何更精细地捕捉和抽象模式，仍是一个挑战。
• 计算成本： 尽管将推理链预计算并离线存储，避免了在线 LLM 推理成本，但 GVM 流水线本身（尤其是“生成”和“验证”阶段涉及大量 LLM 调用）在模式发现阶段仍可能具有较高的计算成本和时间成本，这可能限制其在极大规模或需要频繁模式更新场景下的应用。
• 泛化性： 论文主要在顺序推荐任务中验证 SCoTER。其在其他推荐范式（如会话推荐、多目标推荐等）或更复杂的用户行为建模（如用户决策过程、多模态信息融合）中的泛化能力尚待进一步探索。
• 理论与实践的差距： 尽管提供了信息论证明，但理论上的优势（如 TV 距离的减少）如何精确地量化并映射到实际推荐指标（如 Recall、NDCG）上的增益，仍是一个复杂的问题。

7.2.2. 未来工作

• 更复杂的推理模式： 探索和发现更复杂、多层次的推理模式，以应对更细致的用户意图和更动态的物品特性。这可能涉及利用图结构化推理或更高级的逻辑推理机制。
• GVM 流水线的效率和鲁棒性优化： 进一步优化 GVM 流水线的效率，减少 LLM 调用成本，并提高模式发现的鲁棒性。例如，可以研究更高效的采样策略、更智能的剪枝机制或更自适应的聚类算法。
• 动态模式更新： 探索如何根据用户行为或物品趋势的实时变化，动态地更新和适应推理模式，而非仅依赖周期性的离线发现。
• 多模态推理融合： 将 SCoTER 扩展到多模态推荐场景，其中推理不仅基于文本序列，还整合图像、音频或视频等信息，以形成更全面的用户理解和推荐理由。
• 更深入的可解释性： 进一步利用 CoT 的逐步逻辑，提供更深层次、更人性化的推荐解释，增强用户对推荐结果的信任和满意度。

7.3. 个人启发与批判

7.3.1. 个人启发

• 数据驱动的重要性： SCoTER 最重要的启发是，在推荐系统这种主观且动态的领域，不能简单依靠人类直觉或通用模板来设计 LLM 的推理模式。通过 GVM 流水线实现数据驱动的自动化模式发现，是解锁 LLM 潜力的关键。这提示我们在设计任何 LLM 应用时，都应尽可能引入数据驱动的反馈机制。
• 联合优化思维： 将“什么要迁移”和“如何迁移”视为一个联合优化问题，而非孤立处理，是一个非常高明的策略。这打破了传统上模型设计和集成部署之间的壁垒，确保了推理模式的有效性从一开始就考虑到其在生产环境中的可用性。这种系统性、端到端的视角对于解决复杂工程问题具有普遍指导意义。
• 结构保持的价值： 论文通过理论和实验证明了保留 CoT 逐步逻辑的结构完整性至关重要。这与很多将 LLM 输出简单视作“特征向量”的朴素方法形成了鲜明对比。这提醒我们，LLM 的力量不仅在于其最终输出，更在于其内部的推理过程，而这种过程的结构是信息丰富且不可随意抛弃的。
• 生产验证的价值： SCoTER 在腾讯广告平台的成功部署，并带来显著的 GMV 增长和用户体验改善，为 LLM 在大规模工业级推荐系统中的实际落地提供了强有力的证据和“蓝图”。这增强了学术界和工业界对 LLM 推荐前景的信心，并指明了实际应用的可能路径。
• 小模型+蒸馏的潜力： 实验结果显示，经过微调的小型模型（如 Qwen3-8B）在特定任务上可以优于大型模型（如 DeepSeek-R1），这凸显了知识蒸馏和任务特定适应性的巨大潜力，尤其是在对效率和成本敏感的生产环境中。

7.3.2. 批判

• “最优”模式的定义： GVM 流水线通过“质量、结构一致性、性能稳定性”来选择最优模式。然而，在实际应用中，“最优”的定义可能更复杂，例如可能需要考虑模式的可解释性、多样性、以及对新颖物品的推荐能力等。目前的定义可能更侧重于短期性能指标。
• GVM 模式的泛化性挑战： 尽管 GVM 模式是数据驱动的，但它仍然是在特定数据集上发现的。当用户行为模式或物品分布发生重大变化时（例如新趋势出现），这些发现的模式可能需要重新发现或适应。如何确保发现的模式在面对概念漂移 (concept drift) 时仍能保持有效性是一个挑战。
• LLM 幻觉 (Hallucination) 的影响： LLM 在生成推理链时可能存在幻觉问题，即生成看似合理但实际不准确的信息。尽管有验证步骤，但这种幻觉是否会引入噪声或错误模式，并最终影响推荐质量，论文中未详细探讨。
• “手动模板”的局限性： 论文中用于比较的手动 CoT 模板相对简单（两步、三步、五步）。如果与更复杂、由专家精心设计的手动 CoT 模板进行比较，GVM 的优势是否依然如此显著，值得进一步探究。
• 理论分析的实际应用： 理论分析提供了坚实的数学基础，证明了结构保持的优势。然而，如何将理论中的 $\rho$ 和 $\delta$（表示任务的顺序敏感性）与实际任务的特性联系起来，并据此指导模型设计和超参数调整，仍需要更深入的研究和实践。
• 冷启动 (Cold Start) 问题： 论文强调了 SCoTER 在稀疏用户 (sparse users) 上表现尤为出色，这对于缓解数据稀疏问题非常有益。但是，对于全新的用户或物品的冷启动问题，LLM 的推理能力是否能提供额外帮助，以及如何在这种极端稀疏情况下发现有效的推理模式，可以作为未来的研究方向。