1. 论文基本信息

1.1. 标题

TV-Rec: Time-Variant Convolutional Filter for Sequential Recommendation (TV-Rec: 用于序列推荐的时变卷积滤波器)

1.2. 作者

Yehjin Shin, Jeongwhan Choi, Seojin Kim, Noseong Park

1.3. 发表期刊/会议

KAIST (韩国科学技术院)

1.4. 发表年份

2025

1.5. 摘要

最近，卷积滤波器 (convolutional filters) 在序列推荐 (sequential recommendation) 中得到越来越多的应用，因为它们能够捕捉局部序列模式 (local sequential patterns)。然而，这些模型大多需要自注意力 (self-attention) 来辅助卷积滤波器。这是因为单独的卷积滤波器，通常是固定滤波器 (fixed filters)，难以捕捉到准确推荐所需的全局交互 (global interactions)。本研究提出了用于序列推荐的时变卷积滤波器 (Time-Variant Convolutional Filters for Sequential Recommendation, TV-Rec)，其灵感来源于图信号处理 (graph signal processing)。在 TV-Rec 中，时变图滤波器 (time-variant graph filters) 能够捕捉用户序列中依赖于位置的时间变化 (position-dependent temporal variations)。通过将固定核 (fixed kernels) 和自注意力 (self-attention) 都替换为时变滤波器，TV-Rec 实现了更高的表达能力 (expressive power)，并能更好地捕捉用户行为中复杂的交互模式。这种设计不仅消除了对自注意力的需求，还减少了计算量 (computation)，同时加速了推理 (inference)。在六个公开基准数据集上进行的广泛实验表明，TV-Rec 的性能平均优于最先进的基线模型 7.49%。

1.6. 原文链接

https://arxiv.org/abs/2510.25259

1.7. PDF 链接

https://arxiv.org/pdf/2510.25259v1.pdf 该论文目前作为预印本 (pre-print) 发布于 arXiv。

2. 整体概括

2.1. 研究背景与动机

推荐系统 (recommender systems) 已成为引导用户浏览海量内容的关键工具，它根据用户的历史交互提供个性化信息。由于用户偏好会随时间演变，序列推荐 (sequential recommendation, SR) 被广泛用于捕捉用户交互中的序列模式 (sequential patterns) 以建模动态偏好。

当前 SR 领域面临的主要挑战是：

1. 传统卷积滤波器 (convolutional filters) 的局限性：虽然卷积滤波器在捕捉局部序列模式方面表现出色，但其固定性质限制了其适应性。同一个滤波器被均匀地应用于序列中的所有位置，这使得它们难以捕捉随时间演变或特定于位置的语义信息。它们主要侧重于用户的近期行为，难以有效捕捉长期偏好或序列早期阶段的关键模式。

2. 自注意力机制 (self-attention mechanisms) 的局限性：Transformer (Transformer) 模型及其变体，如 SASRec 和 BERT4Rec，在建模长期依赖性方面表现强大。然而，自注意力机制缺乏对序列结构固有的归纳偏置 (inductive bias)，它以成对方式处理所有位置，没有内在的局部邻近性偏置。这导致其在建模细粒度的、局部化的用户行为模式时存在困难，并且计算成本高昂。

3. 现有混合模型的不足：为了弥补上述不足，一些混合模型尝试结合卷积和自注意力，以期同时捕捉局部和全局模式。然而，这些模型往往继承了自注意力机制的计算复杂性，推理效率不高。

   论文试图解决的核心问题是：如何在序列推荐中设计一个既能有效捕捉局部和全局交互模式，又能兼顾计算效率和表达能力的模型，从而摆脱对自注意力机制的依赖？

这篇论文的切入点和创新思路在于：

1. 引入时变卷积滤波器 (Time-Variant Convolutional Filters)：受图信号处理 (Graph Signal Processing, GSP) 中节点变图滤波器 (node-variant graph filters) 的启发，提出将序列中的每个位置视为一个图节点，并为每个节点应用不同的滤波器。
2. 替换固定核和自注意力：TV-Rec 的设计目标是完全取代传统的固定卷积核以及计算成本高昂的自注意力机制，通过时变滤波器实现更强的表达能力和效率。
3. 利用图谱域的固有优势：通过将序列建模为有向循环图 (Directed Cyclic Graph, DCG) 并在谱域 (spectral domain) 进行操作，模型能够自然地编码位置信息，从而无需显式的位置编码 (positional embeddings)。

2.2. 核心贡献/主要发现

论文的主要贡献体现在以下几个方面：

• 提出了 TV-Rec 模型：引入了用于序列推荐的时变卷积滤波器，能够更有效地捕捉时间动态和用户行为模式。这种滤波器为序列中的每个数据点应用不同的滤波器，克服了传统固定卷积滤波器的局有局限性。

• 展示了 TV-Rec 更强大的泛化能力：论文证明 TV-Rec 具有更高的表达能力，并通过滤波器作为时间函数，有效地捕捉了用户的长期偏好和近期兴趣。

• 实现了卓越的性能与效率平衡：在六个基准数据集上的广泛实验表明，TV-Rec 的性能平均优于最先进的基线模型 7.49%。此外，该模型在没有自注意力机制的情况下，仍能实现快速推理和较低的计算复杂性，在准确性和效率之间取得了最佳平衡。

  论文得出的关键结论是，通过采用受图信号处理启发的时变卷积滤波器，可以在序列推荐任务中有效地取代自注意力机制和固定核，从而实现更优越的推荐性能和计算效率，尤其是在处理长序列时表现突出。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 序列推荐 (Sequential Recommendation, SR)

SR 是推荐系统的一个重要分支，旨在根据用户历史交互序列（如购买历史、浏览记录等）来预测用户下一个可能交互的物品。它假设用户的偏好是动态变化的，并尝试从用户行为的顺序中捕捉这种动态性。例如，用户购买了一系列运动鞋后，系统可能会推荐新的运动服饰。

3.1.2. 卷积滤波器 (Convolutional Filters)

在深度学习中，卷积滤波器（也称为卷积核）是一种小型矩阵，它通过在输入数据（如图像或序列）上滑动并进行元素级乘法和求和操作，来提取局部特征。在 SR 中，一维卷积 (1D Convolution) 通常用于捕捉用户行为序列中的局部模式，例如，用户最近连续购买了特定类别的商品。然而，传统的卷积滤波器是固定的，即在序列的每个位置应用相同的权重，这限制了它们捕捉时变或位置特定语义的能力。

3.1.3. 自注意力 (Self-Attention)

自注意力 (Self-Attention) 是 Transformer 模型中的核心机制，它允许模型在处理序列的某个元素时，能够同时关注序列中的所有其他元素，并根据它们的重要性来加权。这使得模型能够捕捉序列中的长距离依赖关系。

自注意力的计算通常涉及查询 (Query, $Q$)、键 (Key, $K$) 和值 (Value, $V$) 矩阵。给定一个输入序列的嵌入表示，首先将其线性变换为 Q, K, V 矩阵。然后，通过计算 $Q$ 和 $K$ 之间的点积来衡量序列中不同位置之间的相似度或相关性，再经过 softmax 函数归一化，得到注意力权重。最后，这些权重被应用于 $V$ 矩阵，聚合得到加权后的输出。

其标准计算公式如下： $$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 符号解释：

• $Q$ (Query) 是查询矩阵，维度为 $N \times d_k$，其中 $N$ 是序列长度， $d_k$ 是键的维度。

• $K$ (Key) 是键矩阵，维度为 $N \times d_k$。

• $V$ (Value) 是值矩阵，维度为 $N \times d_v$，其中 $d_v$ 是值的维度。

• $K^T$ 是 $K$ 的转置。

• $\sqrt{d_k}$ 是缩放因子，用于防止点积结果过大导致 softmax 函数梯度消失。

• $\mathrm{softmax}(\cdot)$ 是 softmax 函数，将注意力分数转换为概率分布。

• $\mathrm{Attention}(Q, K, V)$ 是自注意力机制的输出，维度为 $N \times d_v$。

  尽管自注意力擅长捕捉全局依赖，但它缺乏对局部邻近性的固有偏置，且计算复杂度较高。

3.1.4. 图信号处理 (Graph Signal Processing, GSP)

GSP 是一门研究定义在图 (graph) 结构上的信号 (signals) 的学科。它将图的拓扑结构与信号的频谱特性相结合，对信号进行分析、处理和变换。

• 图信号 (Graph Signals)：定义在图的节点上的函数值，例如，社交网络中每个用户的年龄、气象站网络中每个站点的温度。
• 移位算子 (Shift Operator)：在 GSP 中，一个图的移位算子 $\mathbf{S}$ (通常是邻接矩阵或拉普拉斯矩阵) 类似于传统信号处理中的移位操作。它描述了信息如何在图的节点之间传播。
• 图滤波器 (Graph Filter)：图滤波器 $\mathbf{G}$ 是移位算子 $\mathbf{S}$ 的多项式函数，用于对图信号进行频率成分的增强或抑制。 $$\mathbf { y } = \mathbf { G x } = \sum _ { k = 0 } ^ { K } h _ { k } \mathbf { S } ^ { k } \mathbf { x }$$ 符号解释：
  • $\mathbf{x} \in \mathbb{R}^N$ 是输入图信号，其中 $N$ 是节点数量。
  • $\mathbf{y} \in \mathbb{R}^N$ 是输出图信号。
  • $\mathbf{G}$ 是图滤波器。
  • $\mathbf{S} \in \mathbb{R}^{N \times N}$ 是移位算子（如邻接矩阵或拉普拉斯矩阵）。
  • $h_k$ 是滤波器抽头 (filter taps)，即多项式系数。
  • $K$ 是滤波器的阶数 (order)。
• 图傅里叶变换 (Graph Fourier Transform, GFT)：GFT 类似于传统傅里叶变换，将图信号从节点域转换到谱域（频率域）。它通过移位算子 $\mathbf{S}$ 的特征分解 (eigen-decomposition) 定义： $$\mathbf { S } = \mathbf { U } \mathsf { diag } ( \boldsymbol { \lambda } ) \mathbf { U } ^ { \top }$$ 符号解释：
  • $\mathbf{U}$ 是特征向量 (eigenvectors) 矩阵。
  • $\boldsymbol{\lambda}$ 是特征值 (eigenvalues) 向量。
  • $\mathsf{diag}(\cdot)$ 表示从向量构造对角矩阵。 GFT 定义为 $\tilde{\mathbf{x}} = \mathbf{U}^\top \mathbf{x}$，逆 GFT 定义为 $\mathbf{x} = \mathbf{U}\tilde{\mathbf{x}}$。在谱域中，图滤波操作变为对角矩阵与转换后信号的乘法： $$\tilde { \mathbf { y } } = \tilde { \mathbf { G } } \tilde { \mathbf { x } } = \Big ( \sum _ { k = 0 } ^ { K } h _ { k } \mathrm { diag } ( \boldsymbol { \lambda } ) ^ { k } \Big ) \tilde { \mathbf { x } }$$ 符号解释：
  • $\tilde{\mathbf{y}}$ 是输出信号的 GFT。
  • $\tilde{\mathbf{G}}$ 是在谱域中的图滤波器，它是一个对角矩阵。
  • $\tilde{\mathbf{x}}$ 是输入信号的 GFT。

3.1.5. 节点变图滤波器 (Node-Variant Graph Filter)

传统的图滤波器在所有节点上共享相同的滤波器抽头 $h_k$。而节点变图滤波器 $\mathbf{G}_{nv}$ 允许每个节点拥有不同的滤波器抽头。这意味着每个节点 $i$ 在多项式求和中都有其自己的一组系数 $h_k^{(i)}$。 $${ \bf y } = { \bf G } _ { n v } { \bf x } = \Big ( \sum _ { k = 0 } ^ { K } \mathrm { diag } ( { \bf h } _ { k } ) { \bf S } ^ { k } \Big ) { \bf x }$$ 符号解释：

• $\mathbf{h}_k = [h_k^{(1)}, h_k^{(2)}, \ldots, h_k^{(N)}]^\top$ 是一个向量，其中 $h_k^{(i)}$ 是节点 $i$ 在阶数 $k$ 时的滤波器抽头。
• $\mathsf{diag}(\mathbf{h}_k)$ 是一个对角矩阵，其对角线元素由向量 $\mathbf{h}_k$ 给出。 在序列推荐的语境下，如果序列中的每个时间步被视为一个节点，那么节点变图滤波器就等同于时变卷积滤波器 (time-variant convolutional filters)，因为每个时间步（位置）都有其独特的滤波器。

3.1.6. 位置编码 (Positional Encoding)

在 Transformer 模型中，由于自注意力机制并行处理所有输入，模型本身不包含任何关于词语顺序的信息。为了引入序列中元素的位置信息，通常会添加位置编码。位置编码可以是固定的（如正弦和余弦函数）或可学习的向量，它们与词嵌入相加，从而使模型能够区分序列中不同位置的元素。

标准正弦位置编码公式如下： $$\mathrm { PE } _ { ( p o s , 2 i ) } = \sin \left( \frac { p o s } { 10000 ^ { 2i / d } } \right) , \quad \mathrm { PE } _ { ( p o s , 2i + 1 ) } = \cos \left( \frac { p o s } { 10000 ^ { 2i / d } } \right)$$ 符号解释：

• pos 是序列中词语的位置。
• $i$ 是嵌入向量中的维度索引。
• $d$ 是嵌入维度。 TV-Rec 的一个特点是，由于其时变滤波器和谱域操作，它声称不需要显式的位置编码。

3.2. 前人工作

• 早期序列推荐模型：
  • 马尔可夫链 (Markov chains) [24]：如 Factorizing personalized Markov chains，通过建模项目之间的转移概率来预测下一个项目。
  • 循环神经网络 (Recurrent Neural Networks, RNNs) [13]：如 GRU4Rec，利用 RNN 的序列处理能力捕捉用户偏好中的时间依赖性。
• 基于 Transformer 的序列推荐模型：
  • SASRec [17]：Self-Attentive Sequential Recommendation，首次将自注意力机制引入 SR，通过自注意力层捕获用户序列中的长程依赖。
  • BERT4Rec [29]：Sequential Recommendation with Bidirectional Encoder Representations from Transformer，采用双向 Transformer 编码器和掩码项目预测任务进行训练，进一步提升了性能。
• 基于卷积的序列推荐模型：
  • Caser [30]：Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding，将用户-物品交互视为图像，使用 2D 卷积捕捉序列模式。
  • NextItNet [40]：A Simple Convolutional Generative Network for Next Item Recommendation，使用膨胀一维卷积 (dilated 1D convolutions) 和残差连接 (residual connections) 捕获长短程依赖。
  • FMLPRec [45]：Filter-enhanced MLP is all you need for sequential recommendation，在一个全 MLP 架构中融入傅里叶变换和可学习滤波器，以增强序列表示。
• 混合模型 (Hybrid Approaches)：
  • AdaMCT [16]：Adaptive Mixture of CNN-Transformer for Sequential Recommendation，结合 Transformer 的自注意力 (long-term preferences) 和 1D 卷积 (short-term preferences)。
  • BSARec [28]：An Attentive Inductive Bias for Sequential Recommendation Beyond the Self-Attention，通过使用傅里叶变换 (Fourier Transform) 应用卷积来解决自注意力机制的局限性，在自注意力之外引入归纳偏置。
• 基于图神经网络 (GNN-based) 的模型：
  • SR-GNN [33]：Session-based Recommendation with Graph Neural Networks，将用户会话转换为图，并应用 GNN 捕捉物品转换关系。
  • GC-SAN [35]：Graph Contextualized Self-Attention Network for Session-Based Recommendation，动态为每个序列构建图，结合 GNN 和自注意力建模局部和长程物品依赖。
  • GCL4SR [43]：Enhancing Sequential Recommendation with Graph Contrastive Learning，构建全局物品转换图，并使用图对比学习 (graph contrastive learning) 整合全局和局部上下文。

3.3. 技术演进

序列推荐技术的发展大致经历了以下几个阶段：

1. 早期统计/启发式模型：以 马尔可夫链 为代表，主要关注相邻物品间的转换概率。

2. 基于循环神经网络 (RNN) 的模型：如 GRU4Rec，利用 RNN 捕捉序列中的时间依赖性，但受限于长序列的梯度消失/爆炸问题。

3. 基于自注意力/Transformer 的模型：SASRec 和 BERT4Rec 引入自注意力，显著提升了长程依赖建模能力，但引入了高昂的计算成本和对局部性归纳偏置的缺乏。

4. 基于卷积神经网络 (CNN) 的模型：Caser 和 NextItNet 利用 CNN 捕捉局部模式，提供更好的效率，但通常难以捕捉全局依赖。

5. 混合架构模型：如 AdaMCT 和 BSARec，尝试结合 CNN 和 Transformer 的优势，但往往未能完全摆脱自注意力的计算负担。

6. 基于图神经网络 (GNN) 的模型：SR-GNN 等将序列建模为图结构，利用 GNN 聚合信息，但通常侧重于物品间的转换关系而非序列位置的动态性。

   本文的 TV-Rec 处于第 5 阶段的演进末端和第 6 阶段的并行探索中，它试图超越现有混合模型，通过一种全新的 时变卷积滤波器 机制，在不依赖自注意力的情况下，实现对局部和全局模式的有效捕捉，并提升效率，可以看作是 GSP 思维在 SR 领域的创新应用。

3.4. 差异化分析

TV-Rec 与现有主要方法的核心区别和创新点在于：

1. 与固定卷积滤波器相比：TV-Rec 引入了 时变卷积滤波器，允许序列中每个位置（时间步）拥有独立的滤波器。这解决了固定滤波器难以捕捉时变或位置特定语义的问题，使其能够同时关注近期兴趣和早期长程偏好。传统的 1D CNN (如 AdaMCT 中的) 对应于固定图卷积滤波器。
2. 与自注意力机制相比：TV-Rec 完全去除了自注意力机制，从而避免了其高昂的计算复杂性和缺乏局部性归纳偏置的限制。通过 时变滤波器 在谱域中的操作，TV-Rec 能够有效捕捉全局交互，而无需自注意力的成对交互。
3. 与混合模型相比：TV-Rec 旨在完全替代自注意力与固定卷积的组合，提供一个更统一、高效的解决方案。例如，FMLPRec 和 BSARec 的滤波器层虽然应用了傅里叶变换 (Fourier transform)，但仍可被视为固定滤波器的谱域表示，而 TV-Rec 的 时变滤波器 更加通用。
4. 与 GNN-based 模型相比：
   • 节点定义不同：TV-Rec 将序列中的位置而非物品本身定义为图节点，这意味着即使相同的物品在不同时间出现，也会被视为不同的节点。这使得模型能捕捉更细粒度的时序和位置依赖。而 GNN-based 模型通常将物品作为节点，可能会忽略重复物品在不同时间点的上下文差异。
   • 操作方式不同：TV-Rec 通过谱域中的 时变图卷积滤波器 直接操作，无需迭代的消息传递 (message passing)。这使得其在处理长序列时更加高效，避免了 GNN 中递归传播的计算成本。
5. 无需位置编码：TV-Rec 通过在有向循环图 (DCG) 上进行谱分解，能够固有地 (inherently) 编码位置信息，从而无需显式的位置编码，简化了模型结构并提高了效率。

4. 方法论

4.1. 方法原理

TV-Rec 的核心思想是利用图信号处理 (GSP) 中的节点变图滤波器 (node-variant graph filters) 来构建一个能够捕捉用户序列中位置依赖性时间变化的时变卷积滤波器 (time-variant convolutional filter)。它将用户的历史交互序列抽象为一个线图 (line graph)，并为了在谱域 (spectral domain) 进行高效计算，进一步将其建模为一个零填充 (zero-padded) 的有向循环图 (Directed Cyclic Graph, DCG)。

该方法的直觉在于：用户在序列不同时间点（即序列中的不同位置）的行为模式和偏好可能不同。例如，序列开头的行为可能反映用户的长期兴趣，而序列末尾的行为则更侧重于近期偏好。传统的固定卷积滤波器无法适应这种位置依赖性的变化，而自注意力机制虽然灵活但计算成本高昂且缺乏局部性归纳偏置。通过引入时变滤波器，TV-Rec 允许在序列的每个位置应用一个独特的滤波器，从而动态地调整对序列中不同时间点信息的关注程度，更精细地捕捉复杂的交互模式。这种设计不仅提高了模型的表达能力，还通过其线性算子的性质实现了更快的推理速度，同时彻底替代了自注意力机制。

4.2. 核心方法详解 (逐层深入)

TV-Rec 由三个主要模块组成：嵌入层 (embedding layer)、时变编码器 (time-variant encoder) 和预测层 (prediction layer)。以下将详细介绍各个模块。

4.2.1. 嵌入层 (Embedding Layer)

首先，用户历史交互序列 $s$ 被转换为固定长度 $N$。

• 如果 $|{ \cal S }| \geq N$，则截断序列，保留最近的 $N$ 个物品。
• 如果 $|{ \cal S }| < N$，则在序列开头用零进行填充。 这个过程生成了一个长度为 $N$ 的序列，表示为 $s = (s_1, s_2, \ldots, s_N)$。

接下来，使用物品嵌入矩阵 $\mathbf{E} \in \mathbb{R}^{|\nu| \times D}$ （其中 $D$ 是潜在维度大小，$|\nu|$ 是物品总数）进行查找操作，获取用户序列的嵌入表示。然后，应用层归一化 (Layer Normalization) 和 dropout (Dropout) 操作。 $$\mathbf { X } ^ { 0 } = \operatorname { Dropout } ( \operatorname { LayerNorm } ( [ \mathbf { E } _ { s _ { 1 } } , \mathbf { E } _ { s _ { 2 } } , \cdots , \mathbf { E } _ { s _ { N } } ] ^ { \top } ) )$$ 符号解释：

• $s = (s_1, s_2, \ldots, s_N)$ 是处理后的用户交互序列。
• $\mathbf{E} \in \mathbb{R}^{|\nu| \times D}$ 是物品嵌入矩阵。
• $\mathbf{E}_v$ 表示物品 $v$ 的嵌入向量，是 $\mathbf{E}$ 中的一行。
• $[\mathbf{E}_{s_1}, \mathbf{E}_{s_2}, \cdots, \mathbf{E}_{s_N}]^\top$ 是将序列中所有物品的嵌入向量堆叠起来形成一个 $N \times D$ 的矩阵。
• $\operatorname{LayerNorm}(\cdot)$ 是层归一化操作，用于稳定训练。
• $\operatorname{Dropout}(\cdot)$ 是 dropout 操作，用于防止过拟合。
• $\mathbf{X}^0$ 是经过嵌入层处理后的用户序列最终表示，作为时变编码器的输入。 值得注意的是，由于时变卷积滤波器固有的优势，这里不需要 (not necessary) 额外的 位置编码。

4.2.2. 时变编码器 (Time-Variant Encoder)

时变编码器通过堆叠 $L$ 个时变编码块 (time-variant encoding blocks) 来构建。每个编码块包含一个滤波器层 (filter layer) 和一个前馈网络 (feed-forward network)，并在两者之后都应用残差连接 (residual connection)。

4.2.2.1. 滤波器层 (Filter Layer)

在第 $\ell$ 个滤波器层中，输入为 $\mathbf{X}^\ell$。首先执行滤波操作，然后应用残差连接和层归一化。 如 Figure 2 所示，操作步骤如下：

1. 转换为频率域： 将输入 $\mathbf{X}^\ell$ 转换为频率域表示 $\widetilde{\mathbf{X}}^\ell$。 $$\widetilde { \mathbf { X } } ^ { \ell } = \mathbf { U } ^ { \top } \mathbf { X } ^ { \ell }$$ 符号解释：

   • $\mathbf{X}^\ell$ 是当前编码块的输入，维度为 $N \times D$。
   • $\mathbf{U}$ 是 GFT 矩阵，它来源于一个零填充 (zero-padded) 的有向循环图 (DCG)。选择 DCG 是为了确保对角化 (diagonalizability) 并进行谱滤波 (spectral filtering)，同时通过零填充策略避免了信息向后泄漏（具体在附录 B 中有正式论证）。$\mathbf{U}$ 是一个 $N \times N$ 的酉矩阵 (unitary matrix)。
   • $\mathbf{U}^\top$ 是 $\mathbf{U}$ 的共轭转置。
   • $\widetilde{\mathbf{X}}^\ell$ 是 $\mathbf{X}^\ell$ 在频率域的表示。

2. 应用时变卷积滤波器： 计算时变卷积滤波器的输出 $\widehat{\mathbf{X}}^\ell$。这里利用了 节点变图滤波器 的频率响应公式 (Eq. 5)。 $$\widehat { \mathbf { X } } ^ { \ell } = \mathbf { G } _ { n v } \widetilde { \mathbf { X } } = \bigl ( \mathbf { U } \circ ( \mathbf { H } \mathbf { \Lambda } ^ { \top } ) \bigr ) \widetilde { \mathbf { X } } ^ { \ell } = \bigl ( \mathbf { U } \circ ( \mathbf { H } \mathbf { \Lambda } ^ { \top } ) \bigr ) \mathbf { U } ^ { \top } \mathbf { X } ^ { \ell }$$ 符号解释：

   • $\mathbf{G}_{nv}$ 是节点变图滤波器。
   • $\circ$ 表示逐元素乘法 (element-wise multiplication)。
   • $\mathbf{H} \in \mathbb{C}^{N \times (K+1)}$ 是滤波器抽头矩阵 (filter tap matrix)，其中 $N$ 是序列长度， $K$ 是滤波器阶数。
   • $\mathbf{\Lambda} \in \mathbb{C}^{N \times (K+1)}$ 是一个范德蒙德矩阵 (Vandermonde matrix)，其元素为 $\mathbf{\Lambda}_{ik} = \lambda_i^{k-1}$，其中 $\lambda_i$ 是 DCG 移位算子的第 $i$ 个特征值。
   • $\mathbf{\Lambda}^\top$ 是 $\mathbf{\Lambda}$ 的转置。
   • $\widehat{\mathbf{X}}^\ell$ 是滤波操作后的输出。 为了增强表达能力，滤波器矩阵 $\mathbf{H}$ 的构造方式如下： $$\mathbf { H } = \mathbf { C } \bar { \mathbf { B } } = \mathbf { C } \left( \frac { \mathbf { B } } { \| \mathbf { B } \| _ { 2 } } \right)$$ 符号解释：
   • $\mathbf{C} \in \mathbb{R}^{N \times m}$ 是系数矩阵 (coefficient matrix)，它生成位置特定的滤波器。由于每个节点对应序列中的一个位置， $\mathbf{C}$ 可以看作是时间的函数。
   • $\mathbf{B} \in \mathbb{C}^{m \times (K+1)}$ 是基矩阵 (basis matrix)。
   • $m$ 是基向量的数量，决定了基的维度。
   • $\bar{\mathbf{B}}$ 是归一化后的基矩阵。
   • $\|\mathbf{B}\|_2$ 表示沿每行进行 L2 范数归一化，以提高数值稳定性。

3. 残差连接与归一化： 在滤波操作之后，应用残差连接 (residual connection)、dropout (Dropout) 和层归一化 (Layer Normalization) 以防止过拟合。 $$\mathbf { F } ^ { \ell } = \mathrm { LayerNorm } ( \mathbf { X } ^ { \ell } + \mathrm { Dropout } ( \widehat { \mathbf { X } } ^ { \ell } ) )$$ 符号解释：

   • $\mathbf{X}^\ell$ 是当前编码块的输入。
   • $\widehat{\mathbf{X}}^\ell$ 是滤波层的输出。
   • $\mathbf{F}^\ell$ 是滤波器层最终的输出。

4.2.2.2. 前馈层 (Feed Forward Layer)

在滤波器层之后，使用一个前馈网络 (Feed Forward Network, FFN) 来引入非线性。 $$\widehat { \mathbf { F } } ^ { \ell } = \mathrm { FFN } ( \mathbf { F } ^ { \ell } ) = ( \mathrm { GELU } ( \mathbf { F } ^ { \ell } \mathbf { W } _ { 1 } ^ { \ell } + \mathbf { b } _ { 1 } ^ { \ell } ) ) \mathbf { W } _ { 2 } ^ { \ell } + \mathbf { b } _ { 2 } ^ { \ell }$$ 符号解释：

• $\mathbf{F}^\ell$ 是滤波器层的输出。

• $\mathbf{W}_1^\ell, \mathbf{W}_2^\ell \in \mathbb{R}^{D \times D}$ 是可学习的权重矩阵。

• $\mathbf{b}_1^\ell, \mathbf{b}_2^\ell \in \mathbb{R}^{D}$ 是可学习的偏置向量。

• $\mathrm{GELU}(\cdot)$ 是高斯误差线性单元 (Gaussian Error Linear Unit) 激活函数，用于引入非线性。

• $\widehat{\mathbf{F}}^\ell$ 是前馈网络的输出。

  与滤波器层类似，再次应用 dropout、残差连接和层归一化，以得到第 $\ell$ 层编码块的最终输出。 $$\mathbf { X } ^ { \ell + 1 } = \mathrm { LayerNorm } ( \mathbf { F } ^ { \ell } + \mathrm { Dropout } ( \widehat { \mathbf { F } } ^ { \ell } ) )$$ 符号解释：

• $\mathbf{X}^{\ell+1}$ 是当前编码块的最终输出，也将作为下一个编码块的输入。

4.2.3. 预测层 (Prediction Layer)

经过 $L$ 个时变编码块的处理后，模型的最终序列表示为 $\mathbf{X}_N^L$ (即最后一个时间步的输出)。然后，计算用户对整个物品集 $\nu$ 中每个物品的偏好得分。 $$\hat { y } _ { v } = p ( v _ { | S | + 1 } = v | S ) = \mathbf { E } _ { v } ^ { \top } \mathbf { X } _ { N } ^ { L }$$ 符号解释：

• $\hat{y}_v$ 是模型预测的物品 $v$ 作为下一个交互物品的概率或得分。
• $\mathbf{E}_v$ 是物品 $v$ 的嵌入向量。
• $\mathbf{E}_v^\top$ 是 $\mathbf{E}_v$ 的转置。
• $\mathbf{X}_N^L$ 是最终编码器层输出的序列表示中最后一个时间步的嵌入向量。

4.2.4. 模型训练 (Model Training)

模型使用交叉熵损失 (cross-entropy loss) $\mathcal{L}_{\mathrm{ce}}$ 和基矩阵 $\mathbf{B}$ 上的正交正则化项 (orthogonal regularization term) $\mathcal{L}_{\mathrm{ortho}}$ 进行优化。 $$\mathcal { L } = \underbrace { - \log \frac { \exp ( \hat { y } _ { g } ) } { \sum _ { v \in \mathcal { V } } \exp ( \hat { y } _ { v } ) } } _ { \mathcal { L } _ { \mathrm { ce } } } + \alpha \cdot \underbrace { \left( \left\| \mathbf { B } _ { \mathrm { real } } \mathbf { B } _ { \mathrm { real } } ^ { \top } - \mathbf { I } \right\| _ { F } ^ { 2 } + \left\| \mathbf { B } _ { \mathrm { imag } } \mathbf { B } _ { \mathrm { imag } } ^ { \top } - \mathbf { I } \right\| _ { F } ^ { 2 } \right) } _ { \mathcal { L } _ { \mathrm { ortho } } }$$ 符号解释：

• $\mathcal{L}$ 是总损失函数。
• $\mathcal{L}_{\mathrm{ce}}$ 是交叉熵损失，用于衡量预测得分与真实标签之间的差异。
• $g$ 是真实的下一个交互物品 (ground-truth item)。
• $\hat{y}_g$ 是模型预测的真实物品 $g$ 的得分。
• $\sum_{v \in \mathcal{V}} \exp(\hat{y}_v)$ 是对所有物品得分指数化后的总和，用于 softmax 归一化。
• $\mathcal{L}_{\mathrm{ortho}}$ 是正交正则化项，用于确保基矩阵 $\mathbf{B}$ 的实部和虚部近似正交。
• $\mathbf{B}_{\mathrm{real}}$ 和 $\mathbf{B}_{\mathrm{imag}}$ 分别表示基矩阵 $\mathbf{B}$ 的实部和虚部。
• $\mathbf{B}_{\mathrm{real}}^\top$ 和 $\mathbf{B}_{\mathrm{imag}}^\top$ 分别表示其转置。
• $\mathbf{I}$ 是单位矩阵 (identity matrix)。
• $\| \cdot \|_F^2$ 表示 Frobenius 范数的平方。
• $\alpha$ 是控制正则化强度的超参数。

4.2.5. 时间复杂度 (Time Complexity)

假设 $n$ 是输入序列的长度，$d$ 是每个输入向量的维度。

• 自注意力：时间复杂度为 $O(n d^2 + n^2 d)$。其中 $O(n d^2)$ 用于计算键 (key)、查询 (query) 和值 (value) 矩阵， $O(n^2 d)$ 用于计算注意力分数并将其应用于值矩阵。

• 时变卷积滤波器：时间复杂度为 $O(n^2 m + n^2 d)$。其中 $O(n^2 m)$ 用于计算滤波器抽头 $\mathbf{H}$， $O(n^2 d)$ 用于对输入信号应用 GFT 并与滤波器抽头相乘。由于 $m \le n$，这个复杂度可以简化为 $O(n^3 + n^2 d)$。

• 推理时：由于时变卷积滤波器是一个线性算子，$\mathbf{G}_{nv}$ 无需在每次推理时都计算。它可以在训练后预先计算，从而将推理的时间复杂度降低到 $O(n^2 d)$。

  时间复杂度对比显示，自注意力和时变图滤波器之间的复杂度差异取决于 $n$ 和 $d$ 的相对大小，这决定了哪个项占主导地位。但 TV-Rec 在推理时具有显著优势。

4.3. 理论依据 (Theoretical Justification for DCG-Based Filtering)

为了进行谱滤波，模型需要应用 GFT，这要求图移位算子（邻接矩阵或拉普拉斯矩阵）可进行特征分解。然而，将序列建模为线图时，其邻接矩阵通常是亏秩 (defective) 且不可对角化 (non-diagonalizable) 的。

为了解决这个问题，TV-Rec 将序列建模为一个有向循环图 (DCG)，它与线图的区别在于增加了一条连接最后一个节点到第一个节点的边。这条额外边使得邻接矩阵成为循环矩阵 (circulant matrix)，从而确保了可对角化性，并允许在傅里叶域进行谱滤波。

然而，新增的边引入了从未来到过去的逆向连接，这可能导致逆向时间方向的信息泄漏。为了防止这种逆向信息流，同时保持谱域处理的可行性，TV-Rec 采用了一种填充策略。具体来说，它将输入序列 $\mathbf{x} \in \mathbb{R}^N$ 用 $K$ 个零进行填充，形成扩展向量： $$\tilde { \mathbf { x } } = \left[ \mathbf { \Xi } _ { \mathbf { 0 } } ^ { \mathbf { x } } \right] \in \mathbb { R } ^ { N + K }$$ 符号解释：

• $\mathbf{x}$ 是原始序列向量。
• $\mathbf{0} \in \mathbb{R}^K$ 是一个零向量。
• $\tilde{\mathbf{x}}$ 是填充后的扩展向量。 然后，使用表示 DCG 的循环移位算子 $\mathbf{S} \in \mathbb{R}^{(N+K) \times (N+K)}$ 来定义一个 $K$ 阶的谱滤波器： $$g ( \mathbf { S } ) = \sum _ { k = 0 } ^ { K } h _ { k } \mathbf { S } ^ { k }$$ 符号解释：
• $h_k$ 是滤波器系数。
• $K$ 是滤波器的阶数。 滤波后的输出 $\tilde{\mathbf{y}}$ 通过将滤波器应用于填充后的输入计算得到： $$\tilde { \mathbf { y } } = g ( \mathbf { S } ) \tilde { \mathbf { x } }$$ 通过提取 $\tilde{\mathbf{y}}$ 的前 $N$ 个元素，可以得到与将相同滤波器应用于建模为线图的原始序列 $\mathbf{x}$ 相同的结果： $$\mathbf { y } = [ \tilde { \mathbf { y } } ] _ { 1 : N }$$ 符号解释：
• 1:N 表示取向量的前 $N$ 个元素。 这种等价性之所以成立，是因为 $\tilde{\mathbf{x}}$ 的最后 $K$ 个条目是零。尽管循环矩阵 $\mathbf{S}$ 执行循环移位，但滤波器只涉及 $S$ 的 $K$ 阶幂，因此这些零条目不会影响前 $N$ 个输出值。这有效地阻止了任何可能导致逆向泄漏的循环信息流。

因此，在零填充 DCG 上进行谱滤波，提供了与在线图上进行因果卷积 (causal convolution) 等效的正确滤波输出，同时受益于循环矩阵的计算效率和可对角化性。

4.4. 位置编码的等效性 (Equivalence of Positional Encoding and Graph Fourier Basis)

TV-Rec 通过在 DCG 上进行谱分解，固有地捕捉位置信息，这与 Transformer 中显式位置编码的作用相似。

• Transformer 中的正弦位置编码：使用正弦和余弦函数来编码绝对位置，生成具有不同频率的周期信号集合，作为编码位置变化的基。
• TV-Rec 中的图傅里叶基：TV-Rec 定义移位算子 $\mathbf{S}$ 为 DCG 的邻接矩阵。其 GFT 矩阵 $\mathbf{U}$ 的元素为： $${ \bf U } _ { k n } = \frac { 1 } { \sqrt { N } } e ^ { - i 2 \pi k n / N } = \frac { 1 } { \sqrt { N } } \left[ \cos \left( \frac { 2 \pi k n } { N } \right) - i \sin \left( \frac { 2 \pi k n } { N } \right) \right]$$ 符号解释：
  • $\mathbf{U}_{kn}$ 是 GFT 矩阵 $\mathbf{U}$ 的第 $k$ 行第 $n$ 列元素。
  • $N$ 是序列长度。
  • $e$ 是自然对数的底。
  • $i$ 是虚数单位。 这对应于离散傅里叶变换 (Discrete Fourier Transform, DFT) 的基，它是一组跨越 $\mathbb{R}^N$（或 $\mathbb{C}^N$）的正交复指数。

尽管 Transformer 位置编码的频率是按对数尺度采样的，而 GFT 的频率是线性间隔的，但两组基函数都由三角函数组成。因此，它们跨越了相同长度为 $N$ 的周期信号空间。TV-Rec 将输入序列投影到 GFT 域，然后通过 GFT 逆变换重构，从而隐式地编码了基于频率的位置变化。时变滤波器随后根据位置调制这些频率分量，使得显式位置嵌入变得不必要。

5. 实验设置

5.1. 数据集

实验使用了六个用于序列推荐的基准数据集，这些数据集在稀疏度和领域上有所不同。数据预处理遵循 [44, 45] 的程序，将所有评论和评分视为隐式反馈。

以下是原文 Table 6 的数据统计：

数据集描述：

• Amazon Beauty 和 Sports：来自 [22] 的亚马逊产品评论数据集，广泛用于 SR。分别使用“Beauty”和“Sports and Outdoors”类别。

• Yelp：热门的商业推荐数据集。由于其规模庞大，使用了 2019 年 1 月 1 日之后的记录。

• LastFM：包含艺术家收听记录，用于向用户推荐音乐家。

• ML-1M [11]：MovieLens 电影推荐数据集，因其详细的用户交互数据而常用于评估推荐算法。

• Foursquare：提供用户在纽约市 10 个月（2012 年 4 月至 2013 年 2 月）的签到记录。

  选择这些数据集是为了覆盖不同领域（电商、评论、音乐、电影、签到）和不同稀疏度、序列长度的场景，以全面评估模型的性能和泛化能力。例如，Beauty 和 Sports 的平均序列长度较短，而 ML-1M 和 Foursquare 的平均序列长度较长，这有助于测试模型在处理长程依赖方面的能力。

5.2. 评估指标

为了评估推荐性能，使用了广泛采用的 Top-$r$ 指标：HR@r (Hit Rate，命中率) 和 NDCG@r (Normalized Discounted Cumulative Gain，归一化折损累计增益)，其中 $r$ 设置为 5、10 和 20。为了公平比较，在整个物品集上评估排序结果，不进行负采样 [19]。

5.2.1. 命中率 (Hit Rate, HR@r)

1. 概念定义：HR@r 衡量的是在推荐列表的前 $r$ 个位置中，是否存在用户下一个实际交互的物品（真实物品）。如果真实物品出现在推荐列表的前 $r$ 个位置中，则算作一次“命中”。HR@r 越高，表示模型在推荐列表中包含用户感兴趣物品的能力越强。
2. 数学公式： $$\mathrm{HR@r} = \frac{\text{Number of users for whom the ground-truth item is in top-r}}{\text{Total number of users}}$$
3. 符号解释：
   • $\text{Number of users for whom the ground-truth item is in top-r}$：真实物品出现在前 $r$ 个推荐位置的用户数量。
   • $\text{Total number of users}$：总用户数量。

5.2.2. 归一化折损累计增益 (Normalized Discounted Cumulative Gain, NDCG@r)

1. 概念定义：NDCG@r 是一种衡量推荐列表质量的指标，它考虑了物品的相关性以及其在列表中的位置。相关性越高的物品排名越靠前，NDCG@r 的值就越高。它通过对推荐列表中物品的相关性进行折损（即排名靠前的物品赋予更高的权重），并与理想排序（IDCG）进行归一化来计算。在序列推荐中，通常认为用户下一个交互的真实物品是唯一高度相关的物品，其他物品相关性为 0。
2. 数学公式： $$\mathrm{NDCG@r} = \frac{\mathrm{DCG@r}}{\mathrm{IDCG@r}}$$ 其中，对于单个真实物品的场景： $$\mathrm{DCG@r} = \frac{1}{\log_2(\text{rank}_g+1)} \quad \text{if ground truth } g \text{ is in top-r, else } 0$$ $$\mathrm{IDCG@r} = \frac{1}{\log_2(1+1)} = 1 \quad \text{if ground truth exists}$$ 因此，对于只有一个真实物品且相关性为 1 的情况，NDCG@r 可以简化为： $$\mathrm{NDCG@r} = \frac{1}{\log_2(\text{rank}_g+1)} \quad \text{if ground truth } g \text{ is in top-r, else } 0$$
3. 符号解释：
   • $\mathrm{DCG@r}$ (Discounted Cumulative Gain)：折损累计增益，衡量推荐列表的实际增益。
   • $\mathrm{IDCG@r}$ (Ideal Discounted Cumulative Gain)：理想折损累计增益，是最佳推荐列表所能达到的最大 DCG 值。
   • $\text{rank}_g$：真实物品 $g$ 在推荐列表中的排名。如果真实物品 $g$ 未出现在前 $r$ 个位置，则 DCG@r 和 NDCG@r 为 0。
   • $\log_2(\text{rank}_g+1)$：折损因子，用于降低排名靠后的物品的权重。

5.3. 对比基线

论文将 TV-Rec 与以下十种序列推荐基线方法进行了比较：

• Caser [30]：基于 CNN 的模型，通过水平和垂直卷积捕捉复杂的局部用户模式。

• GRU4Rec [13]：基于 GRU (Gated Recurrent Unit) 的模型，利用 GRU 捕捉用户交互中的时间动态和模式。

• SASRec [17]：基于 Transformer 的模型，采用多头自注意力机制 (multi-head self-attention) 捕捉序列中的长程依赖。

• BERT4Rec [29]：基于双向 Transformer 的模型，使用掩码项目训练方案 (masked item training scheme) 进行序列推荐。

• NextItNet [40]：基于 CNN 的模型，使用膨胀一维卷积 (dilated 1D convolutions) 和残差连接捕捉用户行为序列中的短程和长程依赖。

• FMLPRec [45]：使用傅里叶变换 (Fourier Transform) 和可学习滤波器 (learnable filters) 的全 MLP (Multi-layer Perceptron) 架构，以减少噪声并增强序列表示。

• DuoRec [23]：采用模型级数据增强 (model-level augmentation) 和语义正样本 (semantic positive samples) 进行对比学习 (contrastive learning)，以 SASRec 作为基础模型。

• LRURec [41]：使用线性循环单元 (linear recurrent units)，旨在实现快速推理和递归并行化。

• AdaMCT [16]：混合模型，结合 Transformer 的注意力机制 (long-term user preferences) 和局部卷积滤波器 (local convolutional filters) (short-term user preferences)。

• BSARec [28]：混合模型，结合 Transformer 的自注意力机制和傅里叶变换的应用卷积，以解决自注意力的一些局限性。

  此外，为了进一步验证 TV-Rec 的有效性，还与三种代表性的基于 GNN 的序列推荐模型进行了比较：

• SR-GNN [33]：基于会话的推荐模型，将用户会话转换为图并应用 GNN 捕捉物品转换关系。

• GC-SAN [35]：基于 GNN 的模型，为每个序列动态构建图，并结合 GNN 和自注意力来建模局部和长程物品依赖。

• GCL4SR [43]：基于 GNN 的模型，构建全局物品转换图，并使用图对比学习来整合全局和局部上下文。

  这些基线模型涵盖了当前序列推荐领域的主流方法，包括基于 RNN、Transformer、CNN、混合架构和 GNN 的模型，具有很强的代表性。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 总体性能 (Overall Performance)

以下是原文 Table 2 的结果，展示了不同方法在标准序列推荐任务上的性能比较：

分析：

• TV-Rec 的显著领先：从 Table 2 可以看出，TV-Rec 在所有六个数据集上均超越了所有基线方法，平均准确率提升了 7.49%。这强有力地验证了 时变卷积滤波器 的有效性。
• 突出性能提升：在 LastFM 数据集上，TV-Rec 取得了特别显著的提升，HR@10 提升了 19.13%，NDCG@10 提升了 18.34%。在 Foursquare 上也表现出色，HR@10 提升了 22.17%，NDCG@10 提升了 23.85%。这表明 TV-Rec 在这些数据集上对复杂时间模式的捕捉能力尤其强大。
• 在大规模数据集上的表现：即使在 ML-1M 这样的大规模数据集上，TV-Rec 仍然实现了 5.06% 的 HR@5 和 2.39% 的 NDCG@5 提升，证明了其可扩展性和泛化能力。
• 电商数据集上的稳定优势：在 Beauty 和 Sports 等电商数据集上，虽然提升幅度相对较小（HR@5 分别提升 0.98% 和 2.13%），但这种一致的优势仍然表明了 TV-Rec 的稳健性。
• 与先进基线的比较：AdaMCT 和 BSARec 等结合了卷积和自注意力的混合方法，在许多情况下表现强劲，BSARec 常常位居第二。ML-1M 上的 LRURec 和 Yelp 上的 DuoRec 也显示出竞争力。然而，TV-Rec 仍能以显著的优势超越这些先进基线。

6.1.2. 长序列建模性能 (Long-Range Sequential Recommendation Results)

为了评估 TV-Rec 在长程依赖上的表现，实验在 ML-1M 和 Foursquare 数据集上进行了额外测试，将最大序列长度 $N$ 设置为 200。

以下是原文 Table 3 的结果，展示了长序列建模性能：

分析：

• 长序列任务的卓越表现：TV-Rec 在长序列 SR 任务中再次超越所有基线模型，平均提升 4.74%。尤其在 NDCG 指标上表现突出，例如 Foursquare 的 NDCG@20 提升高达 11.27%。
• 对长序列的适应性：这表明 TV-Rec 的 时变滤波器 能够有效处理更长的用户交互历史，保持推荐的准确性，这对于建模用户长期演变的偏好至关重要。
• 与 LRURec 的比较：LRURec 因其针对长序列设计的线性循环单元，在 ML-1M 上表现出色，是基线中的最强竞争者。然而 TV-Rec 仍然能超越它，证明了其方法的优越性。
• 对扩展交互历史的有效性：这些结果强调了 TV-Rec 在处理数百个交互序列时仍能维持和提升推荐准确度的能力。

6.1.3. 与 GNN-based 方法的比较 (Comparison to GNN-based Methods)

以下是原文 Table 4 的结果，展示了 TV-Rec 与 GNN-based 方法的性能比较：

分析：

• TV-Rec 优于 GNN-based 模型：TV-Rec 在所有数据集上始终优于 SR-GNN、GC-SAN 和 GCL4SR 这些 GNN-based 的序列推荐模型。
• 设计优势的验证：这证实了 TV-Rec 的 时变滤波 设计的优势。TV-Rec 直接在序列位置上操作，而非通过物品转换图进行消息传递，这种方式能够更有效地表达时间依赖性。
• 非 GNN 图范式：这表明 TV-Rec 提供了一种连接 GSP 和序列推荐的非 GNN 图范式，在处理序列数据时可以比传统的 GNN 方法更高效和有效。

6.1.4. 消融实验 (Ablation Studies)

以下是原文 Table 5 的结果，展示了消融实验：

分析： 消融实验验证了 TV-Rec 各个设计选择的有效性：

1. 显式位置嵌入 (Positional Embedding)：在 TV-Rec 中添加可学习的位置嵌入后，性能并未一致提升，甚至在某些数据集上有所下降（如 Sports 和 LastFM）。这证实了 TV-Rec 的 时变滤波器 固有地捕捉位置特定信息的能力，使得显式位置编码变得不必要。

2. 基本图滤波器 (Basic Graph Filter)：将 时变滤波器 替换为基本图滤波器后，模型性能显著下降。这强调了 时变滤波器 能够适应序列中不同阶段模式的捕捉能力，优于固定滤波器。

3. 恒等基 (Identity Basis)：将基矩阵 $\mathbf{B}$ 设置为恒等矩阵（即 $\mathbf{H}$ 等于 $\mathbf{C}$）后，模型性能有所下降。这表明 基矩阵 $\mathbf{B}$ 的学习是必要的，它提供了更丰富的滤波器构造方式。

4. 基归一化 (Basis Normalization)：移除基矩阵 $\mathbf{B}$ 的归一化后，模型性能在大部分数据集上（尤其是 LastFM 和 Yelp）有所下降。这证明了归一化对数值稳定性和模型性能的贡献。

   总体而言，这些消融实验结果表明 TV-Rec 的每个组件都对其优越性能做出了贡献。

6.1.5. 参数敏感性 (Parameter Sensitivity)

6.1.5.1. 对基向量数量 $m$ 的敏感性

下图（原文 Figure 3）展示了基向量数量 $m$ 对模型性能的敏感性：

分析：

• $m$ 决定了基矩阵的维度，影响模型的表达能力和计算成本。
• 在 Beauty 数据集上，性能在 $m=32$ 时达到峰值，而在 $m$ 值较小时急剧下降，表明该数据集需要更丰富的表示。
• 在 LastFM 数据集上，性能在 $m=8$ 时达到最佳，随着 $m$ 增大而下降，这暗示对于该数据集而言，紧凑的表示已经足够。

6.1.5.2. 对 dropout 率 $p$ 的敏感性

下图（原文 Figure 4）展示了 dropout 率 $p$ 对模型性能的敏感性：

分析：

• dropout 率影响模型的泛化能力。

• 在 Sports 数据集上，较大的 $p$ 值能提升性能，表明该数据集可能存在过拟合风险，需要更强的正则化。

• 在 Foursquare 数据集上，较小的 $p$ 值表现更好，这可能因为该数据集的数据多样性较高，无需过强的 dropout。

  补充的参数敏感性分析在附录 E 中提供了更详细的结果：

下图（原文 Figure 8）是附录中对基向量数量 $m$ 的敏感性分析，扩展了 $m$ 的范围：

该图像是论文中图8的图表，展示了基向量数量$m$对六个数据集（Beauty, Sports, Yelp, LastFM, ML-1M, Foursquare）中NDCG@20和HR@20指标的敏感性分析，柱状图代表NDCG@20，折线图代表HR@20。 分析： 扩展的实验范围进一步印证了 $m$ 对不同数据集的最佳值是不同的。对于 Beauty， $m=32$ 最佳，小于此值性能显著下降。对于 LastFM， $m=8$ 最佳，增大 $m$ 反而导致性能下降，这进一步支持了不同数据集复杂度不同，所需的基向量数量也不同的结论。

下图（原文 Figure 9）是附录中对 dropout 率 $p$ 的敏感性分析，扩展了 $p$ 的范围：

该图像是图表，展示了TV-Rec模型对参数p（dropout率）的灵敏度分析，包含六个数据集（Beauty、Sports、Yelp、LastFM、ML-1M、Foursquare）的NDCG@20和HR@20随p变化的趋势。 分析： 扩展的实验范围同样印证了 $p$ 对不同数据集的最佳值是不同的。对于 Sports，较高的 $p$ 值带来更好的性能，而对于 Foursquare，较低的 $p$ 值表现更佳。这支持了数据多样性较低的数据集（可能更容易过拟合）需要更高 dropout 率的结论。

6.1.5.3. 对正交正则化系数 $\alpha$ 的敏感性

下图（原文 Figure 10）是附录中对正交正则化系数 $\alpha$ 的敏感性分析：

分析：

• $\alpha$ 控制正交正则化的强度。
• 对于 LastFM，性能在 $\alpha = 10^{-3}$ 时达到最佳，过小的 $\alpha$ 会显著降低性能，表明足够的正交正则化对于维持滤波器多样性和防止过拟合是关键。
• 对于 Sports 和 Yelp，最佳性能出现在较低的 $\alpha$ 值，过大的 $\alpha$ 会导致性能下降。这可能意味着过强的正则化会过度约束滤波器参数，限制模型适应数据分布的能力。

6.1.5.4. 对滤波器阶数 $K$ 的敏感性

以下是原文 Table 8 的结果，展示了滤波器阶数 $K$ 的敏感性：

分析：

• 滤波器阶数 $K$ 类似于 CNN 模型中的核大小。
• 除了 Yelp 和 LastFM，将 $K$ 设置为 50（即与最大序列长度 $N$ 相等）在所有数据集上都取得了最佳性能。
• 这支持了将 移位深度 (shift depth) $K$ 与序列长度 $N$ 对齐的假设，能够让模型捕捉更全面的全局上下文，从而提高推荐质量。

6.1.6. 滤波器行为分析与案例研究 (Analyzing Filter Behavior and Case Study)

为了理解 时变滤波器 优于基本固定图滤波器（Eq. 3）的原因，论文通过可视化和案例研究分析了它们学习到的表示。

下图（原文 Figure 5）展示了 LastFM 数据集上学习到的图滤波器可视化：

分析：

• 固定滤波器：如图 5(a) 所示，基本图滤波器在所有节点（时间点）上应用相同的权重，更强调近期的物品（较低的移位次数）。

• 时变滤波器：如图 5(b) 所示，时变滤波器 在序列的不同位置应用不同的滤波器。它在序列早期阶段（较低的节点索引）对各移位次数的权重相对相似，反映了模型对整体模式的关注。随着序列的推进（节点索引增加，表示更近的时间点），滤波器的权重逐渐向近期物品（较低的移位次数）倾斜，从而更准确地捕捉时间上的变化。

• 优势：这种适应性使得 时变滤波器 能够兼顾序列早期的长程偏好和近期行为的动态变化，从而提升整体性能。

  下图（原文 Figure 6）展示了 ML-1M 上的案例研究：

  分析：

• 基本图滤波器：在 ML-1M 的案例研究中，基本图滤波器仅关注用户近期交互的“西部片”兴趣。

• 时变滤波器：时变滤波器 不仅捕捉了用户近期的“西部片”兴趣，还捕捉到了用户更广泛的“喜剧片”偏好。这表明 时变滤波器 能够更好地理解用户兴趣的动态演变和多样性，而不仅仅局限于最近的行为。

• 结论：这些发现证实了在不同时间位置应用不同滤波操作对于有效序列推荐的重要性。

6.1.7. 模型复杂度和运行时分析 (Model Complexity and Runtime Analyses)

以下是原文 Figure 7 的结果，展示了 Beauty 数据集上的模型推理时间与 NDCG@20 性能对比：

分析：

• 性能与效率的平衡：如图 7 所示，TV-Rec 在性能和计算效率之间达到了最佳平衡。它在实现最高 NDCG@20 的同时，拥有最快的推理时间。

• 与混合模型的比较：相比 AdaMCT 和 BSARec 等结合卷积和自注意力的混合模型，TV-Rec 具有更快的推理速度和更少的参数量。

• 与纯自注意力模型的比较：与仅使用自注意力（如 SASRec 和 BERT4Rec）的模型相比，TV-Rec 提供了更快的推理速度和卓越的推荐准确性。

• 与 FMLPRec 的比较：FMLPRec 凭借其简单的架构，运行速度稍快，但其通过基本图滤波器实现的性能却有所下降。考虑到 TV-Rec 显著的性能提升，其略高于 FMLPRec 的推理时间是可以接受的。

  以下是原文 Table 10 的结果，展示了所有数据集上的参数数量和执行效率分析：

  Dataset	Metrics	TV-Rec	AdaMCT	BSARec	FMLPRec	NextItNet	BERT4Rec	SASRec	Caser
  Beauty	# Parameters	854,208	878,208	880,318	851,200	981,696	877,888	877,824	2,909,532
  	Training Cost (s/epoch)	13.20	12.30	11.35	11.85	18.9184	21.98	11.21	65.54
  	Inference Cost (s/epoch)	0.5697	0.6647	0.7299	0.5427	1.0267	0.5821	0.6316	1.0641
  	NDCG@20	0.0704	0.0691	0.0664	0.0419	0.0547	0.0484	0.0379	0.0164
  Sports	# Parameters	1,248,160	1,278,592	1,264,318	1,251,584	1,644,224	1,278,272	1,278,208	4,835,756
  	Training Cost (s/epoch)	19.46	17.63	18.44	17.76	30.1034	31.60	14.26	98.21
  	Inference Cost (s/epoch)	0.7411	0.9049	0.9679	0.7049	1.2724	0.8016	0.8460	1.5715
  	NDCG@20	0.0428	0.0422	0.0379	0.0239	0.0316	0.0288	0.0217	0.0109
  Yelp	# Parameters	1,355,424	1,385,856	1,365,522	1,358,848	1,751,488	1,385,536	1,385,472	3,925,238
  	Training Cost (s/epoch)	21.89	20.87	21.83	20.20	32.88	37.57	16.74	111.62
  	Inference Cost (s/epoch)	0.6388	0.8527	0.8890	0.6223	1.2348	0.7225	0.7322	1.3220
  	NDCG@20	0.0338	0.0290	0.0272	0.0211	0.0276	0.0275	0.0180	0.0151
  LastFM	# Parameters	303,440	337,088	322,814	310,080	981,696	336,768	336,704	998,646
  	Training Cost (s/epoch)	2.41	2.51	2.66	2.51	19.1253	4.29	2.30	13.22
  	Inference Cost (s/epoch)	0.2649	0.2807	0.3228	0.2678	1.068	0.3018	0.3061	0.3445
  	NDCG@20	0.0582	0.0514	0.0485	0.0475	0.0402	0.0366	0.0458	0.0306
  ML-1M	# Parameters	298,368	322,368	308,094	295,360	556,928	322,048	321,984	961,326
  	Training Cost (s/epoch)	26.60	27.68	31.40	24.67	40.7731	46.51	22.50	102.99
  	Inference Cost (s/epoch)	0.4129	0.4180	0.4474	0.3594	0.7269	0.4202	0.4181	0.5817
  	NDCG@20	0.1951	0.1836	0.1711	0.1388	0.1829	0.1588	0.1438	0.1101
  Foursquare	# Parameters	719,040	743,040	728,766	716,032	1,108,672	742,720	742,656	1,073,044
  	Training Cost (s/epoch)	6.01	5.79	5.81	5.11	8.9109	9.06	5.27	21.01
  	Inference Cost (s/epoch)	0.2900	0.2913	0.3562	0.2521	0.4963	0.2871	0.3178	0.3703
  	NDCG@20	0.0170	0.0147	0.0131	0.0110	0.0115	0.0132	0.0137	0.0133

分析：

• 参数效率：TV-Rec 在所有数据集上都保持了具有竞争力的参数效率，参数数量与大多数先进基线相当或略低。
• 训练效率：在大多数数据集上，TV-Rec 的训练成本具有竞争力，通常与 SASRec 和 FMLPRec 相当或略高。虽然 TV-Rec 在训练过程中由于 GFT 和 iGFT 操作以及生成位置特定滤波器而引入了一些额外的计算复杂性，但这种开销在实践中是可控的。
• 推理效率：TV-Rec 展现出强大的推理效率，在所有模型中推理成本通常最低或接近最低，尤其是在 Beauty、Sports 和 Yelp 等数据集上。
• 整体结论：TV-Rec 在模型复杂度、计算效率和推荐性能之间取得了出色的平衡。它在实现最佳性能指标的同时，在训练和推理效率方面与最先进的模型相比具有竞争力或更优。

6.1.8. XLong 数据集上的额外结果

以下是原文 Table 9 的结果，展示了 XLong 数据集上的性能：

分析：

• XLong 数据集是一个极端长序列的场景，平均序列长度高达 958.8。
• 即使在如此极端的长序列情况下，TV-Rec 在 HR@5、HR@10 以及所有的 NDCG 指标上都显著优于 SASRec 和 LRURec。尤其在 NDCG 指标上取得了高达 21.00% 的提升。
• 尽管 TV-Rec 在 HR@20 上略低于 LRURec，但在其他所有指标上的领先优势证明了其在处理超长序列方面的强大能力。
• 这进一步突出 TV-Rec 在长程建模任务中的优势和可扩展性。

6.1.9. 实验结果的统计显著性

以下是原文 Table 11 的结果，展示了 TV-Rec 与次优基线方法在 6 个数据集上的性能比较（均值和标准差）：

分析：

• 为了确保评估的可靠性，所有实验都使用了 10 个不同的随机种子，并报告了性能指标的均值和标准差。
• TV-Rec 的均值性能在所有数据集和指标上都优于次优基线，且标准差相对较小，表明其性能提升是稳定且具有统计显著性的。
• 例如，在 Beauty 数据集上，TV-Rec 在所有指标上的均值均高于 BSARec，且标准差相近，显示出其稳定的优势。
• 这进一步增强了 TV-Rec 结果的可靠性，排除了随机因素对性能提升的偶然影响。

6.2. 实验设置中的超参数 (Hyperparameters for Standard Sequential Recommendation)

实验中，基线的超参数根据其建议设置。TV-Rec 实验使用以下超参数：

• 学习率 (learning rates)：$\lbrace 5 \times 10^{-4}, 1 \times 10^{-3} \rbrace$

• 正交正则化系数 $\alpha$：$\lbrace 0, 1 \times 10^{-3}, 1 \times 10^{-5} \rbrace$

• dropout 率 $p$：$\lbrace 0.1, 0.2, 0.3, 0.4, 0.5 \rbrace$

• 基向量数量 $m$：$\lbrace 8, 16, 32 \rbrace$

• 时变卷积滤波器阶数 $K$：等于最大序列长度 $N$，设置为 50。

• 批大小 (batch size)：256

• 潜在维度 (dimension) $D$：64

• 时变块数量 (number of time-variant blocks) $L$：2

• 优化器：Adam optimizer (Adam 优化器)。

  以下是原文 Table 7 的结果，展示了 TV-Rec 的最佳超参数设置：

  Dataset	Learning Rate	α	p	m
  	L = 50
  Beauty	5 × 10−4	0	0.5	32
  Sports	5 × 10−4	0	0.5	16
  YYelp	5 × 10−4	1 × 10-3	0.1	16
  LastFM	1 × 10−3	1 × 10-3	0.4	8
  ML-1M Foursquare	1 × 10−3 5 × 10−4	1× 10-5 1 × 10-5	0.3 0.2	8
  				8
  	L = 200
  ML-1M	1 × 10−3	0	0.1	16
  Foursquare	5 × 10−4	1 × 10−5	0.1	8

7. 总结与思考

7.1. 结论总结

本文针对传统固定卷积滤波器在序列推荐中捕捉复杂模式的局限性，以及自注意力机制计算成本高昂且缺乏局部性归纳偏置的问题，提出了 TV-Rec (Time-Variant Convolutional Filters for Sequential Recommendation) 模型。TV-Rec 受图信号处理中节点变图滤波器的启发，为用户序列中的每个时间点应用独特的时变卷积滤波器。

核心贡献和主要发现包括：

• 创新性的模型设计：TV-Rec 成功地用时变滤波器取代了固定卷积核和自注意力机制，实现了更高的表达能力，并能更好地捕捉用户行为中复杂的时变交互模式。

• 卓越的性能提升：在六个公开基准数据集上的广泛实验表明，TV-Rec 的性能平均优于最先进的基线模型 7.49%，尤其在 LastFM 和 Foursquare 等数据集上取得了显著提升。

• 高效的推理能力：TV-Rec 的设计使其能够作为线性算子进行操作，从而在训练后可以预计算滤波器，显著加速推理过程，同时保持较低的计算复杂性。

• 长序列建模优势：在 ML-1M 和 Foursquare 等长序列数据集上的实验进一步验证了 TV-Rec 在处理长程依赖方面的有效性。

• 内在的位置编码：模型通过在有向循环图 (DCG) 上进行谱分解，能够固有地编码位置信息，从而无需显式的位置编码。

  总而言之，TV-Rec 为序列推荐提供了一个强大且高效的新范式，它在准确性、效率和模型简洁性之间取得了卓越的平衡，证明了时变卷积滤波器在推荐系统领域的巨大潜力。

7.2. 局限性与未来工作

论文作者指出了 TV-Rec 的几个局限性：

1. 训练过程的计算复杂性：尽管 TV-Rec 在推理时效率很高，但其训练过程涉及重复的图傅里叶变换 (GFT) 和逆图傅里叶变换 (iGFT) 操作，以及生成位置特定滤波器，这会引入一些额外的计算复杂性。为了实现谱滤波，TV-Rec 用 DCG 替换了原始的线图，并通过填充增加了额外的节点，这增加了谱域的维度。这些因素可能导致中等的训练时间增加和内存使用量增加。不过，Table 10 的结果表明，这种开销是可控的，并且不会显著影响训练的可扩展性。

2. 滤波器生成的数据独立性：TV-Rec 中的滤波器生成是数据独立的，它仅依赖于时间位置而非序列内容。虽然这种设计有助于提高泛化能力和结构简洁性，但它可能限制模型适应实例特定行为 (instance-specific behavior) 或不规则模式的能力。

   未来工作方向：

• 与状态空间模型 (State Space Models, SSMs) 的联系：计划探索 TV-Rec 的时变滤波器与近期状态空间模型（如 Mamba）之间的理论和实践关系，因为 SSMs 在处理长序列时也表现出与卷积滤波器强的连接性。

7.3. 个人启发与批判

7.3.1. 个人启发

• GSP 在序列建模中的潜力：TV-Rec 成功将 GSP 中节点变图滤波器的概念创造性地应用于序列推荐，将序列视为一种特殊的图结构。这种跨领域的思想迁移为序列建模提供了新的视角，即并非所有序列问题都必须依赖 RNN 或 Transformer 的显式循环/注意力机制。
• 效率与性能的平衡：在 AI 领域，很多时候需要在模型复杂度和计算效率之间进行权衡。TV-Rec 展示了一种通过更精巧的数学设计，在完全替代 自注意力 的同时，依然能保持甚至超越性能，并显著提升推理效率的范例。这对于资源受限的实际推荐系统部署具有重要意义。
• 固有位置编码的优雅性：TV-Rec 能够通过其谱域操作自然地编码位置信息，而无需额外的 位置编码。这不仅简化了模型结构，也提供了一种更优雅、更“自然”的方式来处理序列的位置依赖性，这与 Transformer 早期为了弥补其结构缺陷而引入 位置编码 形成了鲜明对比。

7.3.2. 批判

• 滤波器生成的数据独立性：论文提及滤波器生成是数据独立的，仅依赖于时间位置。虽然这带来了泛化性和简洁性，但也可能是其未来性能提升的瓶颈。在真实世界中，用户兴趣的演变可能不仅与时间位置有关，还与之前交互的具体物品类型、属性等内容信息紧密相关。未来的研究可以探索如何将内容信息融入滤波器生成过程，使其能根据序列的语义内容动态调整滤波器权重，从而捕捉更细粒度的实例特定模式。

• DCG 填充的潜在影响：为了数学上的便利性，将线图强制转换为 DCG 并进行零填充。尽管论文给出了理论证明来防止信息逆向泄漏，但在实践中，这种转换是否会引入某种程度的信息失真或额外噪声，尤其是在 $K$ 值与 $N$ 值差异较大时，值得更深入的分析。

• 训练复杂度的进一步优化：虽然论文指出训练开销是可控的，但对于超大规模数据集或需要频繁重新训练的场景，GFT 和 iGFT 操作的计算成本仍然是一个考虑因素。未来的工作可以探索近似 GFT 或更快的谱域操作方法，以进一步优化训练效率。

• 对 SSMs 的解释：论文在未来工作中提到要探索与状态空间模型的联系。考虑到 SSMs 近年来在长序列建模上的出色表现，以及它们与卷积的深层联系，TV-Rec 能够从这个方向吸取更多灵感，进一步提升其在长序列建模上的理论完备性和实践性能。

  总体而言，TV-Rec 是一项富有前景的工作，它在序列推荐领域提出了一个新颖且有效的解决方案，为未来的研究开辟了新的方向。