1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation (LLM-ESR: 利用大语言模型增强长尾序列推荐)
• 作者 (Authors): Qidong Liu, Xian Wu, Yejing Wang, Zijian Zhang, Feng Tian, Yefeng Zheng, Xiangyu Zhao. 作者们来自多所知名高校和企业研究机构，包括西安交通大学、香港城市大学、腾讯优图实验室、吉林大学和西湖大学。这表明该研究结合了学术界的前沿探索和工业界的实践需求。
• 发表期刊/会议 (Journal/Conference): 论文中未明确提及发表的会议或期刊，但从其研究主题（序列推荐、大语言模型）和深度来看，这类工作通常投稿于计算机科学领域的顶级会议，如 SIGIR、KDD、TheWebConf (WWW) 或 RecSys。
• 发表年份 (Publication Year): 论文中未明确标注，但根据其引用的 LLaMA 等近期模型和研究（2023年），可以推断该论文为 2023 年末或 2024 年的最新研究成果。
• 摘要 (Abstract): 论文针对序列推荐系统 (SRS) 中普遍存在的长尾用户（交互稀疏）和长尾物品（鲜少被消费）挑战。现有方法在处理这些问题时，常因数据稀疏而面临“跷跷板效应”或引入噪声。论文提出，大语言模型 (LLM) 的语义理解能力为解决此问题提供了新视角。为此，作者设计了一个名为 LLM-ESR 的增强框架。该框架利用从 LLM 中提取的语义嵌入来增强 SRS，且不增加 LLM 的在线推理负担。具体地，为解决长尾物品问题，设计了一个双视角建模框架，结合了 LLM 的语义信息和传统 SRS 的协同信号；为解决长尾用户问题，提出了检索增强的自蒸馏方法，利用相似用户的丰富交互来增强目标用户的偏好表示。在三个真实世界数据集和三个主流 SRS 模型上的实验证明，LLM-ESR 框架不仅超越了现有基线，还尤其显著地提升了长尾用户和物品的推荐效果。
• 原文链接 (Source Link): /files/papers/68f1d73475ad44c7719bc3b4/paper.pdf (该链接为本地文件路径，表明这是一份已公开发布的研究论文或预印本)。

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):

  • 核心问题： 序列推荐系统 (Sequential Recommender Systems, SRS) 在现实世界中面临严重的长尾问题。具体表现为两个方面：1) 长尾用户挑战 (Long-tail User Challenge)：大多数用户只有极少的交互记录，导致模型难以准确学习其偏好。2) 长尾物品挑战 (Long-tail Item Challenge)：绝大多数物品很少被用户消费，导致其表示（embedding）学习不充分，难以被推荐出去。
  • 问题重要性与现有挑战： 这个问题严重影响了大部分用户的体验和商家的利益。现有的解决方案，如依赖流行物品与长尾物品共现模式的方法，容易产生跷跷板问题 (seesaw problem)，即提升长尾物品推荐性能的同时，损害了流行物品的推荐效果。而为长尾用户增强数据的方法，由于仅依赖协同信息，可能因用户相似度计算不准而引入噪声 (noisy issues)。
  • 创新切入点： 论文认为，问题的根源在于交互数据的“内在稀疏性”。而大语言模型 (LLM) 强大的语义理解能力可以从另一个维度（语义）弥补这种稀疏性。因此，本文的创新思路是：在不引入高昂推理成本的前提下，利用 LLM 提供的丰富语义信息来增强传统 SRS，从而同时缓解长尾用户和长尾物品问题。

• 核心贡献/主要发现 (Main Contribution/Findings - What):

  • 提出了一个模型无关的增强框架 LLM-ESR： 这是一个通用框架，可以与任何现有的 SRS 模型（如 SASRec, GRU4Rec）结合，通过引入 LLM 的语义信息来解决长尾挑战。
  • 设计了高效的 LLM 集成方式： 框架通过预先缓存 LLM 生成的语义嵌入，在训练和推理时直接使用，完全避免了 LLM 的在线推理开销，解决了 LLM 在推荐系统部署中的高延迟痛点。
  • 提出了双视角建模解决长尾物品问题： 通过一个语义视角 (semantic-view)（利用冻结的 LLM 物品嵌入）和一个协同视角 (collaborative-view)（利用可训练的传统物品嵌入），并设计了两层融合机制，有效结合了语义关联和协同信号，既能推荐好长尾物品，又不损害头部物品的性能。
  • 提出了检索增强自蒸馏解决长尾用户问题： 利用 LLM 生成的用户语义嵌入构建一个“语义用户库”，从中为长尾用户检索出语义上相似的“信息丰富的”用户。然后通过自蒸馏 (self-distillation) 将这些相似用户的偏好知识迁移给目标长尾用户，从而增强其偏好表示。
  • 实验验证了方法的有效性和通用性： 在三个数据集和三个基干模型上的大量实验表明，LLM-ESR 在总体性能、长尾用户和长尾物品上均取得了显著优于现有方法的表现。

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

• 基础概念 (Foundational Concepts):

  • 序列推荐系统 (Sequential Recommender System, SRS): 这是一种推荐系统范式，其核心任务是根据用户按时间顺序排列的历史交互序列（如点击、购买记录），预测用户下一个最可能感兴趣的物品。与传统推荐系统不同，SRS 关注用户兴趣的动态演变。常见的模型有基于循环神经网络的 GRU4Rec 和基于自注意力机制的 SASRec、Bert4Rec。

  • 长尾问题 (The Long-Tail Problem): 在许多现实世界的数据分布中（如电商、社交媒体），少数头部实体占据了绝大部分的交互，而大量的尾部实体交互非常稀疏。这在推荐系统中体现为：

    • 长尾用户 (Long-tail User): 交互记录非常少的用户，也称为冷启动用户。模型难以从稀疏数据中学习其偏好。

    • 长尾物品 (Long-tail Item): 很少被购买或点击的物品。由于缺乏足够交互，模型无法学到准确的物品表示。

    • 图1 直观地展示了这个问题：在 Beauty 数据集上，超过 80% 的用户交互少于 10 次，而 SASRec 模型在这些用户上的性能（HR@10）远低于交互丰富的用户。同样，约 71% 的物品交互次数极少，模型在这些物品上的性能也差得多。

      该图像是图表，展示了SASRec模型在Beauty数据集上的初步实验结果，分别针对长尾用户挑战和长尾物品挑战。图中左侧为不同用户交互组的命中率HR@10随用户组大小变化趋势，右侧为不同物品交互组的HR@10随物品组大小变化趋势，并用柱状图显示对应用户数和物品数。

  • 大语言模型 (Large Language Models, LLM): 指的是像 GPT-3、LLaMA 这样在海量文本数据上预训练的、拥有数亿至数万亿参数的深度学习模型。它们具备强大的自然语言理解、生成和推理能力。在推荐领域，LLM 可以通过理解物品的标题、描述、评论等文本信息，捕捉物品之间深层次的语义关系，而这正是传统协同过滤方法所缺乏的。

  • 协同过滤 (Collaborative Filtering): 推荐系统的经典思想，其基本假设是“物以类聚，人以群分”。它通过分析大量用户的行为数据，发现用户和物品之间的关联模式（例如，“喜欢物品A的用户也喜欢物品B”）。传统 SRS 很大程度上依赖于这种协同信号，因此在数据稀疏的长尾场景下效果不佳。

  • 语义信息 (Semantic Information): 指从文本、图像等内容中提取的关于“意义”的信息。在本文中，特指通过 LLM 从物品的文本描述（如名称、品牌、价格）中提取的、能反映物品功能、属性、风格等内在特征的向量表示。

  • 知识蒸馏 (Knowledge Distillation): 一种模型压缩和迁移学习技术。它让一个大型、复杂的“教师模型”将其学到的“知识”迁移给一个小型、简单的“学生模型”。自蒸馏 (Self-Distillation) 是其中的一种特殊形式，即教师和学生是同一个模型架构。本文利用这个思想，让模型（作为教师）在“信息丰富”的相似用户数据上提取知识，然后指导模型（作为学生）在目标长尾用户数据上进行学习。

• 前人工作 (Previous Works):

  • 传统长尾 SRS 方法:
    • CITIES: 专注于长尾物品问题，通过学习一个嵌入推断函数来为长尾物品生成表示。但论文指出，这类方法可能导致跷跷板问题，即过度关注长尾而损害头部物品的性能。
    • MELT: 同时处理长尾用户和物品问题，但其方法完全基于协同过滤视角，未能利用外部知识，因此在处理数据极度稀疏场景时仍有局限。
  • LLM 在推荐中的应用:
    • LLM 作为推荐系统 (LLMs as RS): 这类工作尝试直接用 LLM 进行推荐，例如通过精心设计的提示 (prompt) 或微调 LLM (fine-tuning)。如 ChatRec、TALLRec。但这类方法的主要缺点是推理成本极高，难以在要求低延迟的工业推荐场景中部署。
    • LLM 增强推荐系统 (LLMs enhancing RS): 这类工作旨在利用 LLM 的能力来辅助传统推荐模型，而不是取代它们。例如 RLMRec 和 LLMInit。LLMInit 的思路是使用 LLM 生成的嵌入来初始化 SRS 模型的物品嵌入层。但其局限在于，在后续的微调过程中，这些宝贵的原始语义信息可能会被“冲刷”掉，无法得到有效保留。

• 差异化分析 (Differentiation):

  • 与 CITIES 和 MELT 等传统方法相比，LLM-ESR 引入了语义信息作为协同信号之外的重要补充，从根本上缓解了数据稀疏问题。
  • 与 ChatRec 等直接使用 LLM 的方法相比，LLM-ESR 无在线推理成本，通过预计算和缓存嵌入，兼顾了效果与效率。
  • 与 LLMInit 相比，LLM-ESR 的设计更为精巧：1) 它冻结 LLM 语义嵌入并使用一个 Adapter 进行转换，确保了原始语义信息的完整保留；2) 它不仅在物品侧使用 LLM，还在用户侧构建了语义用户库，用于解决长尾用户问题。3) 它的双视角建模和两级融合机制能更好地平衡语义与协同信息。

4. 方法论 (Methodology - Core Technology & Implementation Details)

本论文的核心方法 LLM-ESR 框架如下图所示，主要包含两大模块：双视角建模 (Dual-view Modeling) 和 检索增强自蒸馏 (Retrieval Augmented Self-Distillation)。

该图像是论文中图2的示意图，展示了提出的LLM-ESR框架的整体结构。左侧为通过LLMs获取的语义嵌入与协同嵌入的双视角建模，中间通过序列编码器融合信息，右侧为基于语义用户库的检索增强自我蒸馏方法提升用户偏好表示。

• 方法原理 (Methodology Principles):

  • 核心思想： 将 LLM 强大的语义理解能力与传统 SRS 高效的协同信号捕捉能力相结合。语义信息对于表示冷门（长尾）物品和用户特别有效，而协同信号在数据充足的流行（头部）物品上表现出色。通过一个统一的框架将两者优势互补，从而全面提升推荐性能，特别是长尾部分的性能。

• 方法步骤与流程 (Steps & Procedures):

  步骤 0: 离线语义嵌入生成

  • 物品语义嵌入 ($\mathbf{E}_{se}$): 对每个物品，将其元数据（如名称、品牌、价格等）组织成一个文本提示 (prompt)。然后，使用一个强大的 LLM（如 OpenAI 的 text-embedding-ada-002 API）将这些提示编码成高维向量。所有物品的向量构成物品语义嵌入矩阵 $\mathbf{E}_{se} \in \mathbb{R}^{|\mathcal{V}| \times d_{llm}}$。这个过程是一次性离线完成并缓存的。
  • 用户语义嵌入 ($\mathbf{U}_{llm}$): 对每个用户，将其交互过的物品标题序列组织成一个文本提示。同样，使用 LLM 将其编码成用户语义向量。所有用户的向量构成“语义用户库” $\mathbf{U}_{llm} \in \mathbb{R}^{|\mathcal{U}| \times d_{llm}}$。这个过程也是一次性离线完成并缓存的。

  模块 1: 双视角建模 (Dual-view Modeling) - 应对长尾物品 这个模块包含两个并行的分支，用于从不同角度对用户的交互序列 $S_u = (v_1, v_2, \dots, v_{n_u})$ 进行建模。

  1. 语义视角建模 (Semantic-view Modeling):

     • 目标： 捕捉物品之间的语义关系。
     • 流程：
       • 对于用户交互序列 $S_u$ 中的每个物品 $v_i$，从冻结的物品语义嵌入矩阵 $\mathbf{E}_{se}$ 中查找到其对应的 LLM 嵌入 $\mathbf{e}_i^{llm}$。
       • 将 $\mathbf{e}_i^{llm}$ 输入一个可训练的适配器 (Adapter)。这个适配器是一个小型的两层 MLP，用于将高维、固定的 LLM 语义空间映射到低维、可优化的推荐任务空间。
       • 经过适配器后，得到物品的语义嵌入 $\mathbf{e}_i^{se}$，从而构成语义嵌入序列 $\mathcal{S}^{se} = [\mathbf{e}_1^{se}, \dots, \mathbf{e}_{n_u}^{se}]$。
       • 这个序列后续会经过序列级别的融合（见下文）和序列编码器 $f_{\theta}$，最终得到用户的语义视角表示 $\mathbf{u}^{se}$。

  2. 协同视角建模 (Collaborative-view Modeling):

     • 目标： 捕捉传统的协同过滤信号。
     • 流程：
       • 使用一个可训练的、随机初始化的协同嵌入矩阵 $\mathbf{E}_{co} \in \mathbb{R}^{|\mathcal{V}| \times d}$。
       • 对于序列 $S_u$ 中的每个物品 $v_i$，查找其对应的协同嵌入 $\mathbf{e}_i^{co}$，构成协同嵌入序列 $\mathcal{S}^{co} = [\mathbf{e}_1^{co}, \dots, \mathbf{e}_{n_u}^{co}]$。
       • 优化技巧： 为了缓解语义视角（预训练）和协同视角（从零训练）之间的优化不一致问题，作者使用 $\mathbf{E}_{se}$ 经过主成分分析 (PCA) 降维后的结果来初始化 $\mathbf{E}_{co}$。
       • 这个序列同样会经过序列级别的融合和同一个序列编码器 $f_{\theta}$，最终得到用户的协同视角表示 $\mathbf{u}^{co}$。共享编码器 $f_{\theta}$ 是为了捕捉共通的序列模式并提高效率。

  3. 两级融合 (Two-level Fusion):

     • 序列级融合 (Sequence-level Fusion): 在送入序列编码器之前，使用交叉注意力 (Cross-attention) 机制让 $\mathcal{S}^{se}$ 和 $\mathcal{S}^{co}$ 两个序列进行信息交互。例如，以 $\mathcal{S}^{se}$ 为查询 (Query)，以 $\mathcal{S}^{co}$ 为键 (Key) 和值 (Value)，计算出一个融合了协同信息的新语义序列 $\hat{\mathcal{S}}^{se}$。反之亦然。这使得模型能在早期就捕捉到两个视角之间的细微关联。
     • 逻辑层融合 (Logit-level Fusion): 在得到两个视角的用户表示 $\mathbf{u}^{se}$ 和 $\mathbf{u}^{co}$ 后，将它们拼接 (concatenate) 起来，形成最终的用户表示 $[\mathbf{u}^{se} : \mathbf{u}^{co}]$。同样，物品的最终表示也由其语义和协同嵌入拼接而成 $[\mathbf{e}_j^{se} : \mathbf{e}_j^{co}]$。推荐分数通过计算这两者的点积得到。

  模块 2: 检索增强自蒸馏 (Retrieval Augmented Self-Distillation) - 应对长尾用户 这个模块的目标是为交互稀疏的长尾用户补充“知识”。

  1. 检索相似用户 (Retrieve Similar Users):

     • 对于一个目标用户 $k$，利用其在离线阶段生成的 LLM 用户嵌入 $\mathbf{u}_k^{llm}$。
     • 在整个“语义用户库” $\mathbf{U}_{llm}$ 中，通过计算余弦相似度，检索出与用户 $k$ 最相似的 $N$ 个用户，构成相似用户集 $\mathcal{U}_k$。这些用户因为交互更丰富，可以被视为“专家用户”。

  2. 自蒸馏 (Self-Distillation):

     • 构建教师信号： 将检索到的 $N$ 个相似用户的交互序列分别输入到双视角建模模块中，得到他们各自的用户表示 $\{[\mathbf{u}_j^{se} : \mathbf{u}_j^{co}]\}_{j \in \mathcal{U}_k}$。将这些表示进行平均池化 (Mean_Pooling)，得到一个聚合的、更鲁棒的“教师”表示 $[\mathbf{u}_{T_k}^{se} : \mathbf{u}_{T_k}^{co}]$。
     • 构建学生信号： 目标用户 $k$ 自身通过双视角建模模块得到的表示 $[\mathbf{u}_k^{se} : \mathbf{u}_k^{co}]$ 被视为“学生”表示。
     • 计算蒸馏损失： 通过计算教师表示和学生表示之间的均方误差 (MSE) 作为自蒸馏损失 $\mathcal{L}_{SD}$。在反向传播时，教师表示的梯度被阻断，它只作为指导信号，不参与模型参数的更新。

• 数学公式与关键细节 (Mathematical Formulas & Key Details):

  • 适配器 (Adapter): $$\mathbf { e } _ { i } ^ { s e } = \mathbf { W } _ { 2 } ^ { a } ( \mathbf { W } _ { 1 } ^ { a } \mathbf { e } _ { i } ^ { l l m } + \mathbf { b } _ { 1 } ^ { a } ) + \mathbf { b } _ { 2 } ^ { a }$$

    • $\mathbf{e}_i^{llm}$: 物品 $i$ 的原始 LLM 嵌入。
    • $\mathbf{W}_1^a, \mathbf{b}_1^a, \mathbf{W}_2^a, \mathbf{b}_2^a$: 适配器中两层 MLP 的权重和偏置，是可训练参数。
    • $\mathbf{e}_i^{se}$: 转换后的物品语义嵌入，其维度与协同嵌入一致。

  • 推荐概率计算 (Recommendation Score): $$P ( v _ { n _ { u } + 1 } = v _ { j } | v _ { 1 : n _ { u } } ) = [ { \bf e } _ { j } ^ { s e } : { \bf e } _ { j } ^ { c o } ] ^ { T } [ { \bf u } ^ { s e } : { \bf u } ^ { c o } ]$$

    • $[\mathbf{u}^{se} : \mathbf{u}^{co}]$: 拼接后的最终用户表示。
    • $[\mathbf{e}_j^{se} : \mathbf{e}_j^{co}]$: 拼接后的最终物品表示。
    • $T$: 向量转置。
    • 该公式计算用户对候选物品 $v_j$ 的偏好得分。

  • 总训练损失 (Total Training Loss): $$\mathcal{L} = \mathcal{L}_{Rank} + \alpha \cdot \mathcal{L}_{SD}$$

    • $\mathcal{L}_{Rank}$: 主任务损失，采用成对排序损失 (pairwise ranking loss)。它旨在让正样本（下一个真实交互的物品）的得分高于负样本（随机采样的未交互物品）的得分。
    • $\mathcal{L}_{SD}$: 辅助任务损失，即前述的自蒸馏损失。
    • $\alpha$: 超参数，用于平衡主任务和辅助任务的重要性。

  推理过程 (Inference): 在预测阶段，只使用双视角建模模块。输入一个用户的交互序列，通过框架计算出所有候选物品的得分，并排序推荐 top-K 物品。由于自蒸馏模块被移除，且 LLM 嵌入是预先缓存的，整个推理过程非常高效，与传统的 SRS 模型相比没有显著增加延迟。

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets):

  • 实验使用了三个公开的真实世界数据集：Yelp, Amazon Fashion, 和 Amazon Beauty。
  • 这些数据集广泛应用于推荐系统研究，具有不同的领域特征和数据稀疏度，能够有效检验模型的泛化能力。
  • 数据预处理遵循了 SASRec 等经典 SRS 工作的标准流程，保证了比较的公平性。

• 评估指标 (Evaluation Metrics):

  • 实验采用留一法 (leave-one-out) 进行评估，对每个用户的最后一个交互物品作为正样本，并额外随机采样100个用户未交互过的物品作为负样本。模型需要在这101个物品中进行排序。

  • 命中率@10 (Hit Rate@10, HR@10):

    1. 概念定义: 该指标衡量推荐系统在前 10 个推荐结果中，是否成功“命中”了用户真正交互的那个物品（即正样本）。它是一个二元指标（要么命中，要么没命中），关注的是推荐列表“有没有用”。
    2. 数学公式: $$\mathrm{HR}@K = \frac{1}{|\mathcal{U}|} \sum_{u \in \mathcal{U}} \mathbb{I}(\text{rank}_{u} \le K)$$
    3. 符号解释:
       • $|\mathcal{U}|$: 测试集中的用户总数。
       • $\mathbb{I}(\cdot)$: 指示函数 (Indicator Function)，当条件成立时为 1，否则为 0。
       • $\text{rank}_{u}$: 用户 $u$ 的正样本在推荐列表中的排名。
       • $K$: 推荐列表的长度，本文中为 10。

  • 归一化折损累计增益@10 (Normalized Discounted Cumulative Gain@10, NDCG@10):

    1. 概念定义: 与 HR@10 不同，NDCG@10 不仅关心是否命中，还关心“命中位置”的好坏。如果正样本排在推荐列表越靠前的位置，得分就越高。它是一个更精细的、衡量排序质量的指标。
    2. 数学公式: $$\mathrm{NDCG}@K = \frac{1}{|\mathcal{U}|} \sum_{u \in \mathcal{U}} \frac{\mathrm{DCG}_u@K}{\mathrm{IDCG}_u@K} \quad \text{where} \quad \mathrm{DCG}_u@K = \sum_{i=1}^{K} \frac{rel_i}{\log_2(i+1)}$$
    3. 符号解释:
       • $rel_i$: 推荐列表中第 $i$ 个位置物品的相关性。在本实验设置中，如果该物品是正样本，则 $rel_i = 1$，否则为 0。
       • $\mathrm{DCG}_u@K$: 用户 $u$ 的折损累计增益，对排在后面的命中给予惩罚（分母 log 项）。
       • $\mathrm{IDCG}_u@K$: 理想情况下的 DCG，即正样本排在第一位的 DCG 值。用它进行归一化，确保 NDCG 的值在 0到1 之间。

• 对比基线 (Baselines):

  • 基干模型 (Backbone Models): GRU4Rec, Bert4Rec, SASRec。LLM-ESR 分别与这三个模型结合，以验证其通用性。
  • 传统长尾增强方法:
    • CITIES: 专门解决长尾物品问题的代表性方法。
    • MELT: 同时解决长尾用户和物品问题的代表性方法。
  • LLM 增强方法:
    • RLMRec: 一种利用 LLM 辅助协同过滤的方法。
    • LLMInit: 使用 LLM 嵌入初始化物品嵌入层的代表性方法。

6. 实验结果与分析 (Results & Analysis)

• 核心结果分析 (Core Results Analysis):

  以下为论文中 Table 1 的转录数据，展示了在三个数据集上，不同方法结合不同基干模型时的总体性能、长尾/头部物品性能、长尾/头部用户性能。

  Dataset & Model				Overall		Item Group				User Group
  				H@10	N@10	Tail H@10	Tail N@10	Head H@10	Head N@10	Tail H@10	Tail N@10	Head H@10	Head N@10
  Yelp	GRU4Rec			0.4879	0.2751	0.0171	0.0059	0.6265	0.3544	0.4936	0.2783	0.4756	0.2618
  				CITIES	0.4898	0.2749	0.0134	0.0051	0.6301	0.3543	0.5046	0.2865	0.4750	0.2671
  				MELT	0.4985	0.2825	0.0201	0.0079	0.6393	0.3633	-	-	-	-
  				RLMRec	0.4886	0.2770	0.0188	0.0067	0.6269	0.3574	0.4920	0.2804	0.4756	0.2671
  				LLMInit	0.4872	0.2749	0.0201	0.0072	0.6246	0.3537	0.4908	0.2750	0.4732	0.2647
  				LLM-ESR	0.5724*	0.3413*	0.0763*	0.0318*	0.7184*	0.4324*	0.5782*	0.3456*	0.5501*	0.3247*
  	Bert4Rec			0.5307	0.3035	0.0115	0.0044	0.6836	0.3916	0.5325	0.3047	0.5241	0.2988
  				CITIES	0.5249	0.3015	0.0041	0.0014	0.6783	0.3899	0.5274	0.3032	0.5155	0.2954
  				MELT	0.6206	0.3770	0.0429	0.0149	0.7907	0.4836	0.6210	0.3780	0.6191	0.3733
  				RLMRec	0.5336	0.3039	0.0104	0.0040	0.6938	0.3922	0.5351	0.3065	0.5137	0.2936
  				LLMInit	0.6199	0.3781	0.0874	0.0330	0.7766	0.4797	0.6204	0.3796	0.6178	0.3723
  				LLM-ESR	0.6623*	0.4222*	0.1227*	0.0500*	0.8212*	0.5318*	0.6637*	0.4247*	0.6571*	0.4127*
  	SASRec			0.5940	0.3597	0.1142	0.0495	0.7353	0.4511	0.5893	0.3578	0.6122	0.3672
  				CITIES	0.5828	0.3540	0.1532	0.0700	0.7093	0.4376	0.5785	0.3511	0.5994	0.3649
  				MELT	0.6257	0.3791	0.1015	0.0371	0.7801	0.4799	0.6246	0.3804	0.6299	0.3744
  				RLMRec	0.5990	0.3623	0.0953	0.0412	0.7474	0.4568	0.5966	0.3613	0.6084	0.3658
  				LLMInit	0.6415	0.3997	0.1760	0.0789	0.7785	0.4941	0.6403	0.4010	0.6462	0.3948
  				LLM-ESR	0.6673*	0.4208*	0.1893*	0.0845*	0.8080*	0.5199*	0.6685*	0.4229*	0.6627*	0.4128*
  Fashion	GRU4Rec			0.4798	0.3809	0.0257	0.0101	0.6606	0.5285	0.3781	0.2577	0.6118	0.5408
  				CITIES	0.4762	0.3743	0.0252	0.0103	0.6557	0.5191	0.3729	0.2501	0.6103	0.5354
  				MELT	0.4884	0.3975	0.0291	0.0112	0.6712	0.5513	0.3890	0.2770	0.6173	0.5538
  				RLMRec	0.4795	0.3808	0.0253	0.0105	0.6603	0.5282	0.3773	0.2577	0.6120	0.5405
  				LLMInit	0.4864	0.4095	0.0250	0.0104	0.6702	0.5684	0.3852	0.2973	0.6177	0.5550
  				LLM-ESR	0.5409*	0.4567*	0.0807*	0.0384*	0.7242*	0.6233*	0.4560*	0.3568*	0.6651*	0.5864*
  	Bert4Rec			0.4668	0.3613	0.0142	0.0067	0.6470	0.5024	0.3500	0.2344	0.6183	0.5258
  				CITIES	0.4926	0.4090	0.0223	0.0099	0.6799	0.5679	0.3952	0.2975	0.6190	0.5535
  				MELT	0.4897	0.3810	0.0059	0.0019	0.6823	0.5319	0.3842	0.2514	0.6266	0.5491
  				RLMRec	0.4744	0.3567	0.0044	0.0015	0.6615	0.4981	0.3626	0.2268	0.6194	0.5251
  				LLMInit	0.4854	0.4035	0.0328	0.0161	0.6655	0.5577	0.3773	0.2846	0.6255	0.5578
  				LLM-ESR	0.5487*	0.4529*	0.0525*	0.0225*	0.7462*	0.6243*	0.4629*	0.3460*	0.6599*	0.5910*
  	SASRec			0.4956	0.4429	0.0454	0.0235	0.6748	0.6099	0.3967	0.3390	0.6239	0.5777
  				CITIES	0.4923	0.4423	0.0407	0.0214	0.6721	0.6098	0.3936	0.3392	0.6203	0.5760
  				MELT	0.4875	0.4150	0.0368	0.0144	0.6670	0.5745	0.3792	0.2933	0.6280	0.5729
  				RLMRec	0.4982	0.4457	0.0410	0.0223	0.6803	0.6143	0.3990	0.3415	0.6270	0.5808
  				LLMInit	0.5119	0.4492	0.0596	0.0305	0.6920	0.6159	0.4184	0.3501	0.6332	0.5780
  				LLM-ESR	0.5619*	0.4743*	0.1095*	0.0520*	0.7420*	0.6424*	0.4811*	0.3769*	0.6668*	0.6005*
  Beauty	GRU4Rec			0.3683	0.2276	0.0796	0.0567	0.4371	0.2683	0.3584	0.2191	0.4135	0.2663
  				CITIES	0.2456	0.1400	0.1122	0.0760	0.2774	0.1552	0.2382	0.1346	0.2795	0.1645
  				MELT	0.3702	0.2161	0.0900	0.0603	0.4582	0.2675	0.3637	0.2116	0.3997	0.2365
  				RLMRec	0.3668	0.2278	0.0780	0.0560	0.4357	0.2688	0.3576	0.2202	0.4089	0.2626
  				LLMInit	0.4151	0.2713	0.0896	0.0637	0.4928	0.3208	0.4059	0.2621	0.4571	0.3133
  				LLM-ESR	0.4917*	0.3140*	0.1547*	0.0801*	0.5721*	0.3698*	0.4851*	0.3079*	0.5220*	0.3420*
  	Bert4Rec			0.3984	0.2367	0.0101	0.0038	0.4910	0.2922	0.3851	0.2272	0.4593	0.2801
  				CITIES	0.3961	0.2339	0.0023	0.0008	0.4900	0.2895	0.3832	0.2250	0.4551	0.2746
  				MELT	0.4716	0.2965	0.0709	0.0291	0.5671	0.3603	0.4596	0.2865	0.5263	0.3423
  				RLMRec	0.3970	0.2365	0.0090	0.0032	0.4903	0.2921	0.3853	0.2277	0.4539	0.2765
  				LLMInit	0.5029	0.3209	0.0927	0.0451	0.6007	0.3870	0.4919	0.3117	0.5530	0.3632
  				LLM-ESR	0.5393*	0.3590*	0.1379*	0.0745*	0.6350*	0.4269*	0.5295*	0.3507*	0.5839*	0.3972*
  	SASRec			0.4388	0.3030	0.0870	0.0649	0.5227	0.3598	0.4270	0.2941	0.4926	0.3438
  				CITIES	0.2256	0.1413	0.1363	0.0897	0.2468	0.1536	0.2215	0.1406	0.2441	0.1444
  				MELT	0.4334	0.2775	0.0460	0.0172	0.5258	0.3395	0.4233	0.2673	0.4796	0.3241
  				RLMRec	0.4460	0.3075	0.0924	0.0658	0.5303	0.3652	0.4365	0.3016	0.4892	0.3345
  				LLMInit	0.5455	0.3650	0.1714	0.0965	0.6347	0.4298	0.5359	0.3592	0.5893