1. 论文基本信息

1.1. 标题

Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models （大语言模型时代会话推荐评估的再思考）

1.2. 作者

Kiolei Wang, Xinyu Tang, Wayne Xin Zhao, Jingyuan Wang, Ji-Rong Wen

1.3. 发表期刊/会议

该论文发布于 arXiv，一个预印本平台，日期为 2023-05-22T15:12:43.000Z。arXiv 是计算机科学和物理学等领域研究人员分享最新研究成果的重要平台，虽然不是同行评审期刊或会议的最终发表版本，但其上的论文通常具有较高的学术价值和影响力，是领域内最新进展的风向标。

1.4. 发表年份

2023年

1.5. 摘要

这篇论文探讨了大型语言模型 (LLMs) 在开发更强大的会话推荐系统 (CRSs) 方面的巨大潜力。作者们通过对 ChatGPT 在会话推荐中的应用进行研究，揭示了现有评估协议的不足。他们指出，现有协议可能过分强调与人类标注的 ground-truth （真实标注数据）物品或话语的匹配，而忽略了 CRS 作为交互式系统的本质。为了克服这一局限性，论文提出了一种基于 LLM 的交互式评估方法，名为 iEvaLM，该方法利用了基于 LLM 的用户模拟器。这种评估方法能够模拟用户与系统之间的各种交互场景。通过在两个公开的 CRS 数据集上进行实验，作者们展示了与现有评估协议相比的显著改进。此外，论文强调了对可解释性 (explainability) 的评估，并指出 ChatGPT 在为其推荐生成有说服力的解释方面表现出色。这项研究有助于更深入地理解 LLM 在 CRS 中尚未开发的潜力，并为未来关于 LLM 会话推荐系统的研究提供了更灵活、更易于使用的评估框架。论文的代码和数据已公开。

1.6. 原文链接

• 原文链接: https://arxiv.org/abs/2305.13112
• PDF 链接: https://arxiv.org/pdf/2305.13112v2.pdf

2. 整体概括

2.1. 研究背景与动机

2.1.1. 核心问题与重要性

会话推荐系统 (Conversational Recommender Systems, CRSs) 旨在通过自然语言对话提供高质量的推荐服务。随着大型语言模型 (Large Language Models, LLMs)，尤其是 ChatGPT 的成功，它们在理解和生成自然语言对话方面的卓越能力使其被寄予厚望，有望开发出更强大的 CRSs。然而，当前对 LLMs 在 CRSs 中的实际表现缺乏全面的研究，尤其是在现有基准数据集上的表现。

2.1.2. 现有挑战与空白 (Gap)

论文指出，当对 ChatGPT 进行传统评估时，其表现出乎意料地不尽如人意。作者们深入分析后发现，核心问题在于现有评估协议的局限性：

• 过分强调与 ground-truth （真实标注数据）的匹配: 现有协议过度依赖于人工标注的推荐物品或对话的精确匹配。然而，许多 CRS 数据集以闲聊（chit-chat）方式构建，用户偏好表达模糊，即使是人类也难以精准匹配 ground-truth 物品。
• 忽视交互性: 现有评估协议基于固定对话，未能考虑 CRS 的交互性本质。在真实世界中，一个优秀的 CRS 应该能够主动澄清用户偏好，而传统协议不支持这种动态交互。这类似于在文本生成任务中，传统指标（如 BLEU 和 ROUGE）无法完全反映 LLMs 真实能力的问题。
• 用户模拟器的局限: 理想的评估应由人类用户进行，但成本高昂。现有用户模拟器通常受限于预定义对话流程或基于模板的话语，缺乏灵活性，无法捕捉真实对话的复杂性。

2.1.3. 论文的切入点与创新思路

为了解决上述评估局限，论文的核心切入点是重新思考 CRS 的评估方式，使其更能反映系统的交互能力。其创新思路在于：

• 利用 LLMs 的强大对话能力: 既然 LLMs 擅长对话和角色扮演，那么可以利用它们来构建更灵活、更接近真实用户的模拟器。
• 提出交互式评估框架 iEvaLM: 这是一个基于 LLM 用户模拟器的交互式评估方法，支持自由形式的交互，并考虑了推荐的准确性 (accuracy) 和可解释性 (explainability)。
• 多维度评估: 引入了属性问答 (attribute-based question answering) 和自由形式闲聊 (free-form chit-chat) 两种交互模式，以全面评估 CRS 的能力。

2.2. 核心贡献/主要发现

2.2.1. 论文最主要的贡献

• 首次系统性评估 ChatGPT 在 CRS 中的能力: 在大规模数据集上，对 ChatGPT 用于会话推荐的能力进行了首次系统性检验。
• 深入分析传统评估协议的局限性: 详细分析了 ChatGPT 在传统评估协议下表现不佳的原因，指出其根源在于协议过分强调 ground-truth 匹配和忽视交互性。
• 提出创新的 iEvaLM 交互式评估方法: 引入了一种新的交互式评估框架 iEvaLM，该框架利用 LLM 驱动的用户模拟器，能够更真实、更灵活地评估 CRSs 的性能。
• 验证 iEvaLM 的有效性和可靠性: 通过在两个公共 CRS 数据集上的实验，证明了 iEvaLM 在评估 CRSs 准确性和可解释性方面的有效性和可靠性，特别是在 LLM 驱动的 CRS 中。

2.2.2. 关键结论或发现

• ChatGPT 在交互式评估中表现出色: 在 iEvaLM 框架下，ChatGPT 的性能显著提升，在 Recall@10 等指标上甚至超越了当前领先的 CRS 基线模型，尤其在可解释性方面，ChatGPT 展现出提供有说服力解释的能力。
• 传统 CRS 模型也能从交互中受益: 现有 CRS 模型在 iEvaLM 框架下也获得了性能提升，表明交互能力是传统评估中被忽视的重要方面。
• ChatGPT 展现通用 CRS 潜力: ChatGPT 在不同交互设置（属性问答和自由闲聊）和不同数据集上均表现优异，证明了其作为通用 CRS 的巨大潜力。
• LLM 用户模拟器和评估器的可靠性: 实验表明，基于 LLM 的用户模拟器和可解释性评分器能够提供与人类评估一致的结果，是人类评估的可靠替代品。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 会话推荐系统 (Conversational Recommender Systems, CRS)

会话推荐系统 (CRS) 是一种通过自然语言对话与用户互动，以理解用户偏好并提供个性化推荐的智能系统。它结合了对话系统和推荐系统的能力，旨在模仿人类销售顾问或客服，通过多轮交流来满足用户的需求。

• 设计目标: 提供高质量的推荐，并通过对话提升用户体验。
• 核心组成: 通常包含两个主要模块：
  • 推荐模块 (Recommender Module): 基于对话上下文中的用户偏好，提供物品推荐。
  • 对话模块 (Conversation Module): 根据对话上下文和物品推荐，生成自然语言响应。
• 交互类型:
  • 基于模板的问答 (Question Answering based on Templates): 系统按照预设模板询问用户关于物品属性（如流派、演员、导演等）的偏好。用户通常也给出模板化或简短的回答。这种方式结构化，易于信息抽取。
  • 基于自然语言的闲聊 (Chit-chat based on Natural Language): 系统和用户可以进行更自由、开放式的对话，用户可以更自然地表达他们的需求和感受，系统也生成更灵活的响应。本文主要关注这种更具挑战性的交互类型。

3.1.2. 大型语言模型 (Large Language Models, LLMs)

大型语言模型 (LLMs) 是指参数量巨大（通常是数十亿到数万亿）、在海量文本数据上预训练的深度学习模型。它们能够理解、生成和处理各种自然语言任务，展现出强大的泛化能力和上下文理解能力。

• 代表模型: ChatGPT（基于 gpt-3.5-turbo 模型）、GPT-4 等。
• 核心能力:
  • 自然语言理解 (Natural Language Understanding, NLU): 能够理解用户输入的语义、意图和情感。
  • 自然语言生成 (Natural Language Generation, NLG): 能够生成流畅、连贯、上下文相关的文本响应。
  • 对话能力: 经过专门优化，能够进行多轮对话，保持上下文连贯性，并根据用户指令调整行为。
  • 世界知识: 在预训练阶段学习了大量的世界知识，使其能够对各种主题进行推理和回答。

3.1.3. 真实标注数据 (Ground Truth)

真实标注数据 (Ground Truth) 在机器学习和评估中指的是在某个特定任务中被认为是正确或真实的标签、数据点或结果。这些数据通常由人类专家进行标注，作为模型学习和评估的参照标准。在会话推荐系统中，ground-truth items 指的是在给定对话中，用户最终接受或被认为应该接受的推荐物品；ground-truth utterances 指的是在给定对话轮次中，人类标注者认为系统应该生成的标准响应。

3.1.4. 可解释性 (Explainability)

在推荐系统领域，可解释性 (Explainability) 指的是系统能够向用户解释其推荐决策的能力。一个具有良好可解释性的推荐系统不仅能给出推荐物品，还能说明“为什么推荐这个物品”，例如“因为你喜欢XX类型电影，并且这部电影的导演是XX”。这有助于用户理解并信任推荐结果，提高用户对系统的满意度和接受度。

3.1.5. 评估指标：召回率 (Recall@k)

召回率 (Recall@k) 是一种常用的推荐系统评估指标，用于衡量系统在推荐列表前 $k$ 个物品中找到用户感兴趣物品的能力。

• 概念定义: 召回率 Recall@k 衡量的是在系统给出的前 $k$ 个推荐中，用户实际感兴趣的物品有多少被成功推荐。它关注的是系统“找全”相关物品的能力。
• 数学公式: $$\text{Recall}@k = \frac{\sum_{u \in U} \mathbb{I}(R_{u,k} \cap T_u \neq \emptyset)}{|U|}$$
• 符号解释:
  • $U$: 所有用户的集合。
  • $u$: 集合 $U$ 中的一个特定用户。
  • $\mathbb{I}(\cdot)$: 指示函数，当括号内的条件为真时，返回1，否则返回0。
  • $R_{u,k}$: 对于用户 $u$，系统推荐的前 $k$ 个物品的列表。
  • $T_u$: 对于用户 $u$，其真正感兴趣（ground-truth）的物品列表。在许多 CRS 数据集中，通常假定每个对话有一个或少数几个 ground-truth 目标物品。
  • $R_{u,k} \cap T_u \neq \emptyset$: 表示在用户 $u$ 的前 $k$ 个推荐物品中，至少有一个 ground-truth 物品被成功推荐。
  • $|U|$: 用户总数。
  • 简单来说，在单目标推荐场景下，如果目标物品在前 $k$ 个推荐中，则该次推荐计为成功1次；否则计为0次。Recall@k 是所有推荐成功次数的平均值。

3.2. 前人工作

3.2.1. 基于预训练语言模型的 CRS

早期的 CRS 方法通常基于预训练语言模型 (PLMs) 构建。这些 PLMs 能够增强对对话中自然语言的理解和生成能力。

• Wang et al. (2022c): 提出了 UniCRS，通过使用带有知识图谱 (KGs) 的提示 (prompts)，在 DialoGPT 等模型上实现统一的 CRS 任务处理。
• Deng et al. (2023): 提出了一个统一的多任务学习框架，用于多目标 CRS。
• Yang et al. (2022): 提出了 MESE，将推荐任务公式化为两阶段物品检索过程，并引入元信息 (meta-information) 进行编码。
• Penha and Hauff (2020): 评估了 BERT 在会话推荐中的性能。
• KBRD (Chen et al., 2019): 引入 DBpedia 知识图谱来丰富对话中提及实体的语义理解。
• KGSF (Zhou et al., 2020): 利用两个知识图谱增强词汇和实体的语义表示，并通过互信息最大化来对齐语义空间。
• CRFR (Zhou et al., 2021a): 在知识图谱上进行灵活的片段推理，以解决其固有的不完整性。
• BARCOR (Wang et al., 2022b): 提出了一个基于 BART 的统一 CRS，用一个模型处理两个任务。
• 这些工作主要局限于 BERT (Kenton and Toutanova, 2019) 和 DialoGPT (Zhang et al., 2020) 等中小规模的 PLMs。

3.2.2. 用户模拟与评估

CRS 的评估是一个挑战，因为交互的复杂性。用户模拟 (user simulation) 被提出作为人类评估的替代方案，以降低成本和时间。

• 传统评估: 大多关注回合级评估 (turn-level evaluation)，即将系统单回合输出与 ground-truth 标签进行比较 (Chen et al., 2019)。
• 对话级评估 (conversation-level evaluation): 允许系统-用户交互，以评估对话策略 (Lei et al., 2020; Zhang et al., 2018; Balog and Zhai, 2023; Afzali et al., 2023)。这些方法通常通过收集真实用户互动历史或评论来代表模拟用户的偏好。
• 现有用户模拟器的局限: 通常受限于预定义对话流程或基于模板的话语，难以捕捉真实世界对话的复杂性和细微差别 (Lei et al., 2020; Zhang and Balog, 2020)。
• CRSLab (Zhou et al., 2021b): 提供了一个开源工具包和标准评估协议。
• 文本生成评估: 传统指标（如 BLEU 和 ROUGE）可能无法反映 LLMs 的真实能力，需要新的评估方法 (Bang et al., 2023; Qin et al., 2023)。

3.2.3. LLMs 的角色扮演能力

LLMs 在遵循指令和进行角色扮演方面展现出卓越的能力。

• Fu et al. (2023): 研究了 LLM 在自玩 (self-play) 和上下文学习 (in-context learning) 中通过 AI 反馈改进模型协商能力。
• 这种能力为本文构建灵活的 LLM 用户模拟器提供了基础。

3.3. 技术演进

CRS 的技术演进大致经历了从基于规则/模板到基于深度学习，再到当前结合预训练语言模型和大型语言模型的阶段。

1. 早期阶段 (基于规则/模板): 侧重于结构化问答，通过预定义规则和模板引导对话，获取用户属性偏好。这种方式虽然可控，但缺乏灵活性和自然语言理解能力。
2. 深度学习阶段: 引入深度学习模型，尤其是序列到序列 (seq2seq) 模型，以处理更自然的对话和生成响应。结合知识图谱 (KG) 增强语义理解。这一阶段的模型尝试从对话上下文中学习用户偏好。
3. 预训练语言模型 (PLM) 阶段: 随着 BERT、GPT 系列等 PLM 的兴起，CRS 利用其强大的语言理解和生成能力，将对话和推荐任务统一到单个模型中，提升了对话的自然度和推荐的准确性。
4. 大型语言模型 (LLM) 时代: ChatGPT 等 LLMs 的出现，以其更强的通用性、对话能力和世界知识，为 CRS 带来了革命性的潜力。然而，如何有效评估这些 LLM 驱动的 CRS 成为了新的挑战，本文正是针对这一挑战，提出了新的评估框架。

3.4. 差异化分析

本文提出的 iEvaLM 方法与上述相关工作的主要区别和创新点在于：

• 评估对象和焦点: 首次系统性地将 ChatGPT 这样的大型通用 LLM 应用于会话推荐，并深入分析其在传统评估下的不足，而非仅仅将 PLM 作为 CRS 的组件。
• 用户模拟的灵活性: 相较于以往受限于预定义流程或模板的用户模拟器，iEvaLM 利用 LLM 强大的指令遵循和角色扮演能力，构建了更灵活、支持自由形式交互的用户模拟器，使其能够更真实地模拟人类用户。
• 多维度交互场景评估: 引入了 attribute-based question answering 和 free-form chit-chat 两种交互形式，提供了更全面的 CRS 能力评估视角，弥补了传统评估只关注单一对话场景的不足。
• 可解释性的自动评估: 不仅评估推荐准确性，还引入 LLM 作为评分器，自动评估推荐解释的 persuasiveness （说服力），这在 CRS 评估中是一个重要的补充。
• 解决传统评估的根本缺陷: 针对传统评估协议“过度强调 ground-truth 匹配”和“忽视交互性”的核心问题，iEvaLM 提供了一个更符合 CRS 交互本质的解决方案。

4. 方法论

本节将详细阐述论文提出的方法，特别是 ChatGPT 在会话推荐中的应用以及新的评估框架 iEvaLM。

4.1. 方法原理

论文的核心思想是解决现有会话推荐系统 (CRS) 评估协议的局限性，该协议在 大型语言模型 (LLMs) 时代无法准确反映 CRS 的真实交互能力。传统评估协议过分强调与 ground-truth items （真实标注物品）或 utterances （话语）的精确匹配，而忽略了 CRS 作为交互式系统应具备的主动澄清和灵活响应的能力。

为了克服这一限制，论文提出了 iEvaLM，一个基于 LLM 的交互式评估方法。其原理是利用 LLM 强大的角色扮演和指令遵循能力来构建用户模拟器。这些模拟用户能够：

1. 根据预设的 ground-truth items 构建逼真的用户画像 (persona)。
2. 在与 CRS 进行多轮对话时，灵活地表达偏好、回答澄清问题以及对推荐提供反馈，从而模拟真实的用户交互行为。
3. 通过这种交互式设置，iEvaLM 能够更准确地评估 CRS 的推荐准确性 (accuracy) 和推荐解释的 persuasiveness （说服力），从而揭示 LLM 在 CRS 中被传统评估所掩盖的真正潜力。

4.2. ChatGPT 用于会话推荐

论文探讨了两种将 ChatGPT 应用于 CRS 的方法，如图1所示：

该图像是示意图，展示了如何将ChatGPT用于电影推荐系统。图中包含了用户与系统之间的对话示例，以及推荐模型的集成过程。通过用户输入的偏好，系统生成了符合用户口味的电影推荐，体现了响应与推荐模型的互动关系。

4.2.1. 零样本提示 (Zero-shot Prompting)

这是最直接的方法，即不经过任何特定 CRS 数据集的微调，直接向 ChatGPT 提供任务指令 (task instruction) 和格式指南 (format guideline)，让其根据对话历史生成推荐物品。

• 任务指令: 描述 ChatGPT 需要完成的任务，例如“你是一个推荐器，与用户聊天以提供推荐。”
• 格式指南: 规定输出的格式，例如“推荐列表的格式是：编号. 标题 (年份)。”以及“除了物品标题，不要提及任何其他内容。” 通过这种方式，ChatGPT 利用其在预训练阶段获得的通用知识和对话能力来理解用户偏好并生成推荐。

4.2.2. 集成推荐模型 (Integrating Recommendation Models)

由于 ChatGPT 并非专门为推荐任务优化，且可能生成不在评估数据集内的物品，这给直接评估带来了困难。为了解决这个问题，论文提出将 ChatGPT 与外部推荐模型结合。

• 工作流程:
  1. ChatGPT 首先接收对话历史，并生成一个响应（可能是推荐列表或澄清问题）。
  2. 如果 ChatGPT 内部尝试生成推荐物品，这些物品可能需要被外部推荐模型过滤或替换。
  3. 更常见的集成方式是：将对话历史 (conversation history) 和 ChatGPT 生成的响应 (generated responses) 拼接起来，作为输入 (input) 传递给外部的推荐模型。
  4. 外部推荐模型再根据这些文本输入，预测目标物品 (target items) 或计算与候选物品 (item candidates) 的相似度，进行匹配。
• 选择的外部模型:
  • 有监督方法: MESE (Yang et al., 2022) 模型，这是一种在 CRS 数据集上训练过的模型。这种组合被称为 ChatGPT + MESE。
  • 无监督方法: text-embedding-ada-002 (Neelakantan et al., 2022) 模型，由 OpenAI API 提供，用于将输入文本转换为嵌入向量。然后可以通过计算嵌入向量之间的相似度来进行推荐。这种组合被称为 ChatGPT + text-embedding-ada-002。 这种集成方法旨在利用 ChatGPT 强大的对话理解和生成能力来丰富推荐模型的输入，同时利用外部推荐模型来约束输出空间，确保推荐物品在可评估范围内并提高准确性。

4.3. 新的评估方法：iEvaLM

论文提出的 iEvaLM 是一种交互式评估方法，它通过 LLM 驱动的用户模拟器来模拟真实的用户-系统交互，如图3所示：

该图像是一个示意图，展示了评估方法iEvaLM的框架。它基于现有的对话推荐系统（CRS）数据集，并包含两个设置：自由形式闲聊和基于属性的问题回答。左侧描述了如何进行闲聊，右侧展示了属性询问的流程。

4.3.1. 概述 (Overview)

iEvaLM 方法与现有 CRS 数据集无缝集成。每次系统-用户交互都会在现有的人工标注对话的基础上进行扩展。

• 核心思想: 基于 LLM 卓越的角色扮演能力 (Fu et al., 2023) 进行接近真实用户的模拟。
• 用户画像设置: 将 ground-truth items （真实标注物品）作为用户偏好，通过精心设计的指令 (instructions) 来设置 LLM 模拟用户的 persona （角色）。
• 评估内容: 交互结束后，不仅通过将预测结果与 ground-truth items 比较来评估准确性 (accuracy)，还通过 LLM 驱动的评分器 (LLM-based scorer) 来评估生成解释的 explainability （可解释性）。

4.3.2. 交互形式 (Interaction Forms)

为了进行全面评估，iEvaLM 考虑了两种类型的交互：

• 基于属性的问答 (Attribute-based Question Answering):
  • 系统动作限制: 系统的动作被限制为两种：
    1. 选择 $k$ 个预定义属性之一来询问用户。
    2. 直接进行推荐。
  • 交互流程: 在每一轮中，系统首先从这 $k+1$ 个选项中做出选择。然后，模拟用户给出基于模板的响应：回答关于目标物品属性的问题，或提供对推荐的反馈。
  • 示例: “系统：你喜欢什么类型？用户：科幻和动作。”
• 自由形式闲聊 (Free-form Chit-chat):
  • 无限制交互: 这种类型对交互没有任何限制，系统和用户都可以自由地采取主动。
  • 示例: “系统：你有什么特定类型吗？用户：我正在寻找一些充满动作和特效的电影。”

4.3.3. 用户模拟 (User Simulation)

iEvaLM 利用 LLMs 进行用户模拟，以支持与 CRS 的交互。模拟用户可以采取以下三种行为：

• 谈论偏好 (Talking about preference): 当系统进行澄清或询问用户偏好时，模拟用户会根据目标物品的信息进行响应。

• 提供反馈 (Providing feedback): 当系统推荐物品列表时，模拟用户会检查每个物品。如果找到目标物品，则提供积极反馈；否则，提供消极反馈。

• 结束对话 (Completing the conversation): 如果系统推荐了其中一个目标物品，或者交互达到预设的最大轮次，模拟用户将结束对话。

• 具体实现:

  • 模型选择: 使用 OpenAI API 提供的 text-davinci-003 (Ouyang et al., 2022) 模型作为用户模拟器，因为它在指令遵循方面表现出色。
  • Persona 构建: 通过手动编写的指令 (manual instructions) 来设置 text-davinci-003 的行为（详见附录 C.3）。这些指令首先将现有数据集中的 ground-truth items 填充到 persona template （角色模板）中，然后使用一组手动制定的规则定义其行为。
  • 交互过程: 在每一轮，将对话历史 (conversation) 附加到指令 (instruction) 作为输入。
  • API 参数: 调用 API 时，max_tokens 设置为 128，temperature 设置为 0（以使输出尽可能确定），其他参数保持默认。
  • 最大交互轮次: 设置为 5 轮。

4.3.4. 性能测量 (Performance Measurement)

iEvaLM 考虑了客观和主观指标来衡量推荐性能和用户体验。

• 客观指标：召回率 (Recall@k):
  • 目的: 评估交互过程中每次推荐操作的准确性。
  • 定义: 如 3.1.5 节所述，衡量在前 $k$ 个推荐中找到用户感兴趣物品的能力。
• 主观指标：说服力 (Persuasiveness):
  • 目的: 评估交互过程中最后一次推荐操作的解释质量，旨在评估用户是否会被说服接受推荐。
  • 评分范围: {0, 1, 2}。
    • 0: 不具说服力 (unpersuasive)
    • 1: 部分说服力 (partially persuasive)
    • 2: 极具说服力 (highly persuasive)
  • LLM 驱动的评分器 (LLM-based Scorer): 为了减少对人类的需求，论文提出使用 text-davinci-003 作为自动评分器。将对话 (conversation)、解释 (explanation) 和评分规则 (scoring rules) 拼接作为提示 (prompts) 提供给评分器（详见附录 C.4）。API 参数设置与用户模拟器相同。

5. 实验设置

本节详细介绍论文中使用的实验设置，包括数据集、评估指标、对比基线和模型细节。

5.1. 数据集

实验在两个广泛使用的 CRS 数据集上进行：

• REDIAL (Li et al., 2018):

  • 领域: 电影 (Movie) 推荐。
  • 特点: 这是 CRS 中最常用的数据集之一，包含用户之间关于电影推荐的真实对话。

• OPENDIALKG (Moon et al., 2019):

  • 领域: 多领域 (Multi-domain)，涵盖电影 (Movie)、书籍 (Book)、体育 (Sports) 和音乐 (Music)。

  • 特点: 提供了更丰富的领域信息，适合评估 CRS 在多领域场景下的表现。

    以下是原文 Table 1 的结果，展示了数据集的统计信息：

    Dataset	#Dialogues	#Utterances	Domains
    ReDial	10,006	182,150	Movie
    OpenDialKG	13,802	91,209	Movie, Book, Sports, Music

• 对话数量 (#Dialogues): ReDial 包含 10,006 条对话，OpenDialKG 包含 13,802 条对话。

• 话语数量 (#Utterances): ReDial 包含 182,150 条话语，OpenDialKG 包含 91,209 条话语。

5.2. 评估指标

论文主要采用 Recall@k 来评估推荐子任务的准确性。此外，对于 iEvaLM 框架下的可解释性评估，引入了 Persuasiveness （说服力）指标。

5.2.1. 召回率 (Recall@k)

• 概念定义: 召回率 Recall@k 衡量的是在系统给出的前 $k$ 个推荐中，用户实际感兴趣的物品有多少被成功推荐。它关注的是系统“找全”相关物品的能力。
• 数学公式: $$\text{Recall}@k = \frac{\sum_{u \in U} \mathbb{I}(R_{u,k} \cap T_u \neq \emptyset)}{|U|}$$
• 符号解释:
  • $U$: 所有用户的集合。
  • $u$: 集合 $U$ 中的一个特定用户。
  • $\mathbb{I}(\cdot)$: 指示函数，当括号内的条件为真时，返回1，否则返回0。
  • $R_{u,k}$: 对于用户 $u$，系统推荐的前 $k$ 个物品的列表。
  • $T_u$: 对于用户 $u$，其真正感兴趣（ground-truth）的物品列表。在许多 CRS 数据集中，通常假定每个对话有一个或少数几个 ground-truth 目标物品。
  • $R_{u,k} \cap T_u \neq \emptyset$: 表示在用户 $u$ 的前 $k$ 个推荐物品中，至少有一个 ground-truth 物品被成功推荐。
  • $|U|$: 用户总数。
• 具体设置:
  • 对于 REDIAL 数据集，$k$ 值设置为 1、10、50。
  • 对于 OPENDIALKG 数据集，$k$ 值设置为 1、10、25。
  • 对于 ChatGPT，由于其有时会拒绝一次性推荐过多物品，因此只评估 Recall@1 和 Recall@10。

5.2.2. 说服力 (Persuasiveness)

• 概念定义: 说服力 (Persuasiveness) 是一个主观指标，用于评估推荐解释的质量，即该解释在多大程度上能说服用户接受推荐。
• 评分范围: {0, 1, 2}。
  • 0: 不具说服力 (unpersuasive)，例如推荐物品比目标物品差。
  • 1: 部分说服力 (partially persuasive)，例如推荐物品与目标物品相当。
  • 2: 极具说服力 (highly persuasive)，例如解释中提及了目标物品，或者推荐物品比目标物品更好。
• 评估方式: 通过 LLM 驱动的评分器 (text-davinci-003) 进行自动评分，该评分器根据预设的评分规则对解释进行打分。

5.3. 对比基线

论文将 ChatGPT 与一系列有代表性的有监督和无监督方法进行比较：

• KBRD (Chen et al., 2019): 利用 DBpedia 知识图谱丰富对话中实体的语义理解。

• KGSF (Zhou et al., 2020): 采用两个知识图谱增强词汇和实体的语义表示，并通过互信息最大化对齐语义空间。

• CRFR (Zhou et al., 2021a): 在知识图谱上进行灵活的片段推理，以处理知识图谱固有的不完整性问题。

• BARCOR (Wang et al., 2022b): 基于 BART (Lewis et al., 2020) 提出的统一 CRS 框架，能够用单个模型处理推荐和对话两个任务。

• MESE (Yang et al., 2022): 将推荐任务建模为两阶段的物品检索过程（候选选择和排序），并在物品编码时引入元信息。

• UniCRS (Wang et al., 2022c): 为 DialoGPT (Zhang et al., 2020) 设计了结合知识图谱的提示 (prompts)，以统一的方式处理两个任务。

• text-embedding-ada-002 (Neelakantan et al., 2022): OpenAI API 提供的一个强大的无监督模型，用于将输入文本转换为嵌入向量，可用于计算相似度进行推荐。

  其中，text-embedding-ada-002 是一个无监督方法，而其他基线模型都是在 CRS 数据集上训练过的有监督方法。

5.4. 模型细节

• ChatGPT 模型: 实验中使用的是 OpenAI API 提供的 gpt-3.5-turbo 模型，这是 ChatGPT 的底层模型。
• 温度参数 (temperature): 设置为 0，以确保输出尽可能具有确定性，减少随机性。
• 提示 (Prompts): 文中使用的所有提示（包括 ChatGPT 的零样本提示、iEvaLM 中的推荐和解释提示，以及用户模拟器和 LLM 评分器的提示）都详细列在论文的附录 $C$ 中。

6. 实验结果与分析

本节将深入解读论文的实验结果，包括 ChatGPT 在传统评估下的表现、其失败原因分析、iEvaLM 用户模拟器的质量以及 CRS 在新评估框架下的性能。

6.1. 核心结果分析

6.1.1. 传统评估下 ChatGPT 的准确性与可解释性

论文首先在传统评估协议下比较了 ChatGPT 与其他 CRS 基线模型的性能。

以下是原文 Table 2 的结果，展示了现有 CRS 和 ChatGPT 的整体性能：

• 观察与分析:

  • 令人惊讶的低表现: ChatGPT 在零样本提示 (zero-shot prompting) 下，仅表现出平均水平，远低于性能最佳的基线模型，如 MESE 和 UniCRS。例如，在 ReDial 数据集上，ChatGPT 的 Recall@10 仅为 0.172，而 MESE 达到了 0.256。在 OpenDialKG 上差距更大。

  • 集成外部模型的提升: 当与外部推荐模型 (MESE 或 text-embedding-ada-002) 集成时，ChatGPT 的性能有所改善。这表明 ChatGPT 生成的响应能够帮助外部模型更好地理解用户偏好。在 OpenDialKG 数据集上，集成的 ChatGPT 甚至能接近或超过一些基线模型，例如 ChatGPT + text-embedding-ada-002 在 Recall@10 达到 0.539，超过了 KBRD、KGSF、CRFR、BARCOR，但仍低于 MESE。

  • 数据集差异: 在 REDIAL 数据集上，即使集成了外部模型，ChatGPT 与最佳模型之间仍存在显著差距；而在 OPENDIALKG 数据集上，差距则显著缩小。这可能与数据集的特点有关，OPENDIALKG 的多领域特性和可能更明确的偏好表达对 ChatGPT 更友好。

    尽管准确性表现不佳，但 ChatGPT 在生成解释方面表现出色。

以下是原文 Table 3 的结果，展示了 ChatGPT 生成解释与对话上下文的相关程度：

• 观察与分析: 绝大多数情况下，ChatGPT 都能生成高度相关 (Highly relevant) 的解释 (ReDial 上为 72%，OpenDialKG 上为 64%)。这表明 ChatGPT 能够理解用户偏好并提供合理的解释，这与其低准确性形成矛盾，促使作者进一步调查失败原因。

6.1.2. ChatGPT 失败的原因分析

通过对传统评估中 ChatGPT 错误推荐案例的检查，论文识别出两个主要原因，如图2所示：

该图像是一个示意图，展示了ChatGPT在对话推荐中的两个失败示例。示例(a)显示了用户偏好的缺乏明确表达，示例(b)则展示了缺乏主动澄清的情况，反映了ChatGPT在对话中可能出现的不足之处。

1. 缺乏明确的用户偏好 (Lack of Explicit User Preference):

   • 问题描述: 许多对话轮次非常短，CRS 难以收集足够证据来准确推断用户意图。此外，对话多为闲聊形式，用户偏好表达模糊。例如，在 Figure 2(a) 中，用户没有提供任何明确的物品信息。
   • 数据验证: 对少于三轮对话的失败案例进行随机抽样分析显示，51% 的案例被标注为用户偏好模糊。
   • 影响: 这个问题对未经过微调 (fine-tuned) 且完全依赖对话上下文进行预测的 ChatGPT 尤为严重。

2. 缺乏主动澄清 (Lack of Proactive Clarification):

   • 问题描述: 传统评估协议强制系统严格遵循现有对话流程，不支持 CRS 在需要时进行主动澄清。在真实场景中，当用户偏好不明确或有多种物品符合当前要求时，一个好的 CRS 会主动提问以获取更多信息。例如，在 Figure 2(b) 中，传统数据集直接给出推荐，而 ChatGPT 则要求用户提供更详细的偏好。
   • 数据验证: 对失败案例进行随机抽样分析发现，36% 的 ChatGPT 响应是澄清问题，而非直接推荐。
   • 影响: 这种行为在传统评估中被视为“错误”，因为它与 ground-truth 推荐不符，但实际上是 CRS 有效交互的关键能力。

6.1.3. 用户模拟器 (User Simulator) 质量评估

为了验证 iEvaLM 中 LLM 驱动用户模拟器的有效性，论文将其与微调版 DialoGPT 和 REDIAL 数据集中的原始人类对话进行比较。评估指标是 naturalness （自然度）和 usefulness （有用性），通过人类评估者进行配对比较。

以下是原文 Table 4 的结果，展示了在单轮和多轮设置下，自然度和有用性方面的性能比较：

• 观察与分析:
  • iEvaLM 显著优于 DialoGPT: iEvaLM 模拟器在自然度和有用性方面均显著优于 DialoGPT，尤其在多轮闲聊设置下的自然度 (55% vs 11%)。这表明 LLM 具有强大的语言生成能力，能够创建更逼真、更自然的对话。
  • 有用性突出: iEvaLM 模拟器在有用性方面也表现更好，这意味着它能提供更多有价值的信息以配合系统。在单轮设置下，iEvaLM 在有用性上胜出 43%，而 DialoGPT 仅为 23%。
  • 与人类对话的比较: iEvaLM 模拟器与人类对话相比，在自然度上有所胜出 (39% vs 10%)，在有用性上持平 (33% vs 34%)。这进一步证明了 iEvaLM 模拟器能够提供高质量且有用的交互，使其成为人类评估的可靠替代品。

6.1.4. iEvaLM 框架下的 CRS 性能评估

论文使用 iEvaLM 框架重新评估了现有 CRS 和 ChatGPT 的性能。对于 ChatGPT，使用了 ChatGPT + text-embedding-ada-002 组合。

以下是原文 Table 5 的结果，展示了在不同评估方法下 CRS 和 ChatGPT 的性能：

• 观察与分析:
  • 整体提升: 大多数模型在 iEvaLM 评估框架下（无论是 attribute-based question answering 还是 free-form chit-chat）都显示出准确性提升，这证实了交互的重要性，也是传统评估所忽视的。
  • ChatGPT 性能显著提升: ChatGPT 在 iEvaLM 下的性能显著提高。在 ReDial 数据集上，其 Recall@10 从 0.174 飙升至 0.536 (attr) 和 0.440 (free)，增幅分别高达 208.0% 和 152.9%。在 OpenDialKG 上，Recall@10 从 0.539 提高到 0.604 (attr) 和 0.715 (free)。这些数字表明 ChatGPT 具有卓越的交互能力，能够在获得足够的用户偏好信息后提供高质量的推荐。
  • 超越基线: ChatGPT 在 iEvaLM 下的 Recall@10 值甚至超越了多数 CRS 基线模型在 Recall@25 或 Recall@50 上的表现。
  • 现有 CRS 的交互能力: UniCRS 和 BARCOR 等利用预训练模型提升对话能力的 CRS 也从交互中受益。UniCRS 在 ReDial 的 free-form chit-chat 设置下，Recall@1 提升了 114.0%，Recall@10 提升了 47.4%。这说明这些模型也具备一定的交互能力。
  • 不同交互设置的差异:
    • ChatGPT 的通用性: ChatGPT 在两种交互设置下都表现良好，尤其在 free-form chit-chat 下性能更优。这验证了其作为通用 CRS 的巨大潜力。
    • 现有 CRS 的局限: 现有 CRS 在 OPENDIALKG 数据集的 attribute-based question answering 设置下，性能反而比传统评估差。这可能是因为它们主要在自然语言对话数据集上训练，与属性问答的结构化交互不一致。

6.1.5. 解释的说服力 (Persuasiveness) 评估

论文还评估了 CRS 在 iEvaLM 框架下（仅 free-form chit-chat 设置）的解释说服力。

以下是原文 Table 6 的结果，展示了解释的说服力：

• 观察与分析:
  • ChatGPT 解释更具说服力: ChatGPT 在 iEvaLM 下的解释说服力显著提高，在 ReDial 上从 0.787 提升到 1.331 ($+48.2$)，在 OpenDialKG 上从 1.221 提升到 1.513 ($+16.5$)。这表明 ChatGPT 不仅能提供准确的推荐，还能生成高质量、有说服力的解释，进一步增强用户体验。
  • 现有 CRS 的解释提升: 其他 CRS 模型在 iEvaLM 下的解释说服力也有所提升，例如 UniCRS 在 ReDial 上提升了 48.2%。这再次强调了交互式评估的重要性，因为它能揭示传统评估中被忽视的 CRS 优势。

6.1.6. 评估可靠性分析

论文还评估了 iEvaLM 中 LLM 驱动的评分器和用户模拟器的可靠性。

1. LLM 评分器与人类评估的比较: 以下是原文 Table 7 的结果，展示了 LLM 评分器和人类评估器在说服力评分分布上的比较：

   Method	Unpersuasive	Partially persuasive	Highly persuasive
   iEvaLM	1%	5%	94%
   Human	4%	7%	89%

   • 观察与分析: LLM 评分器与人类评估者在说服力评分分布上非常相似。例如，在“极具说服力”的分类上，iEvaLM 评分器给出 94%，人类给出 89%。这表明 LLM 评分器可以作为人类评估的可靠替代品。

2. LLM 用户模拟器与真实用户的比较: 以下是原文 Table 8 的结果，展示了使用模拟用户和真实用户时的评估结果：

   Evaluation Approach		KBRD	BARCOR	UniCRS	ChatGPT
   iEvaLM	Recall@10	0.180	0.210	0.330	0.460
   	Persuasiveness	0.810	0.860	1.050	1.330
   Human	Recall@10	0.210	0.250	0.370	0.560
   	Persuasiveness	0.870	0.930	1.120	1.370

   • 观察与分析: 模拟用户得到的模型排名与真实用户一致，且绝对分数也具有可比性。例如，ChatGPT 在 Recall@10 和 Persuasiveness 上都表现最佳，无论是模拟用户 (0.460, 1.330) 还是真实用户 (0.560, 1.370)。这表明 LLM 用户模拟器能够提供有说服力的评估结果，是人类评估的可靠替代品。

6.1.7. 交互轮次对性能的影响

论文还探讨了交互轮次对 iEvaLM 框架下 ChatGPT 性能的影响。

以下是原文 Figure 4 的图表，展示了 ChatGPT 在 REDIAL 数据集上，不同交互轮次下 Recall@10 的表现：

该图像是一个图表，展示了在REDIAL数据集中，ChatGPT在属性基础问答（attr）和自由形式闲聊（free）设置下，不同交互轮次的Recall@10表现。随着交互轮次的增加，自由形式闲聊的表现优于属性基础问答。

• 图表描述: 该图表展示了 ChatGPT 在 REDIAL 数据集上，在 attribute-based question answering (attr) 和 free-form chit-chat (free) 两种设置下，随着交互轮次（从 1 到 5）增加，Recall@10 指标的变化。
  • 在 attribute-based question answering (attr) 设置中，Recall@10 随着轮次的增加而稳步上升，并在第 4 轮达到饱和。
  • 在 free-form chit-chat (free) 设置中，Recall@10 在第 1 到第 3 轮之间急剧上升，随后在第 3 到第 5 轮之间趋于平缓。
• 观察与分析:
  • 信息积累效应: 更多的交互轮次通常意味着系统可以收集更多用户偏好信息，从而提高推荐准确性。
  • 饱和点: 在 attribute-based question answering 中，性能在第 4 轮达到饱和，这与 REDIAL 数据集只有三个属性可供询问的设定相符。
  • 闲聊的特点: 在 free-form chit-chat 中，性能曲线在前几轮（1-3 轮）非常陡峭，表明初始轮次信息不足，但随着对话的深入，信息迅速积累。在后续轮次（3-5 轮）曲线趋于平缓，可能因为用户逐渐疲惫或边际信息增益减少。
• 研究启示: 这部分分析强调了交互轮次与性能之间的平衡，以及优化对话策略以在用户耐心耗尽前达到最佳推荐效果的重要性。

6.2. 数据呈现 (表格)

所有表格已在 6.1 核心结果分析中，在对应的结果解读部分完整转录。

6.3. 消融实验/参数分析

论文中未明确进行消融实验来验证模型各组件的有效性（例如 ChatGPT 的不同模块），但通过比较 ChatGPT 零样本提示与集成外部推荐模型，以及 ChatGPT 在传统评估与 iEvaLM 评估下的表现，间接展示了不同因素（如推荐模型集成、交互能力）对结果的影响。关于参数分析，论文探讨了交互轮次对性能的影响，如 6.1.7 所述。

7. 总结与思考

7.1. 结论总结

这篇论文对 大型语言模型 (LLMs)，特别是 ChatGPT 在会话推荐系统 (CRSs) 中的能力进行了系统性考察，并提出了一个创新的交互式评估方法 iEvaLM。

• 传统评估的局限: 论文首先揭示了 ChatGPT 在现有基准数据集的传统评估协议下表现不佳，其根本原因在于传统协议过分强调与 ground-truth 物品或话语的匹配，而忽视了 CRS 的交互本质（如主动澄清用户偏好）。

• iEvaLM 的提出: 为了解决这一问题，论文提出了 iEvaLM，一个基于 LLM 驱动用户模拟器的交互式评估框架。该框架能够模拟用户与系统间的灵活多轮对话，并同时评估推荐的准确性 (accuracy) 和解释的说服力 (persuasiveness)。

• ChatGPT 的强大潜力: 在 iEvaLM 框架下，ChatGPT 的性能显著提升，在准确性和可解释性方面均超越了当前领先的 CRS 模型。这证实了 ChatGPT 强大的交互能力及其作为通用 CRS 的巨大潜力。

• 交互的重要性: 实验结果也表明，即使是现有 CRS 模型，也能从交互中获得性能提升，这强调了交互能力在 CRS 中的关键作用，而这一作用在传统评估中常被忽视。

• 评估的可靠性: 论文还通过实验验证了 LLM 驱动的用户模拟器和解释评分器能够提供与人类评估一致的结果，证实了 iEvaLM 评估的有效性和可靠性。

  总的来说，这项工作深化了对 LLMs 在会话推荐领域应用的理解和评估，为 LLM 时代 CRS 的未来研究铺平了道路。

7.2. 局限性与未来工作

论文作者指出了当前研究的几个局限性，并提出了未来的研究方向：

• 提示设计 (Prompt Design):
  • 局限性: 论文中的 ChatGPT 和 LLM 用户模拟器的提示 (prompts) 是手动编写并根据代表性示例进行选择的，由于 API 调用成本，未能进行更全面的探索。
  • 未来工作: 可以探索更有效的提示策略，如 chain-of-thought （思维链），以获得更好的性能。此外，评估该评估框架对不同提示的鲁棒性也是未来的研究方向。
• 评估维度 (Evaluation Scope):
  • 局限性: iEvaLM 框架主要关注推荐的准确性 (accuracy) 和可解释性 (explainability)。
  • 未来工作: 未能充分捕捉与公平性 (fairness)、偏见 (bias) 或隐私 (privacy) 相关的潜在问题。未来的工作应探索如何将这些方面纳入评估过程，以确保 CRS 的负责任部署。

7.3. 个人启发与批判

7.3.1. 个人启发

• 评估范式的转变: 这篇论文最核心的启发在于，随着 LLMs 技术的飞速发展，传统的、静态的评估范式已经不足以准确衡量这些强大模型的真实能力。对于像 CRS 这样本质上就是交互式的系统，脱离交互来评估就像是盲人摸象。iEvaLM 提供了一个非常及时且有效的解决方案，指出评估应该更加动态、更贴近真实世界。
• LLMs 的多面性: ChatGPT 在传统评估中表现平平，但在交互式评估中却大放异彩，这揭示了 LLMs 的真正价值可能隐藏在其交互和泛化能力中，而非仅仅是基于特定数据集的微调性能。它们不仅仅是“知识库”，更是“智能代理”，能够进行推理、澄清和适应。
• 用户模拟器的革命: 利用 LLMs 来构建用户模拟器是一个极其巧妙且高效的思路。它解决了人类评估成本高昂的问题，同时又克服了传统模板式模拟器的僵硬性。这预示着未来在各种人机交互系统（如对话系统、教育系统、游戏 AI）的开发和评估中，LLM 驱动的模拟器将扮演越来越重要的角色。
• 可解释性的价值: 论文强调了可解释性，并提出 LLM 评分器来自动评估解释的说服力。这提醒我们，在推荐系统中，“推荐什么”和“为什么推荐”同样重要。一个好的解释可以显著提升用户信任和满意度。
• 提示工程的重要性: 尽管论文指出提示设计是一个局限性，但也反向强调了 提示工程 (Prompt Engineering) 在 LLM 应用中的核心地位。如何通过巧妙的指令激发 LLM 的最大潜力，将是未来研究和实践中的关键。

7.3.2. 批判与潜在改进

• 提示设计的鲁棒性: 虽然作者提到提示设计是局限性，但其影响可能比预想的更大。不同的提示可能会导致 LLM 表现出截然不同的行为和性能。iEvaLM 框架的评估结果在多大程度上依赖于当前精心设计的提示，其对提示变化的敏感度如何，仍有待更深入的探究和验证。例如，如果恶意用户使用误导性提示，LLM 模拟器是否依然可靠？
• 用户偏好的真实性与多样性: iEvaLM 中的用户模拟器是基于 ground-truth items 构建 persona 的。这保证了模拟用户有明确的目标，但在真实世界中，用户的偏好可能模糊、多变、甚至相互矛盾。未来的模拟器可以尝试引入更复杂的用户行为模型，例如模拟用户的情绪、耐心、遗忘或探索新事物的倾向，以提高模拟的真实性。
• LLM 幻觉 (Hallucination) 的影响: LLMs 存在生成“幻觉”内容的风险，即生成看似合理但实际不准确的信息。在 CRS 中，这可能意味着推荐了不存在的物品，或者给出了错误的解释。iEvaLM 是否能有效捕捉并评估这种“幻觉”对推荐和解释的影响，需要进一步研究。
• 计算成本与效率: 尽管 LLM 模拟器比人类评估更便宜，但频繁调用 LLM API 仍然会产生可观的计算成本。对于大规模、高频次的评估场景，如何优化 iEvaLM 的效率，例如通过更小的 LLM 或本地部署模型进行模拟，将是一个实际挑战。
• 伦理和社会考量: 论文提到公平性、偏见和隐私是未来的研究方向。对于 LLM 驱动的 CRS 而言，这些问题尤为突出。LLM 可能内嵌训练数据中的偏见，导致不公平的推荐；用户在对话中透露的个人信息可能被滥用。如何在评估框架中有效纳入这些伦理考量，是确保 CRS 负责任部署的关键。
• 人类评估的必要性: 尽管 LLM 模拟器表现出色，但完全替代人类评估可能仍需谨慎。最终的用户体验和满意度，仍需通过真实用户研究来最终验证。LLM 模拟器可能更适合作为开发阶段的快速迭代工具，而人类评估则是最终的质量把关。