1. 论文基本信息

1.1. 标题

知识选择如何帮助检索增强生成？(How Does Knowledge Selection Help Retrieval Augmented Generation?)

1.2. 作者

Xiangci Li 和 Jessica Ouyang。Xiangci Li 隶属于 AWS AI Labs 和得克萨斯大学达拉斯分校，Jessica Ouyang 隶属于得克萨斯大学达拉斯分校。

1.3. 发表期刊/会议

本文作为预印本发表于 arXiv。

1.4. 发表年份

2024年。

1.5. 摘要

检索增强生成 (Retrieval-Augmented Generation, RAG) 是一种通过将外部知识整合到模型的输出中来增强自然语言生成 (Natural Language Generation, NLG) 的强大方法。虽然先前的研究已经证明改进知识检索对于提高生成质量的重要性，但知识选择（又称重排序或过滤）的作用仍然不甚明确。本文通过实证分析了知识选择如何影响 RAG 系统中的下游生成性能。通过控制金知识 (gold knowledge) 和干扰知识 (distractor knowledge) 的混合比例来模拟不同的检索和选择条件，我们评估了这些因素对生成结果的影响。研究结果表明，下游生成模型的能力，以及任务和数据集的复杂性，显著影响知识选择对整个 RAG 系统性能的影响。在典型场景中，提高知识召回率 (knowledge recall score) 是增强生成结果的关键，当在清晰、明确定义的任务上使用强大的生成模型时，知识选择器 (knowledge selector) 提供的益处有限。对于较弱的生成模型或更模糊的任务和数据集，知识 F1 分数 (knowledge F1 score) 成为一个关键因素，知识选择器在提高整体性能方面发挥着更突出的作用。

1.6. 原文链接

原文链接: https://arxiv.org/abs/2410.13258 PDF 链接: https://arxiv.org/pdf/2410.13258v4.pdf 发布状态: 预印本 (Preprint)。

2. 整体概括

2.1. 研究背景与动机

RAG 技术在自然语言生成领域日益重要，它通过引入外部知识来增强语言模型生成相关且信息丰富的输出的能力。现有研究普遍认同知识检索 (knowledge retrieval) 对于 RAG 性能的提升至关重要。与检索并行的是知识选择 (knowledge selection)，也被称为重排序 (reranking) 或过滤 (filtering)，它旨在从检索到的知识中进一步筛选出最相关的部分，以期进一步提升生成质量。然而，作者观察到：

1. 知识选择应用场景受限： 知识选择模块在对话生成任务中应用较多，但在其他 RAG 任务中较少使用，尤其是在基于大语言模型 (Large Language Models, LLMs) 的 RAG 工作中，知识选择的普及度远低于微调 (fine-tuned) 的 RAG 模型。

2. 缺乏系统性分析： 现有的关于知识选择的研究多集中于提出特定的选择方法，并通过消融实验 (ablation studies) 证明其有效性，但这些研究往往提供的是狭隘、案例特定的见解，缺乏对知识选择如何影响生成性能以及何时最有效的全局性视图。作者假设可能存在一种“选择偏差效应”，即只有知识选择器带来积极结果的实验才会被报道，而那些没有显著帮助或甚至有害的实验结果则可能被忽略。

   基于这些观察，本文旨在填补这一空白，对知识选择在 RAG 系统中的作用进行系统性的实证分析。

2.2. 核心贡献/主要发现

本文的核心贡献在于通过大规模模拟实验，系统地分析了知识检索和知识选择的性能如何影响下游 RAG 系统的生成效果。主要发现包括：

1. 知识召回率是关键： 对于强大的生成模型以及清晰、明确定义的任务，提高知识召回率是提升生成结果的关键。在这种情况下，知识选择器带来的额外益处有限。

2. 知识 F1 分数的重要性： 对于较弱的生成模型或任务/数据集更模糊的场景，知识 F1 分数成为一个关键因素，知识选择器在改善整体性能方面发挥着更突出的作用。

3. 生成模型能力的影响： 生成模型的强大程度显著影响 RAG 系统的整体性能以及知识选择的有效性。强大的生成模型对噪声输入更具鲁棒性，对知识选择器的依赖性较低。

4. 任务和数据集复杂性的影响： 任务和数据集的性质（例如，金知识和干扰知识的区分度、答案空间的大小、噪声水平）对 RAG 性能趋势有显著影响。例如，某些情况下，即使包含噪声，更多的知识反而能带来更好的生成效果。

5. 非单调趋势： 在某些情况下（如在 WoW 数据集上），随着知识精确度的提高，生成性能可能呈现非单调趋势，这可能与数据集中的噪声知识标注有关。

6. 知识量约束影响： 限制知识输入量（例如，只使用 top-$k$ 知识）虽然可以降低计算成本，但并不会改变知识精确度-召回率与生成 F1 之间的整体关系。

   这些发现为 RAG 系统的实践者提供了宝贵的指导，帮助他们理解何时以及如何有效地利用知识选择来优化 RAG 性能。

3. 预备知识与相关工作

3.1. 基础概念

为了理解本文，需要了解以下基础概念：

• 自然语言生成 (Natural Language Generation, NLG): NLG 是人工智能的一个子领域，专注于使计算机能够从结构化数据或非结构化数据中生成人类可读的文本。
• 大语言模型 (Large Language Models, LLMs): 指的是拥有数亿甚至数千亿参数的深度学习模型，它们通过在海量文本数据上进行预训练 (pre-training) 而获得强大的语言理解和生成能力。例如 GPT-4、LLaMA、Mistral 等。
• 检索增强生成 (Retrieval-Augmented Generation, RAG): 一种增强 LLM 生成能力的技术。它通过检索外部知识库中的相关信息，并将这些信息作为上下文输入给 LLM，从而使 LLM 能够生成更准确、更具信息量且与最新事实保持一致的文本。 RAG 系统通常包含三个主要步骤：
  1. 知识检索 (Knowledge Retrieval): 根据用户查询 (query)，从一个大型的外部知识库中检索出一组候选的知识片段或文档。这一步通常由一个检索器 (retriever) 完成，目标是尽可能多地召回相关知识，并保持一定的精确度。
  2. 知识选择 (Knowledge Selection): 对检索到的知识进行进一步的过滤或重排序，以去除不相关或低质量的知识，从而得到一个更精炼的知识子集。这一步通常由一个选择器 (selector) 完成。
  3. 生成 (Generation): 将用户查询和经过选择的知识输入给一个生成模型（通常是 LLM），由生成模型结合这些信息来生成最终的响应或答案。
• 金知识 (Gold Knowledge): 指与给定查询或任务直接相关、准确且有助于生成正确响应的真实有用知识。在实验中，这通常是经过人工标注或专家确定的正确知识片段。
• 干扰知识 (Distractor Knowledge): 指与给定查询或任务不相关、错误或对生成正确响应无益的知识。它代表了检索过程中可能出现的噪声或不准确信息。
• 知识精确度 (Knowledge Precision, KP): 衡量检索或选择出的知识中，有多少比例是金知识。 $$\mathrm{KP} = \frac{\text{检索或选择出的金知识数量}}{\text{检索或选择出的总知识数量}}$$
• 知识召回率 (Knowledge Recall, KR): 衡量所有金知识中，有多少比例被检索或选择出来。 $$\mathrm{KR} = \frac{\text{检索或选择出的金知识数量}}{\text{所有金知识数量}}$$
• 知识 F1 分数 (Knowledge F1 Score, KF1): 精确度和召回率的调和平均值，综合衡量知识检索或选择的性能。 $$\mathrm{KF1} = 2 \times \frac{\mathrm{KP} \times \mathrm{KR}}{\mathrm{KP} + \mathrm{KR}}$$
• ROUGE-L F1: 一种评估生成文本与参考文本之间重叠度的指标，常用于摘要和生成任务。它基于最长公共子序列 (Longest Common Subsequence, LCS)。 $$\mathrm{ROUGE-L_P} = \frac{\mathrm{LCS}(\text{Reference}, \text{Generated})}{\text{Length}(\text{Generated})}$$ $$\mathrm{ROUGE-L_R} = \frac{\mathrm{LCS}(\text{Reference}, \text{Generated})}{\text{Length}(\text{Reference})}$$ $$\mathrm{ROUGE-L_{F1}} = \frac{(1 + \beta^2) \times \mathrm{ROUGE-L_P} \times \mathrm{ROUGE-L_R}}{\beta^2 \times \mathrm{ROUGE-L_P} + \mathrm{ROUGE-L_R}}$$ 其中，$\mathrm{LCS}$ 是最长公共子序列的长度；Reference 是参考文本；Generated 是生成文本；$\mathrm{Length}(\cdot)$ 是文本的长度；$\beta$ 是一个权重因子，通常设置为 1，此时 F1 分数是精确率和召回率的调和平均值。
• F1 分数 (F1 Score): 在问答任务中，F1 分数通常指生成答案与参考答案之间的词语重叠度，并结合了精确率 (precision) 和召回率 (recall)。 $$\mathrm{F1} = 2 \times \frac{\mathrm{Precision} \times \mathrm{Recall}}{\mathrm{Precision} + \mathrm{Recall}}$$ 其中，Precision 是生成答案中与参考答案重叠的词语比例，Recall 是参考答案中与生成答案重叠的词语比例。
• 精确匹配 (Exact Match, EM): 在问答任务中，EM 衡量生成答案是否与参考答案完全一致。它是一个二元指标（0 或 1）。

3.2. 前人工作

作者在相关工作中提到了以下几类研究：

• 早期 RAG 工作: 早期 RAG 模型（例如 Guu et al., 2020; Lewis et al., 2020b; Shuster et al., 2021）通常联合微调一个稠密检索器 (dense retriever，如 DPR) 和一个生成器 (generator，如 BART)，这需要专门的训练数据集。
  • DPR (Dense Passage Retrieval): 一种基于双编码器 (dual-encoder) 结构的稠密检索模型。它分别将查询和文档（或段落）编码成低维稠密向量，然后通过计算向量之间的相似度（如点积）来检索最相关的文档。
  • BART: 一种基于 Transformer 架构的去噪序列到序列 (denoising sequence-to-sequence) 预训练模型，适用于各种自然语言生成、翻译和理解任务。
• 基于 LLM 的 RAG: 随着 LLM 的兴起，RAG 的实现变得更加便捷，因为 LLM 具有强大的生成能力、上下文学习 (in-context learning) 能力以及显著增长的上下文窗口。因此，最近的 RAG 研究主要转向使用 LLM（Gao et al., 2023; Fan et al., 2024; Gan et al., 2025）。本文也遵循这一趋势，专注于基于 LLM 的 RAG。
• 知识选择在知识接地对话生成中的应用: 对话生成是 RAG 的主要应用之一，其中目标响应以检索到的知识为条件。知识选择步骤常用于进一步提炼检索到的知识（Thulke et al., 2021; Sun et al., 2023; Zhang et al. 2023）。例如：
  • Kim et al. (2020) 通过利用响应信息训练知识选择器。
  • Li et al. (2022) 从文档语义图 (document semantic graphs) 中选择知识。
  • Zhang et al. (2023) 提出了多任务学习 (multi-task learning) 方法用于知识选择和响应生成。
  • Zhao et al. (2025) 为 Natural Question (Kwiatkowski et al., 2019) 和 Trivia QA (Joshi et al., 2017) 提出了多步骤重排序过程。 然而，这些工作虽然通过消融研究展示了其方法的优势，但其通过知识选择获得的性能提升是否能推广到其他数据集、领域或任务尚不明确。此外，尽管 LLM 在 RAG 中流行，但包含知识选择步骤的基于 LLM 的工作却显著减少。

3.3. 技术演进

RAG 技术从早期联合微调检索器和生成器的方式，发展到利用 LLM 强大的零样本/少样本 (zero-shot/few-shot) 生成和上下文学习能力，以及更长的上下文窗口。这种演进使得 RAG 系统的构建更加灵活和高效。

在知识选择方面，早期的工作主要集中在为特定任务（如对话生成）设计复杂的知识选择模块，并对其进行专门训练。然而，随着 LLM 的普及，人们开始质疑这些独立的知识选择模块的必要性，因为 LLM 本身就可能具备一定的从噪声中识别相关信息的能力。本文正是针对这一未解之谜，通过系统性实验来探讨知识选择在当前 LLM 驱动的 RAG 范式中的实际价值。

3.4. 差异化分析

本文的工作与现有研究的主要区别在于其系统性和模拟性。

• 现有工作: 大多数现有工作要么提出特定的知识选择方法并进行局限于特定任务和模型的消融研究，要么研究知识检索对 RAG 的影响（如 Cuconasu et al., 2024; Wu et al., 2024; Jin et al., 2025）。这些研究往往只比较少数几种配置，并且可能存在“选择偏差”，即只报道积极的结果。
• 本文工作: 本文通过模拟不同知识检索和选择条件，混合金知识和干扰知识，在大规模实验中涵盖了数百种不同的知识质量配置。这种方法使得能够系统地分析知识选择性能（由知识精确度和召回率衡量）如何影响下游 LLM 驱动的 RAG 系统的性能，并揭示了生成模型能力、任务和数据集复杂性等因素在其中的交互作用。本文旨在提供一个更宏观、更普遍的视角，而非仅仅是特定方法或特定案例的有效性证明。

4. 方法论

4.1. 方法原理

本文旨在通过系统模拟来分析知识检索和知识选择结果对下游 RAG 性能的影响。核心思想是，通过控制金知识和干扰知识的比例，来模拟不同质量的检索和选择结果，然后观察这些不同质量的知识输入如何影响生成模型的输出。

RAG 过程通常包含三个步骤：

1. 知识检索 (Knowledge retrieval)：检索器根据查询 $q$ 检索一组候选知识 $K$。目标是平衡知识召回率和精确度，尽可能多地检索相关知识。

2. 知识选择 (Knowledge selection)（可选）：选择器从 $K$ 中移除不相关的知识，生成一个更精炼的知识子集 $K'$，以提高知识精确度。

3. 生成 (Generation)：生成器接收查询 $q$ 和选择后的知识 $K'$，生成最终输出文本 $r$。

   本文通过模拟上述步骤 1 和 2 来创建受控的知识集 $K'$，并观察步骤 3 中生成模型的性能。

4.2. 核心方法详解

4.2.1. 知识模拟 (Knowledge Simulation)

本文采用了一种模拟方法来系统分析知识检索和选择结果对下游 RAG 性能的影响，如 Figure 1 所示。

该图像是一个示意图，描述了知识选择在检索增强生成中的模拟实验流程。图中展示了查询、知识池、生成模型及答案评估的交互过程，强调了金知识和干扰知识的作用，以及知识评价的关键因素。

Figure 1: Our simulation experiment pipeline.

模拟流程:

1. 固定知识池: 对于每个查询 $q$，数据集提供一个固定的可用知识池，其中包含金知识 (gold knowledge) 和它们的金相关性标注。
2. 采样金知识和干扰知识: 作者通过以不同的采样率 $p_{gold}$ 和 $p_{noise}$ 抽取金知识和干扰知识，来精确模拟广泛质量范围的检索和选择结果 $K'$。
   • $p_{gold}$: 金知识的采样率。例如，如果 $p_{gold} = 0.5$，则每条金知识有 50% 的机会被采样。
   • $p_{noise}$: 干扰知识的采样率。
3. 创建 $K'$: 每次采样都会生成一个用于实验的知识集 $K'$。
4. 进行完整实验: 每次采样生成一个 $K'$ 后，会在整个测试集上进行一次完整的生成实验。这个实验的结果作为 Figure 2-4 中的一个数据点。

采样策略: 知识精确度 (Knowledge Precision, KP) 和知识召回率 (Knowledge Recall, KR) 是衡量知识检索和选择性能的最常用指标。

• 知识召回率: $p_{gold}$ 与知识召回率呈线性关系。
• 知识精确度: $p_{noise}$ 与知识精确度呈指数关系。 为了在知识精确度-召回率空间中模拟广泛的性能范围，作者在 $p_{gold}$ 的线性空间和 $p_{noise}$ 的线性及指数空间中进行网格搜索 (grid search)，以确保大多数网格点都被实验覆盖。

知识顺序: 知识句子在数据集中的原始顺序被保留，作者未观察到金知识句子位置对结果的显著影响。

模拟优势: 相比于现有工作只比较少数几种消融配置，本文通过这种模拟方法在每次元实验中进行了数百种配置，从而能够系统地、广泛地研究知识选择对 LLM 驱动的 RAG 的通用影响。

4.2.2. 生成器 (Generators)

为符合 RAG 研究的最新趋势并简化分析，本文选择 LLM 作为生成模型。为了控制计算成本（每个元实验包含数百个完整实验），本文使用了以下三个基于 API 的轻量级 LLM 作为生成器模型：

• OpenAI GPT-4o-mini

• LLaMA 3.1 8B

• Mistral 7B-Instruct

  这些模型性能各异，使得作者能够探究生成器复杂性对知识使用的影响。

输入知识设置:

• Full knowledge (全知识) 设置: 将数据集提供的整个检索到的知识集 $K$ 作为生成器的输入（即不进行知识选择）。这对应于具有完美召回率但没有知识选择的知识检索。它是一个强大的基线。
• No knowledge (无知识) 设置: 生成器不接收任何外部知识。这是一个弱基线，用于衡量生成器仅凭其内部知识的性能。
• Gold knowledge (金知识) 设置: 仅将金知识作为输入。这对应于完美的知识选择，作为 RAG 性能的上限。

4.2.3. 提示模板 (Prompt Templates)

本文使用零样本提示 (zero-shot prompting) 来指导 LLM 生成。尽管尝试过思维链 (Chain-of-Thought, CoT) 提示，但对于 LLaMA 3.1 8B 和 Mistral-7B-Instruct 而言，CoT 并没有优于零样本提示。为了保持设置尽可能简单，本文在所有实验中均采用零样本提示。

WoW 数据集提示模板 (Jinja2): The following is the conversation between the "Wizard", a knowledgable speaker who can access to Wikipedia knowledge sentences to chat to with the "Apprentice", who does not have access to Wikipedia. The conversation is about "{{persona}}". {% if history %} Here is the conversation history: {% for turn in history %} {{turn.speaker}}: {{turn.text}} {% endfor %} {% endif %} {% if context %} Here are some retrieved Wikipedia knowledge for the Wizard. The Wizard can choose any subset of the fol- lowing knowledge. It's also allowed to not choosing any of them. {% for evidence in context %} Title: {{ evidence.title }} Sentences: {% for sentence in evidence.sentences %} - {{ sentence }} {% endfor %} {% endfor %} {% endif %} 该模板旨在模拟 Wizard of Wikipedia 对话场景。Wizard 能够访问 Wikipedia 知识，而 Apprentice 不能。模板会提供对话历史 (history) 和检索到的 Wikipedia 知识 (context)，让 Wizard 选择知识并生成响应。

HotpotQA 数据集提示模板 (Jinja2): Answer this question from HotpotQA with a response that is as short as possible, e.g. one word: {{ question }} {% if context %} Use the following support evidence to answer: {% for evidence in context % } Title: {{ evidence.title }} Sentences: {% for sentence in evidence.sentences % } - sentence {% endfor %} {% endfor %} {% endif %} 该模板用于 HotpotQA 问答任务。它指示 LLM 使用提供的支持证据 (context) 来回答问题 (question)，并要求答案尽可能简短。

4.2.4. 约束知识长度的知识选择和答案生成 (Length-Constrained Knowledge Selection and Answer Generation)

为了研究知识输入长度约束对答案生成性能的影响，作者进行了一项额外的实验。

方法:

• 当模拟的知识选择器选择的句子数量超过预设的 $k$ 个时，会随机抽取 $k$ 个句子作为输入。
• 对于 WoW 和 HotpotQA，都选择了 $k=3$。这是因为这两个数据集的平均候选知识句子数量分别为 7.1 和 9.5，选择 $k=3$ 可以在显著减少输入长度的同时，仍然保持一定的知识量。

目的: 探讨在保持知识精确度和召回率大致不变的情况下，减少知识输入量是否会改变生成性能。这对于评估知识选择器在降低计算成本方面的潜在优势很重要。

5. 实验设置

5.1. 数据集

本文选择了两个流行且具有代表性的数据集进行实验：

1. Wizard of Wikipedia (WoW) (Dinan et al., 2019)

   • 来源与特点: 一个基于 Wikipedia 知识的开放域对话数据集，广泛用于知识选择研究。对话中的 Wizard 角色（由人类标注者扮演）可以访问 Wikipedia 知识，而 Apprentice 角色不能。Wizard 会选择一个知识句子来生成响应。
   • 噪声特点: 该数据集的对话生成任务具有挑战性，评估复杂。一个主要特点是，Wizard 只能选择单个知识句子，这意味着即使未被选中的“干扰”知识也可能与 Wizard 的响应相关。此外，WoW 中的金响应并非唯一合理响应，这使得量化生成响应的正确性变得困难。作者认为 WoW 是一个噪音相对较高的真实场景数据集。
   • 样本示例: 对话历史和从 Wikipedia 检索的知识，Wizard 基于此生成响应。

2. HotpotQA (Yang et al., 2018)

   • 来源与特点: 一个从 Wikipedia 知识派生的问题回答数据集，包含多跳问题 (multi-hop questions)。问题和答案最初直接来自金知识图谱，然后注入干扰知识以增加难度。

   • 噪声特点: 与 WoW 不同，HotpotQA 中的答案强烈依赖于金知识，且干扰知识通常是真正不相关的。其简短明确的金答案使得使用 F1 分数进行评估更为直接和简单。作者认为 HotpotQA 的噪声水平低于 WoW，金知识与干扰知识的区分更清晰。

   • 样本示例: 一个多跳问题，以及从 Wikipedia 检索的多个段落，其中包含金知识和干扰知识，模型需要从中找出答案。

     选择原因: 尽管存在一些其他支持 RAG 框架的数据集，但高质量、人工标注的金知识数据集相对较少。同时，为了确保使用 F1 分数等自动指标进行评估的可靠性，目标输出应相对简短、明确且易于评估。WoW 和 HotpotQA 符合这些条件，并且在相关研究中具有代表性。

5.2. 评估指标

本文使用了以下评估指标来衡量生成性能和知识质量：

• 知识精确度 (Knowledge Precision, KP):

  1. 概念定义: 衡量在检索或选择出的知识集中，有多少比例是真正相关的金知识。高精确度意味着系统提供的知识噪音少。
  2. 数学公式: $$\mathrm{KP} = \frac{|\text{Selected Gold Knowledge}|}{|\text{Selected Knowledge}|}$$
  3. 符号解释:
     • $|\text{Selected Gold Knowledge}|$: 被检索或选择出的金知识的数量。
     • $|\text{Selected Knowledge}|$: 被检索或选择出的总知识数量。

• 知识召回率 (Knowledge Recall, KR):

  1. 概念定义: 衡量所有可用的金知识中，有多少比例被检索或选择出来。高召回率意味着系统能够找到大部分相关的金知识。
  2. 数学公式: $$\mathrm{KR} = \frac{|\text{Selected Gold Knowledge}|}{|\text{All Gold Knowledge}|}$$
  3. 符号解释:
     • $|\text{Selected Gold Knowledge}|$: 被检索或选择出的金知识的数量。
     • $|\text{All Gold Knowledge}|$: 所有可用的金知识的总数量。

• 知识 F1 分数 (Knowledge F1 Score, KF1):

  1. 概念定义: 精确度和召回率的调和平均值，综合考虑了知识检索或选择的性能。它在高精确度和高召回率之间取得平衡。
  2. 数学公式: $$\mathrm{KF1} = 2 \times \frac{\mathrm{KP} \times \mathrm{KR}}{\mathrm{KP} + \mathrm{KR}}$$
  3. 符号解释:
     • $\mathrm{KP}$: 知识精确度。
     • $\mathrm{KR}$: 知识召回率。

• ROUGE-L F1 (Response ROUGE-L F1): 用于评估生成响应与参考响应之间的文本相似度，特别是在 WoW 这类对话生成任务中。

  1. 概念定义: ROUGE-L 基于最长公共子序列 (Longest Common Subsequence, LCS)，衡量生成文本与参考文本之间的重叠程度。F1 分数是精确率和召回率的调和平均值。
  2. 数学公式: $$\mathrm{ROUGE-L_P} = \frac{\mathrm{LCS}(\text{Reference}, \text{Generated})}{\text{Length}(\text{Generated})}$$ $$\mathrm{ROUGE-L_R} = \frac{\mathrm{LCS}(\text{Reference}, \text{Generated})}{\text{Length}(\text{Reference})}$$ $$\mathrm{ROUGE-L_{F1}} = \frac{(1 + \beta^2) \times \mathrm{ROUGE-L_P} \times \mathrm{ROUGE-L_R}}{\beta^2 \times \mathrm{ROUGE-L_P} + \mathrm{ROUGE-L_R}}$$
  3. 符号解释:
     • $\mathrm{LCS}(\text{Reference}, \text{Generated})$: 参考文本和生成文本的最长公共子序列的长度。
     • $\text{Length}(\text{Generated})$: 生成文本的长度。
     • $\text{Length}(\text{Reference})$: 参考文本的长度。
     • $\mathrm{ROUGE-L_P}$: 基于 LCS 的精确率。
     • $\mathrm{ROUGE-L_R}$: 基于 LCS 的召回率。
     • $\beta$: 权重因子，通常设为 1。

• F1 分数 (Response F1 / Answer F1): 在 WoW 中用于评估响应，在 HotpotQA 中用于评估答案。

  1. 概念定义: 衡量生成文本（响应或答案）与参考文本之间词语重叠的精确度和召回率的调和平均值。
  2. 数学公式: $$\mathrm{Precision} = \frac{\text{共同词语数量}}{\text{生成文本词语数量}}$$ $$\mathrm{Recall} = \frac{\text{共同词语数量}}{\text{参考文本词语数量}}$$ $$\mathrm{F1} = 2 \times \frac{\mathrm{Precision} \times \mathrm{Recall}}{\mathrm{Precision} + \mathrm{Recall}}$$
  3. 符号解释:
     • $\text{共同词语数量}$: 生成文本和参考文本之间共享的词语数量。
     • $\text{生成文本词语数量}$: 生成文本中的词语总数。
     • $\text{参考文本词语数量}$: 参考文本中的词语总数。

• 精确匹配 (Exact Match, EM): 主要用于 HotpotQA 等问答任务。

  1. 概念定义: 判断生成答案是否与参考答案完全一致。这是一个严格的二元指标。
  2. 数学公式: $$\mathrm{EM} = \begin{cases} 1 & \text{if Generated Answer} = \text{Reference Answer} \\ 0 & \text{otherwise} \end{cases}$$
  3. 符号解释:
     • Generated Answer: 模型生成的答案。
     • Reference Answer: 真实的参考答案。

5.3. 对比基线

本文通过模拟不同知识质量来研究知识选择的效果，而不是直接与特定的知识选择模型进行比较。因此，基线设置是针对知识输入条件而言的：

1. No knowledge (无知识)：生成器不接收任何外部知识。这是一个弱基线，用于衡量 LLM 仅凭其内部知识处理任务的性能。

2. Full knowledge (全知识)：生成器接收数据集提供的所有检索到的候选知识 $K$，不进行任何知识选择。这模拟了检索器具有完美召回率但没有知识选择的情况。作者认为这是一个强大的基线。

3. Gold knowledge (金知识)：生成器仅接收经过完美选择的金知识。这代表了 RAG 性能的理论上限，因为所有干扰知识都被完美过滤，且所有金知识都被包含。

   通过比较这三种设置下的性能，可以量化 RAG 的益处，以及知识选择在“全知识”与“金知识”之间的潜在提升空间。

6. 实验结果与分析

6.1. 核心结果分析

本文的核心实验通过模拟不同质量的知识输入（金知识与干扰知识的比例）来评估知识选择对下游 RAG 性能的影响。主要观察结果如下：

6.1.1. LLM 与 RAG 的有效性

• RAG 对 LLM 有益: 如 Table 1 和 Table 2 所示，在 WoW 和 HotpotQA 数据集上，不提供任何检索知识的生成器 (No knowledge) 表现较差。这表明 LLM 并未对这些数据集过拟合，并且应用 RAG 能够显著提升生成性能。

  以下是原文 Table 1 的结果：

  Input Knowledge	KP	KR	KF1	R-L F1
  GPT-4o-mini
  No knowledge	0	0	0	0.110 0.200 (± .005)
  Full knowledge	0.015	1	0.031	0.140 0.251 (± .006)
  Gold knowledge	1	1	1	0.167 0.276 (± .007)
  LLaMA 3.1 8B
  No knowledge	0	0	0	0.111 0.216 (± 0.005)
  Full knowledge	0.015	1	0.031	0.138 0.248 (± .005)
  Gold knowledge	1	1	1	0.164 0.278 (± .008)
  Mistral 7B Instruct
  No knowledge	0	0	0	0.113 0.203 (± .005)
  Full knowledge	0	1	0	0.131 0.233 (± .005)
  Gold knowledge	1	1	1	0.172 0.268 (± .007)

以下是原文 Table 2 的结果：

• 干扰知识的影响: HotpotQA 的结果（Figure 2 右侧）显示，当生成器接收到大部分干扰知识时，其性能甚至低于 No knowledge 设置。这表明 HotpotQA 中的干扰知识确实具有负面影响。然而，WoW 中没有观察到这种趋势，这支持了 WoW 中的“干扰”知识可能只是相关性较低，而非完全不相关的观点。

  该图像是一个散点图，展示了知识选择对生成性能的影响。图中分别展示了GPT-4-mini、LLaMA 3.1 8B和Mistral 7B-Instruct在两个不同数据集（WoW和HotpotQA）下的知识精度和召回率的关系。使用的颜色条指示了相应的响应/回答F1分数。

Figur : Scatter plot oresponse/answer F1, plotted against nowledge precision (x-axis) and recall y-axis), by GPT-4-mini (top), LLaMA 3.1 8B (middle), and Mistral 7B-Instruct (bottom). The left column shows results on WoW; the right shows HotpotQA. The dots highlighted in orange indicate settings outperforming the "full knowledge"setting, while thosehighlighte in cyanindicat settings underperformig the oknowledge" sett. Ea oo ehep

6.1.2. 知识召回率与精确度的作用

• “全知识”是强基线: Table 1 和 Table 2 显示，Full knowledge 设置（完美召回但无知识选择）是一个非常强的基线。例如，对于 GPT-4o-mini 在 HotpotQA 上，Full knowledge 的答案 F1 达到 0.780，仅比 Gold knowledge 低 0.048。这意味着对于强大的生成器，知识选择的提升空间有限。

• 知识精确度与召回率是良好预测因子: Figure 2 显示，生成性能随知识精确度和召回率平滑变化，表明这两个指标共同决定了生成性能。

• 强生成器更看重知识召回率: 对于强大的生成模型（如 GPT-4o-mini），知识召回率是预测生成性能的最佳单一知识指标。Figure 3 和附录中的 Figure 11 显示，知识召回率与答案 F1 之间存在非常强的相关性。这意味着，提高检索器的召回率是提升 RAG 性能的首要任务。知识选择器主要改善精确度，但可能会降低召回率，其贡献有限。

  该图像是散点图，展示了 HotpotQA 答案 F1 分数与知识精确度（上）、知识召回率（中）和知识 F1 分数（下）的关系，左列为 GPT-4o-mini 生成器，右列为 Mistral-7B Instruct。每个图表为一项元实验，数据点对应于完整的实验结果。

Figure 3: Scatter plot of HotpotQA answer F1 versus knowledge precision (top), knowledge recall (middle), and knowledge F1 (bottom) The lef columnshows GPT-4o-mini as the generator; the right column shows Mistral-7BInstruct. Plots for LLaMa 3.1 8B and the WoW dataset are in Appendix A. Each figure is a meta-experiment, and each data point corresponds to a full experiment on the entire sampled dataset.

• 弱生成器更看重知识 F1 分数: 对于较弱的生成器（如 Mistral 7B-Instruct），知识 F1 分数与生成性能的相关性更强，而与召回率的相关性较弱（Figure 3 右）。这表明弱生成器更需要知识选择器来过滤噪声，因为它难以处理嘈杂的输入。

6.1.3. 生成器能力、任务和数据集的影响

• 生成器能力决定整体性能和知识选择的有效性: Figure 2 和 Figure 4 显示，更强的生成模型（如 GPT-4o-mini）在所有知识设置下都表现更好。此外，Full knowledge 和 Gold knowledge 之间的差距更小，这表明强大的生成器对噪声输入更具鲁棒性，对知识选择的依赖性更低。相反，当生成器较弱时，任何合理的知识选择器都可能带来益处。

  该图像是一个图表，展示了 GPT-4o-mini、LLaMA 3.1 8B 和 Mistral 7B-Instruct 三种模型在不同任务（Wizard of Wikipedia 和 HotpotQA）下的答案 F1 与知识精度的关系。每个子图的左侧展示了知识召回率与答案 F1 的变化，以红蓝色轮廓表示不同的知识召回分数。

Figure 4: Color contours of answer F1 versus knowledge precision for GPT-4o-mini (top), LLaMA 3.1 8B (midle, and Mistral 7B-Instruct (bottom); the left column shows results on WoW, and the right shows HotpotQA. Each contour represents adifferentknowledgerecall score; moving let toright visalizes improving the perormance ( po o hep.

• 任务和数据集是关键因素: Figure 2 和 Figure 4 表明，相同的生成器在 WoW 和 HotpotQA 之间可能表现出截然不同的性能趋势。例如，Mistral-7B-Instruct 在 HotpotQA 上若没有知识选择器性能会下降，但在 WoW 上则不然。
  • 在某些情况下（如 WoW，以及 GPT-4o-mini 在 HotpotQA 的低召回率情况下），试图在弱检索器基础上改进知识选择器（即在召回率低时提高精确度）反而会损害生成性能。在这种情况下，更多的总知识（无论是否包含噪声）反而有助于响应生成。这可能与任务性质和标注质量有关：HotpotQA 的答案空间较小，金知识和干扰知识区分更清晰；而 WoW 的响应空间更大，且“干扰”知识可能并非完全不相关。

6.1.4. 知识选择的非单调趋势

• 非单调性: 在 WoW 数据集上，知识选择器提升生成性能的边界（Figure 2 中橙色与白色区域的边界）呈凸形。Figure 4 也显示，生成性能并非随着知识精确度的增加而单调上升。这可能归因于 WoW 中相对嘈杂的金知识标注。作者通过在 HotpotQA 中人工注入噪声，也观察到了类似现象（Figure 5 和 Figure 6），证实了知识标注噪声会导致这种非单调行为。

  该图像是散点图，展示了GPT-4o-mini在噪声HotpotQA数据集上，知识精度与知识召回之间的关系。不同颜色深浅表示密度分布，结合这些因素可以分析模型在知识选择对生成效果的影响。

Figure 5: Scatter plot of answer F1 versus the knowledge precision for GPT-4o-mini on noisy HotpotQA.

该图像是一个图表，展示了在噪声 HotpotQA 数据集上，GPT-4o-mini 的知识精度与答复 F1 分数之间的关系。图中每条曲线代表不同的知识召回分数，随着知识精度的提高，答复 F1 分数的表现也相应改善。红色和蓝色的色调分别表示高和低的知识召回。

Figure 6: Color contours of answer F1 versus the knowledge precision for GPT-4o-mini on noisy HotpotQA. Each contour represents a different knowledge recall score; moving left to right visualizes improving the performance (precision) of the knowledge selector.

6.1.5. 知识长度约束

• 不改变生成准确性: 限制知识输入大小（例如，只使用 top-$k$ 知识）虽然可以降低计算成本，但并不会改变知识精确度-召回率与生成 F1 之间的整体关系（附录 Figure 9）。这意味着，知识选择器仍然需要在足够高的知识召回率下才能超越 Full knowledge 基线。

6.2. 消融实验/参数分析

本文的主要方法论就是一种大规模的消融实验，通过模拟不同 $p_{gold}$ 和 $p_{noise}$ 来探索知识精确度、召回率、F1 等指标对生成性能的影响。

• 不同生成器: 实验使用了 GPT-4o-mini (强), LLaMA 3.1 8B (中等), 和 Mistral 7B-Instruct (弱) 三种 LLM 作为生成器，这本身就是对生成器能力这一关键参数的消融分析。结果表明，生成器能力越强，对知识选择的依赖越小，对噪声的鲁棒性越好。

• 不同数据集: WoW 和 HotpotQA 这两个数据集在任务类型和噪声特性上的差异，也构成了对“任务和数据集复杂性”这一参数的消融分析。结果显示，数据集的特性会显著影响知识选择的效果。

• 人工噪声注入: 在 HotpotQA 中人工注入噪声，模拟 WoW 的噪声特性，进一步验证了知识标注噪声对知识选择器性能评估的非单调影响。

• 知识长度约束: 额外实验通过限制输入知识的句子数量 $k=3$ (Figure 9) 来分析知识长度对生成性能的影响。结果表明，在保持知识召回率和精确度不变的情况下，缩减知识长度并不会改变核心结论，即知识召回率仍然是关键，且知识选择器需要在高召回率下才可能带来益处。

  该图像是示意图，展示了在HotpotQA数据集中知识召回与知识精确度之间的关系。不同颜色和大小的圆点表示在不同的知识句子数量条件下的知识召回率和知识精确度。图中可以直观地观察到知识句子数量对生成质量的影响。

Figure 9: Scatter plot f answer F1 versus the knowledge precision for GPT-4o-minion Wizard of Wikipedi (left) and HotpotQA (right) by limiting the number of knowledge sentences up to ${ \bf k } { = } 3$ .The dots highlighted in orange indicate settings outperorming the "full knowledge" setting without constraining the number of sentences for fair comparison with otherfgures), while those highlighted in cyan indicate settings underperforming the "n knowlee" sett. Eachfgures meaxpeiment,andch data poi cponds t f eement the entire sampled dataset.

总而言之，本文通过这种大规模、多维度参数的模拟实验，而非传统意义上针对特定模型组件的消融，深入揭示了知识选择在 RAG 系统中的复杂作用机制。

7. 总结与思考

7.1. 结论总结

本文通过对 RAG 系统中知识检索和知识选择性能的系统性实证分析，得出了关于知识选择有效性的关键结论。研究发现，生成模型的性能以及任务和数据集的复杂性，显著地共同决定了知识选择对 RAG 整体性能的影响。

具体来说，本文识别出两种生成器行为模式：

1. 强大的生成模型 (Strong Generators)：这类模型对噪声具有鲁棒性，即使在存在干扰知识的情况下，也能在检索到更多金知识时表现良好。因此，知识召回率与生成 F1 之间表现出很强的相关性。对于这些模型，知识选择器带来的额外性能提升空间有限，因为它们自身已经能够较好地处理嘈杂输入。

2. 较弱的生成模型 (Weak Generators)：这类模型难以处理干扰知识，需要知识选择器来提炼噪声输入。因此，知识 F1 分数与生成 F1 之间表现出更强的相关性。在 LLM 普及的当下，大多数流行的生成模型都属于“强大”范畴，这使得知识选择器的直接益处相对有限。

   此外，本文还强调了任务和数据集的特性（如金知识和干扰知识的清晰度、答案空间大小、标注噪声等）对 RAG 性能趋势的关键影响。在某些情况下，过早地过滤知识（即在召回率低时提高精确度）反而可能损害生成性能。

7.2. 局限性与未来工作

作者在论文中指出了以下局限性：

1. 计算资源限制: 由于每次元实验包含数百个使用 API 的 LLM 进行的完整实验，计算成本很高。因此，实验仅使用了 WoW 和 HotpotQA 的子集。这可能导致数据中存在轻微噪声，并且图表中的等高线不够平滑，但作者认为这不影响核心结论。同时，仅选择了三个 LLM 也可能错过一些更细微的现象。

2. 数据集可用性: 现有高质量、人工标注金知识的 RAG 数据集非常稀少，这限制了模拟实验的设置。即使 WoW 在本文中被认为是相对嘈杂的数据集，它在现有数据集中已属于标注较清晰的。作者也指出，无法在不重新标注数据集的情况下验证 WoW 比 HotpotQA 具有更大解决方案空间的假设。

3. 均匀采样假设: 在知识模拟中，金知识和干扰知识是基于均匀分布 $p_{gold}$ 和 $p_{noise}$ 进行采样的。这假设知识选择器没有特定的偏好。然而，真实的知识选择器可能更倾向于选择某些知识句子。尽管如此，本文成功地识别出知识精确度和召回率作为生成性能的良好预测因子。

   未来的研究方向可能包括：

• 探索更多不同类型和能力的 LLM 生成器。
• 开发更复杂、更真实的知识选择器行为模拟，以更好地反映实际选择器的偏好。
• 创建更多高质量、多样的 RAG 数据集，以便进行更全面的分析。
• 深入研究不同任务和数据集特性对知识选择影响的具体机制。
• 探索在资源受限场景下，如何平衡知识召回、精确度和计算成本。

7.3. 个人启发与批判

个人启发:

1. “先召回，后精确”的策略优先级： 本文最核心的启发在于，对于当前强大的 LLM，提高知识召回率往往比单纯提高知识精确度更重要。这意味着 RAG 系统的优化重点应首先放在构建一个能够广泛召回相关信息的检索器上，而不是过度关注知识选择器以剔除所有可能的噪声。LLM 强大的上下文理解能力使其能够从一定程度的噪声中筛选出有用信息。
2. 生成器能力与知识选择的权衡： 论文清晰地展示了生成模型能力与知识选择必要性之间的反比关系。这意味着在设计 RAG 系统时，需要根据所选 LLM 的强弱来决定是否以及如何投入资源进行知识选择模块的开发。如果使用的是最先进的 LLM，知识选择的边际收益可能较低；而对于较弱或资源有限的模型，知识选择则可能带来显著的性能提升。
3. 数据集特性的重要性： WoW 和 HotpotQA 之间性能趋势的差异强调了任务和数据集的内在复杂性对 RAG 系统设计的影响。对于答案明确、噪声干扰强的任务（如 HotpotQA），精确过滤噪声至关重要；而对于答案开放、“干扰”知识也可能提供上下文的任务（如 WoW），过度过滤可能会失去有益的信息。这提示我们在实际应用中，要深入理解任务和数据特性，才能做出合适的架构选择。
4. 模拟实验的强大潜力： 本文通过大规模模拟实验来探索复杂的系统行为，而非依赖于构建和训练多个实际模型。这种方法提供了一种高效且可控的方式来研究各种参数和条件的影响，这对于资源有限的研究者而言是一个重要的借鉴。

批判与可以改进之处:

1. “噪声”的定义与处理： 论文中对 WoW 的“干扰知识”可能并非完全不相关，而是相关性较低的观察非常有趣。但这种“相关性较低”的知识对 LLM 的具体影响机制（是提供额外上下文、引入混淆还是其他）没有进一步深入探究。未来可以考虑更细粒度地分类“噪声”，例如“低相关噪声”、“误导性噪声”等，并分析 LLM 对不同类型噪声的处理能力。
2. 知识选择器的“智能”模拟： 论文中知识选择的模拟是基于随机采样的，即通过调整 $p_{gold}$ 和 $p_{noise}$ 来模拟知识选择器在精确度和召回率上的表现。这种模拟是宏观且分布式的。然而，一个真实的知识选择器通常会学习特定的模式或启发式方法来挑选知识。例如，它可能会偏好位于特定位置的知识、包含特定关键词的知识、或者与查询语义距离最近的知识。这种“智能”选择可能会引入非线性的影响，可能与均匀采样带来的结果有所不同。未来的研究可以尝试模拟更具“智能”行为的知识选择器，例如通过在训练好的选择器输出上进行扰动来实现。
3. 长上下文 LLM 的影响： 论文提到现代 LLM 的上下文窗口显著增长（从 BART 的 1024 词元到百万级）。虽然本文强调了长上下文允许更多知识输入，但并未深入探讨超长上下文对知识选择的需求是否会发生根本性变化。例如，在上下文窗口足够大的情况下，LLM 处理大量信息的效率和能力是否会使其对任何形式的知识选择都变得不那么敏感？或者，过长的上下文是否会引入“迷失在中间” (lost in the middle) 的问题，反而需要更精细的知识选择？
4. 计算成本与知识选择的经济效益： 论文提到限制知识长度可以降低计算成本，但并未深入量化知识选择在实际部署中带来的经济效益。例如，一个高性能的知识选择器所节省的 LLM 推理成本，是否能弥补其自身的运行成本或开发成本？这种成本效益分析对于实际应用至关重要。
5. 评估指标的局限性： 论文主要依赖自动评估指标如 F1 和 ROUGE-L。虽然这些指标在问答和对话任务中很常用，但它们可能无法完全捕捉生成质量的所有方面，例如事实准确性、流畅性、连贯性以及 LLM 的创造性。在未来，结合人类评估或许能提供更全面的视角。