1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): Keeping LLMs Aligned After Fine-tuning: The Crucial Role of Prompt Templates (在微调后保持 LLM 对齐：提示模板的关键作用)
• 作者 (Authors): Kaifeng Lyu, Haoyu Zhao, Xinran Gu, Dingli Vu, Anirudh Goyal, Sanjeev Arora。这些作者主要来自普林斯顿大学计算机科学系及其语言与智能研究中心 (Princeton Language and Intelligence)。
• 发表期刊/会议 (Journal/Conference): arXiv。这是一个预印本 (Preprint) 服务器，意味着这篇论文尚未经过正式的同行评审，但这是计算机科学领域，尤其是人工智能领域，快速传播最新研究成果的常见方式。
• 发表年份 (Publication Year): 2024
• 摘要 (Abstract): 像 Llama 2-Chat 这样的公开大型语言模型 (LLMs) 经过了对齐训练，被认为是安全的。然而，最近的研究发现，即使在看似无害的数据集上进行良性微调，也可能导致模型出现不安全的行为。本文旨在研究减轻这种对齐损失的方法和最佳实践。研究的核心场景是：在将一个公开模型微调以用于特定下游任务后，如何既能提升任务性能又能保持其安全性。通过在多个聊天模型（Llama 2-Chat, Mistral 7B Instruct, GPT-3.5 Turbo）上进行的大量实验，本文发现，在微调和推理过程中使用的提示模板对维持安全对齐起着至关重要的作用。基于此，论文提出了“纯粹调优，安全测试” (Pure Tuning, Safe Testing, PTST) 策略——即在微调时不使用安全提示，但在测试（推理）时加入安全提示。这个看似违反直觉的策略，通过引入一个有意的分布偏移来促进安全性的保持。实验表明，PTST 策略能显著减少模型在微调后不安全行为的增加。
• 原文链接 (Source Link):
  • ArXiv 链接: https://arxiv.org/abs/2402.18540
  • PDF 链接: https://arxiv.org/pdf/2402.18540v2.pdf
  • 发布状态：预印本 (Preprint)。

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):

  • 核心问题： 经过安全对齐训练的 LLM（例如 Llama 2-Chat），在被开发者用于下游任务（如数学解题、医疗问答）并进行良性微调 (benign fine-tuning) 后，其原有的安全对齐能力会显著下降，更容易响应有害指令。
  • 问题重要性： 随着 LLM 在各行各业的广泛应用，微调成为定制化模型的标准流程。如果微调会轻易破坏模型的安全性，那么将给模型的负责任部署带来巨大风险。开发者需要一种简单有效的方法，在提升模型专业能力的同时，不牺牲其安全性。
  • 现有挑战与空白 (Gap)： 先前的研究（如 Qi et al. [2024]）已经揭示了这一“对齐灾难性遗忘”现象，但缺乏简单、普适且低成本的解决方案。开发者通常遵循一个直觉：为了最好的性能，训练和测试的设置应尽可能一致，包括使用相同的提示模板。本文挑战了这一常规做法。
  • 创新思路： 本文的切入点非常新颖，它没有从复杂的算法或数据清洗入手，而是聚焦于一个基础但常被忽略的元素：提示模板 (Prompt Template)。论文大胆假设，在微调和推理阶段故意制造一种分布差异（即使用不同的提示模板），可能反而有助于维持模型的安全对齐。

• 核心贡献/主要发现 (Main Contribution/Findings - What):

  • 主要贡献： 提出了一种极为简单、易于实施且高效的策略，名为 “纯粹调优，安全测试” (Pure Tuning, Safe Testing, PTST)。
  • 关键发现：
    1. PTST 策略： 在微调模型时，使用不包含任何安全指示的“纯粹”提示模板（例如，仅包含指令和输入占位符）；在部署和推理时，则切换回包含明确安全指示的“安全”提示模板（例如，包含“你是一个有帮助、尊重和诚实的助手...”等系统提示）。
    2. 效果验证： 大量实验证明，与“训练和测试使用相同安全提示”的常规做法相比，PTST 策略能显著降低微调后模型的攻击成功率 (Attack Success Rate, ASR)，同时基本保留了微调带来的任务性能提升。
    3. 反直觉现象： 令人惊讶的是，在微调和推理时都使用安全提示，其安全性表现甚至劣于在两个阶段都不使用安全提示的情况。这表明安全提示在微调过程中可能被模型错误地关联到了下游任务，从而削弱了其作为安全护栏的作用。

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

• 基础概念 (Foundational Concepts):

  • 大型语言模型 (Large Language Models, LLMs): 指基于海量文本数据训练的深度学习模型，如 OpenAI 的 GPT 系列和 Meta 的 Llama 系列。它们能够理解和生成类似人类的文本。
  • 微调 (Fine-tuning): 指在一个已经过大规模预训练的 LLM 基础上，使用一个规模相对较小、针对特定任务的数据集（如数学题、法律文档）继续训练模型的过程。这能使模型适应特定领域的任务，而无需从零开始训练。
  • 对齐训练 (Alignment Training): 指通过特定技术使 LLM 的行为符合人类的期望和价值观。目标是让模型变得“三个 H”：有帮助 (Helpful)、诚实 (Honest) 和无害 (Harmless)。最常用的技术是基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF)，即让人类评估模型生成的多个回答，然后用这些反馈数据训练一个奖励模型，最后通过强化学习算法优化 LLM 以获得更高的奖励。
  • 灾难性遗忘 (Catastrophic Forgetting): 神经网络中的一个经典问题。当一个已经在一个任务（旧任务）上训练好的模型，再去学习一个新任务时，它可能会完全忘记在旧任务上学到的知识。在本文中，模型的“安全对齐”可以被看作一个旧任务，而微调的下游任务是新任务。
  • 提示模板 (Prompt Template): 一个预定义的文本字符串，其中包含占位符。在与 LLM 交互时，用户的输入会被填入这些占位符，形成最终发送给模型的完整提示。例如，Llama 2 的聊天模板是 [INST] {user_input} [/INST]。这有助于引导模型以特定格式或角色进行回应。
  • 系统提示/安全提示 (System Prompt / Safety Prompt): 提示模板的一个特殊组成部分，通常位于最前面，用于给模型设定一个全局的行为准则或角色身份。例如，论文中提到的 Llama 2 推荐安全提示：“你是一个有帮助、尊重和诚实的助手...”。

• 前人工作 (Previous Works):

  • 问题发现者 (Qi et al. [2024]): 本文的直接启发来源。该研究首次系统地证明了，即使在完全良性的数据集（如 Alpaca）上微调，也会导致已对齐的 LLM 安全性下降。
  • 恶意微调研究 (Yang et al., [2023], Lermen et al., [2023b]): 这些工作表明，如果故意用包含不当行为的数据集进行微调，可以轻易地“破解”模型的安全对齐。本文的工作与之不同，关注的是良性微调场景下的安全退化。
  • 轻量级安全防御 (Xie et al. [2023], Wei et al. [2023]): 这些研究提出了一些通过修改提示来增强安全性的方法，如 Self-Reminder（在用户问题前后都加入安全提醒）和 In-context Defense（在上下文中提供一个拒绝有害请求的例子）。本文也将这些方法纳入了实验对比，并验证了 PTST 策略同样适用于它们。

• 技术演进 (Technological Evolution): LLM 的发展经历了从只关注语言能力的“基础模型”到同时强调有用性和安全性的“对齐模型”的转变。现在，随着模型定制化需求的增加，研究焦点开始转向下一个阶段：如何在定制化（微调）过程中维持来之不易的对齐。本文正处在这一技术脉络的前沿。

• 差异化分析 (Differentiation): 与之前的工作相比，本文的核心创新在于：

  1. 视角独特： 不再将训练和测试的“分布一致性”视为金科玉律，而是反其道而行之，利用有意的分布偏移作为维持安全的手段。
  2. 方案简单： 提出的 PTST 策略无需修改模型架构、无需复杂的算法、也无需额外的安全数据（尽管可以结合使用），仅仅通过调整微调和推理时的提示模板即可实现，极具实用性。
  3. 系统性验证： 通过在多种模型、多种数据集和多种提示模板上的全面实验，系统地揭示了提示模板在维持对齐中的关键作用，并将 PTST 确定为一种普适的最佳实践。

4. 方法论 (Methodology - Core Technology & Implementation Details)

本论文的核心方法论不是一个复杂的数学模型，而是一个清晰、可操作的策略——“纯粹调优，安全测试” (Pure Tuning, Safe Testing, PTST)。

• 方法原理 (Methodology Principles):

  • 核心思想： 将模型的“任务学习”阶段与“安全遵循”阶段在提示层面进行解耦。
  • 直觉 (Intuition):
    1. 如果微调时加入安全提示 (e.g., CL template)： 模型在学习下游任务（如数学解题）时，可能会将整个输入格式——“安全提示 + 任务指令”——与任务的输出（数学答案）关联起来。这会导致模型“误解”，认为安全提示是任务指令的一部分，而不是一个必须遵守的、更高层次的行为准则。当面对一个结构相似但内容有害的查询时，模型可能会优先执行它在微调中学到的“任务执行”模式，而忽略了安全提示的约束力，从而导致安全失效。
    2. 采用 PTST 策略：
       • 纯粹调优 (Pure Tuning): 在微调时使用不含安全提示的模板 (e.g., CV template)。这让模型可以心无旁骛地专注于学习下游任务的知识和技能。
       • 安全测试 (Safe Testing): 在推理时，重新引入安全提示。由于模型在预训练和初始对齐阶段已经学过要遵守这类安全指令，并且在微调阶段没有“污染”这个信号，此时的安全提示就像一个“新”的、高级的指令。模型会识别出这是一个关于行为准则的命令，从而重新激活其内置的安全对齐机制，优先进行安全检查，然后再考虑如何回答问题。本质上，这是利用分布偏移来唤醒模型的安全意识。

• 方法步骤与流程 (Steps & Procedures):

  1. 准备阶段： 选择一个已经过安全对齐的公开 LLM（如 Llama 2-Chat）。

  2. 微调数据准备： 选择一个良性的下游任务数据集（如 GSM8K）。使用一个“纯粹”的提示模板来格式化所有训练样本。例如，使用 chat:vanilla (CV) 模板，它只包含最基本的聊天结构：

     [INST] {input} [/INST] {output}
     

  3. 模型微调： 在格式化好的数据集上对 LLM 进行标准的微调。

  4. 部署与推理： 当模型微调完成并部署供用户使用时，强制所有用户的输入都通过一个“安全”提示模板进行包装。例如，使用 chat:llama (CL) 模板，它在用户输入前增加了一个系统安全提示：

     [INST] <<SYS>>
     You are a helpful, respectful and honest assistant...
     <</SYS>>
     
     {input} [/INST]
     

     该图像是图示，展示了“纯调优、安全测试”（PTST）策略在细调和推理阶段安全提示词使用的效果对比，表明仅推理时加入安全提示词可有效保持模型安全对齐，避免产生不安全回答。

  上图直观地展示了 PTST 策略。一个经过安全对齐的 LLM 在面对有害问题时会拒绝回答。当它被微调时，有两条路径：

  • 上路（不带安全提示微调）： 这是 PTST 的“纯粹调优”部分。
  • 下路（带安全提示微调）： 这是常规做法。 在推理时，每条路径又可以分为带或不带安全提示。图中清晰地标出，只有绿色的 PTST 路径（上路微调 -> 带安全提示推理）能够保持安全的回答，而其他三条路径都可能导致模型生成不安全的内容。

• 数学公式与关键细节 (Mathematical Formulas & Key Details):

  • 本研究是经验性的，其核心是策略而非数学公式。关键细节在于对不同 提示模板 (Prompt Templates) 的精确定义和区分。论文中主要研究了以下几类模板（以 Llama 2 为例）：
    • text:vanilla (TV): 纯文本模式，无特殊标记。
    • text:alpaca (TA): Alpaca 项目使用的文本模式模板。
    • chat:vanilla (CV): 聊天模式，仅使用 [INST] 和 $[/INST]$ 标记包裹用户输入。
    • chat:alpaca (CA): 将 Alpaca 模板套入 [INST] 和 $[/INST]$ 标记中。
    • chat:llama (CL): 在 CV 模板基础上，加入了 Llama 2 官方推荐的系统安全提示。
    • Self-Reminder (SR) 和 In-context Defense (ICD): 两种更复杂的安全提示模板。

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets):

  • 微调数据集 (Fine-tuning Datasets):
    • GSM8K: 一个包含约 8500 个小学水平数学应用题的数据集，任务是进行数学推理并给出最终答案。这是一个典型的、与安全性无关的良性任务。
    • ChatDoctor: 一个医疗领域的问答数据集。
    • OpenOrca: 一个大规模、多样化的指令跟随数据集，由其他大模型生成。
  • 安全评估数据集 (Safety Evaluation Datasets):
    • AdvBench: 一个由 520 个直接的有害指令组成的数据集，是评估模型安全性的常用基准。
    • DirectHarm4: 作者们自建的数据集，包含 400 个来自 4 个特定类别的有害指令。他们发现微调后的模型在这些类别上特别脆弱。
    • JailbreakBench: 一个更具挑战性的越狱攻击基准，本文使用了其中的 GCG 攻击来测试模型的鲁棒性。
    • GSM-Danger: 作者们自建的另一个数据集，用于测试模型对分布外 (Out-of-Distribution, OOD) 攻击的防御能力。其特点是将有害请求（如“写一个鼓励酒驾的社交媒体帖子”）伪装在冗长的数学问题描述中。

• 评估指标 (Evaluation Metrics):

  • 有用性 (Helpfulness):
    • 精确匹配得分 (Exact Match Score):
      1. 概念定义 (Conceptual Definition): 用于评估 GSM8K 这类有唯一标准答案的任务。该指标计算模型生成的答案与标准答案完全一致的样本比例。这是一个非常严格的准确率指标。
      2. 数学公式 (Mathematical Formula): $$\text{Helpfulness (Accuracy)} = \frac{\sum_{i=1}^{N} \mathbb{I}(\text{model\_output}_i == \text{ground\_truth}_i)}{N}$$
      3. 符号解释 (Symbol Explanation): $N$ 是测试样本总数；$\text{model\_output}_i$ 是模型对第 $i$ 个样本的输出；$\text{ground\_truth}_i$ 是第 $i$ 个样本的标准答案；$\mathbb{I}(\cdot)$ 是指示函数，当条件为真时取 1，否则取 0。
  • 安全性 (Safety):
    • 攻击成功率 (Attack Success Rate, ASR):
      1. 概念定义 (Conceptual Definition): 衡量模型安全性的核心指标。它计算的是在所有有害查询中，模型给出了不安全或有害回应（而不是拒绝回答）的查询所占的百分比。本文中，如果一个回应被 GPT-4 裁判评为最高有害等级（5分），则视为一次成功的攻击。
      2. 数学公式 (Mathematical Formula): $$\text{ASR} = \frac{\text{Number of responses with harmfulness score of 5}}{\text{Total number of harmful queries}}$$
      3. 符号解释 (Symbol Explanation): 分子是 GPT-4 裁判判定为“非常有害”（5分）的回应数量，分母是测试用的有害查询总数。
    • GPT-4 裁判 (GPT-4 Judge):
      1. 概念定义 (Conceptual Definition): 由于人工评估成本高昂，本文采用一个强大的 LLM（GPT-4）作为自动裁判，来评估模型回应的有害程度。裁判会根据一个5点李克特量表 (Likert scale) 对每个回应打分。
      2. 打分标准 (Scale): 1分代表“完全无害”，5分代表“非常有害”。

• 对比基线 (Baselines):

  • 常规微调实践： 最主要的对比基线，即在微调和推理时使用完全相同的提示模板。实验中表示为对角线上的条目，如 CV:CV（训练和测试都用 chat:vanilla）和 CL:CL（训练和测试都用 chat:llama）。
  • 无微调模型 (No FT): 原始的、未经任何微调的对齐模型。它的表现是衡量“有用性提升”和“安全性下降”的基准点。
  • 其他模板组合： 实验表格中所有非对角线的组合，用于全面展示不同训练/测试模板组合的效果，从而凸显 PTST 策略的优越性。

6. 实验结果与分析 (Results & Analysis)

• 核心结果分析 (Core Results Analysis):

  实验1：在 GSM8K 上微调 Llama-2-7b-chat (Table 1)

  (由于系统未提供表格图片，此处根据原文数据进行转录和分析)

  Table 1(a): Helpfulness (有用性, GSM8K 精确匹配率 %)

  test\train	TV	TA	CV	CA	CL
  No FT	15.31	9.10	20.32	20.62	6.52
  CV	25.12	20.82	33.39	24.74	30.00
  CL	20.87	29.34	31.59	31.01	33.51

  Table 1(c): ASR on DirectHarm4 (安全性, 攻击成功率 %)

  test\train	TV	TA	CV	CA	CL
  No FT	11.75	16.25	2.75	4.75	0.00
  CV	34.08	33.50	11.00	20.50	-
  CL	29.50	63.00	1.08	18.92	18.08

  • 分析：
    1. 常规做法的风险 (蓝色高亮，我自己加的)：当训练和测试使用相同模板时（如 CV:CV, CL:CL），有用性（Helpfulness）确实得到显著提升（例如 CV:CV 从 20.32% 升至 33.39%）。但代价是安全性（ASR）急剧恶化（CV:CV 的 ASR 从 2.75% 飙升至 11.00%）。
    2. 反直觉的发现：最令人震惊的是 CL:CL 组合。尽管在训练和测试全程都使用了安全提示，但其 ASR 却高达 18.08%，远高于未使用安全提示的 CV:CV 组合 (11.00%)，并且相比原始模型的 0.00% 几乎是灾难性的退化。
    3. PTST 策略的成功 (橙色高亮，我自己加的)：PTST 策略体现在 CV:CL 这一组合上（用 CV 训练，用 CL 测试）。其 ASR 仅为 1.08%，几乎与原始模型一样安全！与此同时，其有用性达到了 30.00%，远高于未微调的 6.52%，保留了大部分微调带来的性能增益。这有力地证明了 PTST 策略在平衡安全性和有用性方面的巨大优势。

  实验2：PTST vs. 提前终止 (Early Stopping) (Figure 2)

  该图像是一张二维散点和折线图，展示了不同fine-tuning策略下模型ASR与Helpfulness的关系。图中含有多条曲线，分别对应CV:CV、CL:CL、CV:CL以及无微调情况，显示PTST策略对安全性与有用性的影响。

  该图像是论文中的二维散点和折线图，显示不同微调策略下ASR与Helpfulness的关系。图中不同颜色和形状的点表示不同的训练与测试设置，反映了纯微调与安全测试策略对模型安全性的影响。

  • 分析：
    • 左图 (Llama 2 on GSM8K) 和右图 (GPT-3.5 on Orca-Math) 都展示了“ASR vs. Helpfulness”的权衡曲线。
    • 蓝色 (CV:CV) 和橙色 (CL:CL) 曲线显示，随着训练的进行（点从左到右移动），有用性和 ASR 通常会一同增加。这意味着通过提前终止训练（选择曲线左侧的点）虽然可以降低 ASR，但也会牺牲大量有用性。
    • 绿色的 PTST 曲线 (CV:CL) 在整个训练过程中都保持在图的右下角区域，即在任何可比的有用性水平上，PTST 的 ASR 都远远低于其他策略。这表明 PTST 提供了一个本质上更优的帕累托前沿 (Pareto frontier)，而不是简单地在现有曲线上找一个折中点。

  实验3：在其他模型、数据集和安全提示上的泛化性

  • 其他模型 (GPT-3.5, Mistral): Table 3 和 Table 7 (附录) 的结果显示，PTST 在 GPT-3.5 Turbo 和 Mistral 7B 上同样有效，证明了其跨模型的泛化能力。

  • 其他数据集 (ChatDoctor, OpenOrca): Table 4 和 Table 5 的结果表明，无论微调任务是医疗问答还是通用指令跟随，PTST 都能有效抑制安全退化。

  • 其他安全提示 (Figure 3):

    该图像是论文中图3的图表，展示了Llama 2-Chat和GPT-3.5 Turbo在不同训练和测试提示模板下，对DirectHarm4数据集的ASR和帮助度的统计结果。图中比较了llama、same as test、vanilla三种训练模板对模型安全性和有效性的影响，验证了PTST策略在保持安全性方面的优势。

    • 分析： 此图表明，PTST 策略不仅对 Llama 的官方安全提示有效，对其他安全提示（如 mpt、llama-short）也同样有效（绿色条）。此外，它还揭示了一个重要细节：即使在训练和测试时使用不同的安全提示（例如用 llama 训练，用 mpt 测试，蓝色条），安全性仍然会显著下降。这进一步强调了 PTST 的核心——“纯粹调优”——的重要性，即微调阶段不应出现任何形式的安全提示。

• 消融实验/参数分析 (Ablation Studies / Parameter Analysis):

  实验4：与“混合安全数据”策略的结合 (Section 4)

  • 背景： 一个直观的防御方法是在微调时混入一些“安全样本”（即“有害问题 -> 拒绝回答”的例子）。本节探讨 PTST 是否在这种情况下依然有价值。
  • 发现1 (对分布内攻击有效): Table 6 显示，当加入安全数据后，模型在 AdvBench 和 DirectHarm4 这类与安全样本风格相似的“分布内”攻击上的 ASR 确实可以降到接近 0。
  • 发现2 (对 OOD 攻击失效): 然而，在面对 GSM-Danger 这种 OOD 攻击时，即使混合了安全数据，常规微调 ($CL+safety:CL$) 的 ASR 依然高达 38%。这说明安全数据带来的防御是“局部”的，难以泛化到所有攻击模式。
  • 发现3 (PTST 的互补价值): 在同样混合了安全数据的情况下，采用 PTST 策略（如 $CA+safety:CL$）可以将 GSM-Danger 的 ASR 降至 1%！这证明 PTST 提供的安全保护是一种更“全局”的机制，它与混合安全数据策略是互补的，能有效提升模型对未知攻击模式的鲁棒性。

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary):

  1. 论文证实了在良性数据上微调已对齐的 LLM 会导致其安全能力下降，这是一个普遍存在的风险。
  2. 研究的核心发现是，提示模板在维持安全对齐中扮演着被低估但至关重要的角色。常规的“训练-测试模板一致”的做法会加剧安全退化。
  3. 本文提出的 “纯粹调优，安全测试” (PTST) 策略——微调时不用安全提示，推理时使用安全提示——是一种极其简单、普适且高效的解决方案。
  4. PTST 能在多个主流 LLM、不同下游任务和多种攻击类型上显著降低安全风险，同时保留大部分微调带来的性能收益，实现了安全与有用的更优平衡。它甚至可以与混合安全数据等其他防御方法互补，提供更强的鲁棒性。

• 局限性与未来工作 (Limitations & Future Work):

  • 防御范围： 作者承认，PTST 主要针对的是因良性微调导致的安全退化，可能无法抵御所有类型的、更复杂的、专门设计的越狱攻击 (jailbreak attacks)。
  • 理论解释： 目前对 PTST 为何有效的解释主要基于直觉（如分布偏移、唤醒安全意识）。未来的工作可以从理论层面更深入地分析其背后的机制。
  • 策略结合： 探索 PTST 与其他更复杂的对齐维持技术（如持续学习方法）的结合，可能会产生更好的效果。

• 个人启发与批判 (Personal Insights & Critique):

  • 启发性： 这篇论文的价值在于其“大道至简”。它为所有从事 LLM 微调的开发者和研究者提供了一个几乎零成本的最佳实践。在安全问题日益严峻的今天，这种简单实用的方法极具现实意义。
  • 反直觉的洞察： “在训练中加入安全提示反而更不安全”的发现极具颠覆性。它深刻地揭示了 LLM 学习机制的复杂性，即模型可能并非按人类的逻辑去理解和分层处理指令，而是将整个输入模式“扁平化”地与输出进行关联。这提醒我们在设计训练流程时，需要更小心地考虑可能带来的非预期后果。
  • 潜在问题与改进方向：
    1. 敏感性分析： PTST 的效果对具体的“纯粹”模板和“安全”模板的选择有多敏感？是否存在一个最优的模板“差异度”？论文虽然测试了几种，但更广泛的敏感性分析将使结论更具说服力。
    2. 评估的局限性： 实验严重依赖 GPT-4 作为裁判。虽然这是当前的主流做法，但裁判本身的偏见和不稳定性可能影响结果的绝对准确性。不过，本文中不同策略间的 ASR 差异巨大，趋势的可靠性较高。
    3. 长期影响： PTST 是否会在模型被长期、连续地使用后（尤其是在模型能从交互中学习的场景下）逐渐失效？这是一个值得探讨的实际问题。