1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): DistillSeq: A Framework for Safety Alignment Testing in Large Language Models using Knowledge Distillation (DistillSeq：一个使用知识蒸馏对大语言模型进行安全对齐测试的框架)
• 作者 (Authors): Mingke Yang (上海科技大学), Yuqi Chen (上海科技大学), Yi Liu (南洋理工大学), Ling Shi (南洋理工大学)。
• 发表期刊/会议 (Journal/Conference): Proceedings of the 33rd ACM SIGSOFT International Symposium on Software Testing and Analysis (ISSTA '24)。ISSTA 是软件工程和软件测试领域的顶级学术会议，享有很高的声誉。
• 发表年份 (Publication Year): 2024
• 摘要 (Abstract): 论文摘要指出，尽管大语言模型（LLMs）能力强大，但其生成有害内容的风险不容忽视。为了确保其安全，严格的测试是必要的，但这通常需要巨大的计算资源，成本高昂。为了解决这个问题，论文提出了 DistillSeq 框架。该框架首先通过知识蒸馏将一个大型语言模型的审核知识迁移到一个小型模型上。然后，它采用两种策略（一种基于语法树，一种基于LLM）来生成恶意查询。最后，通过一个序贯过滤-测试流程，利用小型模型筛选出最有可能引发有害响应的测试用例。实验结果表明，在 GPT-3.5, GPT-4.0, Vicuna-13B 和 Llama-13B 四个模型上，DistillSeq 显著提升了攻击成功率（平均提升93.0%），从而证明了该框架在节约测试时间和资源方面的有效性。
• 原文链接 (Source Link):
  • ArXiv 链接: https://arxiv.org/abs/2407.10106
  • PDF 链接: https://arxiv.org/pdf/2407.10106v4.pdf
  • 发布状态: 这是一篇发表于 ISSTA '24 会议的论文，当前链接是 ArXiv 上的预印本（第4版）。

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):
  • 核心问题： 对大语言模型（LLMs）进行安全对齐测试的成本极其高昂。安全对齐旨在防止模型生成有害内容，而测试这一点的传统方法需要向模型发送大量查询，这不仅消耗大量计算资源（如GPU VRAM），还可能产生高昂的API调用费用。
  • 问题重要性与现有挑战： 随着LLM安全防护能力的增强，成功“越狱”或诱导其产生有害内容的难度越来越大。这意味着测试人员需要生成和测试海量的查询，但其中大部分都是“无效攻击”，无法触发有害响应，导致测试效率低下，资源浪费严重。例如，论文提到测试GPT-4的17,000次攻击花费了约$300，但只发现了121个安全漏洞。
  • 创新切入点： 论文的创新思路是“先过滤，后测试”。它没有直接将所有生成的恶意查询都发送给昂贵的LLM，而是先用一个廉价、高效的小型“代理”模型进行预筛选。这个小型模型通过知识蒸馏技术学习了目标LLM的审核行为模式，能够预测哪些查询更有可能成功“越狱”，从而只将这些“高潜力”的查询发送给LLM进行最终测试。
• 核心贡献/主要发现 (Main Contribution/Findings - What):
  • 主要贡献：
    1. 提出知识蒸馏新应用: 提出了一种新颖的知识蒸馏方法，用于将LLM的黑盒审核知识（即对不同输入的反应模式）迁移到一个更小、更高效的蒸馏模型中。
    2. 构建自动化测试框架 DistillSeq: 提出了一个名为 DistillSeq 的自动化测试框架。该框架集成了两种恶意查询生成方法（基于语法树和基于LLM），并利用蒸馏模型进行高效过滤，以识别最有效的测试用例。
  • 关键发现：
    1. 显著提升测试效率: DistillSeq 框架能够大幅提高攻击成功率（Attack Success Rate, ASR）。与不使用该框架的基线方法相比，平均攻击成功率提高了93.0%。
    2. 大幅降低测试成本: 通过预过滤无效查询，DistillSeq 显著减少了与昂贵LLM的交互次数。论文举例说明，通过 DistillSeq，发现相同数量安全漏洞的成本从300降低到大约52.35，成本减少了约五倍。

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

本部分旨在为初学者铺垫理解论文所需的前置知识。

• 基础概念 (Foundational Concepts):

  • 大语言模型 (Large Language Models, LLMs): 指的是像 GPT-3.5、Llama-13B 这样经过海量文本数据训练的深度学习模型。它们能够理解和生成类似人类的文本，但同时也可能被误用以产生有害内容。

  • 安全对齐 (Safety Alignment): 这是一个训练和微调LLM的过程，目的是确保模型的行为符合人类的价值观，避免生成有偏见、不道德、危险或非法的言论。这相当于给LLM装上“安全锁”。

  • 越狱 (Jailbreak): 指用户通过构造特殊的输入提示（prompt），绕过或欺骗LLM的“安全锁”，使其执行被禁止的任务或生成有害内容。如下图所示，一个直接的恶意问题被LLM拒绝，但当它被包裹在一个精心设计的“越狱提示”中时，LLM便会给出有害的回答。

    该图像是一个示意图，展示了“Jailbreak攻击示例”。左侧为恶意查询的标准响应，右侧为经过Jailbreak提示词和恶意查询后，模型被误导回复有害内容的对比。

  • 知识蒸馏 (Knowledge Distillation, KD): 这是一种模型压缩技术，其核心思想是让一个大型、复杂的“教师模型”（Teacher Model）去“教”一个小型、简单的“学生模型”（Student Model）。学生模型通过学习模仿教师模型的输出（或内部表示），从而在保持较低计算成本的同时，获得接近教师模型的性能。本文中，昂贵的LLM是“教师”，而廉价的小型分类模型是“学生”。

  • 语法树 (Syntax Tree): 在自然语言处理（NLP）中，语法树是用来表示句子语法结构的一种树形结构。树的每个节点代表句子中的一个成分（如名词短语、动词短语等），它能清晰地展示词语是如何组合成句子的。

• 前人工作 (Previous Works):

  • 攻击策略研究： 许多先前研究专注于开发更巧妙的越狱攻击方法。例如，Wei等人 [39] 展示了利用越狱提示生成有害内容；Sun等人 [35] 对基于指令的攻击进行了分类；Liu等人 [26] 实现了自动化生成越狱提示；Zou等人 [45] 提出了在提示后添加对抗性后缀的方法。
  • 现有工作的局限性： 作者指出，这些工作主要关注“如何攻击”，而忽略了“如何高效测试”。它们通常需要与LLM进行大量低效的交互，导致测试成本高昂。

• 技术演进 (Technological Evolution):

  • LLM安全测试的技术脉络经历了从手动构造提示（需要人类专家经验），到自动化生成提示（如使用另一个LLM生成攻击），再到更复杂的对抗性攻击（如优化特定的乱码后缀）的演变。
  • 本文的工作处于这一脉络的最新阶段，它不再仅仅关注生成更强的攻击，而是引入了“测试优化”的视角，关注如何用最少的成本达到最高的测试覆盖率和问题发现率。

• 差异化分析 (Differentiation):

  • 与之前所有工作的核心区别在于引入了基于知识蒸馏的序贯过滤-测试流程。其他方法是“生成-测试”的直接两步流程，而 DistillSeq 是“（教师LLM）训练->（学生模型）过滤->（目标LLM）测试”的三步流程。这个中间的“过滤”步骤是其在成本和效率上取得优势的关键。

4. 方法论 (Methodology - Core Technology & Implementation Details)

DistillSeq 框架的整体流程如下图所示，可以分为两个主要阶段：① 知识蒸馏阶段 和 ② 序贯过滤-测试阶段。

该图像是论文中图2的示意图，展示了基于知识蒸馏的序贯过滤测试流程。该流程包括利用LLM生成初始响应，计算毒性分数，通过蒸馏损失优化预测模型，再结合语法树和LLM方法生成及筛选恶意查询，最终识别有毒响应。

• 方法原理 (Methodology Principles):

  • 核心思想： 用一个计算成本极低的小模型（蒸馏模型 f_dm）来模拟计算成本高昂的LLM（f_llm）在面对恶意查询时的审核行为。如果小模型预测某个查询“很可能”会使LLM输出有害内容，那么这个查询就是“高潜力”的，值得用昂贵的LLM去实际测试一下。
  • 理论基础： 本文采用的是基于响应的知识蒸馏 (Response-based Knowledge Distillation)。由于像GPT-4这样的LLM是“黑盒”的，我们无法获取其内部的参数或中间层输出。因此，只能通过观察它的最终输出来学习其行为。

• 方法步骤与流程 (Steps & Procedures):

  阶段一：构建蒸馏模型 (Building a Distillation Model)

  1. 准备训练数据：
     • 输入 (Input): 将一个恶意查询 (Malicious Query) 与一个 越狱提示 (Jailbreak Prompt) 拼接成完整的输入。
     • 获取教师标签 (Label): 将拼接后的输入发送给“教师”LLM (f_llm)，得到其响应 (LLM's Response)。
     • 评估响应毒性: 使用一个外部的毒性检测工具（本文使用 Perspective API）来评估LLM响应的毒性分数。如果分数超过一个阈值（如0.7），则该响应被标记为“有害”(Toxic)，标签为1；否则标记为“无害”(Non-toxic)，标签为0。
  2. 训练学生模型：
     • 学生模型输入: 学生模型（即蒸馏模型 f_dm，如BERT）的输入仅仅是原始的恶意查询，不包含越狱提示。
     • 训练目标: 训练学生模型，使其在接收到一个恶意查询时，能够预测出该查询（在与越狱提示结合后）是否会导致教师LLM产生有害响应。换言之，学生模型要学会预测第一步中得到的标签（0或1）。
     • 损失函数: 训练过程通过最小化学生模型的预测与教师标签之间的交叉熵损失 (Cross-Entropy Loss) 来优化学生模型的参数。

  阶段二：生成与过滤恶意查询 (Generate, Filter, and Test)

  1. 生成新的恶意查询: 论文提出了两种自动生成新恶意查询的方法：

     • 基于语法树的方法 (Syntax tree-based method):

       • 直觉: 相比于替换单个词语，替换句子中的整个语法成分（如动词短语）可以产生语义上更丰富、结构上更多样的新句子。

       • 流程: a. 随机选择两个恶意查询 $T_a$ 和 $T_b$。 b. 将它们解析成语法树 $S_a$ 和 $S_b$。 c. 对 $S_a$ 中的每个子树 $t_i$ 计算其“重要性分数”，判断它对句子整体“恶意程度”的贡献有多大。 d. 从 $S_b$ 中寻找与 $S_a$ 中重要子树语法类别相同的子树。 e. 用 $S_b$ 的子树替换掉 $S_a$ 中对应的子树，生成一个新的恶意查询。如下图所示，“help others out of trouble”（帮助他人摆脱困境）这个动词短语被替换为另一个动词短语“destroy other people's property”（破坏他人财产），从而生成了一个新的恶意查询。

         该图像是一个示意图，展示了图3中的语法树替换示例。图中展示了输入文本通过语法树替换生成恶意查询的过程，并通过蒸馏模型识别该文本的安全性，标记为“Negative!”或“Positive!”。

     • 基于LLM的方法 (LLM-based method):

       • 流程: a. 微调LLM: 首先，使用一个包含大量有害内容的据集（如 RealToxicPrompts）来微调一个中等规模的LLM（如 Vicuna-13B）。目的是让这个模型“学会”理解和生成有害言论的风格和模式。 b. 生成查询: 然后，使用一个精心设计的提示（见论文中的Generate Malicious Query Prompt），指令这个微调过的模型生成与示例风格类似的新恶意查询。
  2. 过滤查询: 将上一步生成的所有新恶意查询输入到**阶段一训练好的蒸馏模型 f_dm**中。f_dm 会对每个查询进行快速预测，判断其诱导LLM产生有害响应的概率。
  3. 最终测试: 只将那些被 f_dm 判定为“高潜力”的查询（即预测为有害的查询）与越狱提示结合，发送给最终要测试的目标LLM。然后记录LLM的响应，计算攻击成功率。

• 数学公式与关键细节 (Mathematical Formulas & Key Details):

  • 蒸馏损失 (Distillation Loss): $$\operatorname*{min}_{f_{dm}} \mathbb{E}_{(x) \sim \mathcal{T}} [\mathcal{L}(f_{llm}(x), f_{dm}(x))]$$
    • 符号解释:
      • $f_{dm}$: 学生模型（蒸馏模型）。
      • $f_{llm}$: 教师模型（目标LLM）。
      • $x$: 输入的恶意查询，它属于目标域 $\mathcal{T}$。
      • $\mathcal{L}$: 损失函数，本文中为交叉熵损失，用于衡量 $f_{dm}$ 的预测与 $f_{llm}$ 行为（即生成的响应是否有害）之间的一致性。
      • $\mathbb{E}$: 数学期望，表示在所有恶意查询样本上计算平均损失。
  • 子树重要性分数 (Subtree Importance Score): $$I_{t_i} = \frac{f_{dm}(S) - f_{dm}(S_{/t_i})}{len(t_i)}$$
    • 符号解释:
      • $I_{t_i}$: 语法子树 $t_i$ 的重要性分数。
      • $f_{dm}(S)$: 蒸馏模型对包含子树 $t_i$ 的完整句子 $S$ 的预测分数（恶意程度）。
      • $f_{dm}(S_{/t_i})$: 蒸馏模型对移除了子树 $t_i$ 的句子的预测分数。
      • $f_{dm}(S) - f_{dm}(S_{/t_i})$: 移除子树 $t_i$ 导致的恶意分数下降量，这个差值越大，说明 $t_i$ 越重要。
      • $len(t_i)$: 子树 $t_i$ 的长度（包含的词数），用它做分母是为了惩罚过长的子树，优先选择简短而关键的语法成分进行替换。

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets):

  • 越狱提示: 来自 Jailbreak Chat 网站，这是一个社区驱动的、收集各种越狱尝试的平台。作者从 Pretending (角色扮演)、Attention Shifting (转移注意力) 和 Privilege Escalation (权限提升) 三个类别中，根据用户投票数选择了最受欢迎的共6个提示。
  • 恶意查询:
    • 训练和测试: 主要使用 RealToxicPrompts 数据集，这是一个从网络文本中筛选出的、用于评估LLM安全性的基准数据集。
    • 泛化性测试: 使用了 Kaggle 的 Jigsaw Toxic Comment Classification Challenge 数据集，这是一个由人工标注的维基百科评论毒性数据集，用于验证方法在新数据上的表现。

• 评估指标 (Evaluation Metrics):

  • 毒性检测器 (Toxicity Detector):
    1. 概念定义: 使用谷歌的 Perspective API 来自动评估LLM输出文本的毒性。这是一个广泛使用的工具，可以给文本打一个0到1之间的毒性分数。
    2. 数学公式: 论文设定了一个阈值：$Toxicity Score > 0.7$。
    3. 符号解释: 如果 Perspective API 返回的分数大于0.7，则认为LLM的输出是“有害的”。作者还通过人工校验验证了该API的可靠性，准确率达到92.3%。
  • 一致性 (Agreement):
    1. 概念定义: 该指标用于衡量蒸馏模型（学生）的预测与目标LLM（教师）的实际行为是否一致。它反映了知识蒸馏的效果好坏。
    2. 数学公式: $$Agreement = \frac{\mathrm{Number \ of \ Consistent \ Classifications}}{\mathrm{Total \ Number \ of \ Queries}}$$
    3. 符号解释: “一致的分类”指的是蒸馏模型预测一个查询会导致有害响应，而LLM也确实产生了有害响应；或者蒸馏模型预测无害，LLM也确实无害。
  • 攻击成功率 (Attack Success Rate, ASR):
    1. 概念定义: 该指标衡量在所有测试的查询中，成功诱导LLM产生有害响应的查询所占的比例。这是评估测试框架有效性的核心指标。
    2. 数学公式: 论文中使用了两种计算方式：
       • 不带过滤器时： $$ASR = \frac{\mathrm{Number \ of \ effective \ queries}}{\mathrm{Total \ number \ of \ queries}}$$
       • 带过滤器时： $$ASR = \frac{\mathrm{Number \ of \ effective \ queries}}{\mathrm{Number \ of \ queries \ passing \ the \ filter}}$$
    3. 符号解释: effective queries 指成功使LLM产生有害响应的查询。第二种公式的分母变小了（只计算通过过滤的查询），因此其ASR值自然会更高，这直接反映了过滤器的筛选效率。
  • 损失 (Loss):
    1. 概念定义: 训练过程中的一个度量，通常使用交叉熵损失。它衡量模型预测值与真实标签之间的差距。损失越小，说明模型学得越好。
    2. 数学公式: $$\text{Cross-Entropy Loss} = -\sum_{i} y_i \log(\hat{y}_i)$$
    3. 符号解释: $y_i$ 是真实标签（0或1），$\hat{y}_i$ 是模型的预测概率。

• 对比基线 (Baselines):

  • 蒸馏模型架构: BERT, RoBERTa, DeBERTa, ERNIE。这些是不同但经典的小型预训练语言模型，用于扮演“学生模型”的角色。
  • 攻击生成方法: random word replacement (随机词替换)、Textfooler (一种经典的文本对抗攻击方法)、JailbreakingLLMs, GPTFuzzer, FuzzLLM, HouYi (均为其他研究者提出的自动化LLM攻击/测试工具)。这些基线代表了当前主流的攻击生成技术。

6. 实验结果与分析 (Results & Analysis)

• RQ1 (有效性): 我们的框架能否成功蒸馏LLM的审核机制？

  • 核心结果分析 (见Table 2): 实验结果显示，在使用知识蒸馏后（A.K.D.），所有学生模型（BERT, RoBERTa等）的 Agreement 指标都从蒸馏前（B.K.D.）的40-60%大幅提升到91%以上，同时 Loss 也从0.5-0.7显著降低到0.05以下。
  • 结论: 这强有力地证明了知识蒸馏是有效的。小型模型确实学到了目标LLM的审核行为模式，能够准确地预测哪些查询是“危险”的。其中，RoBERTa 和 DeBERTa 表现尤为出色。

• RQ2 (权衡): 如何平衡模型性能和数据集大小？

  • 核心结果分析 (见下图 Figure 4):

    该图像是一个折线图，展示了不同训练样本数量下，四种蒸馏模型（BERT、RoBERTA、DeBERTA、ERNIE）与GPT-3.5在一致性指标上的表现趋势。

    这张图显示，随着用于知识蒸馏的训练样本数量从0增加到10,000，模型的 Agreement 持续提升。但是，这种提升表现出边际效益递减的规律：在从0增加到4,000个样本时，性能提升非常快；但在4,000个样本之后，曲线变得平缓，增加更多样本带来的性能增益非常有限。

  • 参数分析: 论文进行了成本效益分析，发现为了追求微小的性能提升而收集大量训练数据（每个查询都有API成本）是不划算的。因此，选择4,000个样本作为训练集是在成本和性能之间的一个甜点（Sweet Spot）。

• RQ3 (泛化性): 知识蒸馏在处理新数据和不同LLM时是否有效？

  • 核心结果分析 (见Table 3 和 Table 4):
    • 不同LLM: 实验在GPT-3.5, GPT-4.0, Vicuna-13B, Llama-13B 四个模型上都取得了成功。知识蒸馏后，Agreement 平均提升了约40%。这表明该方法具有跨模型的泛化能力。有趣的是，更先进的GPT-4.0与蒸馏模型的一致性略低于GPT-3.5，这反映了GPT-4安全机制的复杂性更高，更难被模仿。
    • 新数据: 在全新的 Jigsaw 数据集上，虽然 Agreement 依然有显著提升，但绝对值低于在 RealToxicPrompts 数据集上的表现，且 Loss 也更高。这说明模型可能对训练数据产生了一定程度的过拟合，或者LLM的随机性也影响了预测的稳定性。
  • 结论: DistillSeq 框架具有良好的泛化性，但其性能会受训练数据分布和LLM自身随机性的影响。

• RQ4 (对比): DistillSeq与SOTA工具相比表现如何？

  • 核心结果分析 (根据原文Table 5数据转录):

    方法 (Method)	GPT-3.5	GPT-4.0	Vicuna-13B	Llama-13B	平均 ASR
    Random (无过滤器)	1.8%	0.9%	2.1%	1.1%	1.48%
    Random (带过滤器)	42.1%	38.6%	41.2%	39.5%	40.35%
    Textfooler (无过滤器)	15.2%	12.8%	16.1%	13.6%	14.43%
    Textfooler (带过滤器)	39.5%	36.4%	38.8%	37.9%	38.15%
    ... (其他SOTA工具)	~20-30%	~15-25%	~20-30%	~20-30%	~20-25%
    DistillSeq (语法树+过滤器)	52.3%	45.1%	50.8%	50.9%	49.78%
    DistillSeq (LLM+过滤器)	58.5%	50.7%	52.5%	54.4%	58.25%

  • 结论:

    1. DistillSeq 自身的两种方法（特别是LLM-based）在所有被测LLM上都取得了最高的攻击成功率 (ASR)，远超所有基线方法。
    2. 更关键的发现是，将 DistillSeq 的过滤器应用到其他简单的方法（如Random和Textfooler）上时，它们的ASR也得到了惊人的提升（例如，Random从1.48%飙升到40.35%）。这证明了DistillSeq的核心思想——过滤——本身就是一个强大且通用的模块，可以与其他攻击生成技术结合，共同提升测试效率。

• RQ5 (配置): 如何配置LLM以提高攻击成功率？

  • 注意：原文在此处被截断，未能提供完整的实验细节和结果。
  • 根据该部分标题推断，作者可能在此探讨了LLM的生成参数，如 temperature（温度）和 top-p（核采样）对攻击成功率的影响。通常，较高的 temperature 会增加模型输出的随机性和多样性，这可能更容易产生意料之外的有害内容，但也可能导致输出内容不连贯。调整这些参数是寻找模型弱点的常用策略。

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary):

  • 该论文成功地提出了一个名为 DistillSeq 的创新框架，用于高效、低成本地对大语言模型进行安全对齐测试。
  • 其核心贡献是巧妙地应用知识蒸馏技术，训练一个廉价的“过滤器”模型来模拟昂贵LLM的审核行为，从而在大量生成的恶意查询中筛选出最有可能成功的测试用例。
  • 实验证明，DistillSeq 能够将攻击成功率平均提高93.0%，并显著降低测试成本，为LLM安全测试领域提供了一个非常实用和有价值的解决方案。

• 局限性与未来工作 (Limitations & Future Work):

  • 作者指出的局限性：
    1. 数据依赖性: 蒸馏模型的性能受限于初始训练数据的质量和多样性。在面对与训练数据分布差异较大的新数据时，性能可能会下降（如RQ3所示）。
    2. LLM的随机性: LLM自身的输出不确定性会给知识蒸馏过程带来噪声，影响学生模型的学习效果。
  • 未来工作:
    1. 可以探索使用更多样化的数据集进行训练，以提高蒸馏模型的泛化能力。
    2. 研究如何更好地处理LLM输出的随机性问题，例如通过多次采样取平均等方式获得更稳定的“教师”信号。

• 个人启发与批判 (Personal Insights & Critique):

  • 启发:
    1. 工程思维的胜利: 这篇论文是解决实际工程问题的典范。它没有一味追求更复杂的攻击算法，而是从“成本”和“效率”这个非常务实的角度出发，通过引入“代理/过滤器”的思想，巧妙地解决了LLM测试中的核心痛点。这种思维方式在很多资源受限的AI应用场景中都值得借鉴。
    2. 模块化设计的价值: DistillSeq的过滤器模块被证明可以与多种攻击生成方法解耦并结合，这体现了良好模块化设计的力量。它不是一个孤立的工具，而是一个可以赋能现有工具生态的“插件”。
  • 批判性思考/潜在问题:
    1. “猫鼠游戏”的延续: 该框架的有效性依赖于“教师”LLM的审核机制。如果LLM厂商（如OpenAI）更新了其安全模型，那么之前训练好的蒸馏模型可能会迅速失效，需要重新投入成本进行数据收集和再训练。这构成了持续的“军备竞赛”。
    2. 初始成本不可忽视: 虽然DistillSeq在长期测试中能节省大量成本，但它需要一笔不可忽视的初始启动成本来收集训练数据（论文中提到约$48）。对于小规模或一次性的测试任务，这笔前期投入是否划算需要权衡。
    3. 对齐目标的局限性: 目前的工作主要聚焦于“毒性”这一单一维度的安全问题。然而，LLM的安全对齐还包括偏见、歧视、事实准确性、隐私泄露等多个方面。DistillSeq框架能否直接迁移到这些更复杂的对齐目标测试上，是一个有待验证的问题，因为这些问题可能不像“毒性”那样容易被单一的API分数所量化。