1. 论文基本信息

1.1. 标题

多轮对话通过注意力转移实现对大型语言模型的越狱 (Multi-Turn Jailbreaking Large Language Models via Attention Shifting)

1.2. 作者

论文作者包括来自华中科技大学（HUST）和华为国际（Huawei International）的研究人员：Xiaohu Du, Fan Mo, Ming Wen, Tu Gu, Huadi Zheng, Hai Jin, Jie Shi。他们的研究背景主要集中在网络安全、大数据技术和系统、服务计算等领域。

1.3. 发表期刊/会议

论文的发表日期为 2025年4月11日。根据其格式和发布时间，这篇论文很可能是一篇提交给顶级人工智能或安全会议（如 ACL, CCS, USENIX Security 等）的预印本 (pre-print)。

1.4. 发表年份

2025

1.5. 摘要

大型语言模型 (LLMs) 在自然语言处理任务中表现出色，但也带来了安全和伦理风险。为了增强其安全性，需要进行红队演练和对齐。近期的研究利用多轮对话进行“越狱”攻击，诱导 LLM 生成有害内容。然而，多轮越狱之所以有效，其根本原因尚不明确。现有攻击方法主要关注优化查询，缺乏对 LLM 内在漏洞的深入分析。本文首次深入分析了单轮与多轮越狱的差异，发现成功的多轮越狱能有效分散 LLM 对有害行为关键词的注意力，尤其是将其转移到历史对话中的模型回复上。基于此发现，论文提出了 ASJA (Attention Shifting for JAilbreaking LLMs)，一种通过转移 LLM 注意力的新型多轮越狱方法。该方法通过遗传算法迭代地伪造对话历史，诱导 LLM 生成有害内容。在三个 LLM 和两个数据集上的大量实验表明，ASJA 在越狱效果、提示词的隐蔽性和攻击效率方面均优于现有方法。这项工作强调了在多轮对话场景中增强 LLM 注意力机制鲁棒性的重要性，为构建更好的防御策略提供了思路。

1.6. 原文链接

• 官方链接: /files/papers/690edf32a05cc8091a1130b2/paper.pdf

• 发布状态: 预印本 (Pre-print)

  ---

2. 整体概括

2.1. 研究背景与动机

2.1.1. 核心问题

尽管大型语言模型（LLMs）经过了严格的安全对齐 (alignment) 训练，但它们仍然容易受到“越狱”攻击，即被诱导生成有害或被禁止的内容。近年来，研究者发现，相比于单次提问（单轮），在连续的多轮对话中更容易实现越狱。然而，为什么多轮对话会更容易攻破 LLMs 的安全防线？其背后的根本机制是什么？ 这一直是该领域一个尚未被深入探讨的问题。

2.1.2. 现有研究的挑战与空白 (Gap)

现有的多轮越狱攻击方法，如 PAIR 和 Crescendo，虽然取得了一定的成功，但它们大多延续了单轮攻击的思路，即主要致力于如何优化和迭代用户的“提问” (queries)，使其更具欺骗性。它们缺乏对 LLM 在多轮对话中内部工作机制的分析，没有回答以下关键问题：

1. 在多轮对话的哪个部分注入有害提示最有效？

2. LLM 在处理长对话历史时，其内部的注意力是如何分布的？

3. 多轮对话的成功越狱与失败越狱在 LLM 的内部状态（如注意力）上有何差异？

   这个研究空白导致现有攻击方法更像是“黑盒试探”，而非针对 LLM 内在漏洞的“精确打击”。

2.1.3. 论文的切入点与创新思路

本文的创新之处在于，它首次从 LLM 的核心机制——注意力机制 (Attention Mechanism)——入手，来解开多轮越狱的谜团。研究者们不再仅仅关注如何设计“提问”，而是转向分析在越狱过程中，LLM 对整个对话历史（包括用户的提问和模型自身的回复）的“注意力”是如何变化的。他们的核心假设是：成功的多轮越狱并非增强了有害提问的“毒性”，而是通过长对话历史“稀释”或“转移”了 LLM 对有害关键词的注意力，从而绕过了安全检测。

2.2. 核心贡献/主要发现

2.2.1. 主要贡献

1. 首次实证研究: 论文首次对 LLM 在多轮越狱过程中的注意力分布进行了实证研究，揭示了成功与失败攻击在注意力模式上的显著差异。
2. 提出新颖的攻击方法 (ASJA): 基于注意力转移的发现，提出了一种全新的、更高效的多轮越狱攻击方法 ASJA。该方法的核心思想是同时优化和伪造对话历史中的“提问”和“回复”，以主动地、精确地转移模型的注意力。
3. 全面的实验验证: 在多个主流 LLM 和标准数据集上进行了广泛实验，证明了 ASJA 在攻击成功率、隐蔽性和效率上超越了现有的先进方法。

2.2.2. 关键发现

1. 注意力转移现象: 在成功的越狱案例中，LLM 对最后一轮有害提问中的“危险关键词”（如“炸弹”、“抢劫”）的注意力显著低于失败的案例。

2. 历史回复的重要性: 在对话历史中，LLM 对自己先前生成的回复 (responses) 的关注度，远高于对用户提问 (queries) 的关注度。

3. 越狱机制新解释: 多轮越狱的成功，关键在于通过上下文的积累，将 LLM 的注意力从最终的有害指令上移开，使其无法有效识别出恶意意图，从而“失陷”。这就像一个警卫，如果被太多无关紧要的事情分散了注意力，就可能会忽略真正的威胁。

   ---

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 大型语言模型 (Large Language Models, LLMs)

大型语言模型是一种基于深度学习，特别是 Transformer 架构的人工智能模型。它们在海量文本数据上进行训练，以理解和生成人类语言。例如 GPT 系列、LLaMA 系列都是典型的 LLMs。

3.1.2. 对齐 (Alignment)

对齐是指通过特定的训练过程，使 LLM 的行为和输出符合人类的价值观、偏好和道德规范。这个过程通常包括监督微调和基于人类反馈的强化学习 (RLHF)，旨在确保模型是有帮助的 (Helpful)、诚实的 (Honest) 和无害的 (Harmless)。

3.1.3. 越狱 (Jailbreaking)

越狱是指用户通过精心设计的提示 (prompts)，绕过 LLM 的安全和道德限制，诱使其生成被禁止的内容，如暴力、歧视性言论或非法活动指南。

3.1.4. 红队演练 (Red Teaming)

在 LLM 领域，红队演练是一个主动寻找模型漏洞和安全风险的过程。研究人员或工程师扮演“攻击者”的角色，尝试用各种方法“越狱”模型，以发现其安全对策的不足之处，并为后续的改进和对齐提供依据。

3.1.5. 注意力机制 (Attention Mechanism)

注意力机制是现代 LLM (如 Transformer) 的核心组件。它允许模型在处理一个序列（如一句话）时，动态地评估序列中不同部分的重要性。在生成下一个词时，模型会给予输入序列中与之最相关的词更高的“注意力权重”。其标准计算公式如下： $$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

• 符号解释:
  • $Q$ (查询, Query): 代表当前正在处理的元素（例如，解码器中要预测的下一个词）的向量表示。
  • $K$ (键, Key): 代表输入序列中所有元素（可以和它们进行比较）的向量表示。
  • $V$ (值, Value): 代表输入序列中所有元素的实际内容向量。
  • 直观理解: 通过计算 $Q$ 和所有 $K$ 的相似度（点积 $QK^T$），模型可以知道应该对哪些输入元素（由 $K$ 代表）给予更多关注。这个关注度（权重）经过 softmax 归一化后，再乘以对应的 $V$，就得到了加权后的信息，作为当前步骤的输出。$d_k$ 是 $K$ 向量的维度，用作缩放因子以稳定梯度。

3.1.6. 遗传算法 (Genetic Algorithm)

遗传算法是一种模拟自然选择和遗传学机制的优化算法。它通过维护一个“种群” (population) 的候选解，并迭代地应用选择 (selection)、交叉 (crossover) 和变异 (mutation) 等操作，来逐步演化出更优的解。在本文中，一个“候选解”就是一个完整的多轮对话历史。

3.2. 前人工作

3.2.1. 单轮越狱 (Single-round jailbreaks)

这类攻击试图用一个单独的、精心设计的提示来攻破模型。

• GCG: 一种基于梯度的攻击方法，通过优化提示中的词元 (token) 来最大化模型生成有害内容的概率。
• AutoDAN 和 GPTFUZZER: 采用模糊测试 (fuzzing) 的思想，自动生成和变异大量提示来寻找模型的弱点。
• PAP (Persuasive Adversarial Prompts): 使用自然语言的“说服”技巧，通过场景构建和情感引导来说服模型输出不安全内容。

3.2.2. 多轮越狱 (Multi-turn jailbreaks)

这类攻击通过一个持续的对话过程，逐步引导模型进入“不安全”的状态。

• PAIR: 利用一个攻击模型，根据目标模型的历史回复，自动地迭代和优化后续的攻击提示。
• Crescendo: 通过设置一个逐步升级的场景（例如，从写一个无害的故事开始，逐步加入有害元素），让模型在不知不觉中滑向有害内容的生成。
• CoA (Chain of Attack): 同样采用逐步引导的策略，让模型从安全场景平滑过渡到有害场景。

3.3. 技术演进

LLM 安全评估的演进路径如下：

1. 手动红队演练: 最初，由人类专家手动编写攻击提示，成本高昂且效率低下。
2. 自动化单轮攻击: 随后，出现了如 GCG、AutoDAN 等自动化工具，能够高效地生成大量单轮攻击提示，加速了漏洞的发现。
3. 自动化多轮攻击: 随着模型对单轮攻击的防御能力增强，研究转向了更贴近真实交互场景的多轮攻击，如 PAIR 和 Crescendo。
4. 基于内部机制的攻击 (本文): 本文代表了一个新的方向，即不再将 LLM 视为黑盒，而是深入其内部机制（注意力），设计更根本、更高效的攻击和分析方法。

3.4. 差异化分析

本文方法与之前工作的核心区别在于：

• 攻击目标不同: 之前的工作主要优化用户的提问 (queries)。而本文的 ASJA 方法同时优化整个对话历史，包括用户的提问和模型的回复 (responses)。

• 理论基础不同: 之前的工作缺乏对多轮越狱成功机制的理论解释。本文首次提出了“注意力转移”作为其核心机制，并以此为理论基础构建攻击。

• 方法论不同: ASJA 首次将伪造对话历史作为核心攻击手段，并使用注意力分数作为遗传算法的适应度函数 (fitness function)，这是前所未有的。

  ---

4. 方法论

4.1. 方法原理

ASJA 方法的核心思想是：通过精心伪造 (fabricate) 一段多轮对话历史，让目标 LLM 认为它在之前的对话中已经扮演过一个愿意回答有害问题的角色。这种伪造的历史会分散模型在处理最终有害请求时对“危险关键词”的注意力，使其低于内部的安全警报阈值，从而成功越狱。

为了找到最优的伪造对话历史，ASJA 采用遗传算法进行搜索。其评价一个对话历史“好坏”的标准（即适应度函数）非常独特：一个能让模型在处理最终有害问题时，对该问题本身的注意力分数越低的对话历史，就是越好的解。

4.2. 核心方法详解 (逐层深入)

4.2.1. 前期研究：发现注意力转移现象

在提出 ASJA 之前，作者们首先进行了一项探索性实验，以验证他们的核心假设。

• 实验设计: 他们构建了100组5轮对话，逐步从良性问题过渡到有害问题，并输入给 LLaMA-2 模型。然后，他们记录了越狱成功和失败的两种情况，并分析了模型在生成最后一轮回答时，对输入的所有历史文本的注意力分布。

• 注意力分数计算: 为了量化注意力，他们定义了每个输入词元 (token) 的最终注意力分数。

  1. 首先，计算第 $t$ 个输出词元 $y_t$ 对第 $k$ 个输入词元 $t_k$ 的注意力分数，这是通过对模型所有 $L$ 层和 $H$ 个注意力头的注意力值 $A_{i,j}(y_t, t_k)$ 进行平均得到的。 $$A ( y _ { t } , t _ { k } ) = \frac { 1 } { L \times H } \sum _ { i = 1 } ^ { L } \sum _ { j = 1 } ^ { H } A _ { i , j } ( y _ { t } , t _ { k } )$$
     • 符号解释:
       • $A_{i,j}(y_t, t_k)$: 模型第 $i$ 层、第 $j$ 个注意力头中，输出 $y_t$ 对输入 $t_k$ 的注意力权重。
       • $L$: 模型的总层数（LLaMA-2-7b 中为32）。
       • $H$: 每个头的注意力头数量（LLaMA-2-7b 中为32）。
  2. 然后，为了得到每个输入词元 $t_k$ 的综合注意力分数，他们对所有输出词元（从第2个到第 $n$ 个）的注意力分数再次求平均。 $$A ( t _ { k } ) = \frac { 1 } { n - 1 } \sum _ { t = 2 } ^ { n } A ( y _ { t } , t _ { k } )$$
     • 符号解释:
       • $n$: 输入序列的总长度。
  3. 最后，将一个对话回合中所有词 (word) 的注意力分数相加，得到该回合（例如第 $r$ 轮的提问 $Q_r$）的总注意力分数。 $$A ( Q _ { r } ) = \sum _ { t = 1 } ^ { n } A ( w _ { t } )$$

• 实验结果与发现: 该实验的结果（如下图，原文 Figure 1）揭示了几个关键现象：

  该图像是条形图，展示了不同问题及回复中的注意力分布。左侧部分显示了跨回合的注意力情况，标记为'Reject'和'Jailbreak'，右侧部分则提供了详细的分布情况。此外，R1至R5表明了不同回合的响应结果。

  1. 注意力集中在首尾: 模型对第一轮和最后一轮的提问（Q1 和 Q5）注意力最高，而对中间轮次的提问（Q2-Q4）注意力极低。
  2. 回复比提问更受关注: 模型的历史回复（R1-R5）获得的注意力普遍高于对应的提问。
  3. 成功的关键差异: 在最后一轮的有害提问 (Q5) 上，成功越狱 (Jailbreak) 的样本所获得的注意力显著低于失败 (Reject) 的样本。这强有力地证明了“注意力转移”是越狱成功的关键。

4.2.2. ASJA 算法流程

基于上述发现，作者设计了 ASJA 算法，其完整流程在 Algorithm 1 中有详细描述。下面分步解析：

1. 多轮对话初始化 (Initialization):

   • 目标: 生成一个高质量的、包含有害内容倾向的初始对话历史。
   • 方法: 为了避免被主流安全对齐模型直接拒绝，作者使用了一个未经审查的模型 (Uncensored Model) 来生成初始对话。对话被设计为良性问题和有害问题交替出现，这类似于 DAN (Do Anything Now) 越狱策略的变体，即在对话历史中就植入模型已经“违规”的先例。
   • 输出: 一个包含多轮提问和回复的完整对话数据。

2. 对话优化：遗传算法 (Dialogue Optimization via Genetic Algorithm): 这是 ASJA 的核心。算法通过迭代演化一个由多个候选对话历史组成的“种群”，寻找最优的越狱样本。

   • 种群初始化 (Population Initialization): 通过对初始对话历史进行多次随机的变异 (mutation) 操作，生成一个多样化的初始种群（例如，包含 N=10 个不同的对话历史）。

   • 适应度评估 (Fitness Evaluation):

     • 目标: 评估每个对话历史的“越狱潜力”。
     • 方法: 将候选对话历史输入目标 LLM，计算模型对最后一轮有害提问 $Q_k$ 的总注意力分数。这个分数就是适应度值。 $$A ( Q _ { k } ) = \sum _ { i = 1 } ^ { n } A ( t _ { i } )$$
     • 核心思想: 适应度分数越低（即注意力越分散），代表该对话历史越优秀。

   • 迭代优化 (G 次迭代):

     1. 选择 (Selection):
        • 精英选择 (Elitism): 在每一代中，直接保留适应度最低（最好）的那个样本，确保最优解不会丢失。
        • 轮盘赌选择 (Roulette Wheel Selection): 对于其余的 N-1 个位置，根据适应度分数来选择“父母”样本。适应度分数越低的样本被选中的概率越大。
     2. 交叉 (Crossover):
        • 从被选中的两个“父母”对话历史中，随机选择一些对话单元（一轮提问或一轮回复），组合成一个新的“子代”对话历史。这有助于结合不同优秀解的优点。
     3. 变异 (Mutation):
        • 目标: 为种群引入新的多样性，探索更广阔的解空间。
        • 方法: 对“子代”对话历史中的某些对话单元进行重写。
          • 重写提问 (Query): 从8种已知的越狱策略（如“角色扮演”、“想象场景”等）中随机选择一种，让攻击模型（未经审查的模型）来重写某个提问。
          • 重写回复 (Response): 使用未经审查的模型，重新生成对某个有害提问的肯定性回答。这是伪造历史的关键步骤，旨在强化模型“已经违规”的记忆。

   • 终止条件: 如果在任何一代中，某个对话历史能够成功使目标 LLM 输出有害内容（通过判别模型 $F_J$ 判断），则算法成功并终止。否则，在达到最大迭代次数 $G$ 后终止。

     ---

5. 实验设置

5.1. 数据集

实验使用了两个标准的越狱攻击数据集：

1. QuestionList: 包含100个涵盖各种被禁止场景（如非法活动、不道德行为等）的查询。
2. AdvBench: 规模更大，包含520个有害行为实例，分布在七个具体场景中，如“非法活动”、“仇恨言论”、“恶意软件”等。

5.2. 评估指标

5.2.1. 攻击成功率 (Attack Success Rate, ASR)

• 概念定义: ASR 用来衡量攻击方法的有效性，即成功越狱的样本占总样本的百分比。论文使用了两种不同严格程度的 ASR。
  • ASR-1: 较为宽松的评判标准。一个回答首先要通过关键词过滤（即不包含“我不能”、“作为一个AI”等拒绝性词语），然后由一个强大的 LLM（LLaMA-3.1-70b）判断其是否有害。同时满足这两点即为成功。
  • ASR-2: 更为严格的标准。在满足 ASR-1 的基础上，还要求回答与原始的有害查询高度相关。这个指标非常重要，因为很多攻击方法为了绕过审查，会大幅修改原始问题，导致最终的回答虽然有害，但可能已经偏离了最初的意图。
• 数学公式: $$\text{ASR} = \frac{\text{Number of Successful Jailbreaks}}{\text{Total Number of Samples}} \times 100\%$$
• 符号解释:
  • Number of Successful Jailbreaks: 成功越狱的样本数量。
  • Total Number of Samples: 测试样本总数。

5.2.2. 句子困惑度 (Sentence Perplexity, PPL)

• 概念定义: 困惑度是衡量语言模型对一个句子感到“惊讶”或“不确定”程度的指标。一个句子的困惑度越低，说明这个句子在模型的“认知”里越自然、越流畅、越符合语法。在越狱攻击中，PPL 用来评估生成的攻击提示的隐蔽性 (stealthiness)。低 PPL 意味着攻击提示看起来更像正常的人类语言，更难被基于流畅度的防御机制检测到。
• 数学公式: 对于一个由词元序列 $W = (w_1, w_2, \dots, w_N)$ 组成的句子，其困惑度计算公式为： $$\text{PPL}(W) = P(w_1, w_2, \dots, w_N)^{-\frac{1}{N}} = \sqrt[N]{\frac{1}{P(w_1, w_2, \dots, w_N)}}$$
• 符号解释:
  • $P(w_1, w_2, \dots, w_N)$: 语言模型赋予整个句子序列的概率。
  • $N$: 句子中的词元数量。

5.3. 对比基线

论文将 ASJA 与三种具有代表性的现有方法进行了比较：

• AutoDAN: 一种采用遗传算法优化单轮越狱提示的方法。

• ReNeLLM: 通过提示重写和场景嵌套来生成单轮越狱提示。

• PAIR: 一种多轮攻击方法，利用 LLM 根据历史对话来重写和优化后续的攻击提示。

  ---

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 有效性 (Effectiveness) 与隐蔽性 (Stealthiness)

以下是原文 Table 1 的结果，展示了不同方法在三个开源模型和两个数据集上的 ASR 和 PPL 表现：

• 有效性分析: ASJA 在所有模型和数据集上的 ASR-1 和 ASR-2 指标上都显著优于所有基线方法。平均而言，相比于最好的基线 PAIR，ASJA 的 ASR-1 提升了 44.91%，ASR-2 提升了 34.02%。这证明了通过伪造对话历史来主动转移注意力是一种极为有效的越狱策略。
• 隐蔽性分析: 在 PPL 指标上，ASJA 和 PAIR 的表现最好（分数较低）。这得益于它们都利用 LLM 来生成或重写对话，使得整个对话历史在语言上更自然流畅。相比之下，AutoDAN 和 ReNeLLM 依赖于将有害内容嵌入固定的模板，导致 PPL 较高，更容易被检测。ASJA 成功地在高成功率和高隐蔽性之间取得了平衡。

6.1.2. 效率 (Efficiency)

下图（原文 Figure 3）比较了不同攻击方法在不同查询预算下的攻击成功率。查询预算指的是为了成功攻击一个样本，需要向目标 LLM 发送请求的总次数。

该图像是一个图表，展示了不同方法（ASJA、PAIR和AutoDAN）在查询时间与ASR之间的关系。随着查询时间的增加，ASJA的ASR逐渐提高，而PAIR和AutoDAN的变化相对平缓。

• 效率分析: ASJA 的曲线始终位于最上方，这意味着在任何给定的查询次数下，它都能达到比其他方法更高的成功率。反过来看，要达到相同的成功率，ASJA 所需的查询次数最少，因此效率最高。这对于评估昂贵的大模型来说，具有非常重要的现实意义，可以在更低的成本下发现更多漏洞。

6.1.3. 迁移性 (Transferability)

迁移性指的是将在一个模型（通常是较弱的开源模型，如 LLaMA-2）上生成的有效攻击样本，直接用于攻击另一个更强大、防御更好的模型（如 GPT-3.5, GPT-4o）时的成功率。

以下是原文 Table 2 的结果：

• 迁移性分析: ASJA 表现出非常强的迁移性。在攻击业界顶尖的 GPT-4o 时，ASJA 在两个 ASR 指标上均取得了最高分，并且保持了最低的 PPL。这表明通过注意力转移机制发现的漏洞，可能并非特定于某个模型，而是一种更普遍的、基于 Transformer 架构的内在脆弱性。

  ---

7. 总结与思考

7.1. 结论总结

本文对多轮对话越狱 LLM 的机制进行了开创性的探索，得出了以下核心结论：

1. 揭示了核心机制: 多轮越狱的成功关键在于通过构建长对话历史来分散和转移 LLM 对有害关键词的注意力，从而绕过其安全检测机制。
2. 提出了高效攻击方法: 基于上述发现，本文提出的 ASJA 方法通过遗传算法伪造对话历史，主动操控 LLM 的注意力，被证明在有效性、隐蔽性、效率和迁移性上全面超越了现有SOTA方法。
3. 指明了防御方向: 研究结果强调，未来的 LLM 安全防御不应仅局限于检测单个有害提示，而必须增强模型在处理长对话上下文时，对注意力机制的鲁棒性，防止其注意力被恶意操控。

7.2. 局限性与未来工作

尽管本文取得了显著成果，但仍存在一些潜在的局限性和值得探索的未来方向：

• 依赖未经审查的模型: ASJA 的攻击过程依赖一个“未经审查的模型”来生成初始对话和变异回复。这类模型的获取和使用可能存在一定的限制。
• 防御策略研究: 论文主要集中在攻击层面，虽然指明了防御方向，但并未提出具体的防御算法来对抗这种基于注意力转移的攻击。未来的工作可以集中于开发能够检测或阻止恶意注意力操控的防御机制。
• 更广泛的适用性: 实验主要在聊天对话场景下进行。该方法在代码生成、长文续写等其他 LLM 应用场景下的有效性有待进一步验证。

7.3. 个人启发与批判

这篇论文的价值远不止于提出了一种更强大的攻击工具，其更深远的意义在于揭示了当前 LLM 架构的一个根本性脆弱点。

• 启发:
  1. 从“内部”理解安全: 这项工作是一个典范，展示了从模型内部机制（如注意力）出发，比纯粹的黑盒试探能更深刻地理解和利用模型的漏洞。这为未来的 AI 安全研究提供了新的视角。
  2. “上下文”是一把双刃剑: LLM 强大的上下文理解能力是其核心优势，但本文揭示了这种能力也可能被利用。恶意的上下文可以“污染”模型的内部状态，导致其在关键决策点上“失明”。这对于所有依赖长上下文的应用（如 RAG、Agent）都敲响了警钟。
• 批判性思考:
  1. 注意力的“可解释性”问题: 本文将注意力分数作为模型“关注点”的直接代理。虽然这是学术界的普遍做法，但注意力是否真的等同于人类意义上的“关注”或“重要性判断”，仍然是一个有争议的话题。不过，无论其确切解释如何，实验结果已明确显示了注意力分数与越狱成功率之间的强相关性。
  2. 攻防的螺旋升级: ASJA 的提出无疑会将 LLM 的安全军备竞赛推向新的高度。防御者接下来可能需要开发“注意力审计”系统，或者在训练中加入对抗性样本，专门训练模型在复杂历史对话中也能准确识别有害意图，防止注意力被稀释。这预示着未来 LLM 的安全对齐将变得更加复杂和精细。