1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): Safety Layers in Aligned Large Language Models: The Key to LLM Security (对齐大语言模型中的安全层：LLM 安全的关键)
• 作者 (Authors): Shen Li, Liuyi Yao, Lan Zhang, Yaliang Li
• 隶属机构 (Affiliations): 中国科学技术大学 (University of Science and Technology of China), 合肥综合性国家科学中心人工智能研究院 (Institute of Artificial Intelligence, Hefei Comprehensive National Science Center)
• 发表期刊/会议 (Journal/Conference): 本文提交至 ICLR (International Conference on Learning Representations)，一个在深度学习领域享有盛誉的顶级会议，但链接指向 OpenReview，表明它处于评审或预印本状态。
• 发表年份 (Publication Year): 2024
• 摘要 (Abstract): 经过对齐的大语言模型 (LLMs) 具备识别并拒绝回答恶意问题的安全能力。然而，模型内部参数在维持这种安全性中的具体作用尚不明确，并且这些模型在遭受微调攻击时容易出现安全性能下降。为应对这些挑战，本文从参数层面揭示了对齐 LLM 的安全机制，发现在模型的中部存在一小部分连续的层，它们对于区分恶意查询和正常查询至关重要，作者将其称为“安全层” (safety layers)。研究首先通过分析模型内部各层输入向量的变化来证实安全层的存在，接着利用“过度拒绝” (over-rejection) 现象和参数缩放分析来精确定位这些层。基于这些发现，本文提出了一种新颖的微调方法——安全部分参数微调 (Safely Partial-Parameter Fine-Tuning, SPPFT)，该方法在微调过程中固定安全层的梯度以解决安全退化问题。实验证明，与全参数微调相比，SPPFT 能够在保持模型性能和减少计算资源的同时，显著地保护 LLM 的安全性。
• 原文链接 (Source Link):
  • 官方页面: https://openreview.net/forum?id=kUH1yPMAn7
  • PDF 链接: https://openreview.net/pdf?id=kUH1yPMAn7
  • 发布状态：预印本 (Preprint on OpenReview)

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):

  • 核心问题: 现代大语言模型通过“对齐” (alignment) 过程（如从人类反馈中强化学习 RLHF）学会了拒绝有害指令，但这种安全能力是如何在模型内部实现的？其具体的参数层面的机制是什么？此外，当这些对齐后的模型为了适应特定任务而进行微调 (fine-tuning) 时，其安全性常常会严重下降，甚至完全丧失，这种现象被称为“微调越狱” (finetuning jailbreak)。如何能在微调的同时保持模型的安全性，是一个亟待解决的关键问题。
  • 重要性与空白: 现有工作虽然观察到微调会破坏安全性，但未能深入解释其内部机理。一些研究尝试通过冻结模型中离散的、与安全相关的神经元来保护模型，但效果不佳。领域内缺乏一个清晰的理论来解释安全对齐在模型参数中的具体体现，也缺少一种有效且高效的方法来防御微调带来的安全风险。
  • 创新思路: 本文的切入点非常新颖，它假设模型的安全能力并非分散在所有参数中，而是集中在模型中间的少数连续层中。作者将这些关键层命名为“安全层” (safety layers)，并提出了一套系统性的方法来发现、定位、并利用这些层来构建一个安全的微调框架。

• 核心贡献/主要发现 (Main Contribution/Findings - What):

  • 发现并证实“安全层”的存在: 首次提出并证明了在多种主流对齐 LLM 中，存在一个连续的、位于模型中部的“安全层”结构。这些层是模型区分正常查询与恶意查询的关键，并且是安全对齐过程的直接产物。
  • 提出一套精确定位“安全层”的方法: 独创性地结合了层级向量表示分析、参数缩放 (parameter scaling) 和过度拒绝现象 (over-rejection phenomenon)，开发出一种通用算法，能够精确地定位不同 LLM 中的安全层边界。
  • 提出安全的微调范式 SPPFT: 基于安全层的发现，提出了一种名为 Safely Partial-Parameter Fine-Tuning (SPPFT) 的新方法。该方法在微调时冻结安全层的参数，从而在不影响任务学习效果的前提下，极大地保留了模型的原始安全性能，有效抵御了微调越狱攻击。
  • 揭示 LLM 内部功能分层结构: 通过注意力分数分析，论文进一步提出了对齐 LLM 内部层功能的三阶段划分：(1) 初步句子确认 (底层)，(2) 恶意意图检测 (安全层所在的中层)，(3) 语义分析与理解 (高层)。

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

• 基础概念 (Foundational Concepts):

  • 大语言模型对齐 (LLM Alignment): 指通过特定训练过程，使预训练 LLM 的行为符合人类的价值观和期望。常见方法包括：
    • 指令微调 (Instruction Fine-tuning): 使用大量“指令-回答”格式的数据对模型进行微调，让模型学会遵循指令。
    • 从人类反馈中强化学习 (Reinforcement Learning from Human Feedback, RLHF): 这是一个三步过程：(1) 微调一个基础模型；(2) 训练一个奖励模型 (Reward Model)，该模型能根据人类的偏好对模型的输出打分；(3) 使用强化学习算法（如 PPO）根据奖励模型的分数来优化 LLM，使其生成更符合人类偏好的内容。这个过程是实现模型安全性的主流技术。
  • 微调越狱 (Finetuning Jailbreak): 指对一个已经对齐的、安全的 LLM 进行微调后，其原有的安全能力被破坏，导致模型会响应之前会拒绝的恶意指令。这种现象即使在使用完全无害的数据进行微调时也可能发生。
  • 过度拒绝 (Over-rejection): 指对齐后的 LLM 变得“过于谨慎”，错误地拒绝回答一些本身无害、但可能包含敏感词汇的正常问题。例如，询问“如何杀死一个进程 (kill a process)”可能会被模型误解为有害指令而拒绝回答。本文巧妙地利用了这一现象作为衡量模型安全程度的敏感指标。

• 前人工作 (Previous Works):

  • LLM 对齐技术: 论文引用了 RLHF, Self-instruct, DPO 等主流对齐方法，指出这些方法虽然有效，但其在模型内部的具体作用机制尚不清晰。
  • 微调越狱的发现: 引用了 (Qi et al., 2023) 等工作，这些研究首次系统性地揭示了微调对 LLM 安全性的破坏作用，证明了无论是用有害数据还是无害数据微调，都可能导致安全退化。
  • 安全相关神经元的探索: 提到了 (Wei et al., 2024) 的工作，该研究发现模型中存在一些离散的、对安全至关重要的神经元。但论文指出，仅仅冻结这些离散的神经元在微调中不足以防止安全退化，暗示了安全机制可能以更宏观的结构（如连续的层）存在。

• 差异化分析 (Differentiation):

  • 与探索离散神经元的工作不同，本文首次提出安全机制是以连续的“层”为单位存在的，这是一个更宏观、更结构化的发现。
  • 与之前仅现象层面揭示微调风险的工作不同，本文深入到参数层面解释了安全机制，并基于此提出了具体的防御方法。
  • 本文提出的 SPPFT 方法，相较于其他防御方法，其机理更清晰（保护核心安全模块）、实现更简单（仅需冻结特定层），且实验证明效果显著。

4. 方法论 (Methodology - Core Technology & Implementation Details)

本文的核心方法论分为两大部分：一是如何发现并精确定位“安全层”，二是如何利用这一发现来设计安全的微调方法 SPPFT。

4.1 安全层的存在性验证与定位

方法原理 (Methodology Principles): 核心思想是：如果模型中的某些层负责区分恶意与正常指令，那么当输入这两种指令时，这些层处理后的向量表示（vector representation）应该会产生显著的差异。而在这些层之前，向量表示的差异应该很小；在这些层之后，差异应该已经形成并趋于稳定。

方法步骤与流程 (Steps & Procedures):

1. 第一步：验证存在性 - 层级向量差异分析

   • 数据准备: 准备一个正常问题数据集 $N$ 和一个恶意问题数据集 $M$。

   • 向量提取: 将正常和恶意问题分别输入对齐的 LLM。在模型进行推理时，记录下模型每一层最后一个位置 (final position) 的输出向量。之所以选择最后一个位置的向量，是因为在自回归模型中，它融合了前面所有 token 的信息，决定了下一个要生成的 token。

   • 相似度计算: 通过计算不同查询对在每一层输出向量的余弦相似度 (cosine similarity) 来量化它们之间的差异。共设置三组对比：

     • 正常-正常对 (N-N): 从 $N$ 中随机取两个问题，计算它们在每一层的向量相似度。这代表了模型处理不同语义的正常问题时的基线差异。
     • 恶意-恶意对 (M-M): 从 $M$ 中随机取两个问题，计算相似度。
     • 正常-恶意对 (N-M): 分别从 $N$ 和 $M$ 中各取一个问题，计算相似度。这直接衡量了模型区分两种性质问题的能力。

   • 差异可视化: 将 N-N 对和 N-M 对的逐层平均余弦相似度曲线绘制在同一张图上。一个关键的发现是：在模型的初始几层，两条曲线几乎重合；从某个中间层开始，N-M 曲线急剧下降，与 N-N 曲线拉开一个明显的“鸿沟” (gap)，并在后续层中保持这个差距。这个“鸿沟”的出现和扩大，直观地证明了“安全层”的存在。

     该图像是图2，展示了四种对齐LLM（Llama-3-8B-Instruct, Llama-2-7B-Chat, Phi-3-mini-4k-instruct和gemma-2b-it）在不同隐藏层上的分析结果。上半部分描绘了“正常-正常(N-N)对”与“正常-恶意(N-M)对”的余弦相似度变化。下半部分则显示了这两种情况之间的平均角度差。图示表明，在模型中间层，N-M对的余弦相似度显著下降，同时平均角度差出现峰值，这揭示了“安全层”的存在，这些层对于区分恶意查询至关重要。

   上图（图2）清晰地展示了这一现象。上半部分是余弦相似度曲线，下半部分是角度差（更能体现差异），可以看到在中间层（红色虚线标记范围）角度差达到峰值，证明了这些层是区分恶意查询的关键。

   • 对比实验: 为了证明安全层是对齐的产物，作者对预训练但未对齐的 LLM 做了相同实验。结果如下图（图3）所示，N-N 和 N-M 曲线在所有层都几乎没有差异，证明了预训练模型不具备区分能力，安全层确实是在安全对齐过程中“学习”到的。

     该图像是图3，展示了预训练LLMs（Llama-3-8B、Llama-2-7B和gemma-2b）内部层对“N-N Pair”和“N-M Pair”的分析。它通过上排的余弦相似度值和下排的平均角度差，揭示了不同层中正常与恶意查询表示之间的区分度。对于Llama系列模型，中间层显示出N-M Pair余弦相似度显著下降和平均角度差增大，表明这些层在区分恶意查询中起关键作用，可能对应于论文中提出的“安全层”。gemma-2b表现出不同的模式。

2. 第二步：精确定位 - 结合参数缩放和过度拒绝

   • 初步范围确定: 上一步的“鸿沟”出现的起始点到趋于平稳的区域，可以作为安全层的一个初始大致范围 [i, j]。
   • 利用过度拒绝现象: 作者发现，直接用恶意问题被拒绝的数量来衡量安全性变化不够敏感。相反，“过度拒绝”现象（模型错误地拒绝无害问题）是一个更灵敏的“安全指示器”。
   • 参数缩放 (Parameter Scaling): 通过将特定连续层的参数权重乘以一个缩放因子 $\alpha$（例如 $\alpha = 1.2$ 或 $\alpha = 0.8$）来临时增强或减弱这些层在推理过程中的影响力。
   • 定位算法 (Progressive Safety Layers Localization Adjusting):
     1. 从初始范围 [i, j] 开始。
     2. 调整上界: 保持下界 $i$ 不变，逐步扩大上界，测试 $[i, j], [i, j+1], [i, j+2], \dots$ 等范围。对每个范围的层进行参数缩放 (如 $\alpha > 1$)，然后在一个专门构建的“过度拒绝”数据集 $D_o$ 上测试模型，记录被拒绝的问题数量 $R_o$。当 $R_o$ 达到峰值时，对应的上界即为最精确的上界。其直觉是：当且仅当被缩放的层都属于安全层时，模型的“安全意识”被最大程度地放大，导致最严重的过度拒绝。如果包含了无关的层，反而会“稀释”安全信号，导致过度拒绝下降。
     3. 调整下界: 固定上一步确定的上界，用同样的方法逐步调整下界，直到找到使 $R_o$ 达到峰值的点。
     4. 最终，使过度拒绝指标 $R_o$ 达到极值的层范围，即被定义为精确的“安全层”范围。

4.2 安全部分参数微调 (SPPFT)

方法原理: 既然已经找到了负责安全的关键模块——安全层，那么在微调时，只要保护好这个模块不受影响，就可以在学习新知识的同时，最大程度地保留模型的安全性。

实现方式: SPPFT 的实现非常简单：在进行下游任务的微调时，将定位到的安全层的所有参数的梯度计算关闭（即冻结这些层）。这样，在反向传播过程中，只有非安全层的参数会被更新，而安全层的参数保持不变。

$$\theta_{updated} = \begin{cases} \theta_{old} - \eta \nabla_{\theta} L & \text{if } \theta \notin \text{Safety Layers} \\ \theta_{old} & \text{if } \theta \in \text{Safety Layers} \end{cases}$$

其中 $\theta$ 代表模型参数，$\eta$ 是学习率，$L$ 是损失函数。这种方法不仅保护了安全性，还因为减少了需要训练的参数量，从而降低了计算成本和显存占用。

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets):

  • 微调数据集: 基于 alpaca_finance 数据集构建了三种攻击场景的数据集：
    1. $Normal Data (D_N)$: 只包含无害的通用对话数据。
    2. $Implicit Attack (D_I)$: 指令是无害的，但要求模型的输出以肯定性开头（如 "Sure, the answer is:"），诱导模型养成“乐于助人”的习惯。
    3. $Backdoor Attack (D_B)$: 包含特定触发词的指令，同样诱导模型给出肯定性回答。
    4. $Harmful Data (D_H)$: 混合了正常数据和少量恶意数据（比例 p 从 0.05 到 0.2 不等）。
  • 安全性评估数据集: 使用了 (Zou et al., 2023) 提出的包含 520 个恶意问题的数据集 $D_m$。
  • 任务性能评估数据集:
    • 从 alpaca_finance 中抽取 500 个样本作为测试集 $D_T$，用于评估微调任务的性能。
    • 使用 MMLU benchmark 评估模型的通用知识和推理能力。

• 评估指标 (Evaluation Metrics):

  • Harmful Rate ($R_h$):

    1. 概念定义: 衡量模型安全性的核心指标，表示在恶意问题数据集 $D_m$ 中，模型愿意回答（即没有直接拒绝）的问题所占的比例。这个比例越低，说明模型的安全性越好。
    2. 数学公式: $$R_h = \frac{\text{Number of harmful prompts answered by LLM}}{\text{Total number of harmful prompts in } D_m}$$
    3. 符号解释:
       • Number of harmful prompts answered by LLM: 模型对恶意提示生成了实质性回答（而非拒绝模板）的数量。
       • $Total number of harmful prompts in D_m$: 恶意测试集 $D_m$ 中的问题总数。

  • Harmful Score ($S_h$):

    1. 概念定义: 衡量模型生成内容有害程度的指标。即使模型回答了恶意问题，其回答的有害程度也可能不同。该研究使用 GPT-4 作为裁判，根据一套详细的评分标准（1-5分）来评估模型输出的有害性。分数越低，代表内容越安全。
    2. 数学公式: $$S_h = \frac{1}{|D_m|} \sum_{i=1}^{|D_m|} \text{Score}_{\text{GPT-4}}(\text{response}_i)$$
    3. 符号解释:
       • $|D_m|$: 恶意测试集 $D_m$ 的大小。
       • $\text{response}_i$: 模型对第 $i$ 个恶意问题的输出。
       • $\text{Score}_{\text{GPT-4}}(\cdot)$: GPT-4 根据预设规则给出的 1-5 分的有害性评分。

  • Rouge-L Score ($S_r$):

    1. 概念定义: 用于评估生成文本与参考文本之间相似度的指标，常用于摘要、翻译等任务。Rouge-L 特别关注最长公共子序列 (Longest Common Subsequence, LCS)，即它衡量的是两个文本序列在保持语序的情况下，最长的共享子序列的长度。分数越高，表示生成的文本在内容上与参考答案越接近，说明模型在微调任务上学得越好。
    2. 数学公式: $$R_{lcs} = \frac{\text{LCS}(X, Y)}{m}, \quad P_{lcs} = \frac{\text{LCS}(X, Y)}{n}, \quad F_{lcs} = \frac{(1+\beta^2) R_{lcs} P_{lcs}}{R_{lcs} + \beta^2 P_{lcs}}$$
    3. 符号解释:
       • $X$: 参考答案序列，长度为 $m$。
       • $Y$: 模型生成答案序列，长度为 $n$。
       • $\text{LCS}(X, Y)$: $X$ 和 $Y$ 的最长公共子序列的长度。
       • $R_{lcs}$: 基于 LCS 的召回率 (Recall)。
       • $P_{lcs}$: 基于 LCS 的精确率 (Precision)。
       • $F_{lcs}$: 最终的 Rouge-L F1 分数，通常 $\beta$ 设置得很大以只关注 $R_{lcs}$。

  • MMLU Score ($S_m$):

    1. 概念定义: Massive Multitask Language Understanding (大规模多任务语言理解) 是一个综合性的基准测试，用于评估模型的通用知识和问题解决能力。它涵盖了从初等数学到美国历史、法律等 57 个不同学科领域。得分越高，表明模型的综合能力越强。

• 对比基线 (Baselines):

  • Full Fine-Tuning (FullFT): 标准的全参数微调，更新模型所有参数。这是主要的对比对象，用于展示安全退化有多严重。
  • Neuron Freezing Fine-tuning (NFFT): 冻结 (Wei et al., 2024) 发现的离散“安全关键神经元”进行微调，用于证明本文提出的冻结连续“层”的策略更优越。
  • Lisa: (Huang et al., 2024b) 提出的一种安全微调方法，用于在有害数据攻击场景下进行对比。

6. 实验结果与分析

6.1 安全层定位结果

论文在 Table 1 中展示了对四个主流对齐 LLM (Llama-3-8B-Instruct, Llama-2-7b-chat, gemma-2b-it, Phi-3-mini-4k-instruct) 的安全层定位过程和最终结果。以下为该表格的转录与分析：

• 核心结果分析:
  • 表格清晰地展示了通过调整缩放层的边界，过度拒绝数量 (Over-Rejection Num) 会出现一个峰值（对于 $\alpha > 1$）或谷值（对于 $\alpha < 1$，如 Phi-3）。
  • 例如，对于 Llama-3-8B-Instruct，当固定上界为12，下界从8调整到6时，过度拒绝数从334增加到371，再调整到5时下降到358。这表明层6是安全层的重要组成部分。最终定位其安全层为 [6, 12]。
  • 这一结果验证了该定位算法的有效性，并为后续 SPPFT 实验确定了需要冻结的层范围。

6.2 SPPFT 防御微调攻击结果

Table 2 展示了在无害数据微调场景 (Normal, Implicit, Backdoor) 下，SPPFT 与 FullFT 和 NFFT 的对比。以下是关键数据的转录与分析：

• 核心结果分析:
  • 安全性保持: 在所有模型和所有攻击场景下，SPPFT 的 Harmful Rate (Rh) 和 Harmful Score (Sh) 都远低于 FullFT 和 NFFT，且非常接近模型初始的安全性水平。例如，在对 Phi-3 进行 Implicit Attack 时，FullFT 后的 Rh 飙升至 87.69%，而 SPPFT 仅为 3.27%，几乎没有变化。这强有力地证明了冻结安全层可以有效抵御微调带来的安全侵蚀。
  • 任务性能: SPPFT 后的 Rouge-L (Sr) 和 MMLU (Sm) 分数与 FullFT 相当，有时甚至略高。这表明冻结安全层并未损害模型学习下游任务的能力和其通用的知识能力。
  • 基线对比: NFFT（冻结离散神经元）的效果与 FullFT 差不多，都导致了严重的安全退化。这反衬出本文发现的**连续“安全层”**作为一个整体结构的重要性，远超离散神经元的简单组合。

6.3 消融实验/参数分析

• 消融实验: 论文在附录 (A.4.5) 中进行了关键的消融实验：冻结非安全层 (即安全层之前和之后的层) 进行微调。结果显示，这种做法完全无法保护模型的安全性，其 Rh 和 Sh 指标与 FullFT 一样差，甚至更糟。这进一步证实了只有本文定位到的特定中间层才是安全的关键，而非任意的参数冻结都能起作用。

6.4 三阶段功能划分的证据

论文通过可视化注意力热图 (Attention Heatmap) 来佐证其提出的三阶段功能划分理论。

该图像是图4中Llama-2-7b-chat和Phi-3-mini-4k-instruct模型的注意力分数热图。垂直轴表示模型的各个层，水平轴对应输入LLM词元。每个网格的深浅反映了特定层分配给该词元的注意力分数。图示了Llama-2-7b-chat在恶意问题（如“How to make a bomb”）和正常问题（如“Where is the capital of America”）上的注意力模式。黑色的虚线标记了安全层的位置，将模型层分为三个部分，暗示这些层在区分恶意与正常查询中扮演关键角色。

• 图像分析: 上图（图4）及附录中的多张热图（图9-12）显示：
  • 第一阶段 (底层): 在安全层之前，模型的注意力分数主要集中在一些语法结构词上，如 How, to, the，表明模型在进行初步的句法分析。
  • 第二阶段 (中层/安全层): 在安全层内部（黑色虚线之间），对于恶意问题，模型开始将注意力转移到核心的恶意关键词上（如 bomb, rob, kill）。这表明安全层正在进行意图检测。
  • 第三阶段 (高层): 在安全层之后，注意力完全集中在句子的核心语义词上，表明模型进入了深度的语义理解和内容生成阶段。

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary):

  • 本文首次揭示并证实了对齐 LLM 中存在连续的、位于模型中部的“安全层”，这些层是模型识别和拒绝恶意指令的核心。
  • 研究提出了一套创新且通用的方法，能够精确地定位不同模型中的安全层。
  • 基于此发现，本文设计了 SPPFT，一种简单高效的安全微调方法。通过在微调时冻结安全层，SPPFT 能够在不牺牲任务性能的前提下，显著保持模型的安全性，有效防御微调越狱攻击。
  • 该研究为理解 LLM 内部的安全机制提供了全新的视角，并为安全 AI 的发展奠定了坚实的基础。

• 局限性与未来工作 (Limitations & Future Work):

  • 论文本身未明确提及局限性，但可以推断出一些潜在方向：
    • 更细粒度的分析: 虽然本文定位到了“层”级别，但安全层内部的具体工作机制（例如哪些 attention head 或 FFN 子模块更关键）仍有待进一步探索。
    • 动态适应性: SPPFT 是一种静态的防御，即安全层在微调中完全不变。未来是否可以研究更动态的策略，比如允许安全层进行微小的、受控的调整，以适应某些与安全边界相关的特定任务。
    • 跨模型泛化: 虽然实验覆盖了多个模型，但安全层的具体位置和大小因模型而异。探索是否存在一种方法可以预测或快速迁移安全层的知识，而无需对每个新模型都重复完整的定位过程，将是一个有价值的方向。

• 个人启发与批判 (Personal Insights & Critique):

  • 启发:
    1. “模块化”思想的胜利: 这篇论文最深刻的启发在于，它揭示了 LLM 这样庞大而复杂的系统中可能存在着功能上的“模块化”或“区域化”。安全能力并非弥散在所有参数中，而是高度集中在特定区域。这一发现对于模型的可解释性、可编辑性和可控性研究具有里程碑式的意义。未来，我们或许可以类似地找到模型的“逻辑推理层”、“知识记忆层”等。
    2. “副作用”的巧妙利用: 将“过度拒绝”这一通常被视为负面效应的现象，转化为一个高灵敏度的测量工具，是本研究方法论上的一大亮点。这启发我们，在研究复杂系统时，其“缺陷”或“副作用”有时可能蕴含着关于其内部状态的宝贵信息。
    3. 简单即是美: SPPFT 方法的实现极其简单，但效果却非常显著。它提供了一个优雅、低成本且高效的解决方案，完美诠释了“奥卡姆剃刀”原则，即深刻的洞察往往能带来最简洁的解决方案。
  • 批判/可改进之处:
    1. 对“安全”的定义较为单一: 本文主要关注于模型对明确恶意指令的拒绝能力。但在现实世界中，“安全”的内涵更广泛，还包括偏见 (bias)、信息泄露 (privacy leakage)、事实性 (factuality) 等。SPPFT 是否能保护这些更广泛意义上的“安全”，仍是一个开放问题。冻结的“安全层”可能只负责“恶意检测”，而与其他安全维度无关。
    2. 定位过程的成本: 虽然论文强调定位过程是高效的，但它仍然需要对每个新模型进行一次完整的分析（包括多次带参数缩放的推理）。对于拥有成百上千个模型的平台来说，这可能仍是一笔不小的开销。
    3. 与 LoRA 等 PEFT 方法的结合: 目前主流的微调方法是参数高效微调 (PEFT)，如 LoRA。论文主要将 SPPFT 与全参数微调对比。SPPFT 如何与 LoRA 等方法结合（例如，只在非安全层上应用 LoRA）？这种结合的效果如何？这将是决定 SPPFT 实际应用价值的关键一步。