1. 论文基本信息

1.1. 标题

Fine-Grained Safety Neurons with Training-Free Continual Projection to Reduce LLM Fine Tuning Risks （基于免训练持续投影的细粒度安全神经元方法，用于降低 LLM 微调风险）

1.2. 作者

Bing Han$^{1,3}$, Feifei Zhao$^{1}$, Dongcheng Zhao$^{1,5}$, Guobin Shen$^{1,2}$, Ping Wu$^{1,3}$, Yu Shi$^{3}$, Yi Zeng$^{1,2,3,4,5}$

• 主要隶属机构：中国科学院自动化研究所类脑认知智能实验室 (Brain-inspired Cognitive Intelligence Lab, Institute of Automation, Chinese Academy of Sciences)

1.3. 发表期刊/会议

发表于 arXiv (预印本)，发布时间为 2025 年 8 月（根据提供的元数据）。arXiv 是计算机科学领域最权威的预印本平台，通常汇集了该领域的最新研究成果。

1.4. 发表年份

2025 年

1.5. 摘要

微调（Fine-tuning）是将领域知识注入大语言模型（LLM）的关键技术，但往往会破坏模型原有的安全对齐，引入安全风险。现有的后微调（Post-fine-tuning）防御策略大多依赖粗粒度的安全层映射，缺乏对细粒度神经元的考量，难以平衡安全性与模型效用。 为此，本文提出了 FGSN (Fine-Grained Safety Neurons) 方法。该方法通过整合安全层与神经元的多尺度交互，精确定位稀疏的安全神经元，并利用 免训练（Training-Free） 的持续投影技术将这些参数映射到安全方向。实验表明，FGSN 能显著降低有害性得分和攻击成功率，同时极少修改参数（约 5%），保持了模型在下游任务中的性能，并具备针对新出现安全问题的持续防御能力。

1.6. 原文链接

• 原文链接: https://arxiv.org/abs/2508.09190v1

• PDF 链接: https://arxiv.org/pdf/2508.09190v1.pdf

• 状态: 预印本 (Preprint)

  ---

2. 整体概括

2.1. 研究背景与动机

• 核心问题： 大语言模型（LLM）在经过安全对齐（如 RLHF）后，如果针对下游任务进行微调（Fine-tuning），很容易发生“安全遗忘”（Safety Forgetting）。即使微调数据是无害的，模型也可能重新表现出有害行为。
• 现有挑战：
  • 防御成本高： 在微调阶段加入安全数据进行混合训练（Joint Training）会增加计算开销。
  • 粗粒度局限： 现有的后微调防御方法（如 SafeLoRA）通常在“层（Layer）”级别进行操作，这种粒度过粗，导致在提升安全性的同时往往会损害模型的通用能力（Utility）。
  • 缺乏持续性： 现有的防御多针对静态安全目标，难以应对不断涌现的新型安全威胁（如从“仇恨言论”演变到“生物恐怖主义”）。
• 创新思路： 本文提出从细粒度神经元（Fine-Grained Neurons）入手，结合层级的重要性分析，精确定位那些“负责安全”的神经元，并在不重新训练模型的情况下，通过数学投影修正这些神经元的参数。

2.2. 核心贡献/主要发现

1. 多尺度定位方法： 提出了一种结合“安全关键层”和“细粒度神经元”的定位机制。通过分析层间相似度和神经元激活状态，精确定位出对安全至关重要但对通用任务影响较小的稀疏神经元。

2. 免训练稀疏投影： 利用未对齐模型（Base Model）和对齐模型（Aligned Model）之间的差异构建“安全方向”，直接将定位到的神经元参数投影到该方向，无需进行反向传播训练。

3. 持续学习能力： 设计了任务自适应的异构安全神经元簇优化机制，使得模型能够针对新增的安全维度进行增量防御，而不会遗忘旧的安全能力。

4. 实验成效： 在 LLaMA-3 和 Qwen-2.5 等模型上，仅修改约 4.67% - 5.38% 的参数，就将有害性评分降至接近最低值（1.02），且在 Alpaca 和 GSM8K 等任务上保持甚至提升了性能。

   ---

3. 预备知识与相关工作

3.1. 基础概念

为了理解本文，初学者需要掌握以下概念：

• 微调 (Fine-tuning) 与 LoRA: 微调是指在预训练模型基础上，使用特定数据进行额外训练以适应新任务。LoRA (Low-Rank Adaptation) 是一种高效微调技术，它不修改模型原始权重 $W$，而是训练两个低秩矩阵 $A$ 和 $B$，使得权重更新为 $W + BA$。本文的方法就是直接修正这些 LoRA 参数。
• 对齐 (Alignment): 指通过监督微调 (SFT) 或人类反馈强化学习 (RLHF) 让模型符合人类价值观（如由“虽有能力但不安全”变为“有用且无害”）。
• 灾难性遗忘 (Catastrophic Forgetting): 神经网络在学习新知识（如下游任务）时，倾向于忘记旧知识（如安全对齐规则）。
• 余弦相似度 (Cosine Similarity): 衡量两个向量在方向上是否相似的指标。本文用它来比较模型各层输出的差异，以判断哪些层负责安全对齐。
• 投影 (Projection): 在线性代数中，指将一个向量映射到另一个向量或子空间上。本文将“不安全参数”映射到“安全方向”上，使其具备安全属性。

3.2. 前人工作

• 微调阶段防御: 如 SafeInstr 和 Goal Priority，通过在微调数据中混合安全样本来防御。缺点是增加了训练成本。
• 后微调防御 (Post-fine-tuning Defense):
  • SafeLoRA: 通过比较微调前后权重的相似度来识别安全层，并进行参数融合。
  • Wanda / Antidote: 基于神经元剪枝（Pruning）的方法，即直接切断对有害提示反应强烈的神经元连接。
• 局限性: 前人工作主要依赖粗粒度的层级操作，或者简单的剪枝，难以在强力防御和保留模型智力之间取得平衡。

3.3. 技术演进与差异化

本文 (FGSN) 是后微调防御技术的进一步演进：

• 从层到神经元: 从操作整个层（Layer-level）进化到操作特定神经元（Neuron-level）。

• 从剪枝到投影: 不再简单地“切除”神经元（可能导致能力受损），而是将其参数“修正”（投影）到安全方向。

• 从静态到持续: 首次在后微调防御中引入了针对多维度安全风险的持续学习机制。

  ---

4. 方法论

本章节将详细拆解 FGSN 的核心技术流程。该方法无需训练，通过数学分析直接修改模型参数。

下图（原文 Figure 1）展示了 FGSN 的整体流程，包括安全层识别、细粒度神经元定位和持续投影：

该图像是示意图，展示了Fine-Grained Safety Neurons (FGSN)与训练无关的持续投影方法。该方法旨在通过整合安全层与细粒度神经元的多尺度交互，减少大型语言模型的微调安全风险。公式 W_{B}^{new} = I(J otin N_{new}) ullet W_{B}^{J} + I(J otin N_{new}) ullet Proj_{safe}(W_{B}^{J}) 描述了模型参数的安全方向投影。

4.1. 方法原理

FGSN 的核心直觉是：模型中只有少部分参数（神经元）专门负责安全拒绝机制。如果我们能精准找到这些神经元，并利用已有的“对齐模型”作为参考，将这些神经元的参数“拉回”到安全状态，就能在不影响其他功能的前提下恢复安全性。

4.2. 核心方法详解 (逐层深入)

4.2.1. 第一步：安全关键层识别 (Safety-Critical Layer Identification)

不同层对安全性的贡献不同。作者通过对比“基础模型（Base）”和“对齐模型（Align）”在处理有害/无害提示时的内部状态差异来识别关键层。

1. 获取隐藏状态 (Hidden States): 首先，分别计算对齐模型在无害（benign）和有害（harm）提示下的平均隐藏状态。公式如下： $$\begin{array} { r l } & { S _ { \mathrm { a l i g n } } ( \mathrm { b e n i g n } ) = \frac { 1 } { B } \sum _ { b = 1 } ^ { B } D ( o _ { b } ^ { 0 } , o _ { b } ^ { 1 } , \dots , o _ { b } ^ { K - 1 } ) } \\ & { S _ { \mathrm { a l i g n } } ( \mathrm { h a r m } ) = \frac { 1 } { H } \sum _ { h = 1 } ^ { H } D ( o _ { h } ^ { 0 } , o _ { h } ^ { 1 } , \dots , o _ { h } ^ { K - 1 } ) } \end{array}$$

   • 符号解释:
     • B, H: 分别表示无害样本和有害样本的数量。
     • $o_b^k, o_h^k$: 第 $k$ 个 token 的输出状态。
     • $D(\cdot)$: 表示提取特定层的隐藏状态函数。
     • $S_{align}$: 对齐模型的平均隐藏状态向量。

2. 计算层间相似度: 使用余弦相似度来衡量模型在处理不同输入时的一致性。公式如下： $$S i m _ { \mathrm { a l i g n } } = \frac { S _ { \mathrm { a l i g n } } ( \mathrm { b e n i g n } ) \cdot S _ { \mathrm { a l i g n } } ( \mathrm { h a r m } ) } { \left\| S _ { \mathrm { a l i g n } } ( \mathrm { b e n i g n } ) \right\| \cdot \left\| S _ { \mathrm { a l i g n } } ( \mathrm { h a r m } ) \right\| }$$

   • 原理: 作者发现，在模型的中间层（约 1/3 深度处，如 LLaMA 的 10-15 层），对齐模型的相似度梯度变化最大（如下图 Figure 2 所示）。这意味着这些层开始区分“有害”与“无害”内容。因此，这些层被标记为安全关键层。

     下图（原文 Figure 2）展示了层间余弦相似度的变化 (a/b) 以及安全神经元与通用神经元的分布 (c-f)：

     该图像是图表，展示了不同层级的模型中安全相关神经元与任务通用神经元的余弦相似度及其梯度。图(a)显示了基础模型与指令模型的余弦相似度随层数变化的趋势，图(b)展示了余弦相似度梯度的变化情况，图(c)-(f)则分别呈现了层1、层10、层15和层30的神经元分布。

4.2.2. 第二步：细粒度安全神经元定位 (Fine-Grained Safety Neuron Localization)

在确定了关键层后，需要在这些层中找到具体的“安全神经元”。

1. 计算神经元重要性得分: 作者基于神经元的权重和激活值定义其重要性。 对于有害数据，神经元 $j$ 的重要性 $C_j^{harm}$ 计算如下： $$C _ { j } ^ { h a r m } = \left( \sum _ { i } W _ { i j } ^ { l } \right) \cdot \left( \frac { 1 } { H } \sum _ { h = 1 } ^ { H } o _ { h } ^ { k , l } \right)$$

   • 符号解释:
     • $W_{ij}^l$: 第 $l$ 层从神经元 $i$ 到 $j$ 的输入权重。
     • $o_h^{k,l}$: 第 $l$ 层在处理有害输入时的激活输出。
     • 该公式实际上是衡量神经元 $j$ 在处理有害输入时的平均贡献度。同理可计算 $C_j^{benign}$。

2. 筛选安全神经元 (Masking): 我们的目标是找到那些对有害输入反应强烈，但对无害输入反应微弱的神经元。 筛选逻辑如下： $$\begin{array} { r } { \mathbf { M a s k } _ { l } [ j ] = \mathbb { I } \left( j \in \mathbf { T o p } _ { q _ { l } } ( C ^ { \mathrm { h a r m } } ) \setminus \mathbf { T o p } _ { p _ { l } } ( C ^ { \mathrm { b e n i g n } } ) \right) } \end{array}$$

   • 符号解释:
     • $\mathbb{I}(\cdot)$: 指示函数，条件满足为 1，否则为 0。
     • $\mathbf{Top}_{q_l}(C^{harm})$: 在有害数据下重要性排名前 $q_l\%$ 的神经元集合。
     • $\setminus$: 集合减法，意味着“排除掉”。
     • 直觉: 选中那些在处理有害信息时很重要，但在处理正常任务时（Benign）不重要的神经元。

3. 自适应阈值调整: 为了加强关键层的作用，对于前一步识别出的安全关键层（如 10-15 层），作者人为提高了选择比例 $q_l$，以纳入更多的安全神经元： $$q _ { l } = { \left\{ \begin{array} { l l } { q _ { l } + \delta , } & { { \mathrm { i f } } \ l \in [ L / 3 , L / 3 + n ] } \\ { q _ { l } , } & { { \mathrm { o t h e r w i s e } } } \end{array} \right. }$$

   • 解释: 在关键层区间内，阈值增加 $\delta$，使得定位更加敏感。

4.2.3. 第三步：免训练稀疏投影 (Training-Free Sparse Projection)

找到神经元后，如何修正它们？

1. 构建安全投影矩阵: 假设基础模型（Base）是不安全的，指令对齐模型（Align）是安全的。两者权重的差值向量代表了“安全进化的方向”。 利用外积（Outer Product）构建投影矩阵 $W_{safe}$： $$W _ { \mathrm { s a f e } } = \frac { ( W _ { \mathrm { a l i g n } } - W _ { \mathrm { b a s e } } ) \cdot ( W _ { \mathrm { a l i g n } } - W _ { \mathrm { b a s e } } ) ^ { T } } { \mathrm { D i m } ( W _ { \mathrm { a l i g n } } - W _ { \mathrm { b a s e } } ) }$$

   • 符号解释:
     • $W_{align}, W_{base}$: 对齐模型和基础模型的原始权重。
     • $Dim(\cdot)$: 矩阵的维度归一化项。
     • 这个矩阵的作用是将任何向量“拉”向从 Base 到 Align 变化的方向。

2. 执行稀疏投影: 仅对被 $\mathbf{Mask}_l$ 选中的安全神经元对应的 LoRA 参数 $W_B^j$ 进行投影： $$W _ { B } ^ { j } = \mathrm { P r o j } _ { \mathrm { s a f e } } ( W _ { B } ^ { j } ) = \mathbf { M a s k } _ { l } \cdot W _ { \mathrm { s a f e } } \cdot W _ { B } ^ { j }$$

   • 解释: 这步操作实质上是强制被微调破坏的安全神经元参数，重新对齐到原始的安全方向上。

4.2.4. 第四步：持续安全神经元投影 (Continual Safety Neuron Projection)

当面临新的安全威胁（如从“隐私”扩展到“恐怖主义”）时，如何更新模型？

1. 增量更新逻辑: 为了避免重复投影导致参数偏移，作者设计了仅针对新增安全神经元进行投影的机制。 $$W _ { B } ^ { j } = \mathbb { I } \left( j \in \mathcal { N } _ { \mathrm { n e w } } \right) \cdot \operatorname { P r o j } _ { \mathrm { s a f e } } ( W _ { B } ^ { j } ) + \mathbb { I } \left( j \notin \mathcal { N } _ { \mathrm { n e w } } \right) \cdot W _ { B } ^ { j }$$
   • 符号解释:

     • $\mathcal{N}_{new}$: 当前维度新增的、且之前未被处理过的安全神经元集合。

     • 公式含义：如果是新发现的安全神经元，执行投影；如果是已经被处理过或无关的神经元，保持原样。

       下图（原文 Figure 3）可视化了不同安全维度下神经元的重叠与新增情况，支撑了上述逻辑：

       该图像是图表，展示了在不同安全维度下安全神经元的选择情况。图中包括多个层次的神经元分布，使用不同颜色表示不同类型的安全神经元，如动物虐待安全神经元、儿童虐待安全神经元等。

---

5. 实验设置

5.1. 数据集

实验使用了两类数据集来验证通用性能和安全性：

1. 通用与推理任务 (Utility):
   • Alpaca: 经典的指令跟随数据集，用于微调模型并评估语义理解能力。
   • GSM8K: 数学推理数据集，用于评估模型在逻辑推理方面的效用保留情况。
2. 安全评估任务 (Safety):
   • JailbreakBench: 包含 100 个恶意提示（如“如何制造炸弹”），用于测试模型的拒绝能力。
   • BeaverTails: 包含多维度的安全数据（如动物虐待、儿童虐待、隐私等），专门用于评估持续学习场景下的泛化能力。

5.2. 评估指标

1. 有害性评分 (Harmfulness Score):

   • 概念定义: 使用更强大的模型（如 GPT-4o 或 Llama-3.1-405B）作为裁判，对目标模型的回答进行打分。
   • 计算方式: 评分范围 1-10。1 表示完全安全/拒绝回答，10 表示输出了极其有害的内容。分数越低越好。
   • 注：论文未给出具体公式，这是标准的 LLM-as-a-Judge 范式。

2. 攻击成功率 (ASR - Attack Success Rate):

   • 概念定义: 检测模型回答中是否包含特定的攻击成功关键词。
   • 数学公式: $$\text{ASR} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}(\text{ContainsKeywords}(y_i))$$
   • 符号解释: $N$ 为测试样本总数，$y_i$ 为模型生成的回答，$\mathbb{I}$ 为指示函数。ASR 越低越好。

3. AlpacaEval 胜率 (WinRate):

   • 概念定义: 比较微调后的模型与基准模型在回答 Alpaca 问题时的质量，通常由 GPT-4 判定谁回答得更好。
   • 关注点: 衡量模型在经过安全防御后，其通用对话能力是否下降。越高越好。

5.3. 对比基线

• LoRA Finetune: 无防御的微调模型（上限对照）。

• Self-Reminder: 基于 Prompt 的防御（让模型自我提醒）。

• Goal Priority: 训练时的防御，通过优化目标优先级。

• SafeLoRA: 后微调防御，基于层级（Layer-wise）的参数融合。

• Wanda: 后微调防御，基于神经元剪枝（Pruning）。

  ---

6. 实验结果与分析

6.1. 核心结果分析：静态安全与效用平衡

实验结果表明，FGSN 在安全性和效用保留上均优于基线方法。

以下是原文 Table 1 的结果，展示了在 Alpaca 微调模型上的性能对比：

分析：

• 安全性 (Safety): FGSN 将 Llama-3 的有害性评分从 2.94 降至 1.02（接近完美安全），ASR 从 55% 降至 14%。这一表现显著优于 SafeLoRA (1.55 / 30%)。

• 效用 (Utility): 在 AlpacaEval 胜率上，FGSN 达到了 54.61%，不仅高于 SafeLoRA (47.37%)，甚至略高于仅做剪枝的 Wanda。这意味着模型在变安全的同时，并没有变“傻”。

• 参数效率: 仅编辑了约 5% 的参数，远少于 SafeLoRA 的 10-11%。

  以下是原文 Table 2 的结果，展示了 GSM8K 数学任务上的表现：

  Method	Judger	Score/ASR	Params	Acc
  Lora Finetune	GPT-4o	3.95	0%	54.20%
  	Llama3.1-405B	3.32
  	Keywords	58%
  Goal Priority	GPT-4o	3.81	100%	45%
  	Llama3.1-405B	3.11
  	Keywords	55%
  SafeLoRA	GPT-4o	2.18	10.00%	52.20%
  	Llama3.1-405B	2.26
  	Keywords	57%
  Wanda	GPT-4o	3.28	7.63%	52.60%
  	Llama3.1-405B	2.91
  	Keywords	65%
  Our FGSN	GPT-4o	1.94	5.46%	53.20%
  	Llama3.1-405B	1.93
  	Keywords	45%

分析： 在数学推理任务中，FGSN 依然保持了 53.20% 的准确率，非常接近原始微调模型的 54.20%，证明了细粒度投影对逻辑推理能力的干扰极小。

6.2. 持续学习结果分析

FGSN 能够逐步适应新的安全威胁。下表展示了模型依次针对不同安全维度（如动物虐待、儿童虐待等）进行持续投影后的效果。

以下是原文 Table 3 的结果：

分析：

• 随着投影维度的增加（从通用 -> 动物虐待 -> 儿童虐待 -> 恐怖主义），该维度及其相关维度的有害性评分持续下降。
• 例如，在加入“Terrorism”投影后，Terrorism 类别的有害性从初始的 2.36 最终降至 1.10。
• 同时，模型的效用（Winrate）保持稳定（甚至在后期有所回升，达到 55.87%），证明了方法没有发生灾难性遗忘。

6.3. 消融实验

作者验证了“选择哪些层作为安全层”对结果的影响。

下图（原文 Figure 4）显示，如果选择浅层（1-5）或深层（25-31），ASR 依然很高（红色条柱）。只有选择中间层（10-15，即本文策略），才能将 ASR 降至最低（14%）。这强有力地支撑了“多尺度定位”的必要性。

该图像是一个柱状图，展示了不同安全层选择对模型安全性的影响，分别针对 LLaMA3.1-8B-Instruct 和 Qwen2.5-7B-Instruct。图中显示了各层次的 LLM 评分与关键字出现次数的关系。

---

7. 总结与思考

7.1. 结论总结

本文提出了 FGSN，一种针对 LLM 微调后安全遗忘问题的有效解决方案。其核心创新在于：

1. 精准的手术刀： 不同于以往“一刀切”的层级防御，FGSN 像手术刀一样，通过分析层级和神经元两个尺度，精准剔除病灶（不安全神经元）。
2. 低成本复原： 利用免训练的投影矩阵，直接将参数“纠正”回安全方向，极大地降低了计算成本。
3. 动态防御： 具备持续学习能力，能够随着新安全威胁的出现而增量更新，这对于快速变化的 AI 安全领域尤为重要。

7.2. 局限性与未来工作

• 作者提到的局限： 尽管在多个维度上验证了有效性，但对于更加复杂、数量庞大的安全维度组合（例如数十种混合风险），持续学习的稳定性仍需进一步探究。
• 依赖先验模型： 该方法依赖于一个高质量的“对齐模型”来计算投影矩阵 $W_{safe}$。如果对齐模型本身质量不佳，防御效果将大打折扣。

7.3. 个人启发与批判

• 启发： 这篇论文揭示了 LLM 内部“分工”的机制——安全能力似乎集中在特定的中间层和稀疏神经元上。这为解释性 AI（Explainable AI）提供了新的证据。
• 思考： 方法中的 $W_{safe}$ 本质上是一个“平均方向”。是否存在更精细的非线性投影方式？此外，虽然实验说这是“免训练”的，但计算神经元重要性仍需要推理一遍数据集，对于超大模型来说，这部分推理成本是否可以进一步优化？
• 迁移性： 这种“差异投影”的思想不仅可以用于安全，理论上也可以用于快速将模型迁移到特定风格（如幽默、正式），只需构建对应的 $W_{style}$ 即可，这具有广阔的应用前景。