1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): NeuronMerge: 通过功能性神经元组进行模型合并 (NeuronMerge: Merging Models via Functional Neuron Groups)
• 作者 (Authors): Wangyun Gu, Qianghua Gao, Lixin Zhang, Xu Shen, Jieping Ye。隶属机构包括浙江大学 (Zhejiang University)、阿里云 (Alibaba Cloud) 和浙江工商大学 (Zhejiang Gongshang University)。
• 发表期刊/会议 (Journal/Conference): Findings of the Association for Computational Linguistics: ACL 2025。ACL 是计算语言学领域的顶级会议，具有极高的声誉和影响力。Findings 是其姊妹出版物，同样收录经过严格同行评审的高质量论文。
• 发表年份 (Publication Year): 2025 (根据论文链接推断)。
• 摘要 (Abstract): 像任务算术 (task arithmetic) 这样通过加权平均合并模型参数的技术已被证明是有效的。然而，任务算术的成功依赖于模型权重差异与输出特征变化之间的线性关系，而这种线性关系在传统的微调模型中通常是缺乏的。在这项工作中，作者采用神经元描述方法，根据其功能对神经元进行分析和分类。他们从理论上证明了按功能对多层感知机 (MLP) 的神经元进行分组可以增强模型的线性度。在此基础上，作者提出了一种基于神经元的任务算术合并方法，该方法在各种任务和模型规模上都能持续提高性能。该方法与现有的合并技术是互补的，在合并针对数学、代码和翻译等基础任务微调的模型时取得了更优越的结果。
• 原文链接 (Source Link):
  • 官方链接: https://aclanthology.org/2025.findings-acl.471/
  • PDF 链接: https://aclanthology.org/2025.findings-acl.471.pdf
  • 发布状态: 已被 ACL 2025 Findings 接收并发表。

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):

  • 核心问题： 现有的大语言模型 (LLM) 合并技术，特别是 任务算术，其效果严重依赖于一个理想假设——模型参数的变化与模型输出特征的变化呈线性关系。然而，在标准微调 (fine-tuning) 后的模型中，这种 线性度 (Linearity) 往往很差，尤其是在 MLP 层中，这限制了模型合并的性能。
  • 重要性与空白： 随着模型规模增大，为每个任务都训练和维护一个独立的 LLM 成本高昂。模型合并提供了一种低成本构建多任务模型的有效途径。虽然有研究（如 SubModule Linear）通过将模型拆分为更小的子模块（如注意力层、MLP 层）来提升线性度，但 MLP 内部的非线性问题依然是瓶颈，缺乏更细粒度的解决方案。
  • 切入点/创新思路： 论文作者受到神经元可解释性研究的启发，认为 MLP 中的不同神经元可能具有特定的功能（如处理数学、代码或翻译）。他们推断，如果将功能相似的神经元分组并独立处理，或许可以增强 MLP 整体的线性度，从而提升模型合并的效果。

• 核心贡献/主要发现 (Main Contribution/Findings - What):

  • 提出了一种新的模型合并方法 (NeuronMerge): 该方法的核心是，在合并模型前，首先对基础模型 MLP 层的神经元进行功能分类（分为 通用、数学、代码、翻译 等组），然后对不同功能组采取差异化的合并策略。
  • 理论与实验双重验证: 论文从理论上证明了按功能对神经元分组可以降低非线性度，从而提升 任务算术 的性能。实验结果也表明，该方法在多个模型（Qwen2.5, Llama-3.1）和多种任务组合（数学、代码、翻译）上，性能均优于现有的基线方法。
  • 方法的互补性: NeuronMerge 主要关注 MLP 层的细粒度合并，它可以与处理注意力层和嵌入层的其他合并方法（如 DARE 或 SubModule Linear）相结合，进一步提升整体性能，证明了其方法的正交性和互补性。
  • 神经元功能分析: 论文发现，LLM 中的神经元在微调前后其功能具有高度的一致性，这为方法的有效性提供了坚实的基础。

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

• 基础概念 (Foundational Concepts):

  • 模型合并 (Model Merging): 指将两个或多个已经训练好的模型（通常是针对不同任务微调的）的参数进行组合，以创建一个具备所有原始模型能力的新模型，而无需从头重新训练。这是一种高效的模型复用技术。
  • 任务算术 (Task Arithmetic): 一种简单有效的模型合并方法。它首先计算出每个微调模型相对于预训练基础模型的“任务向量”（即参数差异），然后将这些任务向量按一定权重加到基础模型上。公式为：$\theta_{merge} = \theta_0 + \sum_t \alpha_t (\theta_t - \theta_0)$，其中 $\theta_0$ 是基础模型参数，$\theta_t$ 是任务 $t$ 的微调模型参数，$\alpha_t$ 是权重。
  • 线性度 (Linearity): 在模型合并领域，线性度 指的是模型参数空间的变化与模型功能（输出特征）空间的变化之间的线性对应关系。如果一个模型具有高线性度，那么对它的任务向量进行线性组合（如加权平均），就能近似实现对应功能的线性组合。这是 任务算术 生效的关键前提。
  • 多层感知机 (Multi-Layer Perceptron, MLP): 神经网络中的一个核心组件，通常位于 Transformer 结构的 self-attention 层之后。它由多个全连接层和非线性激活函数组成，负责对 token 的表示进行更复杂的特征变换。本文主要研究如何处理 MLP 内部的神经元。
  • 神经元 (Neuron): MLP 的基本计算单元。在 Transformer 中，一个 MLP 层包含成千上万个神经元，每个神经元对输入进行加权求和，并通过激活函数产生输出。
  • 神经元激活 (Neuron Activation): 神经元在接收到特定输入时产生的输出值。激活值的大小反映了神经元被“激活”的程度。通过分析哪些输入能让一个神经元产生高激活值，可以推断出它的功能。
  • 神经元描述 (Neuron Description): 近年来兴起的可解释性研究方向，旨在通过分析神经元的激活模式，自动生成自然语言来描述该神经元的功能（例如，“这个神经元负责检测代码中的 import 语句”）。

• 前人工作 (Previous Works):

  • Task Arithmetic (Ilharco et al., 2023): 奠定了通过任务向量线性组合进行模型合并的基础框架，简单高效。但其效果受限于模型的线性度。
  • Linearity 研究 (Ortiz-Jiménez et al., 2023; Zhou et al., 2024): 这些工作揭示了模型 线性度 与 任务算术 性能之间的强相关性，并指出标准微调模型普遍缺乏理想的线性度。
  • SubModule Linear (Dai et al., 2025): 为了解决线性度问题，该方法提出将模型分解为更小的子模块（如注意力块、MLP 块），并对每个子模块独立计算合并权重。实验发现子模块的线性度远高于整个模型。然而，该方法将整个 MLP 视为一个单元，未探索其内部结构。
  • 自动神经元描述 (Bills et al., 2023; Choi et al., 2024): 这些工作提供了强大的工具来分析和理解单个神经元的功能，为本文按功能对神经元进行分类提供了方法论基础。

• 技术演进 (Technological Evolution): 该领域的技术演进可以看作是一个不断追求更优 线性度 和更细粒度合并的过程：

  1. 模型级合并: 最初的 任务算术 在整个模型层面进行线性操作。
  2. 模块级合并: SubModule Linear 将粒度细化到 Transformer 的子模块（注意力层/MLP层），发现更小的单元线性度更好。
  3. 神经元级合并 (本文): NeuronMerge 进一步将粒度细化到 MLP 内部的神经元级别，并引入了 “功能” 这一维度，通过对功能相似的神经元进行分组合并，解决了 MLP 内部的非线性问题。

• 差异化分析 (Differentiation): 与最相关的 SubModule Linear 相比，本文的核心创新在于更深层次的细粒度划分。SubModule Linear 止步于 MLP 模块层面，而 NeuronMerge 深入到 MLP 内部，基于功能而非仅仅是结构位置对神经元进行分组。这使得合并策略更加精准：只合并那些功能上普适的（General）神经元，而隔离那些可能引起任务间冲突的专用（Math, Code 等）神经元，从而在理论和实践上都获得了更好的效果。

4. 方法论 (Methodology - Core Technology & Implementation Details)

本文提出的 NeuronMerge 方法框架如下图所示，主要包含三个步骤：神经元分类、MLP 层合并、以及其他层（注意力与嵌入层）的合并。

Figure 5: The framework or neuron grouping and merging in LLM. It consists of three main steps: Neuron Grouping Based on Functionality, which classifies neurons into different categories; 2) Merging for MLP Layers, wher Generalneurons are merged by SubModule Linearity whileothers arediscarded tfocus on the Base model's parameters; and 3) Merging for Attention and Embedding Layers, where different methods can be utilized as complementary approaches including DARE or SubModule Linearity in our main experiments.

• 方法原理 (Methodology Principles):

  • 核心思想: MLP 层的非线性主要来源于两方面：1) 权重更新的二阶项；2) 微调前后神经元激活状态（开或关）的改变。作者认为，在微调幅度不大的情况下，第一种非线性可以忽略。而第二种是主要矛盾。如果一个神经元专门负责某个任务（如数学），那么在处理该任务的数据时，它的激活状态会很稳定（持续激活）。将这些功能专一的神经元分组，可以保证在合并过程中它们的激活模式不变，从而减少非线性，提升合并性能。
  • 直觉 (Intuition): 不同的任务（如数学和编程）依赖于模型中不同的知识和能力。这些能力可能由不同的神经元子集承载。强行将一个为数学任务优化的神经元和一个为编程任务优化的神经元进行参数平均，很可能会导致两者功能都受损。更好的策略是，保留各自任务专用的神经元，只合并那些负责通用语言理解的神经元。

• 方法步骤与流程 (Steps & Procedures):

  1. 步骤一: 基于功能的神经元分类 (Neuron Functionality Classification) 这是方法的基础。作者没有直接生成自然语言描述，而是设计了一种更高效的分类流程：

     • 数据准备: 准备 N 个类别的语料库，每个类别包含 M 个有代表性的文本样本（称为 exemplars）。本文中类别为 General、Math、Code、Translation 四类。
     • 激活值计算: 将所有 $N \times M$ 个样本输入基础模型 (Base Model)，记录每个 MLP 层中所有神经元在每个 token 上的激活值 $\phi_j(s, t)$。
     • 句子级激活: 对每个样本 $s$，取其所有 token 中神经元 $j$ 的最大绝对激活值作为该神经元对这个样本的响应强度： $$a _ { j } ( s ) = \operatorname* { m a x } _ { t } | \phi _ { j } ( s , t ) |$$
     • Top-k 筛选: 对每个神经元 $j$，找出使其激活值 $a_j(s)$ 最高的 $k$ 个样本，构成集合 $S_k(j)$。
     • 分类指派: 统计 $S_k(j)$ 中来自各个类别（Math, Code 等）的样本数量，将数量最多的那个类别作为神经元 $j$ 的功能类别。 $$\operatorname { C a t e g o r y } ( j ) = \underset { c _ { i } \in \mathcal { C } } { \arg \operatorname* { m a x } } \left| \left\{ s \in { \mathcal { S } } _ { k } ( j ) \mid s \in c _ { i } \right\} \right|$$ 这个过程仅需在基础模型上执行一次，分类结果可以复用于所有基于该模型微调的模型的合并。

  2. 步骤二: MLP 层的合并 (Merging for MLP layers) 根据分类结果，对 MLP 层的神经元采取差异化合并策略：

     • 通用神经元 (General Neurons): 对于被分类为 General 的神经元（即功能类别为 $c_0$ 的组 $g_l(0)$），作者认为它们承载了跨任务的通用知识，适合合并。因此，对这部分神经元的任务向量使用 SubModule Linear 方法计算合并权重 $\alpha_t$ 并进行加权平均。
     • 任务专属神经元 (Task-Specific Neurons): 对于被分类为 Math、Code 等特定任务的神经元（即 $g_l(i)$ 其中 $i > 0$），作者认为它们的任务向量之间存在冲突。因此，直接丢弃 (drop) 它们的任务向量，即合并系数设为 0。这意味着在合并后的模型中，这些神经元的参数与基础模型保持一致。
     • 合并公式: 对于第 $l$ 层的神经元 $j$，其合并后的参数 $\theta_{merge,l}(j)$ 计算如下： $$\theta _ { m e r g e , l } ( j ) = \theta _ { 0 , l } ( j ) + \sum _ { t = 1 } ^ { T } \alpha _ { t , l } ( j ) \tau _ { t , l } ( j )$$ 其中，$\tau_{t,l}(j)$ 是任务 $t$ 的任务向量，合并系数 $\alpha_{t,l}(j)$ 的取值规则为： $$\alpha _ { t , l } ( j ) = \left\{ \begin{array} { l l } { 0 } & { \mathrm { if~ } j \notin g _ { l } ( 0 ) , } \\ { S u b L i n ( g _ { l } ( 0 ) ) } & { \mathrm { if~ } j \in g _ { l } ( 0 ) . } \end{array} \right.$$

  3. 步骤三: 注意力和嵌入层的合并 (Merging for Attention and Embedding layers) NeuronMerge 方法主要针对 MLP 层。对于模型中的其他参数，如自注意力 (self-attention) 层和词嵌入 (embedding) 层，作者将其视为一个独立的部分，并表明可以与现有的任何合并方法结合。在实验中，他们测试了两种组合：

     • NeuronMerge1: MLP 层使用 NeuronMerge，其他层使用 DARE (一种通过随机丢弃参数来解决冲突的合并方法)。
     • NeuronMerge2: MLP 层使用 NeuronMerge，其他层使用 SubModule Linear。

• 数学公式与关键细节 (Mathematical Formulas & Key Details):

  • 神经元激活函数: 论文中提到模型使用的是 Swish-like 激活函数 (SiLU)，其形式为： $$\phi _ { j } ( z ) = \mathrm { SiLU } \left( ( w _ { j } ^ { 1 } ) ^ { \top } z \right) \cdot ( w _ { j } ^ { 2 } ) ^ { \top } z$$
    • 符号解释:
      • $z$: MLP 层的输入，来自残差流 (residual stream)。
      • $w_j^1, w_j^2$: 神经元 $j$ 对应的两组权重向量。
      • SiLU(x): 激活函数，定义为 $x \cdot \sigma(x)$，其中 $\sigma(x)$ 是 sigmoid 函数。
  • 线性度理论分析 (附录 B): 论文在附录中用简化的 ReLU 激活函数理论推导了 MLP 层的非线性来源。
    • 对于一个 ReLU 激活的 MLP 层 $f(x; \theta_0) = \sum_i ReLU(w_{1i} \cdot x) w_{2i}$，其输出特征变化 $g(\alpha) = f(x; \theta_0 + \alpha\tau) - f(x; \theta_0)$ 可以近似表示为： $$g ( \alpha ) = C _ { 1 } \alpha + C _ { 2 } \alpha ^ { 2 }$$
    • 符号解释:
      • $\alpha$: 任务向量的缩放系数。
      • $\tau$: 任务向量 (参数变化量)。
      • $C_1, C_2$: 与输入 $x$ 和模型权重相关的常数。
    • 这个公式揭示了非线性主要来自二阶项 $C_2 \alpha^2$ 和一个隐藏假设：ReLU 的激活状态（即 $w_{1i} \cdot x$ 的符号）在微调前后保持不变。当激活状态发生翻转时，线性关系被破坏。通过将神经元按功能分组（例如，数学神经元在数学数据上总是被强激活），可以保证其激活状态的稳定性，从而减少非线性，提升合并效果。

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets):

  • 基础模型 (Backbone Models): 实验主要基于两个 SOTA 开源模型系列：Qwen2.5-7B / 14B 和 Llama-3.1-8B / Llama-2-13B。
  • 微调任务与数据集:
    • 数学 (Math): 使用 GSM8K 数据集进行微调和测试。
    • 代码 (Code): 使用 Code Alpaca 数据集微调，使用 HumanEval 数据集测试。
    • 翻译 (Translation): 使用一个中英翻译数据集 (zh-en dataset) 进行微调和测试。
  • 神经元分类数据集: 使用了与微调/测试任务不重叠的外部数据集，以保证分类的泛化性：RedPajama (通用), Proof-pile-2 (数学), StarCoder (代码), WMT (翻译)。

• 评估指标 (Evaluation Metrics): 实验结果通过在各个任务上的性能来评估。虽然论文没有明确定义，但根据所用数据集，这些指标通常是：

  • GSM8K (数学): 准确率 (Accuracy)。
    1. 概念定义: 衡量模型在数学应用题解答任务上，给出正确答案的样本比例。它直接反映了模型的数学推理和计算能力。
    2. 数学公式: $$\text{Accuracy} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}}$$
    3. 符号解释:
       • Number of Correct Predictions: 模型输出的最终答案与标准答案完全一致的样本数量。
       • Total Number of Predictions: 测试集中的总样本数量。
  • HumanEval (代码): Pass@k。
    1. 概念定义: Pass@k 是评估代码生成模型性能的常用指标。它衡量的是，对于每个编程问题，模型生成 $k$ 个候选代码，只要其中至少有一个能够通过所有单元测试，就算作成功。这个指标评估了模型生成功能正确代码的能力。论文中未指定 $k$ 值，通常默认为 Pass@1。
    2. 数学公式: (以 Pass@1 为例) $$\text{Pass@1} = \frac{\text{Number of Problems Solved with 1 Generation}}{\text{Total Number of Problems}}$$
    3. 符号解释:
       • Number of Problems Solved with 1 Generation: 对于每个问题，模型生成 1 个代码解答，能够通过所有测试用例的问题数量。
       • Total Number of Problems: 测试集中的总问题数量。
  • 表格中的 Avg 值: 论文表格中的 Avg 列代表合并模型在所涉及的多个任务上的性能算术平均值。例如，对于 Math & Coding 任务的合并，Avg 分数是 GSM8K 准确率和 HumanEval Pass@1 分数的平均值。

• 对比基线 (Baselines):

  • Fine-tuned Model: 单独在某个任务上微调的模型性能，作为性能上限的参考。
  • Task Arithmetic: 基础的模型合并方法。
  • DARE: 在 任务算术 基础上，通过随机丢弃部分任务向量参数来缓解冲突。NeuronMerge1 与其直接对比。
  • SubModule Linearity: 在模块级别（注意力/MLP）独立计算合并系数的方法。NeuronMerge2 与其直接对比。

6. 实验结果与分析 (Results & Analysis)

• 核心结果分析 (Core Results Analysis): 论文在 Table 1 (Qwen2.5-7B) 和 Table 2 (Llama-3.1-8B) 中展示了主要结果。以下为 Table 1 的转录和分析：

  Methods	Math & Coding	Math & Translate	Coding & Translate	Math & Coding & Translate
  Fine-tuned Model	71.48	81.43	77.02	76.64
  Task Arithmetic	69.73	81.71	74.81	75.36
  DARE	69.84	82.31	75.11	76.10
  NeuronMerge1	71.12 ±0.36	82.62 ±0.16	75.44 ±0.21	76.82 ±0.11
  SubModule Linearity	69.18	82.19	74.77	75.42
  NeuronMerge2	70.80 ±0.33	82.70 ±0.20	74.90 ±0.16	76.21 ±0.23

  • 一致的性能提升: 无论是在 Qwen 还是 Llama 模型上，也无论合并两个还是三个任务，NeuronMerge 方法（NeuronMerge1 和 NeuronMerge2）的平均性能几乎总是优于其对应的基线方法（DARE 和 SubModule Linearity）。例如，在 Qwen2.5-7B 的 Math & Coding 任务上，NeuronMerge2 (70.80) 显著优于 SubModule Linearity (69.18)。
  • 方法的互补性: NeuronMerge1 相对于 DARE 的提升，以及 NeuronMerge2 相对于 SubModule Linearity 的提升，证明了本文提出的 MLP 细粒度合并策略是有效的，并且可以与现有的其他层合并方法正交结合，带来额外的性能增益。
  • 超越单任务模型: 在某些情况下，合并后的模型性能甚至超过了单任务微调模型的平均性能。例如，在 Qwen2.5-7B 的 Math & Translate 任务上，NeuronMerge2 (82.70) 超过了 Fine-tuned Model 的平均值 (81.43)，这表明有效的模型合并可以实现 $1+1>2$ 的效果。

• 消融实验/参数分析 (Ablation Studies / Parameter Analysis):

  • 神经元功能一致性验证 (Figure 3):

    Figure 3: Neuron classification results in layer 0 for Qwen2.5-7B and three fine-tuned models, shown as bar charts for different categories of neurons. Base model is Qwen2.5-7B, gsm8k_sft, code_sft, translate_sft are Qwen2.5-7B fine-tuned variants on Math, Code, Translation dataset respectively. Purple bar is the number of intersection neurons for each functionality category.

    该图显示，在微调前后，各功能类别神经元的数量分布非常稳定。紫色条表示基础模型和微调模型中功能分类相同的神经元数量，其占比非常高。这证实了神经元功能在微调后保持高度一致性的假设，为方法的合理性提供了关键支持。

  • 神经元功能重要性验证 (Figure 4):

    Figure 4: Knock-out code neurons in Qwen2.5-7B (layer 13) will lead to a greater decline in coding ability than random neuron knock-out. The horizontal coordinate indicates the knock-out proportion. Performances are tested on HumanEval (Chen et al., 2021).

    该实验通过“敲除”（置零）特定功能的神经元来验证其重要性。结果显示，敲除 Code 功能的神经元比随机敲除同等数量的神经元，对模型的代码能力（HumanEval 分数）造成的损害要大得多。这有力地证明了本文的神经元功能分类是准确且有意义的。

  • 不同合并策略对比 (Table 3): 这是验证核心思想的关键消融实验。作者比较了对于任务专属神经元（Math 和 Code 神经元）的三种处理方式：1) Choose Model (直接用对应微调模型的参数替换)；2) Merge (使用 SubModule Linear 进行合并)；3) Drop (丢弃任务向量，保留基础模型参数，即本文方法)。

    Math neuron \ Code neuron	Choose Code Model	Merge	Drop
    Choose Math Model	70.42	69.95	69.94
    Merge	70.21	69.89	70.63
    Drop	70.52	70.64	70.80

    结果显示，当对 Math 和 Code 两类神经元都采取 Drop 策略时，模型性能最高 (70.80)。这表明任务专属神经元的任务向量之间确实存在冲突，直接合并或替换反而有害，而隔离它们（保留基础模型状态）是当前最优的策略。

  • 随机分组对比 (Table 4): 为了证明基于功能的分类是必要的，作者与随机分组进行了比较。

    	Task Arithmetic	Random grouping	Our Method
    Math	78.77	75.73	78.80
    Coding	61.59	60.98	62.80
    Avg	69.73	68.36	70.80

    结果显示，随机分组的性能 (68.36) 甚至比基础的 Task Arithmetic 还要差，远不如本文基于功能分组的方法 (70.80)。这说明分组的依据必须是神经元的功能，而非随机划分。

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary): 本文成功地将神经元可解释性研究的成果应用到了模型合并这一实际问题中。通过对 SOTA 大语言模型进行神经元功能分析，论文发现神经元的功能在微调前后具有高度稳定性。基于此，论文提出了一种新颖的 NeuronMerge 方法，通过对 MLP 层的神经元按功能分组并采取差异化合并策略（合并通用神经元、隔离专属神经元），有效提升了模型的线性度，从而在多个任务和模型上显著优于现有的模型合并方法。该方法具有良好的互补性，为构建强大的多任务模型提供了一条低成本、高效率的新路径。

• 局限性与未来工作 (Limitations & Future Work): 作者在论文中诚实地指出了两点局限性：

  1. 分类精度问题: 当前的神经元分类方法依赖于样本激活，可能不够精确，无法捕捉到更细微复杂的功能。
  2. 未分析注意力机制: 本文只关注了 MLP 层的神经元，但注意力机制在模型功能中同样扮演着重要角色，未来需要研究注意力机制与神经元功能的协同作用。

• 个人启发与批判 (Personal Insights & Critique):

  • 启发:
    1. 可解释性与性能的结合: 这篇论文是 “可解释性驱动性能提升” 的一个绝佳范例。它没有停留在“解释模型在做什么”，而是利用解释性的发现（神经元的功能特化）来指导和改进具体的工程任务（模型合并），非常有启发性。
    2. “少即是多”的哲学: 在处理任务专属神经元时，最优策略是“不合并”（Drop），这体现了一种“少即是多”的智慧。它表明，在模型合并中，识别并避免潜在的参数冲突，比盲目地进行平均或融合更为重要。
    3. 方法的通用性: 这种基于功能模块进行差异化处理的思想，可能不仅限于模型合并，还可以应用于持续学习（避免灾难性遗忘）、模型编辑、剪枝等多个领域。
  • 批判与思考:
    1. “丢弃”策略的优化空间: Drop 策略虽然有效，但可能有些“粗暴”。它完全放弃了任务专属神经元在微调中学到的知识。未来是否可以设计一种更智能的策略，比如在保留基础功能的同时，有选择地融合一部分非冲突的、任务相关的知识？
    2. 动态任务扩展性: 目前的方法是在已知所有待合并任务的情况下进行的。如果未来需要动态加入一个新任务，神经元分类可能需要重新进行，或者需要研究如何动态地划分和合并神经元组，这是一个值得探讨的实际问题。
    3. 功能与层级的关系: 论文对所有层的神经元都进行了分类，但没有深入探讨不同层级的神经元功能差异（例如，浅层神经元可能负责通用模式，深层神经元负责抽象概念）。未来的研究可以结合层级信息，设计更具层次化的合并策略。