1. 论文基本信息

1.1. 标题

FreeFuse: Multi-Subject LoRA Fusion via Auto Masking at Test Time (FreeFuse: 通过测试时自动掩码实现多主体 LoRA 融合)

1.2. 作者

Yaoli Liu (浙江大学 CAD&CG 国家重点实验室), Yao-Xiang Ding (浙江大学 CAD&CG 国家重点实验室), Kun Zhou (浙江大学 CAD&CG 国家重点实验室)。 主要作者来自浙江大学的 CAD&CG 国家重点实验室。

1.3. 发表期刊/会议

预印本 (arXiv)。由于论文发布时间是 2025 年 10 月 27 日，这通常意味着它可能尚未经过同行评审，或正在等待某个顶级会议/期刊的审稿结果。预印本在学术界是常见的预发布形式，允许研究成果在正式发表前共享。

1.4. 发表年份

2025年

1.5. 摘要

本文提出了 FreeFuse，一种新颖的免训练 (training-free) 方法，通过测试时自动融合 (automatic fusion at test time) 多个主体 LoRA (Low-Rank Adaptation) 来实现多主体文本到图像生成 (multi-subject text-to-image generation)。与现有方法（要么侧重于推理前 LoRA 权重合并，要么依赖于分割模型和复杂的噪声混合技术来隔离 LoRA 输出）不同，FreeFuse 的核心见解是：上下文感知的动态主体掩码 (context-aware dynamic subject masks) 可以从交叉注意力层权重 (cross-attention layer weights) 自动推导出来。数学分析表明，在推理过程中将这些掩码直接应用于 LoRA 输出，能够很好地近似主体 LoRA 集成到扩散模型中并在掩码区域单独使用的情况。FreeFuse 展现了卓越的实用性 (practicality) 和效率 (efficiency)，因为它无需额外训练、无需修改 LoRA、无需辅助模型，也无需用户定义提示模板或区域规范。相反，它只需用户提供 LoRA 激活词 (activation words) 即可无缝集成到标准工作流程中。大量的实验验证了 FreeFuse 在多主体生成任务中，在生成质量和可用性方面均优于现有方法。

1.6. 原文链接

https://arxiv.org/abs/2510.23515 PDF 链接: https://arxiv.org/pdf/2510.23515v1.pdf 发布状态：预印本 (Preprint)

2. 整体概括

2.1. 研究背景与动机

2.1.1. 核心问题与挑战

大型文本到图像 (T2I) 模型，如 FLUX.1-dev，在通用 T2I 任务中表现卓越。为了增强其个性化生成 (personalized generation) 能力，低秩适应 (Low-Rank Adaptation, LoRA) 已成为一种首选方法，因其精确的微调质量和训练及推理的计算效率。LoRA 模块化和便携的特性，使得将多个主体 LoRA 直接组合在预训练的 T2I 模型上，以生成多主体图像成为可能。然而，这种直接组合的方法会导致显著的性能下降，表现为特征冲突 (feature conflicts) 和质量劣化 (quality deterioration)，使得多主体 LoRA 融合成为一个具有挑战性的问题。

2.1.2. 现有研究的不足

现有的多 LoRA 生成方法（如 ZipLoRA、K-LoRA、Multi-LoRA、OMG、Mix-of-Show、Concept Weaver、CLoRA）普遍存在以下局限性：

• 需要额外训练或参数： 一些方法需要重新训练 LoRA 或引入额外的可训练参数。
• 依赖辅助模型： 部分方法依赖外部分割模型来定位角色区域。
• 需要用户干预： 许多方法要求用户提供模板提示或直接限制 LoRA 生效的区域。
• 性能受限： 在复杂场景中（例如多角色紧密互动），这些方法往往难以生成高质量的图像，出现特征冲突和融合不自然的问题。
• 效率问题： 某些方法在推理过程中需要反复更新注意力图，导致效率低下。
• 模型兼容性： 大多数现有方法仅在较早的基于 U-Net 的模型上实现，对于更先进的基于 Transformer 的扩散模型 (DiT models) 的多 LoRA 生成能力探索不足。

2.1.3. 本文的切入点与创新思路

本文通过深入分析多主体 LoRA 联合推理时出现冲突的根本原因，发现问题在于：在联合推理过程中，一个主体 LoRA 不仅影响其指定区域，还会侵入其他主体的区域，导致严重的特征冲突。基于此洞察，作者提出了一个核心思路：通过掩码 (masks) 将每个主体 LoRA 的输出限制在其目标区域内，可以有效地缓解特征冲突。

本文的创新点在于：

• 上下文感知的动态主体掩码： 提出可以从交叉注意力层权重 (cross-attention layer weights) 自动推导出高质量的动态主体掩码。
• 免训练、免修改、免辅助模型： 实现了在不进行额外训练、不修改现有 LoRA、不引入辅助模型的情况下，生成高质量的掩码。
• 无需用户干预： 用户只需提供 LoRA 激活词 (activation words)，无需复杂的提示模板或区域指定。
• 高效： 仅需在一个去噪步骤中从一个注意力块提取掩码，显著提高效率。

2.2. 核心贡献/主要发现

本文对社区的主要贡献总结如下：

1. 特征冲突分析与数学证明： 深入分析了多主体 LoRA 联合推理时的特征冲突原因，并从数学上论证了基于掩码的 LoRA 输出融合能有效缓解这些冲突。具体而言，当多个主体 LoRA 联合推理时，它们会在关键区域（如面部）产生激烈竞争，导致特征混淆。通过将每个主体 LoRA 的输出限制在其目标区域内，可以显著减轻这种冲突。
2. 通用冲突缓解方案： 提出了一种通用的解决方案，用于缓解 DiT (Diffusion Transformer) 模型中冲突 LoRA 之间的干扰。该方案利用从注意力图自动推导出的掩码来隔离 LoRA 之间的冲突，且无需任何可训练参数、无需修改 LoRA 模块、无需辅助模型，也无需用户提供额外的提示，具有极高的兼容性。
3. 高效实用的 FreeFuse 框架： 提出了一个便携且高效的 FreeFuse 框架用于多主体场景生成。实验结果表明，FreeFuse 在缓解特征冲突和提升图像质量方面均超越了现有方法，并在用户体验上展示了显著优势。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 文本到图像 (Text-to-Image, T2I) 扩散模型 (Diffusion Models)

文本到图像 (Text-to-Image, T2I) 扩散模型 (Diffusion Models) 是一类生成模型，它通过模拟一个逐渐去噪的过程来从随机噪声中生成图像。这些模型首先将输入文本提示编码成一个潜在表示，然后通过一个迭代的去噪过程，将一个纯噪声图像逐步转换为一个与文本提示相符的清晰图像。

• U-Net 架构： 早期和广泛使用的扩散模型，如 Stable Diffusion，通常采用 U-Net 结构作为其核心去噪器。U-Net 是一种卷积神经网络，以其编码器-解码器结构而闻名，能够捕捉多尺度的特征。
• DiT (Diffusion Transformer) 架构： 随着 Transformer 架构在视觉领域的兴起，DiT 模型将 U-Net 中的卷积层替换为 Transformer 块，从而能够处理更长的序列和捕获更复杂的依赖关系，展现出更强的可扩展性和生成能力。FLUX.1-dev 和 HiDream 是基于 DiT 的先进模型。

3.1.2. 低秩适应 (Low-Rank Adaptation, LoRA)

低秩适应 (Low-Rank Adaptation, LoRA) 是一种高效的微调 (fine-tuning) 技术，用于大型预训练模型，尤其是大型语言模型 (LLMs) 和扩散模型。它通过向预训练模型的权重矩阵中注入低秩矩阵来实现模型适应性。

• 核心思想： LoRA 假设预训练模型在适应特定下游任务时，其权重矩阵的改变量是低秩的。因此，不是直接微调整个高维权重矩阵 $W_0$，而是冻结 $W_0$，并通过两个较小的低秩矩阵 $A$ 和 $B$ 的乘积 (B A) 来表示改变量 $\Delta W = B A$。这样，需要训练的参数量从 $W_0$ 的 $d \times k$ 减少到 $(d \times r) + (r \times k)$，其中 $r$ 是远小于 d, k 的秩。
• 优势：
  • 参数效率： 显著减少了训练参数的数量，从而降低了计算成本和存储需求。
  • 模块化： 多个 LoRA 可以轻松地插拔到同一个预训练模型中，实现不同的定制化效果。
  • 避免灾难性遗忘： 由于预训练权重被冻结，LoRA 有助于缓解在微调过程中可能出现的灾难性遗忘 (catastrophic forgetting) 问题。
• 在 T2I 中的应用： LoRA 允许用户在不修改整个扩散模型的情况下，高效地训练模型以生成特定概念（如特定人物、物体或风格）的图像，从而实现个性化图像生成 (personalized image generation)。

3.1.3. 交叉注意力 (Cross-Attention)

注意力机制 (Attention Mechanism) 是 Transformer 架构的核心组成部分，它允许模型在处理序列数据时动态地关注输入序列的不同部分。 交叉注意力 (Cross-Attention) 是注意力机制的一种形式，它用于连接两种不同的输入序列。在文本到图像生成模型中，交叉注意力层通常用于将文本编码器的输出（文本查询 (text queries)）与图像潜在表示（图像键 (image keys) 和图像值 (image values)）关联起来。

• 工作原理： 文本查询 $Q_{text}$ 会去查询图像潜在表示的键 $K_{img}$，以计算注意力权重，这些权重决定了图像的每个区域（或词元 (token)）与文本提示的每个部分有多么相关。然后，这些注意力权重被应用于图像潜在表示的值 $V_{img}$，从而使图像特征能够受到文本提示的引导。
• 数学表示： 交叉注意力层的计算通常为： $$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 在交叉注意力中， $Q = Q_{text}$，$K = K_{img}$，$V = V_{img}$。其中 $d_k$ 是键向量的维度，用于缩放点积以防止梯度过小。

3.1.4. 自注意力 (Self-Attention)

自注意力 (Self-Attention) 是注意力机制的另一种形式，它处理的是单个序列内部元素之间的关系。在 DiT 模型中，自注意力层用于让图像潜在表示的每个词元 (token) 都能够关注同一个图像潜在表示中的其他所有词元。

• 工作原理： 图像潜在表示的每个词元同时充当查询 $Q$、键 $K$ 和值 $V$。这使得模型能够捕获图像内部的长期依赖和空间关系，例如，一个物体的不同部分如何相互关联，或者不同物体在图像中的相对位置。
• 优势： 自注意力能够有效捕捉图像的全局上下文信息，对于理解图像结构和生成连贯的视觉内容至关重要。

3.1.5. 注意力汇 (Attention Sink)

注意力汇 (Attention Sink) 是一种在 Transformer 模型中观察到的现象，特别是在处理图像或长序列时。它指的是注意力机制中的某些词元 (token)（例如图像的边界像素或背景区域）倾向于积累过多的注意力权重，即使它们在语义上并不重要。

• 问题： 当这些不重要的词元成为“注意力汇”时，会导致模型过度关注它们，从而稀释了对真正重要语义区域的注意力，影响模型的性能和生成质量。在生成任务中，这可能导致生成图像中的主体特征不清晰或被背景干扰。

3.1.6. 超像素分割 (Superpixel Segmentation, SLIC)

超像素分割 (Superpixel Segmentation) 是一种图像预处理技术，它将图像中具有相似颜色、纹理和空间邻近性的像素聚类成小块，形成“超像素”。每个超像素可以被视为一个单一的感知单元，而不是单个像素。

• SLIC (Simple Linear Iterative Clustering)： 是一种流行的超像素分割算法。它通过在 5 维空间（Lab*颜色空间和 x,y 坐标）中对像素进行聚类，从而生成紧凑、近似均匀的超像素。
• 优势： 超像素能够保留图像的局部结构，同时显著减少图像的图元数量，从而提高后续图像处理任务的效率，并有助于生成更平滑、更具有空间一致性的区域。在本文中，它被用于将像素级的注意力图提升到区域级的投票机制，以生成更连贯的掩码。

3.2. 前人工作与差异化分析

3.2.1. 个性化图像生成 (Personalized Image Generation)

• 文本反演 (Textual Inversion) [Gal et al., 2022]： 通过训练将丰富的语义信息编码到一个或几个文本词元 (text tokens) 中。
• IP-Adapter [Ye et al., 2023], FLUX-Redux Labs [2024], InstantID [Wang et al., 2024]： 训练一个可泛化的模块，直接接收一个或多个图像，并将其语义编码成与文本或潜在空间对齐的特征。
• DreamBooth [Ruiz et al., 2023]： 通过微调扩散网络权重来引入新概念。
• LoRA [Hu et al., 2022]： 作为一种高效的微调方法，被广泛用于定制化生成，并有许多改进工作如 LyCORIS [Yeh et al., 2023]、QLoRA [Dettmers et al., 2023]、ED-LoRA [Gu et al., 2023]、SD-LoRA [Wu et al., 2025b]。本文主要关注基于 LoRA 的多概念生成。

3.2.2. 基于多 LoRA 的多概念生成 (Multi-LoRA Based Multi-Concept Generation)

这部分是本文的直接相关工作。作者将现有方法分为几类，并指出了它们的局限性。

• LoRA 预融合 (Pre-inference LoRA Fusion)：

  • ZipLoRA [Shah et al., 2024]、K-LoRA [Ouyang et al., 2025]： 在推理前融合多个 LoRA。在风格迁移方面表现良好，但在多概念生成（特别是多主体）方面性能有限。
  • 本文差异： FreeFuse 不需要预融合 LoRA 权重，而是通过动态掩码在推理时隔离 LoRA 输出。

• 运行时策略 (Runtime Strategies)：

  • Multi-LoRA [Zhong et al., 2024]： 提出了开关和复合策略来缓解推理时的冲突。在角色-物体组合中表现有前景，但在多角色场景中表现不佳。
  • OMG (Occlusion-friendly Multi-concept Generation) [Kong et al., 2024]： 引入了一个辅助模型 (auxiliary model) 来定位角色区域，并应用噪声混合 (noise blending)。但其严重依赖 LoRA 的重绘倾向与基础模型在第二阶段生成时的对齐。
  • Mix-of-Show [Gu et al., 2023]： 需要重新训练 (retraining) LoRA，并手动指定 (manually specifying) 其空间约束。
  • Concept Weaver [Kwon et al., 2024]： 通过融合采样 (Fusion Sampling) 缓解问题，但仍然严重依赖分割质量。
  • CLoRA [Meral et al., 2024]： 利用注意力图 (attention maps) 来推导概念掩码，但需要模板提示 (template prompts) 作为掩码提取的基础，并且在复杂的多概念场景中性能下降。
  • 本文差异：

    • FreeFuse 不需要辅助模型、不需要重新训练 LoRA、不需要手动指定区域、不需要模板提示。

    • FreeFuse 的掩码是上下文感知 (context-aware) 的，并且是从交叉注意力层权重自动推导 (automatically derived)，避免了对分割模型或复杂噪声混合的依赖。

    • FreeFuse 仅需一次去噪步骤中的一个注意力块来获取高质量的掩码，相比于 CLoRA 等方法反复更新注意力图，效率更高。

    • FreeFuse 是在更先进的 DiT 模型（如 FLUX.1-dev）上实现的，而上述许多方法仅在较早的 U-Net 模型上实现。

      下表 (原文 Table 1) 总结了 FreeFuse 与其他方法的对比，突出了其在实用性方面的显著优势：

      方法	Adaptive Mask generation	No external model required	Cross-LoRA awareness	No template prompt required	LoRA usable as-is
      LoRA Merge	X	X	X	X	X
      Mix-of-Show	X	X	X	X	X
      ZipLoRA	X	X		X
      OMG		X		X
      Concept Weaver
      CLoRA
      FreeFuse(Ours)	✅	✅	✅	✅	✅

自我校正：原文 Table 1 的数据存在一些格式问题和不完整性，但核心是展示 FreeFuse 的所有特性都为“是”。我将转录表格并补充其他方法的正确信息以反映论文意图，但保持原文的 X 标记。根据论文描述，FreeFuse 是唯一全部打勾的。表中 Mix-of-Show, ZipLoRA, OMG, Concept Weaver, CLoRA 的空行和一些 X 标记需要根据论文文本进行推断，但为了忠实原文，我将保留原文表格内容。但是，对于 LoRA Merge 和 Mix-of-Show，论文中写道“Mix-of-Show requires retraining the LoRA and manually specifying its spatial constraints.” 这意味着其 "LoRA usable as-is" 应该为 X，"No template prompt required" 也应为 X 或空，"Adaptive Mask generation" 也应为 X。我将遵循原文表格的呈现，仅对 FreeFuse 标记为 ✅。其他方法则保持原文表格中的 X 或空，因为补充所有方法的完整性可能会引入我自己的理解而偏离原文的表格呈现。

最终决定：鉴于指令要求“100%忠实于原文的表格”，我将严格复制原文表格的结构和内容，包括其可能存在的空缺。

以下是原文 Table 1 的结果：

4. 方法论

4.1. 方法原理

FreeFuse 提出了一种双阶段流水线 (pipeline) 来实现多主体 LoRA 融合。其核心思想是，上下文感知的动态主体掩码 (context-aware dynamic subject masks) 可以从扩散模型中的交叉注意力层权重 (cross-attention layer weights) 自动推导出来。这些掩码在推理时直接应用于 LoRA 输出，从而将每个主体 LoRA 的影响限制在其目标区域内，有效地缓解了多个 LoRA 之间的特征冲突。

4.1.1. 多主体联合推理中的 LoRA 冲突分析 (3.1 Interference Between Subject LoRAs During Joint Inference)

当多个主体 LoRA 同时应用于一个扩散模型时，人们自然期望每个 LoRA 只影响其对应的目标主体。然而，在实际应用中并非如此。通过检查潜在空间 (latent space)，作者发现 LoRA 之间存在激烈的竞争，尤其是在每个主体最具辨识度的区域，例如角色的面部。这种竞争会导致严重的特征冲突和混淆。原文 Figure 3a (图像 8) 可视化了这一现象，展示了两个主体 LoRA 在去噪过程中的潜在空间输出余弦相似度，揭示了 LoRA 之间在面部区域的强烈干扰。

4.1.2. 掩码 LoRA 输出以有效保留主体特征 (3.2 Masking LoRA Outputs for Effective Subject Feature Preservation)

为了解决上述问题，FreeFuse 提出了一种看似简单但高效的方法：对 LoRA 输出应用空间掩码 (spatial mask)，将每个主体 LoRA 限制在其对应的区域内。作者通过数学分析表明，在指定区域内，这种方法能够很好地近似主体 LoRA 集成到扩散模型中并单独用于该区域的推理情况。

首先，假设对 LoRA 输出 $\Delta \mathbf{h}$ 应用一个空间掩码 $\mathbf{M}$，得到修改后的输出 $\tilde{\Delta \mathbf{h}}$： $$\tilde { \Delta \mathbf { h } } = \mathbf { M } \odot \Delta \mathbf { h }$$ 其中：

• $\tilde{\Delta \mathbf{h}}$ 是经过掩码处理的 LoRA 输出。

• $\mathbf{M}$ 是一个二值掩码，在指定目标区域内为 1，在其他地方为 0。

• $\Delta \mathbf{h}$ 是原始的 LoRA 输出。

• $\odot$ 表示逐元素乘法 (element-wise multiplication)。

  作者指出，从经验上看，LoRA 主要修改前馈 (feed-forward, FF) 层和值 (value, V) 层，这些层是语义特征注入的主要位置 (原文 Figure 4，图像 9)。由于 LoRA 输出通常比基础模型小一到两个数量级，LoRA 对注意力权重的影响很小。在一个注意力块中，LoRA 对输出的影响主要通过值层体现： $$\mathrm { A t t n } ( \mathbf { Q } , \mathbf { K } , \mathbf { V } + \Delta \mathbf { V } ) = \mathrm { s o f t m a x } \left( \frac { \mathbf { Q } \mathbf { K } ^ { \top } } { \sqrt { D } } \right) ( \mathbf { V } + \Delta \mathbf { V } )$$ 其中：

• $\mathrm{Attn}$ 表示注意力输出。

• $\mathbf{Q}$ 是查询 (query) 矩阵。

• $\mathbf{K}$ 是键 (key) 矩阵。

• $\mathbf{V}$ 是基础模型的值矩阵。

• $\Delta \mathbf{V}$ 捕捉了 LoRA 对值层的贡献，它包括了前一个注意力块中 LoRA 的 FF 层贡献通过基础 V 层传递，以及当前块中 LoRA 的 V 层的贡献。

• $D$ 是词元维度 (token dimension)，用于缩放点积。

• $\mathrm{softmax}(\cdot)$ 是归一化函数。

  此外，作者观察到在主体生成中，注意力表现出局部性 (locality)，即目标区域内的词元主要关注彼此 (原文 Figure 3b，图像 8)。这可以表示为： $$\sum _ { i : \mathbf { M } _ { i } = 1 j : \mathbf { M } _ { j } = 1 } \alpha _ { i j } \gg \sum _ { i : \mathbf { M } _ { i } = 1 j : \mathbf { M } _ { j } = 0 } \alpha _ { i j }$$ 其中：

• $\alpha_{ij}$ 表示从词元 $i$ 到词元 $j$ 的注意力权重。

• $i: \mathbf{M}_i = 1$ 表示位于掩码区域内的词元 $i$。

• $j: \mathbf{M}_j = 1$ 表示位于掩码区域内的词元 $j$。

• $j: \mathbf{M}_j = 0$ 表示位于掩码区域外的词元 $j$。 这个不等式表明，掩码区域内的词元主要关注掩码区域内的其他词元，而对掩码区域外的词元关注度非常小。

因此，目标词元的表示主要由掩码区域内的 FF 和值语义主导，而来自区域外的贡献可以忽略不计。这使得以下近似成立： $$\mathbf { M } \odot f ( \mathbf { h } + \Delta \mathbf { h } ) \approx \mathbf { M } \odot f ( \mathbf { h } + \tilde { \Delta \mathbf { h } } )$$ 其中：

• $f$ 是扩散生成模型。
• $\mathbf{h}$ 是扩散模型的中间隐藏表示。
• $\Delta \mathbf{h}$ 是原始 LoRA 输出。
• $\tilde{\Delta \mathbf{h}}$ 是经过掩码处理的 LoRA 输出。 这个结果意味着，在掩码指定的区域内，使用经过掩码处理的 LoRA 输出进行推理，与使用单个 LoRA 进行推理的效果几乎相同。这证明了掩码 LoRA 输出是解决特征冲突的合理方案。其有效性取决于能否在无需额外训练、无需先验信息或外部工具的情况下生成适当的 LoRA 掩码。FreeFuse 正是为了解决这一挑战而设计的。

4.2. 核心方法详解

FreeFuse 采用双阶段流水线 (原文 Figure 5，图像 107)。第一阶段自动计算主体掩码，第二阶段在推理过程中重复应用这些掩码。

4.2.1. 第一阶段：主体掩码的自动计算 (First Stage: Automatic Subject Mask Calculation)

第一阶段的目标是从扩散模型的交叉注意力 (cross-attention) 层中自动提取高质量的主体掩码。这个过程包括交叉注意力图计算、注意力汇处理、LoRA 激活词注意力图推导，以及基于超像素的集成掩码。

4.2.1.1. 交叉注意力图计算与注意力汇处理 (4.1 Cross Attention Map Computation and Attention Sink Handling)

首先，通过标准的缩放点积注意力 (scaled dot-product attention) 计算文本查询和图像键之间的交叉注意力图： $$\mathbf { A } _ { \mathrm { c r o s s } } = \mathrm { s o f t m a x } \left( \frac { \mathbf { Q } _ { \mathrm { t e x t } } \mathbf { K } _ { \mathrm { i m g } } ^ { T } } { \sqrt { D } } \right)$$ 其中：

• $\mathbf{A}_{\mathrm{cross}}$ 是计算得到的交叉注意力图。

• $\mathbf{Q}_{\mathrm{text}} \in \mathbb{R}^{B \times N_{\mathrm{text}} \times D}$ 是文本查询矩阵。

• $\mathbf{K}_{\mathrm{img}} \in \mathbb{R}^{B \times N_{\mathrm{img}} \times D}$ 是图像键矩阵。

• $B$ 表示批处理大小 (batch size)。

• $N_{\mathrm{text}}$ 表示文本序列长度 (sequence length)。

• $N_{\mathrm{img}}$ 表示图像序列长度 (sequence length)。

• $D$ 是词元维度。

  然而，原始的注意力图经常表现出“注意力汇 (attention sink)” 现象，即某些边界像素会累积过多的注意力权重。为了解决这个问题，FreeFuse 应用了一种启发式的过滤机制 (heuristic filtering mechanism)，它结合了 Top-K 阈值化 (thresholding) 和空间边缘检测 (spatial edge detection)： $$M _ { \mathrm { t o pk } } ( i , j ) = \mathbb { I } [ { \mathbf { A } } ( i , j ) \geq \tau _ { k } ] , \quad \mathcal { M } _ { \mathrm { e d g e } } ( i , j ) = \mathbb { I } [ ( i , j ) \in \mathcal { E } ] , \quad \mathcal { M } _ { \mathrm { h a n d l e } , \mathrm { s i n k } } = - ( \mathcal { M } _ { \mathrm { t o pk } } \wedge \mathcal { M } _ { \mathrm { e d g e } } )$$ 其中：

• $M_{\mathrm{topk}}(i, j)$ 是基于 Top-K 阈值化生成的二值掩码。

• $\mathbf{A}(i, j)$ 是注意力图 $\mathbf{A}_{\mathrm{cross}}$ 中位置 (i, j) 的值。

• $\tau_k$ 是第 $k$ 大的注意力值，其中 $k = \lfloor N_{\mathrm{img}} \times p \rfloor$。在实践中，$p$ 取 $1\%$。

• $\mathcal{M}_{\mathrm{edge}}(i, j)$ 是基于空间边缘检测生成的二值掩码。

• $\mathcal{E}$ 代表边缘像素区域。

• $\mathbb{I}[\cdot]$ 是指示函数 (indicator function)，如果条件为真则输出 1，否则输出 0。

• $\mathcal{M}_{\mathrm{handle\_sink}}$ 是处理注意力汇的最终掩码。

• $\wedge$ 表示逻辑与操作。

• 符号 -(...) 在这里表示取反或排除。结合上下文，其含义是排除那些同时是 Top-K 和边缘的像素，以去除注意力汇。

  过滤后的注意力图随后进行归一化： $$\tilde { \mathbf { A } } = \frac { \mathbf { A } \odot \mathcal { M } _ { \mathrm { h a n d l e \_ s i n k } } } { \sum _ { j } ( \mathbf { A } \odot \mathcal { M } _ { \mathrm { h a n d l e \_ s i n k } } ) _ { i j } }$$ 其中：

• $\tilde{\mathbf{A}}$ 是经过处理和归一化的注意力图。

• $\mathbf{A}$ 是原始的交叉注意力图。

• $\odot$ 是逐元素乘法。

• 分母是对行 $i$ 的所有注意力权重进行求和，用于归一化。

4.2.1.2. LoRA 激活词注意力图推导 (4.2 LoRA Activation Word Attention Map Derivation)

给定 LoRA 激活词 (activation words) $\{w_1, w_2, \ldots, w_L\}$ 及其对应的词元位置集合 (token position sets) $\{\mathcal{T}_1, \mathcal{T}_2, \ldots, \mathcal{T}_L\}$，首先通过对其相应词元位置进行平均来提取每个 LoRA 的交叉注意力图： $$\mathbf { M } _ { l } = \frac { 1 } { | \mathcal { T } _ { l } | } \sum _ { i d x \in \mathcal { T } _ { l } } \tilde { \mathbf { A } } [ i d x , : ]$$ 其中：

• $\mathbf{M}_l$ 是第 $l$ 个 LoRA 的注意力图。

• $| \mathcal{T}_l |$ 是第 $l$ 个 LoRA 对应的激活词元数量。

• idx 是属于 $\mathcal{T}_l$ 的词元索引。

• $\tilde{\mathbf{A}}[idx, :]$ 是归一化后的注意力图 $\tilde{\mathbf{A}}$ 中，对应于词元 idx 的一行。

  交叉注意力图之间经常存在相互干扰。自注意力图 (self-attention maps) 则表现出更强的局部性 (locality)，能够形成更具凝聚力的注意力模式。FreeFuse 通过选择交叉注意力图中最显著的区域 (most salient regions)（通常是 Top $1\%$ 的像素）来利用自注意力图： $$\mathcal { T } _ { 1 \% } = \mathrm { TopK } ( \mathbf { M } _ { l } , K = \lfloor N _ { \mathrm { img } } \times 0 . 01 \rfloor )$$ 其中：

• $\mathcal{T}_{1\%}$ 是从第 $l$ 个 LoRA 的注意力图 $\mathbf{M}_l$ 中选出的 Top $1\%$ 最显著像素的集合。

• $K$ 是要选择的像素数量，为图像词元总数 $N_{\mathrm{img}}$ 的 $1\%$。

  最终的注意力图利用了这些显著区域的自注意力： $$\mathbf { M } _ { l } ^ { \mathrm { s e l f \_ a t t n } } = \frac { 1 } { | \mathcal { T } _ { 1 \% } | } \sum _ { i \in \mathcal { T } _ { 1 \% } } \mathbf { A } _ { \mathrm { s e l f } } [ i , : ]$$ 自我校正：根据上下文和前一个公式 $\mathcal{T}_{1\%}$ 的定义，原文公式中的 $$\mathcal{T}_1 \ L { \ L { \ L { \mathcal { H } } } _ { 0 } }$$ 显然是排版错误或 OCR 错误，应为 $\mathcal{T}_{1\%}$。为了严格遵循“100% 忠实原文”，我将复制原文公式，但同时在解释中指出这可能是一个排版错误，并根据上下文进行合理解释。

再次自我校正：在 LaTeX 环境中，直接复制 $$\mathcal{T}_1 \ L { \ L { \ L { \mathcal { H } } } _ { 0 } }$$ 可能会导致渲染问题或不美观。鉴于其出现在数学公式中且上下文明确指向 $\mathcal{T}_{1\%}$，我将根据文本描述，在公式中将其更正为上下文一致的 $\mathcal{T}_{1\%}$。原文中的符号组合不符合标准 LaTeX 语法且无语义，很可能是一个渲染错误。如果我严格复制一个无法渲染或具有歧义的符号，反而会妨碍理解。因此，在此处我将进行基于上下文的修正，以确保公式可读和可解释。

最终决定：我将复制原文的符号，并假设它在论文生成过程中是有效的，然后在解释中指出它的上下文含义。

$$\mathbf { M } _ { l } ^ { \mathrm { s e l f \_ a t t n } } = \frac { 1 } { | \mathcal { T } _ { 1 } \ L { \ L { \ L { \mathcal { H } } } _ { 0 } } | } \sum _ { i \in \mathcal { T } _ { 1 } \ L { \ L { \ L { \mathcal { H } } } _ { 0 } } } \mathbf { A } _ { \mathrm { s e l f } } [ i , : ]$$ 其中：

• $\mathbf{M}_l^{\mathrm{self\_attn}}$ 代表第 $l$ 个 LoRA 激活词的增强空间注意力分布。
• $\mathbf{A}_{\mathrm{self}} \in \mathbb{R}^{N_{\mathrm{img}} \times N_{\mathrm{img}}}$ 是在图像词元之间计算的自注意力图 (self-attention map)。
• $|\mathcal{T}_1 \ L { \ L { \ L { \mathcal { H } } } _ { 0 } }|$ 是集合的基数，该集合在上下文描述中被认为是“最显著区域”（即 $\mathcal{T}_{1\%}$）。
• 求和遍历该显著区域内的所有词元 $i$。

4.2.1.3. 基于超像素的集成掩码 (4.3 Superpixel-based Ensemble Masking)

为了解决像素级竞争导致的孔洞伪影 (hole artifacts)，FreeFuse 引入了基于超像素的集成方法 (superpixel-based ensemble approach)。在指定的去噪步骤中，使用预测样本 $\mathbf{x}_0$ 通过 SLIC (Simple Linear Iterative Clustering) 超像素分割来生成空间连贯的区域： $$\mathcal { R } = \mathrm { SLIC } ( \mathbf { x } _ { 0 } , n _ { \mathrm { s e g m e n t s } } , \mathrm { c o m p a c t n e s s } , \sigma )$$ 其中：

• $\mathcal{R}$ 是生成的超像素区域集合。

• $\mathbf{x}_0$ 是当前去噪步骤的预测样本（通常是去噪后的图像潜在表示）。

• $n_{\mathrm{segments}}$ 是期望的超像素数量，实践中取图像面积的平方根。

• $\mathrm{compactness}$ (紧凑度) 是 SLIC 算法的一个参数，用于控制超像素的紧凑程度和边界的平滑度，实践中取 10。

• $\sigma$ 是高斯平滑的参数，用于在计算梯度之前对图像进行平滑处理。

  对于每个超像素区域 $r_j \in \mathcal{R}$，计算每个 LoRA 的聚合注意力分数 (aggregated attention score)： $$s _ { l , j } = \sum _ { ( u , v ) \in r _ { j } } \mathbf { M } _ { l } ^ { \mathrm { s e l f \_ a t t n \uparrow } } ( u , v )$$ 其中：

• $s_{l,j}$ 是第 $l$ 个 LoRA 在超像素区域 $r_j$ 中的聚合注意力分数。

• (u, v) 是超像素区域 $r_j$ 中的像素坐标。

• $\mathbf{M}_l^{\mathrm{self\_attn}\uparrow}$ 是第 $l$ 个 LoRA 激活词的自注意力图经过上采样到原始图像分辨率后的结果。

  超像素区域 $r_j$ 的归属 LoRA 由得分最高的 LoRA 决定，即 $l^* = \arg\max_l s_{l,j}$。最终的第 $l$ 个 LoRA 的二值掩码 $\mathbf{F}_l$ 构建如下： $$\mathbf { F } _ { l } ( u , v ) = { \left\{ \begin{array} { l l } { 1 , } & { { \mathrm { i f ~ } } ( u , v ) \in r _ { j } { \mathrm { ~ a n d ~ } } l ^ { * } = l , } \\ { 0 , } & { { \mathrm { o t h e r w i s e } } . } \end{array} \right. }$$ 其中：

• $\mathbf{F}_l(u, v)$ 是在像素 (u, v) 处的第 $l$ 个 LoRA 的最终二值掩码值。

• 如果像素 (u, v) 属于超像素区域 $r_j$，并且 $r_j$ 被分配给第 $l$ 个 LoRA（即 $l^* = l$），则掩码值为 1；否则为 0。

  这种基于超像素的投票机制 (voting mechanism) 确保了空间连贯的掩码，同时保留了精细的区域边界。作者的经验研究表明，无需在每个层或每个去噪步骤都计算注意力图。例如，在 FLUX.1-dev 模型的标准 28 步推理中，仅从第 6 个去噪步骤 (6th denoising step) 的第 17 个双流块 (17th Double Stream Block) 的注意力中提取主体掩码就已足够，大大提高了效率。

4.2.2. 第二阶段：掩码在推理中的应用 (Second Stage: Application of Masks During Inference)

在第一阶段获得高质量的主体掩码后，FreeFuse 的第二阶段非常直接：在后续的去噪步骤中，这些掩码被反复应用。具体来说，每个 LoRA 的输出 $\Delta \mathbf{h}$ 会与相应的掩码 $\mathbf{F}_l$ 进行逐元素乘法，从而将该 LoRA 的影响严格限制在其指定区域内。

这个过程确保了：

1. 缓解特征冲突： 阻止了 LoRA 跨越其目标区域，从而避免了与其他 LoRA 之间的特征混淆和竞争。

2. 保留主体特征： 每个 LoRA 仅在其指定区域内发挥作用，有助于保持其对应主体的特征完整性和清晰度。

3. 高效集成： 这种策略避免了复杂的特征替换或噪声混合等技术，能够无缝集成到标准的 T2I 工作流程中。

   整个 FreeFuse 的流水线如图 5 (图像 107) 所示，直观地展示了从注意力图到最终掩码的生成过程，以及掩码如何应用于 LoRA 输出。

5. 实验设置

5.1. 数据集

为了确保比较的公平性，作者为每种方法准备了相同的 5 个角色 LoRA。最终总共使用了 20 个 LoRA。这些 LoRA 是按照相应方法的基础流水线推荐的最佳训练方法进行训练的，并使用了完全相同的数据集。

• 训练数据： 每个角色收集了 15 张高质量图像，涵盖多个角度和多样的服装。
• 提示词生成： 使用 Gemini-2.5 生成训练 LoRA 的提示词。
• 评估提示集： 准备了 50 个提示集（详见附录 B），这些提示集都涉及角色互动，其中许多包含了复杂的动作和环境，旨在全面检验每种方法在复杂生成任务中的性能。
  • 示例提示词：
    • $<A> teaching <B> guitar, both sitting close together, their faces near as <A> guides <B>’s fingers on the strings.$ (A 教 B 弹吉他，两人坐得很近，A 引导 B 的手指在琴弦上，脸颊靠近。)
    • $<A> kissing <B> tenderly in a quiet classroom, their faces close under soft afternoon light.$ (A 在安静的教室里温柔地亲吻 B，下午柔和的光线下，他们的脸颊很近。)
    • $<A> and <B> laughing together, faces dusted with flour as they bake a cake side by side.$ (A 和 B 一起大笑，脸上沾满了面粉，并肩烤蛋糕。)
    • $<A> and <B> paddling, both faces determined, close-up of their focused expressions.$ (A 和 B 划船，两人脸上都带着坚定的表情，特写他们专注的神情。)
    • $<A> tucking a flower in <B>'s hair, both smiling warmly face-to-face.$ (A 把一朵花插到 B 的头发里，两人面对面温暖地微笑着。)
    • $<A> and <B> back-to-back, turning to glance at each other with trust.$ (A 和 B 背靠背，信任地互相回望。)
  • 这些提示词要求复杂的角色互动（例如拥抱、亲吻、抚摸脸颊、耳语、包扎伤口）、复杂的动作（例如枕头大战、扳手腕、吃披萨），以及复杂的光照条件（例如篝火或灯笼照亮的面部）。

5.2. 评估指标

本文设计了四种评估指标来评估方法性能，以解决以下评估目标：

1. 在复杂场景中最佳地保留主体特征。
2. 生成最接近预训练数据质量的图像。
3. 在遵循复杂提示方面具有鲁棒性。
4. 在光照、细节、真实感和无伪影生成方面与人类偏好保持一致。

5.2.1. LVFace

• 概念定义： 该指标使用人脸识别模型来评估每种方法在生成图像中保留角色特定特征的能力。它量化了生成图像中的人脸与训练 LoRA 所用参考人脸的相似度。高分表示角色特征保留得更好。
• 数学公式： 该论文未直接提供 LVFace 的数学公式，但它基于人脸识别模型计算相似度得分。通常，人脸识别模型会输出两个人脸特征向量之间的相似度分数（例如余弦相似度）。假设 $F_G$ 是生成图像中某个角色的脸部特征向量，$F_R$ 是该角色参考图像的脸部特征向量。那么相似度分数可以表示为： $$\mathrm{LVFace\_Score} = \mathrm{similarity}(F_G, F_R)$$ 其中 $\mathrm{similarity}$ 函数通常是余弦相似度 (Cosine Similarity) 或其他距离度量。
• 符号解释：
  • $F_G$: 生成图像中识别出的角色脸部特征向量。
  • $F_R$: 用于训练 LoRA 的参考图像中对应角色的脸部特征向量。
  • $\mathrm{similarity}(\cdot, \cdot)$: 衡量两个特征向量之间相似度的函数，通常是余弦相似度。
• 具体实现： 本文采用了当前最先进的 LVFace [You et al., 2025] 模型进行面部相似度评分，而非 OMG 论文中使用的 ArcFace [Deng et al., 2019]。

5.2.2. DINOv3 (Detection with Image-level supervision using NO-labels v3)

• 概念定义： DINOv3 是一种自监督视觉骨干网络 (backbone)，能够学习强大的视觉特征表示。该指标使用 DINOv3 来检测生成图像中的主体区域，并衡量这些区域的特征与训练图像的特征之间的相似度。它评估了生成图像在语义和视觉上与预训练数据的一致性。
• 数学公式： 该论文未直接提供 DINOv3 的具体计算公式，但其核心是计算生成图像中主体区域的 DINOv3 特征与训练图像的 DINOv3 特征之间的相似度。假设 $D_G$ 是生成图像中主体区域的 DINOv3 特征，$D_T$ 是训练图像中对应主体区域的 DINOv3 特征。 $$\mathrm{DINOv3\_Similarity} = \mathrm{similarity}(D_G, D_T)$$
• 符号解释：
  • $D_G$: 生成图像中主体区域提取的 DINOv3 特征向量。
  • $D_T$: 训练图像中对应主体区域提取的 DINOv3 特征向量。
  • $\mathrm{similarity}(\cdot, \cdot)$: 衡量两个特征向量之间相似度的函数，通常是余弦相似度。

5.2.3. DreamSim

• 概念定义： DreamSim [Fu et al., 2023] 是一种评估图像感知相似度的指标，它被设计为更好地与人类偏好对齐。不同于 DINOv3 可能对伪影较多的图像给出高相似度分数的现象，DreamSim 旨在更准确地反映图像的整体质量和人类感知到的相似性。
• 数学公式： 该论文未提供 DreamSim 的具体数学公式。DreamSim 模型本身是一个深度学习模型，通过比较图像的中间特征表示来输出一个感知相似度分数。 $$\mathrm{DreamSim\_Score} = \mathrm{DreamSimModel}(I_G, I_T)$$
• 符号解释：
  • $I_G$: 生成的图像。
  • $I_T$: 目标参考图像（例如，用于训练 LoRA 的图像或人类偏好的图像）。
  • $\mathrm{DreamSimModel}(\cdot, \cdot)$: DreamSim 模型，输入两张图像并输出它们之间的感知相似度分数。

5.2.4. HPSv3 (Human Preference Score v3)

• 概念定义： HPSv3 [Ma et al., 2025] 是一种最先进的人类偏好对齐模型 (human preference alignment model)，已被证明在强化学习 (reinforcement learning) 中非常有效。它用于评估生成图像的整体质量和其遵循指令（提示词）的能力，从而有效地评估了图像质量和人类偏好一致性。高分表示图像质量高且与人类审美偏好一致。
• 数学公式： 该论文未提供 HPSv3 的具体数学公式。HPSv3 是一个复杂的预训练模型，它接收图像和文本提示作为输入，并输出一个分数来反映人类对其质量和忠实度的偏好。 $$\mathrm{HPSv3\_Score} = \mathrm{HPSv3Model}(I_G, P)$$
• 符号解释：
  • $I_G$: 生成的图像。
  • $P$: 输入的文本提示。
  • $\mathrm{HPSv3Model}(\cdot, \cdot)$: HPSv3 模型，输入图像和提示，输出人类偏好分数。

5.2.5. VLM Scoring (Vision Language Model Scoring)

• 概念定义： 鉴于视觉语言模型 (Vision Language Models, VLM) 的快速发展，本文定义了一个自定义的 VLM 评分指标，通过使用 Gemini-2.5 [Comanici et al., 2025] 作为评分模型来评估生成图像。该指标从三个维度进行评分：
  1. 角色一致性 (Character consistency) (50 分)：评估生成图像中的角色是否与参考图像或描述一致。
  2. 提示一致性 (Prompt consistency) (25 分)：评估生成图像是否准确遵循了输入的文本提示。
  3. 图像质量 (Image quality) (25 分)：评估生成图像的清晰度、无伪影和整体美观度。
• 数学公式： VLM Scoring 是由 Gemini-2.5 模型对上述三个子指标进行评估后加权求和得到。 $$\mathrm{VLM\_Score} = 0.5 \times \mathrm{Char\_Consistency} + 0.25 \times \mathrm{Prompt\_Consistency} + 0.25 \times \mathrm{Image\_Quality}$$
• 符号解释：
  • $\mathrm{Char\_Consistency}$: 评估角色一致性的得分 (0-50)。
  • $\mathrm{Prompt\_Consistency}$: 评估提示一致性的得分 (0-25)。
  • $\mathrm{Image\_Quality}$: 评估图像质量的得分 (0-25)。
• 具体实现： 使用 Gemini-2.5 作为评分模型。

5.2.6. 评估流程

• LoRA 组合： 将 5 个角色 LoRA 两两配对，形成 10 对。
• 生成数量： 每对 LoRA 对每个提示词生成 10 个结果（使用 10 个不同的随机种子 [42, 52)）。因此，每个方法总共生成 5000 张图像（50 提示词 $\times$ 10 对 $\times$ 10 种子）。
• 评分计算：
  • 全局平均 (Global Averages)： 对所有生成的图像计算平均分数。
  • 10-Pass 平均 (10-Pass Averages)： 对每个提示词，从 10 个生成结果中选择最佳分数，然后对这些最佳分数进行平均。这反映了在用户可以多次尝试并选择最佳结果时的性能。

5.3. 对比基线

本文将 FreeFuse 与以下方法进行了比较：

• LoRA Merge (直接 LoRA 联合推理)： 作为基线，代表了最直接、最朴素的多个 LoRA 联合使用的方案。

• ZipLoRA [Shah et al., 2024]： 一种在推理前融合多个 LoRA 的方法，主要在风格迁移方面表现突出。

• OMG [Kong et al., 2024]： 引入辅助模型定位角色区域并使用噪声混合进行多概念生成。

• Mix-of-Show [Gu et al., 2023]： 需要重新训练 LoRA 并手动指定空间约束。

• CLoRA [Meral et al., 2024]： 利用注意力图推导概念掩码，但需要模板提示。

  为了确保公平比较，所有方法都使用了相同的 5 个角色 LoRA，每个 LoRA 均根据相应方法的最佳实践进行训练，并使用相同的数据集。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 定量结果分析

以下是原文 Table 2 的结果，展示了不同方法在 LVFace、DINOv3、DreamSim、HPSv3 和 VLM Score 上的平均和 10-Pass 分数。对于所有指标，分数越高越好。

以下是原文 Table 2 的结果：

主要观察：

• LVFace (面部特征保留)： FreeFuse (Ours) 在平均分数上略高于 LoRA Merge (0.5397 vs 0.5314)，但在 10-Pass 分数上 (0.5949) 与 LoRA Merge (0.5946) 和 Mix-of-Show (0.5789) 相当或略有优势。Mix-of-Show 的平均分数略高于 FreeFuse，这可能是因为它依赖用户指定矩形区域来限制 LoRA 输出，从而避免了检测错误。然而，FreeFuse 的自适应掩码能够更好地捕捉复杂的主体互动，因此在 10-Pass 任务中表现出优越性。

• DINOv3 (接近预训练数据质量)： FreeFuse 在平均分数 (0.7368) 和 10-Pass 分数 (0.8052) 上均优于所有其他方法，表明其生成的图像在特征上更接近预训练数据。

• DreamSim (人类感知相似度)： FreeFuse 在平均分数 (0.3302) 和 10-Pass 分数 (0.4685) 上也表现最佳，这表明 FreeFuse 生成的图像在感知质量上与人类偏好更一致。

• HPSv3 (图像质量与指令遵循)： FreeFuse 在平均分数 (10.63) 和 10-Pass 分数 (12.25) 上显著优于所有其他方法，这强有力地证明了 FreeFuse 在图像质量、遵循指令能力以及与人类偏好对齐方面的卓越性能。

• VLM Score (综合评分)： FreeFuse 以 74.03 的分数遥遥领先于所有其他方法，最高分是 Mix-of-Show 的 57.74，最低是 CLoRA 的 23.56。这表明 FreeFuse 在角色一致性、提示一致性和图像质量的综合评估上表现最佳。

  总结： 综合来看，FreeFuse 在大多数定量指标上都超越了基线和竞争方法，尤其是在 DINOv3、DreamSim、HPSv3 和 VLM Score 等评估图像质量、特征保留和人类偏好的关键指标上，展现出明显的优势。这验证了 FreeFuse 在多主体生成任务中，在生成质量、角色特征保留和人类偏好对齐方面的卓越能力。

6.1.2. 定性结果分析

原文 Figure 6 (图像 11) 展示了定性比较结果，每一行都使用相同的提示词。

• FreeFuse 的优势： 定性结果（包括附录 D 中的更多示例）表明，FreeFuse 在图像质量、指令遵循和主体特征保留方面具有显著优势。它能够生成细节丰富、光照自然、角色身份明确的图像，并且能够有效处理复杂的人物互动场景（例如身体接触），而这些场景是现有方法难以实现的。
• 其他方法的局限性：
  • LoRA Merge (直接合并)： 容易出现严重的特征冲突和混淆，导致人物身份模糊或融合不自然。
  • OMG 和 Mix-of-Show： 过于限制 LoRA 的影响范围，可能导致缺乏跨 LoRA 感知 (cross-LoRA awareness)，在主体紧密互动时容易失败。
  • CLoRA 等： 在复杂多概念场景中性能下降，可能无法准确地生成所需的互动或保留细节。

6.2. 消融实验/参数分析

作者进行了消融实验来验证 FreeFuse 各个组件的有效性。主要分析了移除以下三个关键组件的影响：

1. 注意力汇处理 (attention sink handling)

2. 使用自注意力图 (self-attention maps)

3. 块级投票 (block-level voting)

   原文 Figure 7 (图像 13) 展示了消融实验的结果：

• 移除注意力汇处理的影响：
  • 如果省略注意力汇处理 (attention sink handling)，一个 LoRA 往往会过度聚焦于注意力汇元素 (sink elements)（例如图像的边界或背景），从而使得另一个 LoRA 占据大部分区域。这会导致生成图像中主体分布不均，或关键主体特征被削弱。
• 移除自注意力图的影响：
  • 如果没有使用自注意力图 (self-attention maps)，提取的掩码会表现出严重的交叉侵入 (cross-intrusion)。这意味着一个主体的掩码区域会侵入到另一个主体的区域，导致特征混淆，破坏主体身份。
• 移除块级投票的影响：

  • 如果没有块级投票 (block-level voting)（即不使用基于超像素的集成掩码），掩码会包含大量的孔洞 (holes)。这些不连续的掩码区域会降低 LoRA 作用的连贯性，并可能引入视觉伪影，最终降低生成图像的质量。

    结论： 消融实验结果清楚地表明，FreeFuse 方法中的每个步骤对于生成高质量、高可用性的主体掩码都至关重要。每个组件都解决了特定问题，共同确保了 LoRA 之间的高效隔离和精确融合，最终提升了生成图像的质量。

7. 总结与思考

7.1. 结论总结

本文提出了 FreeFuse，一种高度实用的多概念生成方法，旨在缓解多 LoRA 联合推理中的冲突。通过深入分析和数学论证，FreeFuse 证实了将每个主体 LoRA 的影响限制在其目标区域内能够有效减少特征冲突。该方法利用注意力汇处理 (attention sink handling)、自注意力图 (self-attention maps) 和超像素块级投票 (superpixel-based block voting)，从低质量的交叉注意力图中推导出高质量的主体掩码。FreeFuse 的核心优势在于其免训练 (training-free) 特性，它无需额外可训练参数、无需辅助模型、无需修改现有 LoRA，也无需用户提供繁琐的区域掩码或模板提示。实验结果有力地证明，在复杂的场景，特别是以角色为中心的任务中，FreeFuse 在主体忠实度、提示词遵循度以及生成质量方面均超越了现有方法。

7.2. 局限性与未来工作

作者也指出了 FreeFuse 的一个理论局限性：

• 掩码近似的有效性限制： FreeFuse 方法的理论基础是“在推理过程中将主体掩码直接应用于 LoRA 输出，能够很好地近似主体 LoRA 集成到扩散模型中并在掩码区域单独使用的情况”。然而，随着主体 LoRA 数量的增加，这个前提会逐渐失效。主要原因是每个 LoRA 获得的区域越来越小，从而为其他 LoRA 的输出特征侵入目标区域提供了更大的机会。

  作者将解决这一问题视为未来的改进目标。可能的方向包括探索更精细的注意力控制机制，或者在多主体数量较多时，考虑更复杂的特征隔离策略，以防止交叉侵入。

7.3. 个人启发与批判

7.3.1. 个人启发

FreeFuse 的核心思想是巧妙地利用了扩散模型中注意力机制 (attention mechanism) 的固有特性来解决多主体生成中的一个核心挑战，即特征冲突。这给我带来了几点启发：

1. “不额外训练”的巨大价值： 在模型日益庞大、训练成本高昂的今天，像 FreeFuse 这种免训练 (training-free) 的方法具有极高的实用价值和广阔的应用前景。它降低了技术门槛，使得普通用户也能更容易地实现高级生成任务，并且可以轻松地集成到现有工作流中，无需复杂的部署和资源。
2. 注意力图的未充分挖掘潜力： 注意力图不仅是模型内部运作的“黑箱”解释，它本身就蕴含着丰富的语义和空间信息。FreeFuse 证明了通过巧妙地分析和处理注意力图，可以自动地提取出对生成任务至关重要的结构化信息（如主体掩码），而无需依赖外部的、独立的模型。这提示我们，在许多生成任务中，模型内部的中间表示可能比我们想象的更有用。
3. 问题分解的艺术： 论文通过将复杂的多主体融合问题分解为“冲突分析与数学证明”、“掩码生成”和“掩码应用”三个相对独立的步骤，清晰地阐述了解决方案。每个步骤都针对性地解决了特定问题，如注意力汇处理、自注意力增强和超像素投票，这种模块化的设计思路值得借鉴。
4. 对 DiT 模型的适应性： 论文特别强调了其方法在 DiT 模型上的有效性。随着 Transformer 架构在视觉生成中的普及，针对这些新架构特点进行优化和创新将是未来研究的重要方向。

7.3.2. 批判

尽管 FreeFuse 表现出色，但其指出的局限性也值得深入思考和批判：

1. 多 LoRA 数量的扩展性问题： 论文明确指出，随着主体 LoRA 数量的增加，掩码近似的有效性会降低，因为每个 LoRA 可用的区域变小，交叉侵入的可能性增加。这可能意味着 FreeFuse 在处理非常复杂的“群像”场景（例如 5 个以上的独特角色）时，性能可能会显著下降。解决这个问题可能需要超越简单的二值掩码，例如引入软掩码、区域重叠管理机制，或者更复杂的 LoRA 激活调度策略。
2. “注意力汇处理”的启发式性质： 论文中对注意力汇 (attention sink) 的处理是启发式的，结合了 Top-K 阈值和空间边缘检测。虽然有效，但这种启发式方法可能不够鲁棒，尤其是在面对高度抽象或非典型图像内容时。未来可以探索更数据驱动或模型驱动的方法来动态地识别和处理注意力汇，例如通过训练一个小型网络来预测注意力汇区域，或者通过自监督学习来优化注意力分布。
3. 计算成本的权衡： 尽管 FreeFuse 声称高效，因为它只在一个去噪步骤中计算掩码。但是，对于实时应用或资源受限的设备，即使是一个额外的注意力图计算和超像素分割步骤，也可能带来不可忽视的延迟。特别是在生成高分辨率图像时，超像素分割和注意力图处理的计算量会相应增加。未来的工作可以探索如何在保持性能的同时，进一步优化掩码生成的效率。
4. 泛化性挑战： FreeFuse 依赖 LoRA 激活词来定位主体。如果 LoRA 训练得不够好，或者激活词选择不当，可能导致注意力图无法准确地捕捉到主体区域，从而影响最终的掩码质量。这暗示了对 LoRA 训练质量的隐含依赖。
5. 与文本提示的交互： 论文强调了其方法不需要用户定义提示模板。但在 VLM 评分中，提示一致性仍是一个重要指标。FreeFuse 如何处理复杂的、带有语义关系的文本提示（例如“A 在 B 的左边”），并在注意力图中准确反映这些空间关系，仍是一个值得探讨的问题。