1. 论文基本信息

1.1. 标题

Attention-Guided Progressive Neural Texture Fusion for High Dynamic Range Image Restoration (注意力引导的渐进神经纹理融合高动态范围图像恢复)

1.2. 作者

Jie Chen, Zaifeng Yang, Tsz Nam Chan, Hui Li, Junhui Hou, and Lap-Pui Chau

1.3. 发表期刊/会议

该论文在 arXiv 上作为预印本发表，具体出版期刊/会议未明确提及，但其内容属于计算机视觉和图像处理领域。

1.4. 发表年份

2021年

1.5. 摘要

现代成像平台中的多曝光融合 (multi-exposure fusion) 是一种重要任务，用于生成高动态范围 (High Dynamic Range, HDR) 图像。尽管硬件和算法在近期都有所发展，但由饱和 (saturation)、运动 (motion) 和多曝光融合过程中引入的各种伪影（如鬼影 (ghosting)、噪声 (noise) 和模糊 (blur)）引起的内容关联模糊性 (content association ambiguities) 仍然是挑战。本文提出了一种 Attention-guided Progressive Neural Texture Fusion (APNT-Fusion) HDR 恢复模型，旨在在一个框架内解决这些问题。该模型提出了一个高效的两流结构，分别关注饱和区域的纹理特征迁移 (texture feature transfer) 和多曝光色调 (tonal) 及纹理特征融合。文章提出了一种神经特征迁移 (neural feature transfer) 机制，该机制基于 Masked Saturated HDR (MS-HDR) 域中的多尺度 VGG 特征，在模糊图像区域建立不同曝光之间的空间对应关系，以提供判别性的上下文线索。设计了一个渐进纹理融合 (progressive texture blending) 模块，以多尺度渐进方式融合编码的两流特征。此外，文章还引入了几种新颖的注意力机制：运动注意力模块 (motion attention module) 检测并抑制参考图像之间的内容差异；饱和度注意力模块 (saturation attention module) 有助于区分由饱和引起的错位和由运动引起的错位；尺度注意力模块 (scale attention module) 确保不同编码器/解码器尺度之间的纹理融合一致性。通过全面的定性和定量评估以及消融研究，验证了这些新模块在该框架下协同工作，并优于 state-of-the-art 方法。

1.6. 原文链接

https://arxiv.org/abs/2107.06211 PDF 链接: https://arxiv.org/pdf/2107.06211v1.pdf 发布状态：arXiv 预印本。

2. 整体概括

2.1. 研究背景与动机

核心问题： 传统的低动态范围 (Low Dynamic Range, LDR) 图像传感器通常只能捕捉有限的光线强度范围，导致在复杂光照场景下出现过曝光（饱和）或欠曝光（噪声、对比度受限）区域。为了解决这个问题，高动态范围 (High Dynamic Range, HDR) 成像技术被提出，其中最常见的策略是通过融合一系列不同曝光的 LDR 图像来合成一张 HDR 图像，即多曝光融合 (multi-exposure fusion)。

重要性与现有挑战： HDR 成像对于现代成像平台至关重要，但现有的多曝光融合方法面临以下具体挑战：

• 内容关联模糊性 (Content Association Ambiguities)： 当场景中存在运动（相机移动或物体移动）或图像局部区域出现饱和时，不同曝光图像之间的像素点很难准确对齐，导致内容关联困难。
• 饱和区域的纹理缺失： 在过曝光区域，像素值达到上限，丢失了所有细节和纹理信息。如何从其他曝光的图像中准确地“迁移”这些缺失的纹理是一个难题。
• 融合伪影 (Fusion Artifacts)： 不准确的融合可能导致鬼影 (ghosting artifacts)（由运动引起）、噪声、模糊、光晕 (halo) 等问题。

现有研究的局限性：

• 主动对齐方法 (Active Measures)： 如基于光流 (optical flow) 的像素对齐，难以处理遮挡、非刚性变换以及饱和区域带来的对应模糊性，容易引入扭曲伪影 (warping artifacts)。

• 预防性措施 (Preventive Measures)： 如注意力掩码 (attention masking)，虽然能有效避免鬼影，但也会抑制有用信息（如饱和区域的纹理）的迁移。

• 区分饱和与运动： 现有方法通常未能有效区分由饱和和由运动引起的错位，导致策略单一，无法进行有针对性的处理。

  本文的切入点/创新思路： 针对上述挑战，本文提出 APNT-Fusion 框架，旨在在一个统一的深度学习框架内，高效地解决运动引起的鬼影伪影预防和饱和区域的纹理迁移问题。其核心在于引入了专门针对饱和区域的特征迁移机制，以及多种注意力模块来精细化融合过程。

2.2. 核心贡献/主要发现

本文的 APNT-Fusion 框架主要贡献和关键发现总结如下：

• 高效的两流结构 (Efficient Two-Stream Structure)： 提出一个双分支网络，一个流专门负责在饱和区域进行纹理特征迁移，另一个流负责融合经过运动抑制的多曝光色调和纹理特征。这种分离处理有助于更精准地解决各自的问题。
• 神经特征迁移 (Neural Feature Transfer, NFT) 机制： 引入了一种新颖且高效的 NFT 机制。该机制通过在 Masked Saturated HDR (MS-HDR) 域中利用多尺度 VGG 特征，建立不同曝光图像之间的空间对应关系。这为在大饱和区域和运动重叠区域等模糊区域提供了判别性的上下文线索，从而实现了准确的纹理参考。
• 渐进纹理融合 (Progressive Texture Blending, PTB) 模块： 设计了一个 PTB 模块，以多尺度、渐进的方式将编码后的两流特征进行融合，最终生成高质量的 HDR 恢复结果。
• 多重注意力机制 (Novel Attention Mechanisms)： 引入了三种新颖的注意力模块，它们在同一个框架下协同工作，显著提升了恢复性能：
  • 运动注意力模块 (Motion Attention Module)： 检测并抑制参考图像之间的内容差异，有效防止鬼影伪影。
  • 饱和度注意力模块 (Saturation Attention Module)： 区分由饱和引起的错位和由运动引起的错位，鼓励将有用纹理信息迁移到缺失内容的区域。
  • 尺度注意力模块 (Scale Attention Module)： 确保不同编码器/解码器尺度之间的纹理融合一致性。
• 卓越的性能表现： 通过全面的定性（视觉质量）和定量（PSNR、SSIM 等指标）评估以及详尽的消融研究，验证了 APNT-Fusion 框架的有效性，并证明其性能优于当前的 state-of-the-art 方法。尤其是在处理大面积饱和区域和运动场景下的细节恢复方面展现出明显优势。

3. 预备知识与相关工作

3.1. 基础概念

• 高动态范围图像 (High Dynamic Range, HDR) 与低动态范围图像 (Low Dynamic Range, LDR):
  • LDR 图像： 传统相机和显示器通常处理的图像，其亮度范围有限。在自然界中，光线强度变化非常大，从阴影到阳光直射可能覆盖 $10^5 \mathrm{~cd/m^2}$ 的范围，而 LDR 图像通常只能捕捉约 $10^3 \mathrm{~cd/m^2}$ 的范围。这导致图像中亮部过曝（饱和）或暗部欠曝（噪声）。
  • HDR 图像： 旨在捕捉和表示比传统 LDR 图像更宽的亮度范围，更接近人眼所见的真实世界场景。它能够同时呈现极亮和极暗区域的细节。
• 多曝光融合 (Multi-Exposure Fusion):
  • 一种生成 HDR 图像的实用策略。通过拍摄同一场景在不同曝光设置下的一系列 LDR 图像（通常是短曝光、中曝光和长曝光），然后将这些图像中的良好曝光区域信息进行融合，以合成一张 HDR 图像。
• 鬼影伪影 (Ghosting Artifacts):
  • 在多曝光融合过程中，如果场景中存在移动的物体（动态内容）或相机本身在拍摄序列期间有轻微移动（相机运动），不同曝光的图像之间会出现内容不一致。如果直接融合这些未对齐的图像，移动物体或相机运动的区域就会出现模糊、重影或不自然的边缘，形成所谓的鬼影。
• 饱和 (Saturation):
  • 当图像中某个区域的亮度值超过图像传感器或存储格式所能表示的最大值时，该区域的像素值会被“截断”到最大值，导致该区域的所有细节和纹理信息完全丢失，呈现为纯白或纯色块。这被称为饱和或过曝光。
• 神经特征 (Neural Features) / VGG 特征 (VGG Features):
  • 卷积神经网络 (Convolutional Neural Network, CNN): 深度学习领域的一种特殊神经网络，在图像处理任务中表现出色。它通过多层卷积、激活、池化等操作从图像中提取不同层次的特征。
  • VGG 网络: 是一种经典的深度卷积神经网络架构，以其简洁的结构（主要由 $3 \times 3$ 卷积核堆叠组成）和在图像识别任务上的优异性能而闻名。VGG 网络的不同层（例如 relu1_1, relu2_1, relu3_1）可以提取图像在不同尺度和抽象级别上的特征。这些特征被称为 VGG 特征或感知特征 (perceptual features)，它们能够捕捉图像的结构、纹理和语义信息，常用于风格迁移、超分辨率等任务中的内容或风格表示。
• 注意力机制 (Attention Mechanism):
  • 源于人类视觉系统，在深度学习中，注意力机制允许模型在处理输入时，将更多的计算资源或权重分配给“更重要”或“更相关”的部分，而忽略不重要的部分。这有助于模型更好地聚焦于关键信息，提高处理效率和性能。在图像处理中，注意力机制可以生成注意力图，这些图指示了图像中哪些区域应该被关注或强调。

3.2. 前人工作

文章将 HDR 融合中的鬼影消除方法分为三类：

• 像素拒绝方法 (Pixel Rejection Methods):
  • 这类方法通常选择一张图像作为参考（通常是中等曝光图像），然后检测参考图像与非参考图像之间的运动区域。在融合时，直接排除这些检测到的“鬼影”像素。
  • 代表性工作： 梯度图 (gradient maps) [10] 和中值阈值位图 (median threshold bitmaps) [11] 用于不一致性检测。一些工作使用数学模型优化正确的鬼影图 [12]，或使用秩最小化技术 (rank minimization techniques) [13]。
  • 局限性： 拒绝像素意味着丢失了这些区域的有价值信息。Ma et al. [14] 提出结构化补丁分解 (structural patch decomposition) 方法，将图像补丁分解为强度、结构和平均亮度三个组件分别处理融合，减少鬼影。Li et al. [15, 16] 进一步增强了此方法，减少光晕并保持边缘。
• 内容关联与配准方法 (Content Association and Registration Methods):
  • 这类方法旨在 HDR 融合之前对像素进行对齐。
  • 代表性工作： Kang et al. [17] 使用光流 (optical flow) [18] 在视频帧之间配准像素，然后合并以减少伪影。Jinno and Okuda [19] 使用马尔可夫随机场 (Markov random field) 模型估计像素位移、遮挡和饱和区域。Oh et al. [20] 同时对 LDR 图像进行对齐并检测异常值。
  • 局限性： 精确关联具有大运动的像素本身就是一个挑战。在像素级别框架中，不可避免的对齐伪影难以避免。
• 深度神经网络 (DNN) 基于的方法 (DNN based methods):
  • DNN 在计算成像和图像恢复问题中展现出巨大优势 [21, 22]。
  • 代表性工作： Wu et al. [23] 将 HDR 成像建模为图像翻译问题，幻化 (hallucinate) 遮挡、过/欠曝光造成的缺失内容。Eilertsen et al. [24] 提出使用自编码器 (autoencoder) 结构根据单个 LDR 输入预测 HDR 图像。Endo et al. [25] 通过组合来自单个 LDR 的多个中间 LDR 预测实现相同目标。
  • 局限性： 这些方法从训练数据集中学习知识来添加细节，可能导致预测结果与特定图像不符。Kalantari et al. [7] 使用 DNN 基于预对齐的图像张量 (image tensors) 和光流 (optical flow) 来合并和细化 LDR 图像。此方法可能存在对齐误差，且映射空间受限。Yan et al. [8] 提出通过参考图像上的注意力模型来引导 LDR 图像的合并。Deng et al. [26] 提出深度耦合反馈网络同时实现多曝光融合和超分辨率。
  • 注意力机制的局限性： 虽然注意力机制非常有用，但当注意力图用于突出参考内容不一致时，它在抑制鬼影伪影的同时，也限制了有用纹理向饱和区域的传输。

3.3. 技术演进

该领域的技术演进经历了从传统图像处理到深度学习的转变：

1. 早期传统方法： 侧重于像素级别的加权融合、梯度域处理、形态学操作等，以解决曝光不足/过度的区域。
2. 运动和鬼影处理： 随着对动态场景处理需求的增加，引入了运动检测（如光流、梯度）和像素拒绝策略。然而，这些方法往往在处理大运动或饱和区域时力不从心，或丢失信息。
3. 深度学习的引入： DNN 被用于学习复杂的映射关系，从 LDR 到 HDR 的翻译，或端到端的融合。这提高了 HDR 图像的整体质量。
4. 注意力机制的崛起： 为了更精细地处理图像不同区域的重要性，注意力机制被引入 HDR 融合，以区分鬼影区域并抑制其影响。
5. 本文的创新定位： APNT-Fusion 处于这一技术演进的最新阶段，它不仅利用了深度学习的强大特征学习能力和注意力机制的聚焦优势，更重要的是，它明确区分了由饱和和运动引起的模糊性，并设计了 MS-HDR 域的神经特征迁移机制，以解决传统注意力模型在饱和区域信息传输上的局限性，实现了更鲁棒、更精细的 HDR 恢复。

3.4. 差异化分析

本文 APNT-Fusion 方法与相关工作的主要区别和创新点体现在以下几个方面：

• 区分饱和与运动错位： 现有方法（尤其是基于注意力的方法如 Yan19'）在检测到内容不一致时，通常会一概抑制，无论其原因是由运动引起（应抑制以防鬼影）还是由饱和引起（应从其他曝光图像迁移纹理）。APNT-Fusion 引入了饱和度注意力模块 (Saturation Attention module)，明确区分这两种情况，从而能对饱和区域进行有针对性的纹理迁移，而不是简单抑制。
• 大规模饱和区域的准确纹理迁移： 针对饱和区域上下文线索不足的问题，本文提出了神经特征迁移 (Neural Feature Transfer, NFT) 机制。该机制在 Masked Saturated HDR (MS-HDR) 域中利用多尺度 VGG 特征来建立空间对应关系。这种方法在大面积饱和区域和与运动重叠的模糊区域中，比传统的光流或像素级对齐方法能更准确地找到参考纹理。Kalantari17' 等基于光流的方法，在大饱和区域因缺乏纹理信息而难以计算精确光流，导致对齐失败。
• 统一框架解决多重挑战： APNT-Fusion 将运动引起的鬼影预防、饱和区域的纹理迁移、噪声抑制和常见融合伪影（如光晕、模糊）的处理集成在一个统一的框架内，而非割裂处理。其两流结构分别处理饱和纹理迁移和多曝光特征融合，并通过渐进纹理融合 (PTB) 模块和尺度注意力模块 (Scale Attention module) 确保融合的一致性。
• 多重注意力机制协同： 除了区分饱和和运动的注意力，APNT-Fusion 还引入运动注意力模块 (Motion Attention module) 和尺度注意力模块 (Scale Attention module)。这些注意力机制不是独立工作，而是在同一个框架下协同作用，共同提升 HDR 恢复性能，例如运动注意力负责抑制鬼影，尺度注意力确保多尺度融合的连贯性。
• 更好的泛化性和鲁棒性： 在对相机运动的鲁棒性测试中（例如 Fig. 7），APNT-Fusion 在输入 LDR 图像存在平移时，性能下降比 Kalantari17'（基于光流）和 Yan19'（纯注意力）要慢，显示出更强的鲁棒性。

4. 方法论

4.1. 方法原理

本文提出的 Attention-guided Progressive Neural Texture Fusion (APNT-Fusion) HDR 恢复框架旨在高效地解决多曝光融合中由运动引起的鬼影伪影以及饱和区域纹理缺失的问题。其核心思想是采用一个两流结构，其中一个流专注于从短曝光图像中为中等曝光图像的饱和区域迁移纹理信息，另一个流则负责融合经过运动抑制的多曝光特征。整个融合过程由一系列新颖的注意力机制引导，以确保内容的一致性、纹理的准确迁移以及不同尺度特征的和谐融合。

该系统由三个主要子模块组成，如图 1(c) 所示：

• 多曝光融合 (Multi-Exposure Fusion, MEF) 模块： 融合来自不同曝光水平的信号，并将其映射到一个最优的正则化信号子空间。

• 神经特征迁移 (Neural Feature Transfer, NFT) 模块： 基于 Masked Saturated HDR (MS-HDR) 域中编码的 VGG 特征，建立不同图像之间的空间对应关系，为缺失内容提供判别性上下文线索。

• 渐进纹理融合 (Progressive Texture Blending, PTB) 模块： 以多尺度渐进方式将编码后的纹理特征融合到 MEF 主流中，生成最终的恢复结果。

  在整个系统中，整合了运动注意力 (Motion Attention) 模块 $\mathcal { F } _ { \mathrm { m t } }$、饱和度注意力 (Saturation Attention) 模块 $\mathcal { F } _ { \mathrm { s a t } }$ 和尺度注意力 (Scale Attention) 模块，以确保融合过程的一致性。

4.2. 核心方法详解

4.2.1. 输入预处理与 Multi-Exposure Fusion (MEF) Module

给定一个多曝光 LDR 图像序列 $\mathcal { T } = \{ I _ { k } | I _ { k } \in \mathbb { R } ^ { H \times W \times C } \} _ { k = l , m , s }$，其中 l, m, s 分别代表长曝光、中曝光和短曝光，我们的目标是恢复一个内容与中曝光图像 $I_m$ 准确对齐的良好曝光 HDR 图像 $H _ { \mathrm { o u t } } \in \mathbb { R } ^ { H \times W \times C }$。其中 $I_m$ 中的过饱和像素通过 $I_s$ 的参考进行补偿，欠曝光区域通过 $I_l$ 进行正则化。数学表达式为： $$H _ { \mathrm { o u t } } = \mathcal { N } ( I _ { s } , I _ { m } , I _ { l } ; \ \theta ) ,$$ 其中 $\theta$ 是模型需要学习的参数集，$H$ 和 $W$ 表示空间分辨率，$C$ 表示图像通道数。

1. HDR 域转换 (Exposure Domain Transform): 首先，输入的 LDR 图像序列 $I_k$ 被转换到 HDR 域。这个过程通过伽马校正 (gamma correction) 和能量归一化 (energy normalization) 完成，将视觉上吸引人眼的 LDR 图像转换为相机传感器直接捕获的线性域。 $$H _ { k } = \frac { I _ { k } ^ { \gamma } } { \tau _ { k } } , \mathrm { ~ } k \in \{ s , \mathrm { ~ } m , \mathrm { ~ } l \} .$$

• $I_k$: 原始的 LDR 图像（$s$: 短曝光， $m$: 中曝光， $l$: 长曝光）。
• $\gamma$: 伽马校正参数，通常设置为 2.2。它将图像从感性（非线性）亮度空间转换到线性亮度空间。
• $\tau_k$: 对应 $I_k$ 的曝光时间。
• $H_k$: 转换到 HDR 域（线性亮度空间）后的图像。 通过除以曝光时间 $\tau_k$，所有图像被归一化到相同的曝光能量水平。

2. 特征提取与运动注意力 (Feature Extraction and Motion Attention): 对转换后的 HDR 图像 $\{ H _ { s } , H _ { m } , H _ { l } \}$ 应用共享权重的特征提取模块 $\mathcal { F } _ { \mathrm { e x } }$，以提取视觉特征 $\{ F _ { s } , F _ { m } , F _ { l } \}$。 为了处理相机运动和动态物体引起的内容差异，文章引入了运动注意力模块 (Motion Attention modules) $\mathcal { F } _ { \mathrm { m t } } ^ { s }$ 和 $\mathcal { F } _ { \mathrm { m t } } ^ { l }$。

• $$\mathcal { F } _ { \mathrm { m t } } ^ { s }$$ 和 $$\mathcal { F } _ { \mathrm { m t } } ^ { l }$$：这些模块比较提取到的特征 $F_s, F_l$ 与 $F_m$ 之间的差异，并估计出特征注意力图 $A _ { \mathrm { m t } } ^ { s }$ 和 $A _ { \mathrm { m t } } ^ { l }$。
• $A _ { \mathrm { m t } } ^ { s }$ 和 $A _ { \mathrm { m t } } ^ { l }$： 这些注意力图旨在抑制 $F_s, F_l$ 中相对于 $F_m$ 的任何内容错位。 随后，通过将 $F_m$ 与经过运动抑制的 $F_s$ 和 $F_l$ 沿着通道维度连接，形成运动抑制参考曝光特征 (Motion-suppressed Reference Exposure Features)： $$F _ { \mathrm { m e f } } = [ F _ { m } , F _ { s } \odot A _ { \mathrm { m t } } ^ { s } , F _ { l } \odot A _ { \mathrm { m t } } ^ { l } ] .$$
• $F_m, F_s, F_l$: 分别是中、短、长曝光图像提取的特征。
• $A _ { \mathrm { m t } } ^ { s }$ 和 $A _ { \mathrm { m t } } ^ { l }$: 运动注意力模块生成的注意力图，用于抑制短曝光和长曝光特征中与中曝光图像不一致的区域。
• $\odot$: 表示逐点乘法 (point-wise multiplication)，即将注意力图的权重应用到特征图上。
• $[ \cdot ]$: 表示沿着通道维度进行特征拼接 (concatenation)。 这个 F_mef 特征包含三张图像的信息，其中 $F_s$ 和 $F_l$ 的特征已经通过运动注意力机制抑制了鬼影。

3. MEF 模块内部处理 (MEF Module Internal Processing): MEF 模块接收 F_mef 作为输入，并全面探索其内的色调分布和信号关联。具体地，该模块部署了一系列通道注意力块 (Channel Attention Blocks, CAB) [28]，以探索通道间的特征关联。这有助于充分利用不同曝光捕获的特征信息，并将信号分布正则化到期望的子空间。MEF 模块负责确定色调映射曲线、抑制噪声和增强图像细节（如对比度、锐度）。

4.2.2. Progressive Neural Feature Transfer over Masked Saturated HDR Domain

NFT 模块的目标是将短曝光序列中可能存在的、在长曝光中缺失的信息（特别是饱和区域的纹理）准确地迁移到中曝光图像中，同时应对相机运动和动态内容等不利条件。由于饱和区域上下文线索不足，准确对齐具有挑战性。文章利用神经特征在多尺度和不同成像条件下对信号关联的强大描述能力，提出在 Masked Saturated HDR (MS-HDR) 域中搜索内容对应关系。

1. 掩蔽域转换 (Masked Domain Transform): 为了促进在饱和和运动（包括相机和内容运动）条件下高效对应匹配的信号相似性，将短曝光 HDR 图像 $H_s$ 转换为人工 MS-HDR 域 $\hat { H } _ { s }$： $$\begin{array} { r } { \hat { H } _ { s } ( x ) = \left\{ \begin{array} { l l } { \frac { \epsilon _ { m } } { \tau _ { m } } , } & { \mathrm { i f } \ H _ { s } ( x ) > \frac { \tau _ { s } } { \tau _ { m } } \cdot \epsilon _ { s } ; } \\ { H _ { s } ( x ) , } & { \mathrm { o t h e r w i s e } . } \end{array} \right. } \end{array}$$

• $\hat { H } _ { s } ( x )$: 在像素位置 $x$ 处的转换后的 MS-HDR 域短曝光图像。

• H _ { s } ( x ): 在像素位置 $x$ 处的原始 HDR 域短曝光图像。

• $\epsilon _ { s }$: $I_s$ 的饱和能量水平。

• $\epsilon _ { m }$: $I_m$ 的饱和能量水平。

• $\tau _ { s }$: $I_s$ 的曝光时间。

• $\tau _ { m }$: $I_m$ 的曝光时间。

• 逻辑： 如果短曝光 HDR 图像 $H_s(x)$ 的亮度值高于一个归一化后的短曝光饱和阈值（即 $\frac { \tau _ { s } } { \tau _ { m } } \cdot \epsilon _ { s }$），则将其人工饱和到中曝光图像的饱和水平（即 $\frac { \epsilon _ { m } } { \tau _ { m } }$）。否则，保持原始值。 这个转换的目的是通过主动掩蔽掉饱和纹理来增加不同曝光图像之间的相似性。经过转换后，$\hat { H } _ { s }$ 和 $H_m$ 中饱和区域的像素值将变得几乎相同（如图 2 所示），从而促使匹配算法通过关联饱和区域周围的纹理来解决饱和模糊性。

  该图像是插图，展示了从低动态范围（LDR）域到饱和高动态范围（S-HDR）域的曝光域转换过程。图中左侧(a)显示了低动态范围域中的多张捕获图像及其直方图，强调了某些图像的饱和情况。中间(b)展示了HDR域中的捕获图像及其对应的直方图。右侧(c)展现了变换后的饱和HDR域及其饱和掩模 $S_m$，并指出良好曝光区域未受影响（用于可视化的色调映射）。

图 2 解释了 LDR 域到 S-HDR 域的曝光域转换。左侧 (a) LDR 域中，短曝光 $I_s$ 和中曝光 $I_m$ 的直方图分布差异明显，其中 $I_m$ 有明显的饱和区域。中间 (b) 转换为 HDR 域后，直方图仍有差异。右侧 (c) 经过 MS-HDR 域转换和饱和掩膜 $S_m$ 后，$\hat{H}_s$ 和 $H_m$ 的直方图变得非常相似，因为短曝光中那些在中曝光会饱和的区域被人工饱和了。

2. 渐进神经纹理匹配 (Progressive Neural Texture Matching): 基于 $\hat { H } _ { s }$ 和 $H_m$，在多尺度神经特征金字塔内进行对应匹配。采用多尺度框架是为了引入饱和区域外部的上下文信息，从更全局的视角锚定对应关系，因为不同尺度级别的相同大小补丁会覆盖不同的内容区域，为鲁棒特征匹配提供更全面的线索。

如图 3 所示，我们用 $\Psi _ { l } ( H )$ 表示 VGG 特征提取器，它从 $H$ 中提取多尺度特征（下标 $l$ 表示尺度）。$\mathcal { P } _ { i } ( \cdot )$ 表示从 VGG 特征图上采样第 $i$ 个空间补丁。使用内积 s _ { i , j } 来衡量第 $i$ 个 MS-HDR 补丁 $\mathcal { P } _ { i } ( \Psi _ { l } ( \hat { H } _ { s } ) )$ 和第 $j$ 个 HDR 补丁 $\mathcal { P } _ { j } ( \Psi _ { l } ( H _ { m } ) )$ 之间的特征相似度： $$s _ { i , j } = { \Biggl \langle } \mathcal { P } _ { i } ( \Psi _ { l } ( { \hat { H } } _ { s } ) ) , \frac { \mathcal { P } _ { j } ( \Psi _ { l } ( H _ { m } ) ) } { | | \mathcal { P } _ { j } ( \Psi _ { l } ( H _ { m } ) ) | | _ { 2 } ^ { 2 } } { \Biggr \rangle } .$$

• $\Psi _ { l } ( H )$: VGG 特征提取器，提取尺度 $l$ 的特征。

• $\mathcal { P } _ { i } ( \cdot )$: 从特征图中采样第 $i$ 个空间补丁。

• $\hat { H } _ { s }$: 经过 MS-HDR 域转换的短曝光图像。

• H _ { m }: 中曝光 HDR 图像。

• $| | \cdot | | _ { 2 } ^ { 2 }$: L2 范数的平方，用于对特征补丁进行归一化。

• $\langle \cdot , \cdot \rangle$: 表示内积，用于计算两个特征补丁之间的相似度。

  相似度图的计算可以高效地实现为 $\Psi _ { l } ( \hat { H } _ { s } )$ 与 $\mathcal { P } _ { j } ( \Psi _ { l } ( H _ { m } ) )$ 作为卷积核的卷积操作： $$S _ { j } ^ { l } = \Psi _ { l } ( \hat { H } _ { s } ) \ast \frac { \mathcal { P } _ { j } ( \Psi _ { l } ( H _ { m } ) ) } { \vert \vert \mathcal { P } _ { j } ( \Psi _ { l } ( H _ { m } ) ) \vert \vert _ { 2 } ^ { 2 } } ,$$

• $S _ { j } ^ { l }$: 尺度 $l$ 上对应第 $j$ 个补丁的相似度图。

• $\ast$: 表示卷积操作。 通过这种方式，对于 $H_m$ 中的每个补丁 $\mathcal { P } _ { j } ( \Psi _ { l } ( H _ { m } ) )$，可以在 $\Psi _ { l } ( \hat { H } _ { s } )$ 中找到其对应的相似度分布。

  该图像是示意图，展示了基于 VGG 特征的多尺度渐进神经纹理匹配（NTM）流程。图中标出了不同曝光等级下的 VGG 特征提取与逐步匹配关系，左侧为 MS-HDR 曝光特征，右侧为中等曝光特征。

图 3 示意了多尺度渐进神经纹理匹配 (NTM) 的过程。从最粗糙的尺度 $l=2$ 开始匹配，然后将匹配结果引导到更精细的尺度 $l=1, l=0$，在局部窗口内进行精细匹配，以减少计算复杂度和提高匹配一致性。

为了提高跨尺度特征匹配的一致性并减少计算复杂性，文章采用了渐进特征匹配 (progressive feature matching) 机制，将相似度图 $S _ { j } ^ { l }$ 的计算限制在局部窗口内。

• 最粗糙尺度 $l=2$： 从最粗糙的尺度开始，对于 $\Psi _ { 2 } ( H _ { m } )$ 中的目标补丁 $k_2$，在 $\Psi _ { 2 } ( \hat { H } _ { s } )$ 内的局部窗口 $\omega_2$ 中找到最佳匹配位置 $j_2$： $$j _ { 2 } = \underset { j } { \operatorname { a r g m a x } } S _ { j } ^ { 2 } ( k _ { 2 } , \omega _ { 2 } ) ,$$
• 更精细尺度 $l=1$： 对于下一个更精细的尺度 $l=1$，匹配将在以从下层位置 $j_2$ 直接传播而来的像素 $j_{2 \to 1}$ 为中心的局部窗口 $\omega_1$ 内进行。最佳匹配 $j_1$ 通过以下方式找到： $$j _ { 1 } = \underset { j } { \mathrm { a r g m a x } } S _ { j } ^ { 1 } ( j _ { 2 \to 1 } , \omega _ { 1 } ) .$$
• 最精细尺度 $l=0$： 类似地，可以找到最精细尺度 $l=0$ 的最佳匹配 $j_0$。 最终，将为对应的目标补丁位置 ( k _ { 0 } , k _ { 1 } , k _ { 2 } ) 估计出一组在不同 VGG 特征尺度上的最佳匹配位置 ( j _ { 0 } , j _ { 1 } , j _ { 2 } )。

3. VGG 引导的神经特征迁移 (VGG-Guided Neural Feature Transfer): NFT 模块通过交换由编码器 $\mathcal { F } _ { \mathrm { e n c } }$ 提取的特征图来补偿饱和引起的缺失内容。如图 1(b) 所示，特征编码器 $\mathcal { F } _ { \mathrm { e n c } }$ 的输入是运动抑制饱和线索特征 (Motion-Suppressed Saturation Clue Features)，其形成方式如下： $$F _ { \mathrm { n f t } } = F _ { s } \odot \mathrm { S g m } [ A _ { \mathrm { m t } } ^ { s } + A _ { \mathrm { s a t } } ^ { s } ] ,$$

• $F_s$: 短曝光图像提取的特征。

• $\mathrm { Sgm } [\cdot]$: 表示 Sigmoid 激活函数，将输入映射到 $(0, 1)$ 范围。

• $A _ { \mathrm { m t } } ^ { s }$: 运动注意力模块针对短曝光图像生成的注意力图。

• $A _ { \mathrm { s a t } } ^ { s }$: 饱和度注意力 (Saturation Attention)，由模块 $\mathcal { F } _ { \mathrm { s a t } }$ 基于 MS-HDR 域中 $\tilde { H_s }$ 的二值饱和掩膜预测。$A_sat^s$ 的作用是帮助区分饱和和运动引起的错位，从而鼓励将有用的纹理信息迁移到缺失内容的区域。

• $\odot$: 逐点乘法。

  图 4 展示了编码器 $\mathcal { F } _ { \mathrm { e n c } }$ 和解码器 $\mathcal { F } _ { \mathrm { d e c } }$ 的结构细节。

• $\mathcal { F } _ { \mathrm { e n c } }$ (编码器): 类似于 VGG 网络，它在三个不同尺度提取视觉特征。每个尺度包含两个连续的 CAB 块和一个双线性下采样器 (bilinear downsampler)，将特征空间分辨率减半。

• 特征迁移： 值得注意的是，VGG 特征 $\Psi _ { l } ( \hat { H } _ { s } )$ 和 $\Psi _ { l } ( H _ { m } )$ 用于建立对应关系（如 $Eq. (5)$ 到 $(8)$），而实际的特征迁移则使用编码器学习到的特征 $\Phi _ { l } ( F _ { \mathrm { n f t } } )$ 和 $\Phi _ { l } ( F _ { m } )$。基于匹配关系 $( k _ { 0 } , k _ { 1 } , k _ { 2 } ) : \to ( j _ { 0 } , j _ { 1 } , j _ { 2 } )$，将 $\mathcal { P } _ { k } ( \Phi _ { l } ( F _ { m } ) )$ 补丁替换为相应的特征 $\mathcal { P } _ { j } ( \Phi _ { l } ( F _ { \mathrm { n f t } } ) )$。这些被替换的补丁最终形成 `{ F _ { \mathrm { s w p } } ^ { l } } _ { l = 0 } ^ { 2 }$。

  关键说明： 使用 VGG 特征作为匹配指导对于识别判别性线索以实现鲁棒匹配至关重要，尤其是在饱和引起的模糊性下。然而，通过实际交换学习到的特征，网络能够实现更一致的梯度流，从而实现高效的特征学习和纹理融合。这一点将在消融研究中得到验证。

  该图像是一个示意图，展示了注意力引导的渐进神经纹理融合模型中的特征交换结构，强调了编码器与解码器之间的纹理交换特征 $F^0_{swp}, F^1_{swp}, F^2_{swp}$。

图 4 展示了特征编码器 $\mathcal { F } _ { \mathrm { e n c } }$ 和解码器 $\mathcal { F } _ { \mathrm { d e c } }$ 的结构细节。F_enc 提取多尺度特征 $\{F_{enc}^l\}_{l=0}^2$，然后进行纹理交换得到 $\{F_{swp}^l\}_{l=0}^2$。F_dec 接收这些交换后的特征并输出 $\{F_{dec}^l\}_{l=0}^2$，这些解码器特征将与 MEF 模块中的特征融合。图 1(a) 展示了 CAB 的结构细节。

4.2.3. Progressive Texture Blending (PTB)

解码器模块 $\mathcal { F } _ { \mathrm { d e c } }$ 接收纹理交换后的编码器特征 $\{F_{\mathrm{swp}}^l\}_{l=0}^2$ 作为输入，并输出解码器特征 $\{ F _ { \mathrm { d e c } } ^ { l } \} _ { l = 0 } ^ { 2 }$。$$\mathcal { F } _ { \mathrm { d e c } }$$ 的结构如图 4 所示，它与编码器 $$\mathcal { F } _ { \mathrm { e n c } }$$ 结构相似，并在每个尺度上都有来自编码器的跳跃连接 (skip connections)。

为了以色调和上下文一致的方式高效地将解码器特征 $F _ { \mathrm { d e c } } ^ { l }$ 与 MEF 主流特征融合，文章引入了一种渐进融合 (progressive blending) 方案。在此方案中，通过尺度注意力模块 (Scale Attention modules) $\mathcal { F } _ { \mathrm { s c } }$ 在不同解码器尺度之间强制执行一致性。$$\mathcal { F } _ { \mathrm { s c } }$$ 由多个全卷积层 (fully convolutional layers) 和一个最终的 Sigmoid 层组成，旨在强制不同特征尺度之间的跨尺度一致性。

• 尺度 $l=1$ 的尺度注意力： 尺度注意力图 $A _ { \mathrm { s c } } ^ { 1 }$ 通过以下方式估计： $$A _ { \mathrm { s c } } ^ { 1 } = \mathcal { F } _ { \mathrm { s c } } ^ { 1 } [ ( F _ { \mathrm { d e c } } ^ { 2 } ) ^ { \uparrow _ { 4 } } , ( F _ { \mathrm { d e c } } ^ { 1 } ) ^ { \uparrow _ { 2 } } ; ~ \theta _ { s c } ^ { 1 } ] ,$$
  • $[ F ] ^ { \uparrow _ { k } }$: 表示通过转置卷积 (transposed convolution) 将特征 $F$ 的空间分辨率放大 $k$ 倍。
  • $\theta _ { s c } ^ { 1 }$: 待学习的模型参数。 此模块通过整合来自更粗尺度 $F _ { \mathrm { d e c } } ^ { 2 }$ 和当前尺度 $F _ { \mathrm { d e c } } ^ { 1 }$ 的信息，生成尺度注意力图 $A _ { \mathrm { s c } } ^ { 1 }$。
• 尺度 $l=0$ 的尺度注意力： 类似地，对于尺度 $l=0$， $A _ { \mathrm { s c } } ^ { 0 }$ 通过以下方式估计： $$A _ { \mathrm { s c } } ^ { 0 } = \mathcal { F } _ { \mathrm { s c } } ^ { 0 } [ ( F _ { \mathrm { d e c } } ^ { 1 } ) ^ { \uparrow _ { 2 } } , F _ { \mathrm { d e c } } ^ { 0 } ; ~ \theta _ { \mathrm { s c } } ^ { 0 } ] .$$
• 最粗尺度 $l=2$ 的尺度注意力： 对于最粗的尺度 $l=2$，尺度注意力图直接设置为中曝光图像的饱和度注意力 $A _ { \mathrm { s a t } } ^ { m }$，该注意力由饱和度注意力模块 $\mathcal { F } _ { \mathrm { s a t } }$ 基于中曝光图像 $H_m$ 的饱和掩膜 $M _ { \mathrm { s a t } } ^ { m }$ 预测： $$A _ { \mathrm { s c } } ^ { 2 } = A _ { \mathrm { s a t } } ^ { m } = \mathcal { F } _ { \mathrm { s a t } } [ M _ { \mathrm { s a t } } ^ { m } ] .$$
  • $M _ { \mathrm { s a t } } ^ { m }$: 中曝光图像的二值饱和掩膜，指示哪些区域是饱和的。

特征融合： 预测的注意力图将与相应尺度的特征相乘，然后与主融合分支（即 MEF 模块的输出）融合： $$\begin{array} { r } { H _ { \mathrm { m e f } } = \mathcal { N } _ { \mathrm { m e f } } [ \ A _ { \mathrm { s c } } ^ { 2 } \odot ( F _ { \mathrm { d e c } } ^ { 2 } ) ^ { \uparrow _ { 4 } } , \ A _ { \mathrm { s c } } ^ { 1 } \odot ( F _ { \mathrm { d e c } } ^ { 1 } ) ^ { \uparrow _ { 2 } } , } \\ { \ A _ { \mathrm { s c } } ^ { 0 } \odot F _ { \mathrm { d e c } } ^ { 0 } , \ F _ { \mathrm { m e f } } , \ ; \ \theta _ { \mathrm { m e f } } \ ] . } \end{array}$$

• $H _ { \mathrm { m e f } }$: 最终融合后的 HDR 特征。
• $\mathcal { N } _ { \mathrm { m e f } }$: MEF 模块，它是一个神经网络，负责将所有这些特征融合。
• $A _ { \mathrm { s c } } ^ { l } \odot ( F _ { \mathrm { d e c } } ^ { l } ) ^ { \uparrow _ { k } }$: 经过尺度注意力加权的解码器特征，其中 $k$ 是上采样倍数。
• $F _ { \mathrm { m e f } }$: 来自 MEF 主流的运动抑制特征。
• $\theta _ { \mathrm { m e f } }$: MEF 模块的参数。

最终输出： APNT-Fusion 模型的最终输出 $H _ { \mathrm { o u t } }$ 计算为残差，并根据中曝光捕获图像 $H_m$ 与由权重模块 $\mathcal { F } _ { \mathrm { w g t } } [ A _ { \mathrm { s a t } } ^ { m } ]$ 调制的饱和度注意力相补偿： $$H _ { \mathrm { o u t } } = H _ { m } \odot ( 1 - \mathcal { F } _ { \mathrm { w g t } } [ A _ { \mathrm { s a t } } ^ { m } ] ) + H _ { \mathrm { m e f } } .$$

• $H _ { \mathrm { o u t } }$: 模型的最终 HDR 恢复结果。
• H _ { m }: 中曝光 HDR 图像。
• $\mathcal { F } _ { \mathrm { w g t } }$: 融合重新加权模块 (Fusion Re-weighting module)，由多个全卷积层和一个 Sigmoid 层组成。
• $A _ { \mathrm { s a t } } ^ { m }$: 中曝光图像的饱和度注意力。 这个公式表示最终的输出是在 $H_m$ 的基础上，通过饱和度注意力图来决定有多少原始 $H_m$ 的信息被保留，以及有多少从 $H_{\mathrm{mef}}$（即融合了迁移纹理和多曝光特征的结果）的信息被引入，从而有针对性地补偿饱和区域。

4.2.4. 训练损失 (Training Loss)

文章关注 tone-mapped (色调映射) 后融合 HDR 图像的视觉质量，因此选择在 tone-mapped 域而不是线性 HDR 域训练网络。

1. $\mu$ 律色调映射 ( $\mu$-law Tone-mapping): 给定线性 HDR 域中的 HDR 图像 $H _ { \mathrm { o u t } }$，使用 $\mu$ 律 [7] 压缩图像的范围： $$\mathcal { T } ( H _ { \mathrm { o u t } } ) = \frac { \log ( 1 + \mu H _ { \mathrm { o u t } } ) } { \log ( 1 + \mu ) } ,$$

• $\mathcal { T } ( H _ { \mathrm { o u t } } )$: 经过色调映射后的图像。
• $\mu$: 定义压缩量的参数，本文设置为 5000。
• $H _ { \mathrm { o u t } }$: 线性 HDR 域的输出图像，通过模型末端的 Sigmoid 层确保其值范围在 [0, 1]。 $Eq. (15)$ 中的色调映射器是可微分的，因此非常适合用于网络训练。

2. 损失函数 (Loss Function): 通过最小化 tone-mapped 估计值 $\mathcal { T } ( H _ { \mathrm { o u t } } )$ 与 ground truth HDR 图像 $H _ { \mathrm { g t } }$ 之间的 $L_1$ 范数距离来训练网络： $$\mathcal { L } = | | \mathcal { T } ( H _ { \mathrm { g t } } ) - \mathcal { T } ( H _ { \mathrm { o u t } } ) | | _ { 1 } .$$

• $\mathcal { L }$: 损失函数。
• $| | \cdot | | _ { 1 }$: $L_1$ 范数，表示绝对误差之和，通常比 $L_2$ 范数（均方误差）在图像恢复任务中能产生更锐利的图像。
• $\mathcal { T } ( H _ { \mathrm { g t } } )$: 真实标注 HDR 图像经过色调映射后的结果。
• $\mathcal { T } ( H _ { \mathrm { o u t } } )$: 网络输出 HDR 图像经过色调映射后的结果。

4.2.5. 实现细节 (Implementation Details)

• VGG 特征提取： 采用预训练的 VGG19 [30] 网络进行特征提取，具体使用了 relu1_1、relu2_1 和 relu3_1 层作为纹理编码器。VGG 以其高效的纹理表示能力而闻名 [31, 32]。
• 优化器： 训练使用 Adam 优化器 [33]。
• 批次大小 (Batch Size)： 设置为 1。
• 学习率 (Learning Rate)： 设置为 $1 \times 10^{-5}$。
• 训练数据： 将图像裁剪成 $256 \times 256$ 大小的补丁 (patches) 进行训练。
• 网络权重初始化： 使用 Xavier 方法 [34] 进行网络权重初始化。

5. 实验设置

5.1. 数据集

实验使用了两个主流的 HDR 图像数据集来评估模型性能：

• DeepHDR 数据集 [7]:
  • 来源与特点: 由 Kalantari et al. 提出，包含带有动态内容 (dynamic contents) 的多曝光序列图像。
  • 规模: 共有 89 组图像序列，其中 74 组用于训练，15 组用于测试。每组包含 3 张不同曝光的 LDR 图像。
  • 分辨率: 所有图像的分辨率为 $1000 \times 1500$ 像素。
  • 用途: 主要用于需要 ground truth HDR 图像进行定量评估的场景。
• MEF-Opt 数据库 [38]:
  • 来源与特点: 由 Ma et al. 提出，包含 32 组多曝光图像序列。
  • 规模: 大多数场景是静态的 (static scenes)，没有提供 well-exposed HDR ground truths，因此主要用于视觉比较而非直接定量评估。
  • 用途: 用于评估多曝光图像融合方法在图像域（8位无符号整数数据格式）的融合质量和视觉效果。

5.2. 评估指标

论文使用了四种常用的 HDR 图像恢复评估指标，涵盖了线性和 tone-mapped 域的峰值信噪比和结构相似度：

1. PSNR-L (Peak Signal-to-Noise Ratio in Linear HDR domain):

   • 概念定义 (Conceptual Definition): 峰值信噪比 (PSNR) 是一种广泛用于衡量图像质量的指标，尤其在图像压缩和图像恢复领域。它通过计算原始图像和重建图像之间的均方误差 (MSE) 来量化它们的差异。PSNR 值越高，表示图像失真越小，重建质量越好。PSNR-L 特指在线性 HDR 域计算的 PSNR 值，直接反映了 HDR 辐射度（亮度）的恢复精度。
   • 数学公式 (Mathematical Formula): $$\mathrm { P S N R-L } = - 1 0 \times \log _ { 1 0 } \mathrm { M S E } ( H _ { \mathrm { o u t } } , H _ { \mathrm { g t } } ) ,$$
   • 符号解释 (Symbol Explanation):
     • $H _ { \mathrm { o u t } }$: 网络输出的 HDR 图像。
     • $H _ { \mathrm { g t } }$: ground truth (真实标注) HDR 图像。
     • $\mathrm { M S E } ( \cdot , \cdot )$: 均方误差 (Mean-Squared-Error) 函数，用于计算两个图像之间所有像素的平方差的平均值。
     • $\log_{10}$: 以 10 为底的对数。

2. PSNR-$\mu$ (PSNR in Tone-Mapped HDR domain):

   • 概念定义 (Conceptual Definition): 与 PSNR-L 类似，但 PSNR-\mu$\text{是在图像经过}$\mu$\text{律色调映射} ($\mu-law tone-mapping) 后计算的 PSNR 值。由于人眼对线性 HDR 域的亮度差异感知不如对 tone-mapped 图像的视觉差异感知敏感，在 tone-mapped 域计算 PSNR 能更好地反映人类视觉对图像质量的感知。
   • 数学公式 (Mathematical Formula): $$\mathrm { P S N R- \mu } = - 1 0 \times \log _ { 1 0 } \mathrm { M S E } ( \mathcal { T } ( H _ { \mathrm { o u t } } ) , \mathcal { T } ( H _ { \mathrm { g t } } ) ) ,$$ 其中 $\mathcal { T } ( H ) = \frac { \log ( 1 + \mu H ) } { \log ( 1 + \mu ) }$ 是 $\mu$ 律色调映射函数。
   • 符号解释 (Symbol Explanation):
     • $\mathcal { T } ( H _ { \mathrm { o u t } } )$: 网络输出的 HDR 图像 $H _ { \mathrm { o u t } }$ 经过 $\mu$ 律色调映射后的结果。
     • $\mathcal { T } ( H _ { \mathrm { g t } } )$: ground truth HDR 图像 $H _ { \mathrm { g t } }$ 经过 $\mu$ 律色调映射后的结果。
     • $\mu$: $\mu$ 律色调映射函数的参数，本文中设置为 5000。
     • 其他符号同 PSNR-L。

3. SSIM-L (Structural Similarity Index in Linear HDR domain):

   • 概念定义 (Conceptual Definition): 结构相似度指数 (SSIM) [37] 是一种用于衡量两幅图像相似度的指标，它从亮度 (luminance)、对比度 (contrast) 和结构 (structure) 三个方面来评估图像质量，更符合人眼的感知。SSIM 值范围通常在 -1 到 1 之间，其中 1 表示两幅图像完全相同。SSIM-L 特指在线性 HDR 域计算的 SSIM 值。
   • 数学公式 (Mathematical Formula): $$\mathrm{SSIM}(x,y) = \frac{(2\mu_x\mu_y + c_1)(2\sigma_{xy} + c_2)}{(\mu_x^2 + \mu_y^2 + c_1)(\sigma_x^2 + \sigma_y^2 + c_2)}$$
   • 符号解释 (Symbol Explanation):
     • x, y: 两个待比较的图像块。
     • $\mu_x$: 图像块 $x$ 的平均值（亮度）。
     • $\mu_y$: 图像块 $y$ 的平均值（亮度）。
     • $\sigma_x$: 图像块 $x$ 的标准差（对比度）。
     • $\sigma_y$: 图像块 $y$ 的标准差（对比度）。
     • $\sigma_{xy}$: 图像块 $x$ 和 $y$ 之间的协方差（结构相似度）。
     • $c_1 = (K_1L)^2$, $c_2 = (K_2L)^2$: 用于稳定除法的常数，避免分母为零。$L$ 是像素值的动态范围（例如，对于 8 位图像是 255），$K_1 = 0.01$, $K_2 = 0.03$ 是默认常数。

4. SSIM-$\mu$ (SSIM in Tone-Mapped HDR domain):

   • 概念定义 (Conceptual Definition): 与 SSIM-L 类似，但 SSIM-\mu 是在图像经过 $\mu$ 律色调映射后计算的 `SSIM` 值。这同样是为了更好地反映人眼对 `HDR` 图像质量的感知。 * <strong>数学公式 (Mathematical Formula):</strong> \mathrm{SSIM}(\mathcal { T } ( H _ { \mathrm { o u t } } ) , \mathcal { T } ( H _ { \mathrm { g t } } )) = \frac{(2\mu_{\mathcal{T}(H_{\mathrm{out}})}\mu_{\mathcal{T}(H_{\mathrm{gt}})} + c_1)(2\sigma_{\mathcal{T}(H_{\mathrm{out}})\mathcal{T}(H_{\mathrm{gt}})} + c_2)}{(\mu_{\mathcal{T}(H_{\mathrm{out}})}^2 + \mu_{\mathcal{T}(H_{\mathrm{gt}})}^2 + c_1)(\sigma_{\mathcal{T}(H_{\mathrm{out}})}^2 + \sigma_{\mathcal{T}(H_{\mathrm{gt}})}^2 + c_2)} * <strong>符号解释 (Symbol Explanation):</strong> * $\mathcal { T } ( H _ { \mathrm { o u t } } )$: 网络输出的 `HDR` 图像经过 $\mu$ 律色调映射后的结果。 * $\mathcal { T } ( H _ { \mathrm { g t } } )$: `ground truth` `HDR` 图像经过 $\mu$ 律色调映射后的结果。 * 其他符号同 `SSIM-L`。 ## 5.3. 对比基线 论文将 `APNT-Fusion` 与以下几种 `state-of-the-art` `HDR` 恢复和多曝光融合方法进行了比较： * **Wu et al. [23] (wu18'):** 一个深度且全卷积的恢复框架，将 `HDR` 成像公式化为图像翻译问题，幻化缺失内容。 * **Kalantari et al. [7] (Kalantari17'):** 一个两阶段基于光流 (`flow-based`) 的方法，使用 `DNN` 基于预对齐的图像张量合并和细化 `LDR` 图像。 * **Yan et al. [8] (Yan19'):** 一个注意力引导 (`attention guided`) 的 `HDR` 框架，通过注意力模型引导 `LDR` 图像的合并，以实现无鬼影 `HDR` 成像。 * **Mertens et al. [9] (Mertens09'):** `Exposure Fusion` 是一种简单实用的 `HDR` 摄影替代方案，通过加权平均融合不同曝光图像。 * **Gu et al. [35] (Gu12'):** 基于梯度域 (`gradient field`) 的多曝光图像融合方法，用于 `HDR` 图像可视化。 * **Shen et al. [36] (Shen14'):** 使用 `boosting Laplacian pyramid` 的曝光融合方法。 * **Li et al. [16] (Li21'):** 一种细节保留的多曝光融合方法，结合了边缘保留结构化补丁分解 (`edge-preserving structural patch decomposition`)。 这些基线方法涵盖了从传统融合技术到基于深度学习的 `HDR` 恢复（包括基于光流和基于注意力的方法），它们在各自领域都具有代表性，因此选择它们进行比较能够全面评估 `APNT-Fusion` 的性能优势。 # 6. 实验结果与分析 ## 6.1. 核心结果分析 ### 6.1.1. DeepHDR 数据集上的定量比较 以下是原文 Table I 的结果： <div class="table-wrapper"><table> <thead> <tr> <th></th> <th>PSNR-μ</th> <th>PSNR-L</th> <th>SSIM-μ</th> <th>SSIM-L</th> </tr> </thead> <tbody> <tr> <td>Wu et al. [23]</td> <td>41.65</td> <td>40.88</td> <td>0.9860</td> <td>0.9858</td> </tr> <tr> <td>Kalantari et al. [7]</td> <td>42.67</td> <td>41.22</td> <td>0.9877</td> <td>0.9845</td> </tr> <tr> <td>Yan et al. [8]</td> <td>43.61</td> <td>41.13</td> <td>0.9922</td> <td>0.9896</td> </tr> <tr> <td>APNT-Fusion</td> <td><span style="color:red">43.96</span></td> <td><span style="color:red">41.69</span></td> <td><span style="color:red">0.9957</span></td> <td><span style="color:red">0.9914</span></td> </tr> </tbody> </table></div> **分析：** * 从 Table I 可以看出，本文提出的 `APNT-Fusion` 模型在所有四个评估指标（`PSNR-μ`, `PSNR-L`, `SSIM-μ`, `SSIM-L`）上均达到了最佳性能，其 `PSNR-μ` 值为 **43.96 dB**，`SSIM-μ` 值为 **0.9957**。 * 与 `state-of-the-art` 方法 `Yan19'` 相比，`APNT-Fusion` 在 `PSNR-μ` 上有约 **0.35 dB** 的优势（43.96 vs 43.61）。尽管这个定量优势看起来不大，论文指出这可能是由于测试数据集中饱和区域相对较小造成的。在后续的视觉比较中，`APNT-Fusion` 的优势将更加明显。 * 与 `Kalantari17'`（基于光流）和 `wu18'`（基于图像翻译）等方法相比，`APNT-Fusion` 的优势更加显著，这表明其在处理 `HDR` 恢复任务上的有效性。 ### 6.1.2. DeepHDR 数据集上的定性比较  *该图像是图表，展示了在不同场景下使用APNT-Fusion方法与其他方案（Kalantari 17'和Yan 19'）进行高动态范围图像恢复的对比。图中包含多个输入序列及其融合结果，并突出显示了不同方法在处理饱和区域和细节恢复方面的差异。* 图 5 展示了在 `DeepHDR` 数据集上 `APNT-Fusion` 与 `Kalantari17'` 和 `Yan19'` 的视觉比较结果。 **分析：** * <strong>Kalantari17' (基于光流):</strong> 如图 5(b) 和 (d) 所示，该方法在模糊运动区域引入了不希望的伪影。尽管其先进的光流正则化在一定程度上解决了无纹理饱和区域的模糊性，但输出图像中仍存在大面积饱和像素。此外，图 5(c)-(f) 显示了明显的图像扭曲。 * <strong>Yan19' (基于注意力):</strong> 该网络在处理运动边界方面优于 `Kalantari17'`。然而，其缺点也很明显：注意力掩码在抑制像素差异以减少鬼影的同时，也抑制了有用信息向饱和像素的传输。图 5(a)、(b) 和 (c) 中，建筑物与明亮天空之间的轮廓线处，由于未能区分饱和和运动，导致边界模糊。 * **APNT-Fusion:** 凭借 `VGG` 引导的匹配机制，`APNT-Fusion` 能够更准确地估计模糊区域的对应关系，特别是对于大面积饱和区域。由于引入了<strong>运动注意力 (`motion attention`)</strong> 和<strong>多尺度渐进融合 (`multi-scale progressive fusion`)</strong> 机制，`APNT-Fusion` 在饱和区域的纹理迁移和良好曝光结构的保留方面表现出更好的恢复效果。 ### 6.1.3. 鲁棒性分析：对抗相机运动 ![Fig. 7: Comparison between Kalantari17' \[7\], Yan19' \[8\] and APNT-Fusion on degradation of HDR restoration performance when translation (by $\\delta$ pixels) is applied between the input LDR images.](/files/papers/692d82ef21c5d99fb7b327d3/images/7.jpg) *该图像是图表，展示了在对输入的 LDR 图像施加平移（由 $oldsymbol{oldsymbol{ ext{Δ}}}$ 像素）时，Kalantari17'、Yan19' 和 APNT-Fusion 方法在 HDR 恢复性能降级方面的比较。图中显示了不同方法的 PSNR 值随平移像素变化的趋势。* 图 7 比较了 `Kalantari17'`、`Yan19'` 和 `APNT-Fusion` 在输入 `LDR` 图像之间存在平移（由 \delta$$像素）时，`HDR` 恢复性能的下降情况。 **分析：** * **Yan19':** 当平移量$$\delta$$增大时，`Yan19'` 的性能迅速恶化。由于其框架中没有采用像素关联机制，错位导致运动注意力抑制了大部分有价值的信息，从而导致性能快速衰减。 * **Kalantari17':** 尽管 `Kalantari17'` 采用了光流进行对齐，但与 `APNT-Fusion` 相比，其性能下降趋势在$$\delta 增大时更为明显。 * **APNT-Fusion:** `APNT-Fusion` 在面对相机运动时表现出更强的鲁棒性。这归因于其<strong>多尺度神经特征匹配 (`multi-scale neural feature matching`)</strong> 机制，该机制能够更有效地处理图像之间的平移和错位。 ### 6.1.4. MEF-Opt 数据库上的定性比较  *该图像是一个对比图，展示了不同方法在高动态范围图像恢复中的效果，包括 Mertens09'、Gu12'、Shen14'、Li21' 和 APNT-Fusion。图中显示了对应的输入序列以及每种方法处理后的结果，红色和绿色框标出了关键区域，便于比较各方法在细节和亮度表现上的差异。* 图 6 展示了不同静态多曝光融合方法（Mertens09', Gu12', Shen14', Li21', APNT-Fusion）在 `MEF-Opt` 数据集上的视觉比较。 **分析：** * 从 `Fig. 6` 可以看出，`APNT-Fusion` 框架总体上比其他 `state-of-the-art` `HDR` 融合方法产生了更好的融合结果。 * `APNT-Fusion` 的结果在明亮和黑暗区域之间具有更清晰的边界。 * 由于 `MEF` 模块的深度正则化 (`deep regularization`)，光晕效应 (`halo effect`) 得到了更好的抑制。 * 纹理已很好地融合到过曝光区域，这在放大框中得到了突出显示。 ![Fig. 8: Visual Comparison for dynamic contents between (a) Li21' \[16\] and (b) the proposed APNT-Fusion.](/files/papers/692d82ef21c5d99fb7b327d3/images/8.jpg) *该图像是一个视觉比较图，展示了动态内容的处理效果，其中左侧为 Li21' 方法的结果，右侧为本研究提出的 APNT-Fusion 方法的效果。可以明显看到 APNT-Fusion 在动态区域的表现更为细腻，细节处理更佳。* 图 8 展示了 `APNT-Fusion` 与 $Li et al. [16] (Li21')$ 在处理动态对象场景时的视觉比较。 **分析：** * 在 `Fig. 8` 中，即使是动态场景，`APNT-Fusion` 也始终在抑制光晕效应和恢复饱和与运动区域的细节方面表现出优势。 * 值得一提的是，`Li21'` 的结果中观察到明显的色彩失真。这是因为明亮区域被错误分类为运动区域，并在此区域应用了直方图均衡化 (`histogram equalization`) 以恢复对比度，从而导致了不自然的伪影。`APNT-Fusion` 通过其运动注意力模块和饱和度注意力模块，能够更好地处理这类复杂场景。 ## 6.2. 消融实验/参数分析 为了全面评估框架中各个模块的贡献，文章进行了消融研究。所有变体网络均使用与完整 `APNT-Fusion` 模型相同的训练数据和设置从头开始独立训练。以下是原文 Table II 的结果，基于 `DeepHDR` 数据集的 15 张测试图像： <div class="table-wrapper"><table> <thead> <tr> <th></th> <th>PSNR-µ</th> <th>SSIM-μ</th> </tr> </thead> <tbody> <tr> <td>w/o MS-HDR</td> <td>43.11 (-0.85)</td> <td>0.9869 (-0.0088)</td> </tr> <tr> <td>w/o NFT</td> <td>42.37 (-1.59)</td> <td>0.9831 (-0.0126)</td> </tr> <tr> <td>w/o VGG-L2L3</td> <td>43.68 (-0.28)</td> <td>0.9929 (-0.0028)</td> </tr> <tr> <td>w/o VGG w Fenc</td> <td>43.57 (-0.39)</td> <td>0.9927 (-0.0030)</td> </tr> <tr> <td>w/o Motion Att.</td> <td><span style="color:red">41.73 (-2.23)</span></td> <td><span style="color:red">0.9814 (-0.0143)</span></td> </tr> <tr> <td>w/o Scale Att.</td> <td>43.35 (-0.61)</td> <td>0.9934 (-0.0023)</td> </tr> <tr> <td>APNT-Fusion</td> <td><span style="color:blue">43.96</span></td> <td><span style="color:blue">0.9957</span></td> </tr> </tbody> </table></div> **分析：** ### 6.2.1. 神经特征迁移 (NFT) 模块的贡献 * <strong>`w/o MS-HDR` (无掩蔽饱和 HDR 域):</strong> * **设置：** `VGG` 特征的匹配不再在 `MS-HDR` 域 $\Psi ( \hat { H } _ { s } )$ 进行，而是直接与原始 `HDR` 域的短曝光特征 $\Psi ( H _ { s } )$ 匹配。 * **结果：** `PSNR-μ` 下降了 **0.85 dB** (从 43.96 到 43.11)。 * **结论：** 这验证了将 $H_s$ 转换到 `MS-HDR` 域进行 `VGG` 对应匹配带来了显著的性能优势，证明了 `MS-HDR` 域能实现更准确的匹配。 * <strong>`w/o NFT` (无神经特征迁移):</strong> * **设置：** 移除了整个神经特征迁移模块，编码器 $\mathcal { F } _ { \mathrm { e n c } } ( F _ { m } )$ 的特征直接用于渐进纹理融合。 * **结果：** `PSNR-μ` 下降了 **1.59 dB** (从 43.96 到 42.37)。 * **结论：** 显著的性能下降表明神经纹理迁移网络对补偿饱和区域的缺失内容做出了重要贡献。 ### 6.2.2. VGG 特征匹配模块的贡献 * <strong>`w/o VGG-L2L3` (无 VGG 的 relu2_1 和 relu3_1 层):</strong> * **设置：** 仅使用 `VGG` 特征的 `relu1_1` 原始尺度进行对应匹配，忽略 `relu2_1` 和 `relu3_1` 这两个更粗尺度的特征。 * **结果：** `PSNR-μ` 下降了 **0.28 dB** (从 43.96 到 43.68)。 * **结论：** 这种下降表明多尺度匹配机制带来了优势。多尺度方案对于解决较大饱和区域的模糊性非常有用，因为它提供了更全局的上下文线索。 * <strong>`w/o VGG w Fenc` (不用 VGG 引导，直接用 Fenc 特征匹配):</strong> * **设置：** 不使用 `VGG` 特征进行匹配引导，而是直接依赖 \mathcal { F } _ { \mathrm { e n c } }$$ 学习到的编码器特征进行特征匹配和交换。
   • 结果： PSNR-μ 下降了 0.39 dB (从 43.96 到 43.57)。
   • 结论： 这支持了论文的观点，即 VGG 特征提供了更具判别性的线索，用于在各种模糊性下建立准确的对应关系，即使最终交换的是学习到的特征。

6.2.3. 注意力融合网络的贡献

• w/o Motion Att. (无运动注意力):
  • 设置： 移除了运动注意力模块 $\mathcal { F } _ { \mathrm { m t } }$，将所有运动注意力图 $A _ { \mathrm { m t } } ^ { s }$ 和 $A _ { \mathrm { m t } } ^ { l }$ 设置为 1。这意味着来自所有曝光的特征 [ F _ { m } , F _ { s } , F _ { l } ] 直接拼接并送入 MEF 模块进行融合。
  • 结果： PSNR-μ 大幅下降 2.23 dB (从 43.96 到 41.73)，这是所有消融实验中最大的性能下降。
  • 结论： 这有力地证实了运动注意力机制在防止鬼影伪影方面的关键贡献。
• w/o Scale Att. (无尺度注意力):

  • 设置： 移除了尺度注意力模块 $\mathcal { F } _ { \mathrm { s c } }$，将所有尺度注意力图 $A _ { \mathrm { s c } } ^ { 0 }$ 和 $A _ { \mathrm { s c } } ^ { 1 }$ 设置为 1。（注意，$A_sc^2$ 仍等于 $A _ { \mathrm { s a t } } ^ { m }$）。

  • 结果： PSNR-μ 下降了 0.61 dB (从 43.96 到 43.35)。

  • 结论： 这验证了尺度注意力模块在渐进式地将迁移纹理融合到多曝光融合流中时，保持一致性的有效性。

    该图像是图1，展示了使用APNT-Fusion模型的消融研究结果。从左到右分别是输入序列、图像生成结果以及不同方法的对比，包括完整模型、缺失尺度注意力和缺失运动注意力的生成效果，可以看到模型在处理明暗和运动不一致性方面的优势。

图 9 提供了消融研究中注意力模块的视觉比较。从左到右依次为输入序列，完整模型结果，以及移除尺度注意力、移除运动注意力的结果。同时展示了 Kalantari17' 和 Li21' 的结果。

视觉比较分析 (Fig. 9):

• w/o Scale Att.: 在没有尺度注意力模块的情况下，较大的饱和区域显示出不一致的纹理融合。然而，强制执行跨尺度一致性后，纹理迁移变得更加可靠。

• w/o Motion Att.: 缺少运动注意力模块时，曝光融合后，内容错位导致了明显的图像扭曲和鬼影伪影。

• 与基线对比： 图 9 中也展示了 Kalantari17' 和 Li21' 的结果。Li21' 的结果中可以观察到明显的色彩失真，这是因为亮区域被错误地分类为运动区域，并应用直方图均衡化来恢复对比度，从而产生了不愉快的伪影。

  通过这些消融研究，论文有力地验证了 APNT-Fusion 框架中各个新颖模块（MS-HDR 域转换、NFT 模块、多尺度 VGG 匹配、运动注意力、饱和度注意力和尺度注意力）的重要作用。

7. 总结与思考

7.1. 结论总结

本文提出了一种新颖的 Attention-guided Progressive Neural Texture Fusion (APNT-Fusion) HDR 恢复框架。该框架在一个统一的深度学习模型中，高效地解决了传统多曝光融合中存在的两大挑战：由运动引起的鬼影伪影预防，以及饱和区域的纹理信息缺失。

核心贡献包括：

1. 两流结构： 专门设计了两条处理流，分别用于处理饱和区域的纹理特征迁移和运动抑制后的多曝光特征融合，实现了问题解耦和高效处理。

2. 神经特征迁移 (NFT) 模块： 通过在独特的 Masked Saturated HDR (MS-HDR) 域中利用多尺度 VGG 特征进行对应匹配，解决了饱和区域上下文线索不足的难题，实现了对缺失纹理的精准迁移。

3. 渐进纹理融合 (PTB) 模块： 以多尺度、渐进的方式融合两流特征，并确保融合过程的平滑和一致性。

4. 多重注意力机制： 引入了运动注意力、饱和度注意力和尺度注意力模块，它们协同工作，分别负责抑制鬼影、区分饱和与运动错位并促进纹理迁移、以及保障多尺度融合的一致性。

   通过全面的定性和定量评估以及详尽的消融研究，本文证明了 APNT-Fusion 在 HDR 图像恢复任务中超越了 state-of-the-art 方法，尤其在处理大面积饱和区域和动态场景下的细节恢复方面展现出卓越的性能。

7.2. 局限性与未来工作

论文本身并未在专门的章节中明确指出自身的局限性或未来工作方向，但我们可以根据研究内容和领域发展进行推断：

潜在局限性：

• 计算复杂性： 神经特征迁移模块中的多尺度 VGG 特征匹配和特征交换，以及多个注意力模块的计算，可能会增加模型的复杂性和推理时间，尤其对于高分辨率图像。
• MS-HDR 域转换的假设： MS-HDR 域转换假设前景或相机运动不会影响背景像素的饱和，这在某些极端复杂场景下（例如，短曝光中的背景也饱和，或运动物体覆盖了大片背景）可能不完全成立。
• 训练数据依赖： 作为一个深度学习模型，其性能高度依赖于训练数据的质量和多样性。对于训练数据中未充分覆盖的极端光照条件、运动模式或饱和情况，模型的泛化能力可能受限。
• VGG 特征的通用性： 尽管 VGG 特征在纹理匹配中表现出色，但其是基于图像分类任务预训练的。对于某些特定 HDR 恢复任务，是否能有更优化的特征表示仍待探索。
• 非刚性运动： 尽管模型对刚性运动（平移）表现出鲁棒性，但对于复杂的非刚性形变（例如，旗帜飘动、水面波动）下的像素对应和纹理迁移，可能仍是挑战。

未来研究方向：

• 效率优化： 探索更轻量级或更高效的特征匹配和注意力机制，以降低计算成本，使其更适用于实时或资源受限的平台。
• 泛化性增强： 研究更先进的数据增强技术或领域自适应方法，以提高模型在多样化、复杂真实场景下的泛化能力。
• 视频 HDR 恢复： 将当前框架扩展到视频 HDR 恢复任务，这将需要考虑时间维度上的一致性和运动估计。
• 语义信息利用： 结合更高级的语义信息来辅助饱和区域的纹理恢复，例如，利用场景解析或物体识别结果来指导纹理迁移。
• 无监督或自监督学习： 探索在没有 ground truth HDR 图像的情况下进行 HDR 恢复的方法，以应对真实世界中缺乏高质量标注数据的挑战。

7.3. 个人启发与批判

个人启发： 这篇论文给我带来了深刻的启发，尤其是在处理多模态信息融合和应对信息缺失问题上：

1. 问题解耦的精妙： 论文通过将饱和区域的纹理迁移和运动区域的特征融合视为两个相对独立但又相互关联的问题，并设计了专门的两流结构来处理，这是一种非常高效的思路。对于复杂任务，先解耦成子问题，再通过精心设计的机制（如注意力）进行集成，往往能取得更好的效果。
2. MS-HDR 域转换的巧思： 饱和区域缺乏纹理是匹配的根本障碍。通过将短曝光图像中的非饱和区域人工饱和，使其在中曝光的饱和区域中“模拟”饱和，从而强制匹配机制忽略饱和本身的差异，转而关注饱和区域周边的上下文纹理。这种“以退为进”的策略，将匹配从“纹理存在与否”的差异转换到“纹理周围环境”的相似性，极具创造力。
3. 多尺度与渐进式的威力： VGG 引导的多尺度渐进匹配，从粗到细逐步细化对应关系，这模拟了人类从全局到局部观察的认知过程。这种策略在处理大面积模糊区域时，能够更稳定地建立鲁棒的对应。
4. 注意力机制的精细化应用： 三种注意力机制（运动、饱和度、尺度）的协同作用，体现了对问题根源的深刻理解。特别是饱和度注意力，它解决了传统注意力机制的盲点，即不区分“应该抑制”和“应该迁移”的差异。这表明，在设计注意力时，不仅要考虑“关注什么”，更要考虑“为什么关注”以及“关注后如何处理”。

批判与可以改进的地方：

1. VGG 特征的局限性： 尽管 VGG 特征很有效，但它是一种通用的特征提取器，可能不是 HDR 图像纹理迁移的最佳选择。探索专门为 HDR 场景或纹理恢复任务训练的特征提取器，或者使用更先进的自监督学习方式获取特征，可能会带来进一步的性能提升。

2. 可解释性： 深度学习模型，尤其是端到端融合模型，往往缺乏良好的可解释性。尽管引入了注意力机制，但对于图像中特定伪影的产生原因，以及网络内部如何做出决策的详细机制，可能仍然难以完全理解。未来可以尝试引入更强的可解释性模块。

3. 计算效率与实时性： 论文虽然称“高效”，但多尺度 VGG 特征计算、复杂的注意力机制以及两流结构可能使其在移动设备或实时应用中的部署面临挑战。未来可以探索知识蒸馏 (knowledge distillation)、模型剪枝 (model pruning) 或量化 (quantization) 等技术来优化模型，使其更轻量级和高效。

4. 对极端运动和遮挡的鲁棒性： 尽管论文在平移运动下表现良好，但对于大规模、非刚性运动或复杂遮挡场景（例如，快速移动的薄物体、透明物体），神经特征匹配可能仍然会遇到困难。这可能需要结合更先进的几何建模或物理约束。

5. 损失函数： 使用 $L_1$ 损失在 tone-mapped 域训练通常能带来不错的视觉效果，但结合更复杂的感知损失 (perceptual loss) 或对抗性损失 (adversarial loss)，可能会进一步提高合成图像的真实感和细节。

   总的来说，APNT-Fusion 是一项在 HDR 图像恢复领域具有重要意义的工作，其提出的多重创新机制，尤其是 MS-HDR 域的特征迁移和多注意力协同，为未来解决类似图像融合和恢复问题提供了宝贵的思路。