1. 论文基本信息

1.1. 标题

Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement (零参考深度曲线估计用于低光照图像增强)

1.2. 作者

Chunle Guo, Chongyi Li, Jichang Guo, Chen Change Loy, Junhui Hou, Sam Kwong, Runmin Cong, Ta

1.3. 发表期刊/会议

该论文发布于 arXiv 预印本平台，日期为 2020 年 1 月 19 日。从其研究领域和质量来看，通常会投递至计算机视觉领域的顶级会议或期刊，如 CVPR、ICCV、ECCV 或 IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)。

1.4. 发表年份

2020年

1.5. 摘要

该论文提出了一种名为 Zero-Reference Deep Curve Estimation (Zero-DCE) 的新型方法，将光照增强问题重新定义为使用深度网络进行图像特定曲线估计 (image-specific curve estimation) 的任务。其核心是一个名为 DCE-Net 的轻量级深度网络，用于估计像素级和高阶曲线，以对给定图像进行动态范围调整 (dynamic range adjustment)。曲线估计经过特别设计，考虑了像素值范围、单调性和可微分性。Zero-DCE 的吸引力在于其对参考图像的假设放松，即在训练过程中不需要任何成对或不成对的数据。这通过一套精心设计的无参考损失函数 (non-reference loss functions) 实现，这些损失函数隐式地衡量增强质量并驱动网络的学习。该方法高效，因为图像增强可通过直观简单的非线性曲线映射实现。尽管其简单，但论文表明它能很好地泛化到各种光照条件。在各种基准上的大量实验定性地和定量地证明了该方法相对于最先进方法的优势。此外，论文还讨论了 Zero-DCE 对黑暗中人脸检测的潜在益处。

1.6. 原文链接

原文链接: https://arxiv.org/abs/2001.06826 PDF 链接: https://arxiv.org/pdf/2001.06826v2.pdf

2. 整体概括

2.1. 研究背景与动机

2.1.1. 核心问题

许多照片由于不可避免的环境和/或技术限制，经常在次优的光照条件下拍摄。这些情况包括环境中光照不足和不平衡、物体在极端背光下的错误放置以及图像拍摄期间的曝光不足。

2.1.2. 问题的重要性

这些低光照照片不仅损害了图像的美学质量 (aesthetic quality)，也导致了信息传输的不足 (unsatisfactory transmission of information)。前者影响观众的体验，而后者可能导致错误信息的传达，例如不准确的物体/人脸识别，从而影响到高层视觉任务的性能。

2.1.3. 现有研究的挑战与空白

• 传统方法 (Conventional Methods): 如基于直方图均衡化 (Histogram Equalization, HE) 和 Retinex 理论的方法，通常通过改变图像直方图分布或依赖可能不准确的物理模型来工作，容易产生不真实的人工痕迹。
• 数据驱动方法 (Data-Driven Methods):
  • 基于卷积神经网络 (CNN-based): 大多数需要成对数据 (paired data) 进行监督训练，这导致数据收集成本高昂（如通过自动光照降级、改变相机设置或专家修图获得），且模型泛化能力差，容易在真实世界图像上生成人工痕迹和色偏 (color casts)。
  • 基于生成对抗网络 (GAN-based): 尽管不需要成对数据，但通常需要仔细选择不成对数据 (unpaired data) 进行训练，仍然存在数据依赖性。

2.1.4. 论文的切入点与创新思路

本文提出了一种零参考 (zero-reference) 的深度学习方法 Zero-DCE，旨在解决现有方法对参考图像的依赖问题，从而避免过拟合 (overfitting) 风险，提高模型的泛化能力。其创新之处在于：

1. 任务重构: 将低光照图像增强任务重构为图像特定曲线估计 (image-specific curve estimation) 问题，而非直接的图像到图像映射。
2. 无需参考训练: 通过设计一套精心构造的无参考损失函数 (non-reference loss functions)，实现在没有成对或不成对数据的情况下训练深度网络。

2.2. 核心贡献/主要发现

论文的主要贡献总结如下：

1. 首个零参考低光照增强网络: 提出了第一个不依赖成对或不成对训练数据的低光照增强网络，从而避免了过拟合的风险，并使其能很好地泛化到各种光照条件。
2. 图像特定高阶曲线设计: 设计了一种图像特定曲线 (image-specific curve)，通过迭代应用自身，能够近似像素级和高阶曲线，从而有效执行宽动态范围内的映射。
3. 无参考学习范式: 通过任务特定的无参考损失函数，证明了在没有参考图像的情况下训练深度图像增强模型的潜力，这些损失函数间接评估增强质量。
4. 卓越的性能与效率: Zero-DCE 在定性和定量指标上超越了最先进的 (state-of-the-art) 方法。它能够实时处理图像（在 GPU 上处理 $640 \times 480 \times 3$ 大小的图像约为 500 FPS），训练时间仅需 30 分钟，计算效率高。
5. 对高层视觉任务的益处: 证明了 Zero-DCE 能够改善高层视觉任务的性能，例如在黑暗中的人脸检测 (face detection)。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 低光照图像增强 (Low-Light Image Enhancement)

低光照图像增强是指通过算法处理，改善由于光照不足导致的图像质量下降问题。这包括提高亮度、改善对比度、恢复细节和校正颜色，使图像更清晰、更自然。

3.1.2. 动态范围调整 (Dynamic Range Adjustment)

动态范围 (dynamic range) 是指图像中最亮区域和最暗区域之间的亮度差异。动态范围调整的目的是通过映射函数（如曲线），扩大或压缩图像的像素值范围，使得原本过暗或过亮的区域能够显示更多细节，同时保持图像的整体视觉质量。

3.1.3. 像素级调整 (Pixel-wise Adjustment)

像素级调整 (pixel-wise adjustment) 意味着图像中的每个像素可以根据其自身和周围环境的特性，应用不同的参数或映射函数进行处理。这与全局调整（对所有像素应用相同参数）形成对比，像素级调整能够更精细地适应图像中不同区域的局部特性，避免全局调整可能导致的过曝或欠曝问题。

3.1.4. 单调性 (Monotonicity)

在图像处理中，单调性 (monotonicity) 指的是图像增强曲线或函数在整个像素值范围内保持递增或递减的趋势。对于亮度增强而言，通常要求曲线是单调递增的，即输入像素值越大，输出像素值也越大。这有助于保留图像中相邻像素之间的相对亮度关系，从而维持图像的对比度和结构信息。如果曲线不是单调的，可能会导致某些区域的对比度反转或细节丢失。

3.1.5. 可微分性 (Differentiability)

可微分性 (differentiability) 是指一个函数可以在其定义域内的每一点求导。在深度学习中，模型通常通过梯度下降 (gradient descent) 算法进行训练，这需要计算损失函数对模型参数的梯度。如果模型中的操作（如曲线映射）是可微分的，那么就可以通过反向传播 (backpropagation) 算法有效地计算梯度并更新网络参数。本文中设计的曲线必须是可微分的，以支持其在深度神经网络中的端到端训练。

3.2. 前人工作

3.2.1. 传统方法 (Conventional Methods)

• 基于直方图均衡化 (Histogram Equalization, HE-based) 的方法:
  • 概念: 这类方法通过调整图像的直方图分布 (histogram distribution) 来扩展其动态范围 (dynamic range)，从而增强对比度。直方图均衡化旨在使图像的像素强度值分布更均匀。
  • 代表工作:
    • 全局层面 [7, 10]：对整个图像应用单一的直方图均衡化。
    • 局部层面 [15, 27]：将图像分割成小区域，对每个区域独立进行直方图均衡化，以适应局部光照变化。
  • 局限性: 传统 HE 方法容易引入不自然的视觉效果，如过度增强某些区域，或者在低光照区域放大噪声。
• 基于 Retinex 理论 (Retinex theory-based) 的方法:
  • 概念: Retinex 理论 [13] 假设观察到的图像 $I$ 可以分解为反射分量 (reflectance component) $R$ 和光照分量 (illumination component) $L$ 的乘积（在对数域为相加），即 $I = R \times L$。反射分量通常被认为是独立于光照条件的，因此，光照增强问题被转化为光照估计 (illumination estimation) 问题。
  • 代表工作:
    • Wang 等人 [29]：设计了一种在处理非均匀光照图像时保持自然度和信息的方法。
    • Fu 等人 [8]：提出了一种加权变分模型，同时估计输入图像的反射和光照。
    • Guo 等人 [9]：首先通过搜索 RGB 通道中每个像素的最大强度来估计粗略的光照图，然后通过结构先验细化粗略光照图。这就是本文中作为基线的 LIME 方法。
    • Li 等人 [19]：提出了一种新的 Retinex 模型，将噪声考虑在内，通过求解优化问题来估计光照图。这也是本文中作为基线的 Li et al. 方法。
  • 局限性: Retinex 方法的性能严重依赖于光照分量的准确估计，且通常涉及复杂的优化问题，计算成本较高，且在极端低光照条件下可能失效或引入伪影。
• 自动曝光校正方法:
  • Yuan 和 Sun [36]：提出了一种自动曝光校正方法，通过全局优化算法估计给定图像的 S 形曲线，并通过曲线映射将每个分割区域推向其最佳区域。
  • 与本文差异: Zero-DCE 是一种纯粹的数据驱动 (data-driven) 方法，并在无参考损失函数的设计中考虑了多种光照增强因素，因此具有更好的鲁棒性、更宽的图像动态范围调整能力和更低的计算负担。

3.2.2. 数据驱动方法 (Data-Driven Methods)

• 基于 CNN (CNN-based) 的方法:
  • 特点: 大多数这类方法依赖于成对数据 (paired data) 进行监督训练，因此需要大量的资源。成对数据通常通过自动光照降级、相机设置改变或专家修图来收集。
  • 代表工作:
    • LLNet [20]：在随机伽马校正模拟的数据上进行训练。
    • LOL 数据集 [32]：通过改变曝光时间和 ISO 收集的成对低/正常光照图像数据集。
    • MIT-Adobe FiveK 数据集 [3]：包含 5000 张原始图像，每张都有五张由训练有素的专家修饰的图像。
    • RetinexNet [32]：通过深度 Retinex 分解进行低光增强，在 LOL 数据集上训练。
    • Wang 等人 [28]：提出了一个通过估计光照图来增强曝光不足照片的网络，该网络在由三位专家修饰的成对数据上训练。
  • 局限性: 收集足够的成对数据成本高昂，且训练数据中可能包含人造和不真实的元素，导致基于成对数据的解决方案在实际应用中不切实际。这使得 CNN-based 方法的泛化能力 (generalization capability) 较差，当遇到真实世界中各种光照强度的图像时，常产生人工痕迹和色偏。
• 基于 GAN (GAN-based) 的方法:
  • 特点: 无监督 (unsupervised) 的 GAN-based 方法具有无需成对数据进行训练的优势。
  • 代表工作:
    • EnlightenGAN [12]：一个开创性的无监督 GAN-based 方法，利用不成对的低/正常光照数据学习增强低光照图像，通过精心设计的判别器和损失函数进行训练。
  • 局限性: 尽管无需成对数据，但无监督的 GAN-based 解决方案通常需要仔细选择不成对的训练数据，其性能也可能受到训练数据质量和多样性的影响。

3.3. 技术演进与差异化分析

3.3.1. 技术演进

低光照图像增强技术从最初基于图像统计特性（如直方图）和物理模型（如 Retinex 理论）的方法，逐步发展到基于深度学习的端到端解决方案。早期深度学习方法多采用监督学习范式，依赖于成对的低光/正常光照图像。为了克服成对数据获取的困难，无监督和弱监督的 GAN-based 方法应运而生，试图利用不成对数据进行学习。

3.3.2. 与相关工作的差异化分析

Zero-DCE 在技术脉络中处于一个独特的地位，它在以下三个方面超越了现有数据驱动方法：

1. 全新的学习策略——零参考 (Zero-Reference): Zero-DCE 探索了一种全新的学习策略，即不需要任何成对或不成对数据。这彻底消除了对训练数据的依赖，从而避免了数据收集的高成本、数据不真实性问题以及过拟合风险，显著提升了模型的泛化能力 (generalization capability)。

2. 精心设计的无参考损失函数 (Non-Reference Loss Functions): 通过一套专门设计的无参考损失函数（包括空间一致性损失、曝光控制损失、颜色恒常性损失和光照平滑性损失），Zero-DCE 能够隐式地评估增强图像的质量，并以此驱动网络学习。这种策略使得模型能够在没有外部监督信号的情况下进行训练。

3. 高效与成本效益: 借助其零参考学习框架 (zero-reference learning framework)、轻量级网络结构 (lightweight network structure) 和有效的无参考损失函数 (effective non-reference loss functions)，Zero-DCE 具有极高的效率和成本效益，能在计算资源有限的设备上实现实时处理，且训练时间短。

   通过将光照增强重新定义为图像特定曲线估计问题，并结合其独特的零参考训练范式，Zero-DCE 在该领域开辟了一条新的研究路径，解决了现有方法在数据依赖和泛化能力方面的核心挑战。

4. 方法论

本章节将详细阐述 Zero-DCE 的方法原理、核心组件以及无参考损失函数的设计。

4.1. 方法原理

Zero-DCE 的核心思想是将低光照图像增强任务重新定义为图像特定曲线估计 (image-specific curve estimation) 问题。给定一个低光照输入图像，一个轻量级的深度曲线估计网络 (Deep Curve Estimation Network, DCE-Net) 会预测一组最适合的光照增强曲线 (Light-Enhancement curves, LE-curves) 参数图。然后，这些曲线参数图被用于对输入图像的每个像素的 RGB 三个通道进行迭代的非线性曲线映射 (nonlinear curve mapping)，从而获得最终的增强图像。

4.2. 核心方法详解

Zero-DCE 的框架如原文 Figure 2 所示。其主要组件包括 LE-curve、DCE-Net 和无参考损失函数。

4.2.1. 光照增强曲线 (LE-curve)

为了实现图像自动增强，论文设计了一种图像特定 (image-specific) 的曲线，其自适应曲线参数仅依赖于输入图像。设计这种曲线需要满足三个目标：

1. 像素值范围保持: 增强图像的每个像素值应保持在归一化范围 [0, 1] 内，以避免因溢出截断导致的信息损失。

2. 单调性: 曲线应是单调 (monotonic) 的，以保留相邻像素之间的差异（对比度）。

3. 简单性和可微分性: 曲线形式应尽可能简单，并且在梯度反向传播过程中是可微分 (differentiable) 的。

   为了实现这三个目标，论文设计了一个二次曲线 (quadratic curve)，其表达式为： $$LE ( I ( \mathbf { x } ) ; \alpha ) = I ( \mathbf { x } ) + \alpha I ( \mathbf { x } ) ( 1 - I ( \mathbf { x } ) )$$ 其中：

• $\mathbf{x}$ 表示像素坐标。

• $LE ( I ( \mathbf { x } ) ; \alpha )$ 是给定输入图像 $I ( \mathbf { x } )$ 的增强版本。

• $I ( \mathbf { x } )$ 是输入图像中位于像素 $\mathbf{x}$ 处的像素值。

• $\alpha \in [ - 1 , 1 ]$ 是可训练的曲线参数，它调整 LE-curve 的幅度，同时也控制曝光水平。

• 所有像素值都归一化到 [0, 1] 范围，所有操作都是像素级 (pixel-wise) 的。

  该曲线被单独应用于 RGB 三个通道，而不是仅应用于亮度通道。这种三通道调整可以更好地保留图像的固有颜色并降低过饱和 (over-saturation) 的风险。

从原文 Figure 2(b) 中可以看出，当 $\alpha$ 处于 $[-1, 1]$ 范围时，该 LE-curve 符合上述三个目标。它既能增加也能减少输入图像的动态范围，这不仅有助于增强低光照区域，还能去除过曝伪影。

4.2.1.1. 高阶曲线 (Higher-Order Curve)

为了应对更具挑战性的低光照条件，使调整更加灵活，上述 LE-curve 可以迭代应用。具体来说： $$L E _ { n } ( \mathbf { x } ) = L E _ { n - 1 } ( \mathbf { x } ) + \alpha _ { n } L E _ { n - 1 } ( \mathbf { x } ) ( 1 - L E _ { n - 1 } ( \mathbf { x } ) )$$ 其中：

• $n$ 是迭代次数，控制曲线的曲率。

• $LE_n(\mathbf{x})$ 是经过 $n$ 次迭代后的像素值。

• $LE_{n-1}(\mathbf{x})$ 是经过 n-1 次迭代后的像素值（对于 $n=1$， $LE_0(\mathbf{x})$ 等同于 $I(\mathbf{x})$）。

• $\alpha_n$ 是第 $n$ 次迭代的曲线参数。

  本文将 $n$ 的值设置为 8，这足以处理大多数情况。当 $n$ 等于 1 时，此公式退化为 Eq. (1)。原文 Figure 2(c) 展示了具有不同 $\alpha$ 和 $n$ 值的高阶曲线示例，它们比 Figure 2(b) 中的曲线具有更强大的调整能力（即更大的曲率）。

4.2.1.2. 像素级曲线 (Pixel-Wise Curve)

尽管高阶曲线可以在更宽的动态范围内调整图像，但如果 $\alpha$ 对所有像素都相同，它仍然是一种全局调整。全局映射容易导致局部区域的过增强 (over-enhance) 或欠增强 (under-enhance)。为解决此问题，论文将 $\alpha$ 公式化为像素级参数 (pixel-wise parameter)，即输入图像的每个像素都有一个对应于最佳拟合 $\alpha$ 的曲线来调整其动态范围。因此，Eq. (2) 可以重新表述为： $$L E _ { n } ( \mathbf { x } ) = L E _ { n - 1 } ( \mathbf { x } ) + A _ { n } ( \mathbf { x } ) L E _ { n - 1 } ( \mathbf { x } ) ( 1 - L E _ { n - 1 } ( \mathbf { x } ) )$$ 其中：

• $A_n(\mathbf{x})$ 是一个与给定图像大小相同的参数图，表示在像素 $\mathbf{x}$ 处第 $n$ 次迭代的曲线参数。

  通过这种方式，论文假设局部区域中的像素具有相同的强度（也即相同的调整曲线），因此输出结果中相邻像素之间的单调关系得以保留。像素级高阶曲线同样符合之前提到的三个设计目标。

原文 Figure 3 展示了三个通道的估计曲线参数图示例。不同通道的最佳拟合参数图具有相似的调整趋势但数值不同，这表明了低光照图像三个通道之间的相关性和差异性。这些参数图能够准确指示不同区域的亮度（例如，墙壁上的两个闪光点）。有了这些拟合图，增强后的图像可以通过像素级曲线映射直接获得。

4.2.2. DCE-Net

为了学习输入图像及其最佳拟合曲线参数图之间的映射关系，论文提出了深度曲线估计网络 (Deep Curve Estimation Network, DCE-Net)。

• 输入: DCE-Net 的输入是一个低光照图像。
• 输出: 输出是一组用于对应高阶曲线的像素级曲线参数图。
• 架构: DCE-Net 采用一个由七个卷积层组成的普通卷积神经网络 (plain CNN)，具有对称的拼接结构。
  • 每个层包含 32 个 $3 \times 3$ 大小、步长为 1 的卷积核。
  • 之后紧跟着 ReLU (Rectified Linear Unit) 激活函数。
  • 网络丢弃了下采样层 (down-sampling layers) 和 批归一化层 (batch normalization layers)，以避免破坏相邻像素之间的关系。
  • 最后一个卷积层之后是 Tanh (Hyperbolic Tangent) 激活函数，它产生 24 个参数图，用于 8 次迭代 ($n=8$)，其中每次迭代需要三个曲线参数图（分别对应 RGB 三个通道）。
• 参数量与效率: DCE-Net 仅有 79,416 个可训练参数，对于大小为 $256 \times 256 \times 3$ 的输入图像，计算量为 5.21G FLOPs。因此，它是一个轻量级网络 (lightweight network)，可用于计算资源有限的设备，如移动平台。

4.2.3. 无参考损失函数 (Non-Reference Loss Functions)

为了在 DCE-Net 中实现零参考学习 (zero-reference learning)，论文提出了一组可微分的无参考损失函数，用于评估增强图像的质量。共采用了以下四种损失来训练 DCE-Net：

4.2.3.1. 空间一致性损失 ($L_{spa}$)

空间一致性损失 (Spatial Consistency Loss) $L_{spa}$ 旨在通过保持输入图像及其增强版本之间相邻区域的差异，来促进增强图像的空间连贯性 (spatial coherence)。 $$L _ { s p a } = \frac { 1 } { K } \sum _ { i = 1 } ^ { K } \sum _ { j \in \Omega ( i ) } ( | ( Y _ { i } - Y _ { j } ) | - | ( I _ { i } - I _ { j } ) | ) ^ { 2 }$$ 其中：

• $K$ 是局部区域的数量。

• $\Omega(i)$ 是以区域 $i$ 为中心的四个相邻区域（上、下、左、右）。

• $Y_i$ 和 $Y_j$ 分别表示增强图像中区域 $i$ 和区域 $j$ 的平均强度值。

• $I_i$ 和 $I_j$ 分别表示输入图像中区域 $i$ 和区域 $j$ 的平均强度值。

  论文经验性地将局部区域的大小设置为 $4 \times 4$。此损失在其他区域大小下也表现稳定。

4.2.3.2. 曝光控制损失 ($L_{exp}$)

为了抑制欠曝 (under-exposed) 和过曝 (over-exposed) 区域，论文设计了曝光控制损失 (Exposure Control Loss) $L_{exp}$ 来控制曝光水平。该损失衡量局部区域的平均强度值与曝光良好水平 (well-exposedness level) $E$ 之间的距离。根据现有实践 [23, 24]， $E$ 被设置为 RGB 颜色空间中的灰度级。在实验中， $E$ 设置为 0.6，尽管在 [0.4, 0.7] 范围内设置 $E$ 对性能影响不大。 $$L _ { e x p } = \frac { 1 } { M } \sum _ { k = 1 } ^ { M } | Y _ { k } - E |$$ 其中：

• $M$ 代表大小为 $16 \times 16$ 的不重叠局部区域的数量。
• $Y_k$ 是增强图像中局部区域 $k$ 的平均强度值。

4.2.3.3. 颜色恒常性损失 ($L_{col}$)

遵循灰度世界颜色恒常性假设 (Gray-World color constancy hypothesis) [2]（即图像中每个传感器通道的颜色平均值趋于灰色），论文设计了颜色恒常性损失 (Color Constancy Loss) $L_{col}$ 来校正增强图像中潜在的颜色偏差 (color deviations)，并建立三个调整通道之间的关系。 $$L _ { c o l } = \sum _ { \forall ( p , q ) \in \varepsilon } ( J ^ { p } - J ^ { q } ) ^ { 2 } , \quad \varepsilon = \{ ( R , G ) , ( R , B ) , ( G , B ) \}$$ 其中：

• $J^p$ 表示增强图像中通道 $p$ 的平均强度值。
• (p, q) 表示一对通道（即 (R, G), (R, B), (G, B)）。

4.2.3.4. 光照平滑性损失 ($L_{tv,A}$)

为了保持相邻像素之间的单调性关系 (monotonicity relations)，论文为每个曲线参数图 $A$ 添加了光照平滑性损失 (Illumination Smoothness Loss) $L_{tv,A}$。这种损失旨在确保参数图本身是平滑的，从而避免增强过程中引入不自然的突变或伪影。 $$L _ { t v _ { A } } = \frac { 1 } { N } \sum _ { n = 1 } ^ { N } \sum _ { c \in \xi } ( | \nabla _ { x } \boldsymbol { A } _ { n } ^ { c } | + | \nabla _ { y } \boldsymbol { A } _ { n } ^ { c } | ) ^ { 2 } , \quad \boldsymbol { \xi } = \{ R , G , B \}$$ 其中：

• $N$ 是迭代次数 (即 8)。
• $\nabla_x$ 和 $\nabla_y$ 分别表示水平和垂直梯度操作。
• $\boldsymbol{A}_n^c$ 表示第 $n$ 次迭代中通道 $c$ 的曲线参数图。

4.2.3.5. 总损失 ($L_{total}$)

总损失函数结合了上述所有损失项，用于端到端训练 DCE-Net： $$L _ { t o t a l } = L _ { s p a } + L _ { e x p } + W _ { c o l } L _ { c o l } + W _ { t v _ { A } } L _ { t v _ { A } }$$ 其中：

• $W_{col}$ 和 $W_{tv_A}$ 是各项损失的权重，用于平衡不同损失项的贡献。

  这些损失函数共同驱动 DCE-Net 学习生成能够有效增强低光照图像，同时保持空间连贯性、适当曝光、颜色恒常性和参数图平滑性的曲线参数。

5. 实验设置

5.1. 数据集

为了充分发挥宽动态范围调整的能力，Zero-DCE 的训练集结合了低光照图像和过曝图像。

• 训练数据集:
  • 使用了 SICE 数据集 [4] 的 Part1 子集中的 360 个多曝光序列。
  • 该子集包含 3,022 张不同曝光水平的图像，随机分为两部分：2,422 张用于训练，其余用于验证。
  • 训练图像被调整大小为 $512 \times 512$。
  • Rationale: 结合低光照和过曝数据是为了确保模型能够同时处理欠曝和过曝区域，达到全面的动态范围调整。该数据集也作为 EnlightenGAN [12] 训练数据的一部分，以便进行公平比较。
  • 消融实验额外数据集:
    • Zero-DCE_Low：仅使用原始训练集中的 900 张低光照图像。
    • Zero-DCE_LargeL：使用 DARK FACE 数据集 [37] 中 9,000 张未标注的低光照图像。
    • Zero-DCE_LargeLH：使用 SICE 数据集 [4] Part1 和 Part2 子集的组合，通过数据增强获得 4,800 张多曝光图像。
• 测试数据集:
  • 定性 (Qualitative) 和 感知 (Perceptual) 评估:
    • NPE [29] (84 张图像)
    • LIME [9] (10 张图像)
    • MEF [22] (17 张图像)
    • DICM [14] (64 张图像)
    • VV (24 张图像)
  • 定量 (Quantitative) 评估:
    • SICE 数据集 [4] 的 Part2 子集：包含 229 个多曝光序列，每个序列都有对应的参考图像。为了公平比较，仅使用 Part2 子集中的低光照图像进行测试（因为基线方法不能很好地处理过曝图像）。
    • 具体选择方式：如果一个多曝光序列包含 7 张图像，则选择前 3 张低光照图像；如果包含 9 张，则选择前 4 张低光照图像。所有图像都被调整大小为 $1200 \times 900 \times 3$。最终得到 767 对低光/正常光照图像。
    • 排除数据集: 论文排除了 [37] 中提到的低光/正常光照图像数据集，因为 RetinexNet [32] 和 EnlightenGAN [12] 的训练集包含该数据集中的部分图像，以避免训练和测试数据重叠。同样，MIT-Adobe FiveK 数据集 [3] 也未被使用，因为它并非主要针对曝光不足照片增强而设计。
• 人脸检测数据集:
  • DARK FACE 数据集 [37]：包含 10,000 张在黑暗中拍摄的图像。由于测试集的边界框 (bounding boxes) 未公开，评估是在训练集和验证集上进行的，共 6,000 张图像。

5.2. 评估指标

论文使用了多种指标来全面评估 Zero-DCE 的性能，包括主观感知质量和客观图像质量。

5.2.1. 用户研究 (User Study, US)

• 概念定义: 用户研究是一种主观评估方法，通过邀请人类被试对图像的视觉质量进行评分，以量化不同方法的感知性能。分数越高代表视觉质量越好。
• 具体实践:
  • 邀请 15 名人类被试独立评分。
  • 评分范围从 1 到 5（1 最差，5 最好）。
  • 评分标准：
    1. 结果是否包含过曝/欠曝伪影或过增强/欠增强区域。
    2. 结果是否引入颜色偏差。
    3. 结果是否具有不自然的纹理和明显的噪声。
• 数学公式: 无标准化数学公式，因为是主观评分的平均值。
• 符号解释:
  • US Score：用户研究的平均主观分数。

5.2.2. 感知指标 (Perceptual Index, PI)

• 概念定义: 感知指标是一种无参考 (no-reference) 的图像质量评估方法，旨在衡量图像的感知质量。较低的 PI 值表示更好的感知质量。该指标最初用于衡量图像超分辨率的感知质量，也用于评估图像去雾 [26] 等其他图像恢复任务。
• 数学公式: 论文未提供具体的 PI 计算公式。通常，PI 结合多个无参考质量评估器（例如 NIQE (Natural Image Quality Evaluator) 和 Ma 的无参考质量度量）来综合评估感知质量。
• 符号解释:
  • PI：感知指标值。

5.2.3. 峰值信噪比 (Peak Signal-to-Noise Ratio, PSNR)

• 概念定义: PSNR 是用于衡量图像重建质量的客观指标，它表示信号的最大可能功率与噪声功率之比。PSNR 值越高，表示图像失真越小，重建质量越好。通常以分贝 (dB) 为单位。
• 数学公式: $$PSNR = 10 \cdot \log_{10} \left( \frac{MAX_I^2}{MSE} \right)$$ 其中，均方误差 (Mean Squared Error, MSE) 定义为： $$MSE = \frac{1}{MN} \sum_{i=0}^{M-1} \sum_{j=0}^{N-1} [I(i,j) - K(i,j)]^2$$
• 符号解释:
  • $MAX_I$: 图像中像素的最大可能强度值（通常为 8 位图像的 255）。
  • MSE: 原始图像 $I$ 和增强图像 $K$ 之间的均方误差。
  • $M \times N$: 图像的尺寸（像素数）。
  • I(i,j): 原始图像在像素 (i,j) 处的强度值。
  • K(i,j): 增强图像在像素 (i,j) 处的强度值。

5.2.4. 结构相似性 (Structural Similarity, SSIM)

• 概念定义: SSIM 是一种衡量两幅图像相似度的指标，它从亮度 (luminance)、对比度 (contrast) 和结构 (structure) 三个方面对图像质量进行评估。SSIM 值接近 1 表示两幅图像非常相似，通常认为 SSIM 值越高，增强图像的视觉质量越好。
• 数学公式: $$SSIM(x,y) = [l(x,y)]^{\alpha} \cdot [c(x,y)]^{\beta} \cdot [s(x,y)]^{\gamma}$$ 其中：
  • 亮度函数 $l(x,y) = \frac{2\mu_x\mu_y + C_1}{\mu_x^2 + \mu_y^2 + C_1}$
  • 对比度函数 $c(x,y) = \frac{2\sigma_x\sigma_y + C_2}{\sigma_x^2 + \sigma_y^2 + C_2}$
  • 结构函数 $s(x,y) = \frac{\sigma_{xy} + C_3}{\sigma_x\sigma_y + C_3}$
• 符号解释:
  • x, y: 分别代表原始图像和增强图像的局部窗口（通常为滑动窗口）。
  • $\mu_x, \mu_y$: 图像 $x$ 和 $y$ 的平均值（亮度）。
  • $\sigma_x, \sigma_y$: 图像 $x$ 和 $y$ 的标准差（对比度）。
  • $\sigma_{xy}$: 图像 $x$ 和 $y$ 的协方差（结构）。
  • $C_1, C_2, C_3$: 避免分母为零的常数，通常取 $(K_1 L)^2, (K_2 L)^2$ 等，其中 $L$ 为像素值的动态范围，$K_1, K_2$ 是小常数。
  • $\alpha, \beta, \gamma$: 权重系数，通常设为 1。

5.2.5. 平均绝对误差 (Mean Absolute Error, MAE)

• 概念定义: MAE 衡量的是原始图像和增强图像之间像素值绝对差的平均值。MAE 值越低，表示增强图像与原始图像的偏差越小，通常认为图像质量越好。
• 数学公式: $$MAE = \frac{1}{MN} \sum_{i=0}^{M-1} \sum_{j=0}^{N-1} |I(i,j) - K(i,j)|$$
• 符号解释:
  • $M \times N$: 图像的尺寸（像素数）。
  • I(i,j): 原始图像在像素 (i,j) 处的强度值。
  • K(i,j): 增强图像在像素 (i,j) 处的强度值。

5.2.6. 平均精度 (Average Precision, AP)

• 概念定义: AP 是在目标检测和人脸检测任务中常用的评估指标，它衡量精确率-召回率曲线 (Precision-Recall curve, P-R curve) 下的面积。AP 值越高，表示检测器在不同召回率水平下都能保持较高的精确率，性能越好。
• 数学公式: 论文中未给出具体的 AP 计算公式，但通常它通过对 P-R 曲线进行插值并计算曲线下面积得到。对于离散的召回率点，可以表示为： $$AP = \sum_k (R_{k+1} - R_k) P_{interp}(R_{k+1})$$ 其中 $P_{interp}(R_{k+1})$ 是在召回率 $R_{k+1}$ 处通过插值得到的最大精确率。
• 符号解释:
  • $P$: 精确率 (Precision)，即检测到的目标中真正目标的比例。
  • $R$: 召回率 (Recall)，即所有真正目标中被检测到的比例。

5.3. 对比基线

论文将 Zero-DCE 与以下最先进的 (state-of-the-art) 方法进行了比较：

• 传统方法:
  • SRIE [8]: 基于 Retinex 理论的加权变分模型，同时估计反射和光照。
  • LIME [9]: 通过光照图估计进行低光照图像增强。
  • Li et al. [19]: 基于鲁棒 Retinex 模型的结构揭示低光照图像增强方法。
• 基于 CNN 的方法:
  • RetinexNet [32]: 深度 Retinex 分解用于低光照增强。
  • Wang et al. [28]: 使用深度光照估计的曝光不足照片增强。
• 基于 GAN 的方法:

  • EnlightenGAN [12]: 无监督的深度光照增强网络，无需成对监督。

    所有对比方法的实验结果均使用其公开可用的源代码和推荐参数重现。

5.4. 实现细节

• 框架: 使用 PyTorch 框架实现。
• 硬件: 在 NVIDIA 2080Ti GPU 上进行训练。
• 批量大小 (Batch Size): 设置为 8。
• 权重初始化: 每层滤波器权重使用标准零均值和 0.02 标准差的高斯函数初始化。偏置初始化为常数。
• 优化器: 使用 ADAM 优化器 (ADAM optimizer)，采用默认参数。
• 学习率 (Learning Rate): 固定学习率为 $1e^{-4}$。
• 损失权重: 损失函数中的权重 $W_{col}$ 和 $W_{tv_A}$ 分别设置为 0.5 和 20，以平衡不同损失的尺度。

6. 实验结果与分析

6.1. 消融实验 (Ablation Study)

论文进行了多项消融实验，以验证 Zero-DCE 各组件的有效性。

6.1.1. 各损失函数的贡献

原文 Figure 4 展示了在移除不同损失函数后 Zero-DCE 的训练结果，以证明每个损失函数的重要性。

该图像是示意图，展示了低光照图像增强的不同效果。左侧第一幅图(a)为输入图像，第二幅图(b)为应用Zero-DCE方法后的结果。后面的四幅图(c-f)展示了分别去除不同损失函数后得到的增强效果，包括去除空间一致性损失$L_{spa}$、曝光控制损失$L_{exp}$、颜色恒常性损失$L_{col}$和照明平滑性损失$L_{tv_\mathcal{A}}$。该图说明了各损失函数对最终结果的重要性。

Figure 4: Ablation study of the contribution of each loss (spatial consistency loss L _ { s p a } , exposure control loss L _ { e x p } ,color constancy loss L _ { c o l } , illumination smoothness loss $L _ { t v _ { \\mathcal { A } } }$ ).

• 无空间一致性损失 ($L_{spa}$):
  • 结果：与完整结果相比，图像具有相对较低的对比度（例如，云区域）。
  • 分析：这表明 $L_{spa}$ 在保持输入图像和增强图像之间相邻区域差异方面的重要性。
• 无曝光控制损失 ($L_{exp}$):
  • 结果：未能恢复低光照区域，图像整体偏暗。
  • 分析：这突出了 $L_{exp}$ 在控制局部曝光水平、避免欠曝方面的关键作用。
• 无颜色恒常性损失 ($L_{col}$):
  • 结果：出现严重的色偏 (color casts)。
  • 分析：这表明在应用曲线映射时，忽略三个通道之间的关系会导致颜色失真。$L_{col}$ 对于校正潜在的颜色偏差和维持颜色平衡至关重要。
• 无光照平滑性损失 ($L_{tv,A}$):
  • 结果：阻碍了相邻区域之间的相关性，导致出现明显的伪影 (artifacts)。
  • 分析：这强调了 $L_{tv,A}$ 在确保曲线参数图平滑性、从而保证增强图像自然过渡方面的必要性。

6.1.2. 参数设置的影响

论文评估了 DCE-Net 的深度、宽度和迭代次数等参数对 Zero-DCE 性能的影响。原文 Figure 5 展示了视觉示例。

该图像是一个示意图，展示了使用Zero-DCE方法对低光照图像进行增强的结果。图中分别展示了输入图像（a）和经过不同参数设置生成的结果（b-f），其中参数表示卷积层数、特征图数和迭代次数，如 3-32-8、7-32-16等。

Figure 5: Ablation study of the effect of parameter settings. ${ \\it l } - f - n$ represents the proposed Zero-DCE with $l$ convolutional layers, $f$ feature maps of each layer (except the last layer), and $n$ iterations.

• 网络深度和宽度:
  • $Zero-DCE_3-32-8$ (3 层卷积，每层 32 个特征图，8 次迭代)：即使只有三层卷积层，也能产生令人满意的结果。这表明了零参考学习 (zero-reference learning) 的有效性。
  • $Zero-DCE_7-32-8$ 和 $Zero-DCE_7-32-16$：产生了视觉上最令人愉悦的结果，具有自然的曝光和适当的对比度。
• 迭代次数 (n):
  • $Zero-DCE_7-32-1$ (迭代次数降至 1)：性能出现明显下降。
  • 分析：这是因为只有单次迭代的曲线调整能力有限。这表明在 Zero-DCE 中，需要高阶曲线 (higher-order curves) 来实现更强大的调整能力。
• 最终模型选择: 论文选择 $Zero-DCE_7-32-8$ 作为最终模型，因为它在效率和恢复性能之间取得了良好的平衡。

6.1.3. 训练数据的影响

为了测试训练数据的影响，论文在不同的数据集上重新训练了 Zero-DCE。原文 Figure 6 展示了不同训练数据下的增强效果。

该图像是一个图表，展示了不同输入方式下的低光照图像增强效果。图中的五个小图分别显示了输入图像（a）、使用Zero-DCE方法生成的增强图像（b）、使用Zero-DCE_Low（c）、Zero-DCE_LargeL（d）和Zero-DCE_LargeLH（e）所得到的效果。各增强方法展示了对同一低光照场景的不同处理结果，旨在比较它们对于图像亮度和细节的改善效果。

Figure 6: Ablation study on the impact of training data.

• Zero-DCE_Low (仅低光照图像):
  • 结果 (Figure 6(c))：倾向于过增强光照良好的区域（例如，人脸），即使使用了更多的低光照图像。
  • 分析：这表明仅使用低光照数据训练会导致模型在处理明亮区域时出现问题，未能有效地平衡亮度和曝光。
• Zero-DCE_LargeL (大量未标注低光照图像):
  • 结果 (Figure 6(d))：与 Zero-DCE_Low 类似，也存在过增强的问题。
  • 分析：这进一步证实了仅依赖低光照图像训练的局限性。
• Zero-DCE_LargeLH (更多多曝光训练数据):
  • 结果 (Figure 6(e))：在使用了更多多曝光训练数据后，Zero-DCE 能够更好地恢复黑暗区域。
  • 分析：这些结果表明在训练过程中使用多曝光训练数据 (multi-exposure training data) 的合理性和必要性。多曝光数据使模型能够学习如何同时处理欠曝和过曝区域，从而实现更全面的动态范围调整。
• 公平比较: 为了与其他深度学习方法进行公平比较，论文使用了与它们可比的训练数据量，尽管更多的训练数据可以为 Zero-DCE 带来更好的视觉性能。

6.2. 基准评估 (Benchmark Evaluations)

6.2.1. 视觉和感知比较

原文 Figure 7 展示了在典型低光照图像上的视觉比较结果。

该图像是一个比较不同低光图像增强方法的示意图。上方显示了输入图像，接着是多种方法的结果，包括SRIE、LIME、Li et al.等，它们的检测区域用红框标出，最后展示了Zero-DCE方法的效果。

Figure 7: Visual comparisons on typical low-light images. Red boxes indicate the obvious differences.

• 背光区域的挑战 (Figure 7(a) - 人脸):
  • Zero-DCE 产生了自然的曝光和清晰的细节。
  • SRIE [8]、LIME [9]、Wang et al. [28] 和 EnlightenGAN [12] 未能清晰地恢复人脸。
  • RetinexNet [32] 产生了过曝伪影。
• 室内场景 (Figure 7(b)):
  • Zero-DCE 增强了黑暗区域，同时保留了输入图像的颜色，结果在视觉上令人愉悦，没有明显的噪声和色偏。
  • Li et al. [19] 过度平滑了细节。
  • 其他基线方法放大了噪声，甚至产生了颜色偏差（例如，墙壁的颜色）。

用户研究 (US) 和 感知指标 (PI) 评分: 论文进行了一项用户研究和使用了感知指标 PI 来量化不同方法的主观视觉质量 (subjective visual quality)。结果如原文 Table 1 所示。

以下是原文 Table 1 的结果：

• US 评分: Zero-DCE 在总共 202 张测试图像上的平均 US 评分最高（3.87）。特别是在 MEF、DICM 和 VV 数据集上，Zero-DCE 的结果最受被试青睐。
• PI 评分: Zero-DCE 的平均 PI 值最低（2.74），表明其在感知质量方面优于其他竞争方法。

6.2.2. 定量比较

论文使用全参考图像质量评估 (full-reference image quality assessment) 指标 PSNR、SSIM 和 MAE，在 SICE 数据集 [4] 的 Part2 子集上定量比较了不同方法的性能。结果如原文 Table 2 所示。

以下是原文 Table 2 的结果：

• Zero-DCE 性能: Zero-DCE 在所有指标（PSNR、SSIM、MAE）上均取得了最佳值，尽管它没有使用任何成对或不成对的训练数据。这有力地证明了其方法的有效性和优越性。

运行时 (Runtime) 比较: Zero-DCE 也具有计算效率。原文 Table 3 展示了不同方法在 32 张 $1200 \times 900 \times 3$ 大小图像上的平均运行时长。

以下是原文 Table 3 的结果：

• 效率: Zero-DCE 以 0.0025 秒的平均运行时长，成为所有比较方法中最快的。这得益于其简单的曲线映射形式和轻量级网络结构。

6.2.3. 黑暗中的人脸检测 (Face Detection in the Dark)

论文还探讨了低光照图像增强方法对低光照条件下人脸检测任务的潜在益处。使用了最新的 DARK FACE 数据集 [37] 和最先进的 (state-of-the-art) 深度人脸检测器 Dual Shot Face Detector (DSFD) [18]。原文 Figure 8 展示了 P-R 曲线和 AP 结果。

该图像是图表，展示了在低光条件下，使用 Zero-DCE 方法进行人脸检测前后的效果对比。上半部分是PR曲线，显示不同方法的精确度与召回率关系；下半部分展示了原始和增强后的检测结果，突出增强效果。源自相关实验数据。

Figure 8: The performance of face detection in the dark. PR curves, the AP, and two examples of face detection before and after enhanced by our Zero-DCE.

• P-R 曲线和 AP (Average Precision):
  • 经过图像增强后，DSFD [18] 的精确率 (precision) 显著提高。
  • 在不同方法中，RetinexNet [32] 和 Zero-DCE 表现最佳。两者性能可比，但 Zero-DCE 在高召回率 (recall) 区域表现更好。
  • Zero-DCE 的 AP 值为 0.730，高于 RetinexNet 的 0.724 和 EnlightenGAN 的 0.709。
• 视觉示例:
  • 如图所示，Zero-DCE 能够照亮极端黑暗区域的人脸，并保留光照良好的区域，从而显著提高了黑暗中人脸检测器的性能。

7. 总结与思考

7.1. 结论总结

论文提出了一种新颖的深度网络 Zero-DCE，用于低光照图像增强。该方法通过将低光照图像增强任务重新定义为图像特定曲线估计 (image-specific curve estimation) 问题，并设计了一套可微分的无参考损失函数 (differentiable non-reference losses)，实现了在无需任何参考图像（成对或不成对）的情况下进行端到端训练。实验结果表明，Zero-DCE 在定性和定量评估指标上均优于现有最先进的 (state-of-the-art) 低光照增强方法。此外，Zero-DCE 还表现出卓越的计算效率，并且能有效提升黑暗中人脸检测 (face detection) 等高层视觉任务的性能。

7.2. 局限性与未来工作

论文作者指出了该方法的两个主要局限性和未来研究方向：

1. 极端复杂情况的处理: 在一些极端困难的案例中，纯粹基于像素级曲线调整的方法可能无法完全处理。作者计划尝试引入语义信息 (semantic information) 来解决这些硬核案例。
2. 噪声效应: 论文中当前的方法主要关注光照增强，但低光照图像通常伴随着显著的噪声。未来工作将考虑噪声效应 (effects of noise)，可能需要集成去噪机制。

7.3. 个人启发与批判

7.3.1. 个人启发

• 问题重构的力量: Zero-DCE 最重要的启发是，通过将“图像到图像”的直接映射问题重构为“图像到曲线参数”的估计问题，可以极大地简化模型复杂性，并实现更灵活、更自然的调整。这种从“what to map”到“how to map”的思维转变，为其他图像处理任务提供了新的视角。
• 无监督学习的潜力: 零参考学习范式的成功，证明了在缺乏高质量监督数据的情况下，通过精心设计的无参考损失函数 (non-reference loss functions)，仍然可以训练出高性能的深度学习模型。这对于数据获取困难或成本高昂的领域具有重要意义。这些损失函数将图像处理的先验知识（如空间一致性、曝光、颜色平衡、平滑性）巧妙地融入到学习目标中，代替了人工标注。
• 模型效率与实用性: DCE-Net 的轻量级设计和极高的推理速度，使其在移动设备和实时应用中具有巨大的潜力。这种对效率的关注，使得研究成果能够更快地从学术走向实际应用。
• 通用化能力: 曲线迭代和像素级参数的设计，赋予了模型强大的泛化能力 (generalization capability)，能够处理各种复杂的光照条件，而不仅仅是训练集中见过的特定模式。

7.3.2. 批判与潜在改进

• 损失函数的平衡与泛化:
  • 论文的成功很大程度上依赖于四个损失函数的精心设计及其权重的平衡。这些权重 ($W_{col}=0.5, W_{tv_A}=20$) 是通过经验设定的。在不同场景或图像类型下，这些权重是否仍是最优的？是否存在一种自适应的权重调整机制，或者更通用的无参考度量来替代当前固定权重的组合？
  • 灰度世界假设 (Gray-World hypothesis) 在颜色恒常性损失中被使用，但在某些极端场景或特定色调的图像中，该假设可能不成立，导致颜色校正不准确。可以探索更鲁棒的颜色平衡策略。
• 噪声处理的局限性:
  • 论文承认了其模型对噪声处理的局限性。低光照图像通常伴随着显著的传感器噪声，简单的亮度提升可能会放大这些噪声。虽然 illumination smoothness loss 有助于平滑参数图，但可能不足以应对严重的噪声。未来可以考虑在网络架构中集成专门的去噪模块，或设计对噪声更鲁棒的曲线估计方法。
• 曲线模型的表现力:
  • 论文使用的二次曲线通过迭代和像素级参数化获得了强大的表现力。然而，二次曲线本身是相对简单的。在极端复杂的非线性映射需求下，更高级别的曲线模型（如三次样条曲线）是否能提供更大的灵活性？这可能会增加模型的复杂性，但理论上可以提供更精细的控制。
• 训练数据的隐性影响:
  • 尽管强调零参考 (zero-reference)，但训练数据的选择（如 SICE 多曝光数据集）仍然对模型的学习能力产生影响。消融实验也显示了多曝光数据的重要性。这表明，虽然无需参考图像进行直接监督，但训练数据的多样性 (diversity) 和代表性 (representativeness) 仍然是模型泛化能力的关键因素。
• 高层任务的协同优化:
  • 论文展示了 Zero-DCE 对人脸检测的益处，这表明低层图像增强可以作为高层视觉任务的有效预处理 (pre-processing) 步骤。未来可以探索更深层次的集成，例如将曲线估计网络作为高层任务网络的一个可训练前端，实现端到端的协同优化，使增强过程更能服务于特定高层任务的需求。