论文状态:已完成

FreqDebias: Towards Generalizable Deepfake Detection via Consistency-Driven Frequency Debiasing

发表:2025/06/10
原文链接
价格:0.100000
已有 2 人读过
本分析由 AI 生成,可能不完全准确,请以原文为准。

TL;DR 精炼摘要

这篇论文提出了FreqDebias框架,以解决深度伪造检测中的频谱偏置问题。通过引入伪造混合方法和双重一致性正则化,FreqDebias增强了训练样本的频率多样性,并在局部和全局层面促进一致的特征学习。实验表明,该框架显著提高了跨域泛化能力,优于现有技术。

摘要

Deepfake detectors often struggle to generalize to novel forgery types due to biases learned from limited training data. In this paper, we identify a new type of model bias in the frequency domain, termed spectral bias, where detectors overly rely on specific frequency bands, restricting their ability to generalize across unseen forgeries. To address this, we propose FreqDebias, a frequency debiasing framework that mitigates spectral bias through two complementary strategies. First, we introduce a novel Forgery Mixup (Fo-Mixup) augmentation, which dynamically diversifies frequency characteristics of training samples. Second, we incorporate a dual consistency regularization (CR), which enforces both local consistency using class activation maps (CAMs) and global consistency through a von Mises-Fisher (vMF) distribution on a hyperspherical embedding space. This dual CR mitigates over-reliance on certain frequency components by promoting consistent representation learning under both local and global supervision. Extensive experiments show that FreqDebias significantly enhances cross-domain generalization and outperforms state-of-the-art methods in both cross-domain and in-domain settings.

思维导图

论文精读

中文精读

1. 论文基本信息

1.1. 标题

FreqDebias: Towards Generalizable Deepfake Detection via Consistency-Driven Frequency Debiasing (FreqDebias:通过一致性驱动的频率去偏置实现可泛化的深度伪造检测)

1.2. 作者

Hossein Kashiani, Niloufar Alipour Talemi, Fatemeh Afghah,均来自 Clemson University(克莱姆森大学)。

1.3. 发表期刊/会议

原文未明确指出具体的期刊或会议名称,但从行文风格和引用格式来看,其旨在发表于计算机视觉领域的顶级会议或期刊。

1.4. 发表年份

2025年6月10日 (UTC) 发布。

1.5. 摘要

深度伪造(Deepfake)检测器常因从有限训练数据中学习到的偏置而难以泛化到新型伪造类型。本文识别出频率域中一种新型模型偏置,称为频谱偏置 (spectral bias),即检测器过度依赖特定的频率带,从而限制了其对未见伪造的泛化能力。为解决此问题,我们提出了 FreqDebias,一个频率去偏置(frequency debiasing)框架,通过两种互补策略来缓解频谱偏置。首先,我们引入了一种新颖的伪造混合 (Forgery Mixup, Fo-Mixup) 增强方法,它动态地多样化训练样本的频率特性。其次,我们结合了双重一致性正则化 (dual consistency regularization, CR),该正则化通过使用类激活图 (class activation maps, CAMs) 强制执行局部一致性,并通过超球体嵌入空间 (hyperspherical embedding space) 上的 von Mises-Fisher (vMF) 分布 强制执行全局一致性。这种双重 CR 通过在局部和全局监督下促进一致的表示学习,从而减轻了对某些频率成分的过度依赖。大量实验表明,FreqDebias 显著增强了跨域泛化能力,并在跨域和域内设置中均优于最先进 (state-of-the-art) 的方法。

1.6. 原文链接

/files/papers/69465df707f8689679b7cffb/paper.pdf (发布状态:未知,通常为预印本或已接受未正式刊登)

2. 整体概括

2.1. 研究背景与动机

核心问题: 深度伪造(Deepfake)技术日益成熟,可以生成极其逼真的伪造面部图像,对社会信任和安全构成严重威胁。尽管深度伪造检测技术有所发展,但现有检测器普遍存在泛化能力差的问题,难以有效检测训练数据中未出现的新型或域外(out-of-distribution)伪造样本。

问题的重要性: 这种泛化能力不足的根本原因在于模型偏置(model bias),即检测器倾向于学习到与伪造类型相关的虚假关联(spurious correlations),例如身份、背景、特定伪造生成方式或结构信息,而不是跨各种伪造共享的通用伪造特征。虽然现有研究已开始关注人类可感知的偏置(如身份偏置),但频率域中不易察觉的模型偏置,即本文提出的“频谱偏置”,此前尚未得到充分探索。对这种偏置的分析及其缓解方法,对于提升深度伪造检测器的泛化能力至关重要。

论文的切入点/创新思路: 本文首次深入探讨了频率域中的模型偏置问题,将其命名为频谱偏置 (spectral bias)。作者发现,标准的深度伪造检测器会过度依赖某些特定的频率带(称为主导频率成分 (dominant frequency components)),而忽略了分布在更宽频率带上的通用伪造伪影。这种过度依赖是导致模型泛化能力差的关键因素。基于这一发现,本文提出 FreqDebias 框架,旨在通过频率去偏置 (frequency debiasing) 来缓解频谱偏置,从而提高检测器对未见伪造的泛化能力。

2.2. 核心贡献/主要发现

本文的主要贡献体现在以下三个方面:

  1. 识别并缓解频谱偏置: 首次发现深度伪造检测中的频谱偏置 (spectral bias) 问题,即模型过度依赖特定频率带。为缓解此偏置,提出了新颖的伪造混合 (Forgery Mixup, Fo-Mixup) 增强方法。Fo-Mixup 通过动态多样化训练样本的频率特性,使检测器能够接触更广泛的频率范围,从而减少对特定频率带的过度依赖,增强泛化能力。
  2. 引入双重一致性正则化: 提出了一种双重一致性正则化 (dual consistency regularization, CR) 机制,通过联合强制执行局部和全局一致性来显式地规范检测器的学习行为。局部一致性通过类激活图 (CAMs) 确保模型关注于鉴别性区域,使其不受领域特定噪声或伪造无关伪影的干扰。全局一致性则通过在超球体嵌入空间 (hyperspherical embedding space) 上建模 von Mises-Fisher (vMF) 分布 来实现,促进全局、几何一致性的学习。
  3. 广泛的实验验证: 在域内(in-domain)和跨域(cross-domain)设置下进行了大量实验。实验结果表明,FreqDebias 框架显著增强了跨域泛化能力,并且在两种设置下均优于现有的最先进方法,证明了其有效性和通用性。

3. 预备知识与相关工作

3.1. 基础概念

为了更好地理解本文,需要掌握以下核心概念:

  • 深度伪造 (Deepfake): 指利用深度学习技术生成或修改面部图像和视频,使其看起来真实但实际上是虚假的。这些技术包括换脸(Face Swap)、表情迁移(Face2Face)、DeepFake(基于编码器-解码器架构)和神经纹理(Neural Textures)等。
  • 泛化能力 (Generalization Capability): 指机器学习模型在未见过的新数据(即测试数据)上表现良好的能力。在深度伪造检测中,良好的泛化能力意味着模型能够检测出训练集中没有出现过的新型伪造技术或来自不同数据集的伪造。
  • 模型偏置 (Model Bias): 指模型在学习过程中过度依赖训练数据中的特定模式、虚假关联或非目标特征,导致其在面对训练数据以外的数据时性能下降。本文关注的是频谱偏置 (spectral bias)
  • 频谱偏置 (Spectral Bias): 本文提出的概念,指深度伪造检测器在频率域中过度依赖图像的特定频率带进行分类。例如,某些伪造可能在低频区域留下痕迹,而检测器就只关注这些低频信息,导致无法检测到在高频区域留下痕迹的其他伪造类型。
  • 频率域 (Frequency Domain): 图像可以通过傅里叶变换 (Fourier Transform) 从空间域转换到频率域。
    • 快速傅里叶变换 (Fast Fourier Transform, FFT): 一种高效计算离散傅里叶变换的算法。
    • 振幅谱 (Amplitude Spectrum, A(x)\mathcal{A}(x)): 图像在频率域中的强度分布,反映了图像的低级统计特性,如伪造伪影、颜色、纹理和传感器伪影。
    • 相位谱 (Phase Spectrum, P(x)\mathcal{P}(x)): 图像在频率域中的相位分布,包含了图像的高级语义内容和结构信息。
    • 逆傅里叶变换 (Inverse Fourier Transform, F1\mathcal{F}^{-1} ): 将图像从频率域转换回空间域。
  • 数据增强 (Data Augmentation): 通过对现有训练数据进行变换(如裁剪、旋转、翻转、颜色抖动等)来生成新的训练样本,以增加数据多样性,提高模型的泛化能力和鲁棒性。
  • 混合增强 (Mixup Augmentation): 一种数据增强技术,通过线性插值组合两个样本的输入和标签来生成新的训练样本。其核心思想是鼓励模型在不同样本之间学习平滑的决策边界。本文的 Forgery Mixup (Fo-Mixup) 是其在频率域的特化版本。
  • 在线难例挖掘 (Online Hard Example Mining, OHEM): 一种训练策略,在每个训练批次中,选择那些模型预测错误最大(即损失值最高)的“难例”进行训练,以帮助模型更好地学习这些难以分类的样本,提高性能。
  • 一致性正则化 (Consistency Regularization, CR): 一种常见的正则化技术,要求模型对同一输入的不同增强版本(或不同视角)产生一致的输出或特征表示。这有助于模型学习对扰动不敏感的鲁棒特征,从而提高泛化能力。
  • 类激活图 (Class Activation Maps, CAMs): 一种可视化技术,用于显示卷积神经网络 (Convolutional Neural Network, CNN) 在进行分类决策时,图像中哪些区域对其决策贡献最大。它通过最后一个卷积层的特征图和分类层的权重组合生成,能够突出图像中的鉴别性区域。
  • 超球体嵌入空间 (Hyperspherical Embedding Space): 一种高维球形空间,其中数据点被映射到单位超球面上。在面部识别和分类任务中,将特征表示映射到超球体空间可以更好地捕捉语义信息,因为方向(而不是欧几里得距离)更能反映类别关系。
  • von Mises-Fisher (vMF) 分布: 概率分布函数 (Probability Distribution Function, PDF) 之一,用于描述单位超球体上的方向数据。它类似于高维空间中的高斯分布,但适用于方向性数据,其参数包括方向向量(均值方向)和集中度参数(衡量数据点围绕均值方向的紧密程度)。在超球体嵌入空间中,vMF 分布能够很好地捕捉语义信息,其中嵌入方向指定语义类别。
  • 交叉熵损失 (Cross-Entropy Loss, LCE\mathcal{L}_{CE} ): 机器学习中最常用的分类损失函数之一,用于衡量模型预测的概率分布与真实标签分布之间的差异。
    • 概念定义: 交叉熵损失衡量的是在给定真实标签分布下,使用模型预测的分布来编码事件所需的平均比特数。它鼓励模型对真实类别给出高概率预测,对错误类别给出低概率预测。
    • 数学公式: 对于二分类问题(例如真/假): LCE(y,y^)=[ylog(y^)+(1y)log(1y^)] \mathcal{L}_{CE}(y, \hat{y}) = -[y \log(\hat{y}) + (1-y) \log(1-\hat{y})] 对于多分类问题: LCE(y,y^)=i=1nyilog(y^i) \mathcal{L}_{CE}(y, \hat{y}) = -\sum_{i=1}^{n} y_i \log(\hat{y}_i)
    • 符号解释:
      • yy: 真实标签(二分类中为 0 或 1;多分类中为 one-hot 编码,即 yiy_i 为 0 或 1)。
      • y^\hat{y}: 模型预测为正类的概率。
      • nn: 类别的总数。
      • y^i\hat{y}_i: 模型预测样本属于第 ii 个类别的概率。
      • log\log: 自然对数。
  • Kullback-Leibler (KL) 散度 (Kullback-Leibler (KL) Divergence, DKLD_{KL} ): 衡量两个概率分布之间差异的一种非对称度量。
    • 概念定义: KL 散度量化了当使用一个简化的概率分布(模型预测)来近似真实概率分布时所损失的信息量。它衡量的是两个分布之间的“距离”,但不是真正的距离度量,因为它不满足对称性和三角不等式。
    • 数学公式: 对于离散概率分布 PPQQDKL(PQ)=xP(x)log(P(x)Q(x)) D_{KL}(P || Q) = \sum_x P(x) \log\left(\frac{P(x)}{Q(x)}\right)
    • 符号解释:
      • P(x): 真实分布。
      • Q(x): 近似分布。
      • log\log: 自然对数。
  • Jensen-Shannon 散度 (Jensen-Shannon Divergence, DJSD_{JS} ): 衡量两个概率分布之间相似性的对称度量,是 KL 散度的一种变体,具有更好的数学特性(例如是对称的,且满足三角不等式)。
    • 概念定义: JS 散度是基于 KL 散度的一种归一化和对称化形式,它衡量了两个概率分布与它们的平均分布之间的平均 KL 散度。其值范围在 0 到 1 之间(如果使用 log 以 2 为底),0 表示两个分布完全相同,1 表示完全不同。
    • 数学公式: 对于离散概率分布 PPQQDJS(PQ)=12DKL(PM)+12DKL(QM) D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) 其中,M=12(P+Q)M = \frac{1}{2}(P+Q)
    • 符号解释:
      • PP, QQ: 两个概率分布。
      • MM: PPQQ 的平均分布。
      • DKLD_{KL}: Kullback-Leibler 散度。

3.2. 前人工作

3.2.1. 深度伪造检测 (Deepfake Detection)

早期的研究主要关注在空间域或频率域捕捉伪造伪影。例如,Qian 等人 [46] 利用离散余弦变换 (Discrete Cosine Transform) 的局部频率统计特征,而 Liu 等人 [36] 应用离散傅里叶变换 (Discrete Fourier Transform) 来检测上采样伪影。然而,这些方法的性能在面对未见伪造时会显著下降。 为了提高泛化能力,近期研究提出了各种策略。例如,CORE [41] 通过强制标准数据增强对之间表示的一致性来解决过拟合问题。然而,CORE 限制了 CR 的潜在能力,因为它限制了增强的多样性。本文的方法通过合成具有挑战性的伪造样本来解决深度伪造检测中的频谱偏置,从而学习更具泛化性的表示。

3.2.2. 去偏置与虚假关联 (Debiasing and Spurious Correlations)

深度学习模型容易受到虚假关联 (spurious correlations) 的影响 [16, 35],这些是与特定类别相关但与任务无关的特征,会损害模型的泛化能力 [17]。在深度伪造检测中,这种偏置表现为对身份 [24]、背景 [34]、结构信息 [9] 或伪造特定模式 [63, 65] 等非预期伪影的依赖,导致在未见伪造上的性能下降。此外,此类关联也可能出现在频率域中,促使模型利用频谱快捷方式 (spectral shortcuts) [26, 58]。 数据增强是应对这些偏置的有效策略 [45, 67]。虽然之前的研究 [25, 61, 66, 68, 70] 探索了基于傅里叶的方法,但它们忽略了主导频率 (dominant frequencies) 的关键作用。本文的方法明确地扰动主导频率,以缓解虚假快捷方式并提高泛化能力。

3.2.3. von Mises-Fisher (vMF) 分布 (Von Mises-Fisher Distribution)

vMF 分布是用于方向性数据的概率分布函数,可以统计建模单位范数样本。与高斯分布相比,vMF 分布的一个重要优势在于其能够以超球体解释 (hyperspherical interpretation) 来建模方向性数据,这使其更适合作为方向性数据的先验。计算机视觉领域的一些最新研究 [22, 32, 48, 57, 60] 强调了 vMF 分布在超球体表示学习 (hyperspherical representation learning) 中的有效性。 Kobayashi [29] 利用 vMF 分布正则化类内特征分布,以改善不平衡数据上的性能。Kirchhof 等人 [28] 引入了基于概率代理的深度度量学习,使用方向性 vMF 分布来处理图像固有的不确定性。Wang 等人 [57] 扩展了基于余弦的分类器,引入 vMF 混合模型,从而在超球体空间中实现了长尾学习的定量质量测量。 在本文中,作者利用 vMF 分布在全球范围内增强跨不同面部伪造变体的一致性正则化,确保稳健的泛化能力。

3.3. 技术演进

深度伪造检测技术从早期专注于特定域(如空间域或频率域)的伪影捕捉,逐渐发展到关注模型的泛化能力。最初的方法虽然在已知伪造类型上表现良好,但面对新型或未见伪造时效果不佳,这暴露了模型对训练数据中虚假关联的敏感性。为了解决这一问题,研究者开始探索去偏置策略和更鲁棒的表示学习方法。

例如,数据增强被广泛用于增加训练数据的多样性,而一致性正则化则通过鼓励模型学习对扰动不敏感的特征来提高泛化性。在频率域中,一些工作也尝试利用傅里叶变换来提取特征或进行数据增强。然而,这些方法往往忽略了模型在频率域中存在的深层偏置——即对某些“主导频率成分”的过度依赖。

本文的工作正处于这一技术演进的关键节点。它不仅识别并量化了此前未被充分探讨的频谱偏置这一新型模型偏置,更进一步提出了一种针对性的解决方案。通过结合新颖的频率域数据增强(Fo-Mixup) 和创新的双重一致性正则化(CAMs 的局部一致性和 vMF 分布的全局一致性),FreqDebias 旨在从根本上克服模型对特定频率模式的依赖,从而在更广阔的频率范围内学习泛化性更强的伪造特征。这种对频率域偏置的深入挖掘和系统性缓解,代表了深度伪造检测领域在追求泛化能力方面的重要进展。

3.4. 差异化分析

FreqDebias 与现有方法的关键区别和创新点体现在以下几个方面:

  1. 首次识别频谱偏置: 现有去偏置研究主要关注人类可感知的偏置(如身份、背景、结构信息或特定伪造模式),而 FreqDebias 首次明确提出并解决了在频率域中检测器过度依赖特定频率带的频谱偏置 (spectral bias)。这是本文的一个核心理论贡献。
  2. 新颖的频率域数据增强 Fo-Mixup: 虽然有前人工作探索了基于傅里叶的增强方法(如 Amplitude Swap (AS) 和 Amplitude Mix (AM) [61]),但它们通常是对所有频率成分进行无差别修改或激进地交换振幅谱。Fo-Mixup 的创新之处在于它有针对性地识别并动态调制图像中主导频率成分的振幅谱。通过这种方式,它迫使检测器不再过度依赖这些特定频率,而是学习更广泛频率范围内的通用伪造特征,从而更有效地减轻频谱偏置。
  3. 创新的双重一致性正则化:
    • 结合局部和全局一致性: 现有的一致性正则化方法(如 CORE [41])通常限制增强多样性或仅在单一层面进行正则化。FreqDebias 提出的双重 CR 结合了局部一致性(基于 CAMs)全局一致性(基于超球体 vMF 分布)
    • CAMs 保持鉴别区域焦点: Fo-Mixup 保留了篡改区域的空间位置,CAMs 的局部一致性确保了模型即使在频率特性变化下也能持续关注图像中真正具有鉴别性的伪造区域,避免被领域特定噪声或非伪造伪影误导。
    • vMF 分布进行超球体全局学习: 引入 vMF 分布在超球体嵌入空间中进行全局一致性正则化,利用 vMF 分布在建模方向性数据和捕捉语义信息方面的优势,促进模型学习到具有良好几何特性和语义一致性的特征表示。这比传统的欧几里得空间正则化更能捕捉面部特征的复杂结构。
  4. 无缝集成与高效推理: FreqDebias 将 Fo-Mixup 和双重 CR 无缝集成到训练框架中。在推理阶段,所有辅助分类器都被移除,因此与基线模型相比,不会产生额外的计算成本,保证了实用性。

4. 方法论

4.1. 方法原理

FreqDebias 框架的核心原理是通过缓解频谱偏置 (spectral bias) 来提升深度伪造检测器的泛化能力。频谱偏置是指检测器过度依赖图像中特定频率带的伪造伪影,导致对未见伪造的检测效果不佳。为了解决这个问题,FreqDebias 引入了两种互补策略:

  1. 伪造混合增强 (Forgery Mixup, Fo-Mixup): 这种数据增强技术通过动态调制训练样本中主导频率成分 (dominant frequency components) 的振幅谱,生成多样化的伪造图像。这迫使检测器在训练过程中关注更广泛的频率范围,从而减少对狭窄频率带的过度依赖。

  2. 双重一致性正则化 (Dual Consistency Regularization, CR): 这种正则化机制通过在局部全局两个层面强制模型学习一致的特征表示。局部一致性利用类激活图 (CAMs) 确保模型专注于伪造的鉴别性区域,即使频率特性发生变化。全局一致性则通过在超球体嵌入空间 (hyperspherical embedding space) 上应用 von Mises-Fisher (vMF) 分布 来促进几何一致性的学习,以捕捉更鲁棒和语义丰富的特征。

    通过 Fo-Mixup 扩展训练数据的频率多样性,并结合双重 CR 引导模型学习对这些多样性具有鲁棒性的一致性特征,FreqDebias 旨在训练出能够更好地泛化到新型和未知深度伪造的检测器。

4.2. 核心方法详解 (逐层深入)

给定一个包含 NtN_t 个样本的训练集 T={(xit,yit)}i=1NtT = \{ ( x_i^t , y_i^t ) \}_{i=1}^{N_t},其中 xitx_i^t 是第 ii 幅图像,yity_i^t 是其对应的类别标签。我们将使用 Fo-Mixup 生成多样化的合成伪造图像,并使用标准数据增强(standard data augmentation)生成真实图像的增强版本。这个过程将产生一个包含 NsN_s 个样本的合成数据集 S={(xis,yis)}i=1NsS = \{ ( x_i^s , y_i^s ) \}_{i=1}^{N_s},其中 xisx_i^s 是第 ii 幅合成图像,yisy_i^s 是其类别标签。然后,模型将通过正则化,在原始训练集 TT 和合成数据集 SS 之间(针对真实和伪造类别)保持一致性。

4.2.1. 伪造混合增强 (Forgery Mixup Augmentation)

图像的振幅谱保留了低级统计信息,如伪造伪影、颜色、风格信息和传感器伪影,而相位谱则包含高级语义内容 [42, 44, 61]。在深度伪造检测中,不加特定考虑地训练检测器可能导致模型过度依赖振幅谱中编码的领域特定细节(如发色、背景、纹理和风格)[38]。作者的实验表明,这种对主导频率成分 (dominant frequency components) 的过度强调可能导致过拟合,使模型在训练数据上表现良好,但在域外伪造上表现不佳。

为了解决这些挑战,本文引入了 Fo-Mixup 增强,以调制不同伪造图像振幅谱中的主导频率成分。Fo-Mixup 在训练期间使伪造检测器暴露于振幅谱中主导频率成分的更多变化,这鼓励检测器关注更广泛的频率带,从而促进学习更具泛化性的特征并减少过拟合。

给定输入伪造图像 xix_i,我们对每个 RGB 通道应用快速傅里叶变换 (Fast Fourier Transformation, F(xi)\mathcal{F}(x_i)) 来计算其振幅 A(xi)\mathcal{A}(x_i) 和相位 P(xi)\mathcal{P}(x_i) 成分。Fo-Mixup 首先识别输入伪造图像中的关键频率成分。

为此,我们将振幅谱划分为角扇区(angular segments),其中径向(radial)和角度(angular)分量被划分为区间 r[irΔr,(ir+1)Δr]r \in [ i_r \Delta r , ( i_r + 1 ) \Delta r ]θ[iθΔθ,(iθ+1)Δθ]\theta \in [ i_\theta \Delta \theta , ( i_\theta + 1 ) \Delta \theta ]。径向分量测量与原点的距离,而角度分量定义了频率域中的方向。iri_riθi_\theta 表示离散步长,步长 Δr\Delta rΔθ\Delta \theta 决定了分割分辨率。对于每个扇区,我们计算对数尺度平均谱 (mean logarithmic-scaled spectrum),记为 μseg\mu_{\mathrm{seg}},它是该扇区内 log(1+Aseg)\log ( 1 + | \mathcal{A}_{seg} | ) 值的平均值,其中 Aseg\mathcal{A}_{seg} 是该扇区的振幅谱。

接下来,我们对所有角扇区应用 K-means 聚类算法 (K-means clustering algorithm) [39],使用所有角扇区的平均谱 μseg\mu_{\mathrm{seg}}。然后,使用 kk 个聚类索引构建 kk 个二值掩码(binary masks),这些掩码随后用于将输入图像过滤成 kk 个不同的过滤图像。我们将这些过滤图像输入到检测器中,并按照在线难例挖掘 (Online Hard Example Mining, OHEM) [50] 的方式,将分类损失按降序排列。最后,我们随机选择损失值最高tt 个二值掩码中的一个(记为 B\boldsymbol{B})。为了整合不同伪造图像的关键频率成分,选定的二值掩码 B\boldsymbol{B} 应用于振幅分量(如 Figure 2 所示)。这些操作公式如下:

A^(xij)=A(xi)B+[(1ξ)A(xi)+ξA(xj)](1B), \begin{array} { l } { \hat{A}(x_{ij}) = A(x_i) \otimes \mathcal{B} } \\ { \qquad + \left[ ( 1 - \xi ) A(x_i) + \xi A(x_j) \right] \otimes ( 1 - \mathcal{B} ) , } \end{array} 其中 xix_ixjx_j 是随机选择的伪造输入,ξ\xi 是调整输入比例的超参数。\otimes 表示逐元素乘法。为了使模型在 CR 中暴露于主导频率分量中更多的伪造伪影变化,我们还扰动了振幅谱,表示为 pAA^(xij)p_{\mathcal{A}} \otimes \hat{\mathcal{A}}(x_{ij}),其中 pAp_{\mathcal{A}} 是服从正态分布 N(1,0)\mathcal{N}(1, 0) 的噪声。最后,使用原始输入的相位分量 P(xi)\mathcal{P}(x_i) 和集成后的振幅谱 A^ˉ(xij)\bar{\hat{A}}(x_{ij}) 进行逆傅里叶变换 (inverse Fourier transform),重建出新的风格化图像,公式如下:

xij=F1[(pAA^(xij))eiP(xi)(u,v)], x_{ij} = \mathcal{F}^{-1} \left[ \left( p_{A} \otimes \hat{A}(x_{ij}) \right) * e^{-i * \mathcal{P}(x_i)(u,v)} \right] , 其中 uuvv 表示频率域中的坐标。生成的图像 xijx_{ij} 保留了 xix_i 的语义内容,但具有多样化的主导频率成分。这扩展了检测器在频率带上的关注范围。Fo-Mixup 增强的详细步骤如 Algorithm 1 所示(原文中未提供 Algorithm 1 的具体内容,但描述了其逻辑)。

该图像是一个示意图,展示了频率去偏见框架(FreqDebias)的结构和流程。左侧部分描述了伪造混合(Fo-Mixup)增强的过程,包括频率特征的动态多样化和掩码选择。右侧展示了双重一致性正则化(CR)的实现,利用类激活图(CAM)和超球体嵌入空间中的von Mises-Fisher(vMF)分布促进一致的表示学习。整体框架旨在减轻模型过于依赖特定频率成分的偏见。 该图像是一个示意图,展示了频率去偏见框架(FreqDebias)的结构和流程。左侧部分描述了伪造混合(Fo-Mixup)增强的过程,包括频率特征的动态多样化和掩码选择。右侧展示了双重一致性正则化(CR)的实现,利用类激活图(CAM)和超球体嵌入空间中的von Mises-Fisher(vMF)分布促进一致的表示学习。整体框架旨在减轻模型过于依赖特定频率成分的偏见。 VLM 描述: 该图像是一个示意图,展示了频率去偏见框架(FreqDebias)的结构和流程。左侧部分描述了伪造混合(Fo-Mixup)增强的过程,包括频率特征的动态多样化和掩码选择。右侧展示了双重一致性正则化(CR)的实现,利用类激活图(CAM)和超球体嵌入空间中的von Mises-Fisher(vMF)分布促进一致的表示学习。整体框架旨在减轻模型过于依赖特定频率成分的偏见。

置信度采样 (Confidence Sampling)。 预测熵高(即置信度低)的增强样本会阻碍泛化性能。为解决此问题,我们使用香农熵(Shannon entropy)从增强数据池中过滤掉不可靠的样本,香农熵定义为 Exij=p(xij)log(p(xij))E_{x_{ij}} = - \mathbf{p}(x_{ij}) \log \left( \mathbf{p}(x_{ij}) \right),其中 xijx_{ij} 是增强样本,p(xij)\mathbf{p}(x_{ij}) 表示模型对该样本的输出概率。计算每个预测的熵后,我们将样本按升序排列,并选择前 λ\lambda 百分比的高置信度样本。

4.2.2. 一致性正则化 (Consistency Regularization)

我们的模型由一个具有多个阶段的特征提取模块 Ψ=ψMψ2ψ1\Psi = \psi_M \circ \cdot \cdot \cdot \circ \psi_2 \circ \psi_1 组成,其中 MM 表示网络中的阶段数量。由于每一层捕获不同抽象级别的概念 [69],从低级纹理到高级语义,我们在每个阶段之后引入一个特征对齐模块 ωi\omega_i,以在网络中逐步捕获正则化的语义抽象。我们将这些表示为 F_i = \omega_i \circ \psi_i(x) \circ \cdots \circ \psi_1(x),其中 i{1,,M}i \in \{ 1 , \dots , M \}。特征对齐模块包含卷积和残差块,类似于 ResNet [23] 中的结构,确保每个辅助分支经历与主干网络相同数量的下采样操作,支持从细粒度到粗粒度的特征转换。通过特征对齐模块,主干网络被训练,并且其对合成样本 (xs,y)S( x^s , y ) \in S 和训练图像 (xt,y)T( x^t , y ) \in T 的预测的类别后验分布(class posterior distributions)被正则化,如下所示:

Lcls=LCE(σ(αf(xs)),y)+LCE(σ(αf(xt)),y)+DKL(σ(αf(xs);τ),σ(αf(xt);τ)), \begin{array} { r l } & { L_{cls} = \mathcal{L}_{CE} \Big ( \sigma \big ( \alpha_f (x^s) \big ) , y \Big ) + \mathcal{L}_{CE} \Big ( \sigma \big ( \alpha_f (x^t) \big ) , y \Big ) } \\ & { \qquad + D_{KL} \Big ( \sigma \big ( \alpha_f (x^s) ; \tau \big ) , \sigma \big ( \alpha_f (x^t) ; \tau \big ) \Big ) , } \end{array} 其中 LCE\mathcal{L}_{CE} 表示标准交叉熵 (Cross-Entropy, CE) 损失函数DKLD_{KL} 表示 Kullback-Leibler (KL) 散度αf(x)\alpha_f(x) 是模型最终的预测。σ(α(x);τ)\sigma ( \alpha ( x ) ; \tau ) 表示带有温度 τ\tauSoftmax 操作。当 τ=1\tau = 1 时,它将是一个普通的 Softmax 操作,表示为 σ(αi(x))\sigma ( \alpha_i ( x ) )

4.2.2.1. 注意力一致性正则化 (Attention Consistency Regularization)

随着合成伪造样本覆盖更广的主导频率成分范围,我们首先使用局部一致性 (local consistency) 对检测器进行正则化,以识别一致的视觉线索,无论主导频率如何变化。为此,我们在主干网络最终阶段的特征图 FMRc×h×wF_M \in \mathbb{R}^{c \times h \times w} 上计算 类激活图 (Class Activation Maps, CAMs) [51, 72],其中 c, h, w 分别表示通道数、高度和宽度。CAMs 通过突出图像中与检测伪造相关的关键区域,提供了有价值的可解释性。 所提出的 Fo-Mixup 增强旨在保持输入图像 xtx^t 和合成伪造图像 xsx^s 之间篡改区域的空间位置一致,从而保留了检测的关键信息。通过强制 CAM 一致性,我们确保伪造检测器始终关注鉴别性区域,使其不易受到可能由主导频率成分引起的领域特定噪声或其他与伪造无关的伪影的干扰。对于注意力层面的一致性监督,我们使用全局平均池化 (Global Average Pooling, GAP) 层,后接一个全连接 (Fully Connected, FC) 层,其权重为 WRc×nW \in \mathbb{R}^{c \times n},其中 nn 是类别数(此处为 2)。FC 层使用 CE 损失函数 LCAML_{CAM} 进行训练,以区分伪造和真实样本。CE 损失定义为 L_{CAM} = - \sum_{i=1}^n y_i \log ( \hat{y}_i ),其中 yiy_i 是真实标签,y^i\hat{y}_i 是类别 ii 的预测概率。分类器权重 WW 与特征图 FMF_M 进行卷积,以计算 CAMs,公式如下:

M=WFM,M = W^\top F_M , 其中 MRn×h×wM \in \mathbb{R}^{n \times h \times w}。这个过程确保 CAMs 能够有效地突出伪造分类中最具鉴别性的区域。然后,CAMs 在类别区域内进行归一化,使得高价值特征仅分配给类别区域。对于类别归一化,CAMs 进行平均池化,并使用 K-means 算法 [39] 聚类到不同的簇中。第一个簇(表示为 MaskhighMask^{high})突出类别区域,其余簇将被丢弃。然后,获得的带有 MaskhighMask^{high} 的类别区域通过实例归一化 (instance normalization) [55] 进一步归一化,以具有标准分布。这些操作总结如下:

Mcn=(MMaskhigh)γ+β, M^{cn} = ( M \otimes Mask^{high} ) \gamma + \beta , 其中 McnM^{cn}MaskhighMask^{high} 分别表示我们主干网络最后一层中经过类别归一化的 CAMs 和突出显示的类别区域。γ\gammaβ\beta 是实例归一化中的可学习仿射参数。最后,我们通过詹森-香农散度 (Jensen-Shannon Divergence, JSD) 匹配合成域和原始训练域之间的精炼 CAMs(即 McnM^{cn}),公式如下:

Latt=DJS(σ(Mcn(xs);τ),σ(Mcn(xt);τ)), L_{att} = D_{JS} \Big ( \sigma \big ( M^{cn}(x^s) ; \tau \big ) , \sigma \big ( M^{cn}(x^t) ; \tau \big ) \Big ) , 其中 Mcn(xs)M^{cn}(x^s)Mcn(xt)M^{cn}(x^t) 分别是合成图像和训练图像的经过类别归一化的 CAMs。

4.2.2.2. 超球体一致性正则化 (Hyperspherical Consistency Regularization)

最近的研究表明,在建模面部特征表示的复杂几何结构方面,超球体潜在空间 (hyperspherical latent spaces) 优于欧几里得空间 [22, 28, 32, 57]。为利用这一点,我们引入了一个 vMF 分类器 (vMF classifier),它实现为一个包含两个 vMF 分布的混合模型,用于在超球体空间上统计建模面部特征表示以进行 CR。为了捕获嵌入空间的全局视图以实现一致的几何学习,我们利用主干网络不同阶段的层次特征图来构建 vMF 分类器。为此,这些阶段的特征图被连接并调整大小为 Fcat=Conv(Concat([F1,...,FM]))\mathbf{\nabla}_{\boldsymbol{F}_{cat}} = \text{Conv}(\text{Concat}([F_1, ... , F_M])),其中 Conv 表示一个 1×11 \times 1 卷积层,用于减少连接特征图的通道维度。给定归一化的面部特征表示 F~cat=Fˉcat/Fˉcat2\tilde{F}_{cat} = \bar{F}_{cat} / \left\| \bar{F}_{cat} \right\|_2,第 ii 个类别的概率密度函数 (PDF) 公式如下:

p(F~catκi,μ~i)=Cd(κi)exp(κiF~catμ~i),   Cd(κi)=κid21(2π)d2Id21(κi), \begin{array} { r l } & { p \left( \tilde{F}_{cat} \mid \kappa_i , \tilde{\pmb{\mu}}_i \right) = \mathcal{C}_d \left( \kappa_i \right) \exp \left( \kappa_i \cdot \tilde{F}_{cat} \tilde{\pmb{\mu}}_i^\top \right) , } \\ & { \ ~ \ \mathcal{C}_d \left( \kappa_i \right) = \frac{\kappa_i^{\frac{d}{2} - 1}}{\left( 2\pi \right)^{\frac{d}{2}} \cdot I_{\frac{d}{2} - 1} \left( \kappa_i \right)} , } \end{array} 其中 F~catSd1\tilde{F}_{cat} \in \mathbb{S}^{d-1}dd 维单位向量,κiR0\kappa_i \in \mathbb{R}_{\geq 0}μ~iSd1\tilde{\mu}_i \in \mathbb{S}^{d-1} 分别是第 ii 个类别的 vMF 分类器的可训练紧致度参数和方向向量。此外,Iβ(κ)I_{\beta}(\kappa) 是第一类 β\beta 阶修正贝塞尔函数,Cd(κ)C_d(\kappa) 是归一化常数。给定公式 7 中的 PDF 和后验概率,vMF 分类器使用 CE 损失进行训练,如下所示:

Lcls.sphere=LCE(p(yiF~cat)), L_{cls.sphere} = \mathcal{L}_{CE} \left( p ( y_i \mid \tilde{F}_{cat} ) \right) , p(yiF~cat)=nip(F~catκi,μ~i)j=12njp(F~catκj,μ~j), p \left( y_i \mid \tilde{F}_{cat} \right) = \frac{n_i \cdot p \left( \tilde{F}_{cat} \mid \kappa_i , \tilde{\mu}_i \right)}{\sum_{j=1}^2 n_j \cdot p \left( \tilde{F}_{cat} \mid \kappa_j , \tilde{\mu}_j \right)} , 其中 nin_i 表示类别 ii 的基数(样本数量),p(yiF~cat)p \left( y_i \mid \tilde{F}_{cat} \right) 表示 Fcat\mathbf{\nabla}_{F_{cat}} 属于类别 ii 的概率。为了强制执行几何 CR,分布匹配分数 (Distribution Matching Score, DMS) 公式如下:

DMS(Fcats,Fcatt)=11+DKL(p(F~catsκs,μ~s),p(F~cattκt,μ~t)), \begin{array} { r l } & { \mathrm{DMS} ( F_{cat}^s , F_{cat}^t ) = } \\ & { \frac{1}{1 + D_{KL} \left( p (\tilde{F}_{cat}^s \mid \kappa_s, \tilde{\mu}_s), p (\tilde{F}_{cat}^t \mid \kappa_t, \tilde{\mu}_t) \right)} , } \end{array} 其中 0<DMS<10 < \mathrm{DMS} < 1 表示合成域 SS 和训练域 TT 之间的重叠程度。当两个域高度重叠时,DMS1\mathrm{DMS} \approx 1。最后,为了增强 CR,我们在 vMF 优化中最大化合成域 SS 和训练域 TT 之间的 DMS,如下所示:

Lsphere=E[1DMS(Fcats,Fcatt)], L_{sphere} = \mathbb{E} \left[ 1 - \mathrm{DMS} ( F_{cat}^s , F_{cat}^t ) \right] , 其中 E\mathbb{E} 是平均函数。

4.2.3. 总体损失 (Overall Loss)

训练优化中的总体目标函数归结为以下五个损失函数:

Ltotal=Lcls+ηLCAM+δLatt+μLcls.sphere+ρLsphere, \begin{array} { r l } & { L_{total} = L_{cls} + \eta L_{CAM} } \\ & { \qquad + \delta L_{att} + \mu L_{cls.sphere} + \rho L_{sphere} , } \end{array} 其中 η,δ,μ\eta , \delta , \muρ\rho 是平衡不同损失函数影响的超参数。在端到端训练完所提出的模型后,我们在测试期间移除所有引入的辅助分类器,与基线主干网络相比,不产生额外的计算成本。

5. 实验设置

5.1. 数据集

为了简化和公平比较,本文遵循了最近的深度伪造检测研究 [8, 62, 64, 65],并在 FaceForensics++ (FF++) 数据集 [47] 上训练模型。

  • FaceForensics++ (FF++) [47]: 这是一个广泛使用的视频数据集,包含 1,000 个原始视频和 4,000 个由四种面部操纵方法生成的伪造视频,包括:
    • DeepFake (DF) [2]: 基于深度学习的换脸技术。
    • Face2Face (FF) [53]: 实时面部表情迁移技术。
    • FaceSwap (FS) [3]: 换脸技术。
    • NeuralTextures (NT) [54]: 神经纹理渲染技术。 FF++ 在生成时采用了三种压缩级别:原始质量 (raw quality)、高质量 (High Quality, HQ) 和低质量 (Low Quality, LQ)。实验中采用 HQ 级别,从每个视频中采样 32 帧。

为了评估模型的泛化能力和鲁棒性,本文还在以下数据集上进行了广泛实验:

  • Deepfake Detection Challenge (DFDC) [1]

  • DeepFake Detection Challenge Preview (DFDCP) [1]

  • Deepfake Detection (DFD) [14]

  • Celeb-DF-v1 (CDFv1) [33]

  • Celeb-DF-v2 (CDFv2) [33]

    这些数据集涵盖了不同的伪造技术、图像质量和规模,有助于全面评估模型在各种真实世界场景下的性能。

5.2. 评估指标

本文遵循深度伪造检测研究 [8, 62, 64, 65],采用帧级别曲线下面积 (Area Under the Curve, AUC)等错误率 (Equal Error Rate, EER) 作为评估指标。

  1. 曲线下面积 (Area Under the Curve, AUC)

    • 概念定义: AUC 是 ROC (Receiver Operating Characteristic) 曲线下的面积。ROC 曲线以真阳性率 (True Positive Rate, TPR) 为纵轴,假阳性率 (False Positive Rate, FPR) 为横轴,描绘了在不同分类阈值下模型的性能。AUC 值通常在 0 到 1 之间,值越高表示模型的分类性能越好,即模型能更好地将正负样本区分开来。0.5 的 AUC 表示模型性能与随机猜测无异,1.0 的 AUC 表示完美分类器。
    • 数学公式: AUC 没有直接的解析公式,它通过计算 ROC 曲线下的面积得出。ROC 曲线上的每个点对应一个分类阈值,计算其对应的 TPR 和 FPR。 TPR=TPTP+FN \text{TPR} = \frac{\text{TP}}{\text{TP} + \text{FN}} FPR=FPFP+TN \text{FPR} = \frac{\text{FP}}{\text{FP} + \text{TN}} 其中,曲线下的面积可以通过梯形法则或其他数值积分方法近似计算。
    • 符号解释:
      • TP (True Positive):真阳性,正确地将正样本预测为正样本。
      • FN (False Negative):假阴性,错误地将正样本预测为负样本。
      • FP (False Positive):假阳性,错误地将负样本预测为正样本。
      • TN (True Negative):真阴性,正确地将负样本预测为负样本。
  2. 等错误率 (Equal Error Rate, EER)

    • 概念定义: EER 是指在二分类系统中,当假阳性率 (False Positive Rate, FPR)假阴性率 (False Negative Rate, FNR) 相等时的那个错误率。FPR 指的是将负样本错误地识别为正样本的比例(如将真实图像错误识别为伪造图像),而 FNR 指的是将正样本错误地识别为负样本的比例(如将伪造图像错误识别为真实图像)。EER 值越低,表示模型的性能越好,因为它能同时在两类错误之间取得较好的平衡。
    • 数学公式: EER 是满足以下条件的阈值 TT 对应的错误率: FPR(T)=FNR(T)=EER \text{FPR}(T) = \text{FNR}(T) = \text{EER} 其中,FNR 的计算公式为: FNR=FNTP+FN=1TPR \text{FNR} = \frac{\text{FN}}{\text{TP} + \text{FN}} = 1 - \text{TPR}
    • 符号解释:
      • FPR (False Positive Rate):假阳性率。
      • FNR (False Negative Rate):假阴性率。
      • TP (True Positive):真阳性。
      • FN (False Negative):假阴性。
      • TT: 分类阈值。

5.3. 对比基线

为了基准化本文的方法,研究与以下深度伪造检测研究进行了比较:

  • Xception [10]

  • Meso4 [4]

  • Capsule [40]

  • X-ray [31]

  • FFD [11]

  • F3Net [46]

  • SPSL [36]

  • SRM [38]

  • CORE [41]

  • RECCE [5]

  • SLADD [6]

  • IID [24]

  • UCF [63]

  • LSDA [65]

    这些基线模型代表了深度伪造检测领域的不同主流方法和最先进技术,包括基于 CNN 的通用模型(如 Xception)、专注于特定伪影的模型(如 X-ray、F3Net、SPSL、SRM),以及旨在提高泛化能力的去偏置或正则化方法(如 CORE、SLADD、IID、UCF、LSDA)。与这些模型进行比较,能够全面评估 FreqDebias 在域内和跨域设置下的性能优势。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 跨域泛化和域内性能

为了探究所提出方法的泛化能力,作者在 FF++ (HQ) 数据集上训练模型,并使用帧级别 AUC 指标评估其在其他伪造数据集上的泛化性能。

以下是原文 Table 1 的结果:

Method In-domain Cross-domain
FF++ CDFv1 CDFv2 DFD
77.9 73.7 81.6 DFDCP 73.7 DFDC 70.8 C-Avg. 75.54
Xception [10] 96.4 54.8 55.6 60.96
Meso4 [4] 60.8 73.6 60.9 59.9 64.7 70.52
Capsule [40] 84.2 79.1 70.9 74.7 67.9 68.4 65.7
X-ray [31] 95.9 78.4 74.4 76.6 69.4 70.3 69.62
FFD [11] 96.2 80.2 74.3 75.52 96.4 77.7 73.5
F3Net [46] 96.1 81.5 76.5 81.2 74.1 70.4 74.94
SPSL [36] 95.8 79.3 75.5 81.2 76.74
SRM [38] 96.4 78.0 74.3 80.2 74.1 70.0 76.02
CORE [41] 96.2 73.2 81.2 73.4 70.5 75.28 75.34
RECCE [5] 96.9 76.8 74.0 80.9 74.2 71.3 76.42
SLADD [6] 97.4 80.2 75.3 75.3 71.7 75.54
IID [24] 97.1 75.8 76.9 79.3 76.2 69.5 76.34
UCF [63] - 77.9 75.3 80.7 75.9 71.9 82.56
LSDA [65] 86.7 83.0 88.0 81.5 73.6 82.88
FreqDebias (Ours) 97.5 87.5 83.6 86.8 82.4 74.1

分析: 从 Table 1 中可以看出,最先进的方法在跨域评估中普遍表现出显著的性能下降。然而,FreqDebias 框架主要在检测新型伪造方面表现出更好的泛化能力,并取得了最先进的性能。

  • 跨域泛化: FreqDebias 在 CDFv1、CDFv2、DFDC 和 DFDCP 测试集上的 AUC 指标分别比次优方法高出 0.8%、0.6%、0.9% 和 0.5%。尤其在 CDFv1 (87.5%)、CDFv2 (83.6%)、DFDC (82.4%) 和 DFDCP (74.1%) 上,FreqDebias 均取得了最高分。跨域平均 AUC (C-Avg.) 达到 82.88%,显著优于 LSDA 的 82.56% 和其他所有方法。这表明 FreqDebias 框架显著提高了伪造检测器对未见伪造攻击的泛化能力。
  • 域内性能: 在域内设置 FF++ 上,FreqDebias 也取得了 97.5% 的高 AUC,与最先进研究相比具有竞争力,甚至超越了大部分基线方法。这表明 FreqDebias 在提升泛化能力的同时,并没有牺牲在训练域内的性能。

6.1.2. 跨操纵评估

鉴于新操纵技术的不断涌现,本文方法应能很好地泛化到未见伪造。为此,作者遵循 DCL [52] 的训练方案,在 FF++ 数据集上进行了细粒度的跨操纵评估。具体来说,伪造检测器在单个操纵技术上进行测试,而训练数据来自同一数据集中的其他操纵技术。

以下是原文 Table 2 的结果:

Methods Train DF F2F FS NT
GFF [38] DF 99.87 76.89 47.21 72.88
DCL [52] 99.98 77.13 61.01 75.01
IID [24] 99.51 - 63.83 -
SFDG [59] 99.73 86.45 75.34 86.13
FreqDebias (Ours) 99.82 88.10 75.92 88.45
GFF [38] 89.23 99.10 61.30 64.77
DCL [52] F2F 91.91 99.21 59.58
SFDG [59] 73.54 66.67
FreqDebias (Ours) 97.38 99.36 74.37 72.61
GFF [38] 70.21 68.72 99.85 76.46
DCL [52] 74.80 69.75 99.90 49.91
IID [24] FS 75.39 - 99.53 -
SFDG [59] 81.71 77.30 60.89
FreqDebias (Ours) 83.76 78.93 99.78 63.48
GFF [38] NT 88.49 49.81 74.31 98.77
DCL [52] 91.23 52.13 79.31 98.97
SFDG [59] 91.73 70.85 83.58 99.74
FreqDebias (Ours) 92.35 74.61 83.24 99.83

分析: 如 Table 2 所示,所提出的方法在四种未见伪造类型上均实现了泛化性能提升,提升范围从 0.08% 到 3.85%。

  • 训练集为 DF: FreqDebias 在 F2F (88.10%) 和 NT (88.45%) 上均优于所有基线,尤其在 NT 上比 SFDG [59] 高出 2.32%。

  • 训练集为 F2F: FreqDebias 在 DF (97.38%)、FS (74.37%) 和 NT (72.61%) 上表现优异,特别是对 DF 泛化能力显著高于 GFF [38] 和 DCL [52]。

  • 训练集为 FS: FreqDebias 在 DF (83.76%)、F2F (78.93%) 和 NT (63.48%) 上也表现良好,特别是对 DF 和 F2F 的泛化能力显著优于 SFDG [59]。

  • 训练集为 NT: FreqDebias 在 DF (92.35%)、F2F (74.61%) 和 FS (83.24%) 上表现出色,特别是在 F2F 上比 SFDG [59] 高出 3.76%。

    这个实验表明,本文学习到的表示能够有效地识别不同伪造中的伪造伪影,并将其与真实伪影区分开来,进一步验证了其泛化能力。

6.1.3. 鲁棒性评估

为了评估本文方法对各种未见损坏的鲁棒性,作者遵循 LipForensics [20] 的设置,使用未压缩的原始 FF++ 数据。为了确保公平比较,CR 中排除了共享的增强。

以下是原文 Table 3 的结果:

Model Saturation Contrast Block Noise Blur Pixel Avg
Face X-ray [31] 97.6 88.5 99.1 49.8 63.8 88.6 81.2
LipForensices [20] 99.9 99.6 87.4 73.8 96.1 95.6 92.1
RealForensics [21] 99.8 99.6 98.9 79.7 95.3 98.4 95.2
CADDM [13] 99.6 99.8 99.8 87.4 99.0 98.8 97.4
FreqDebias (Ours) 99.6 99.8 99.7 89.2 98.2 99.1 97.6

分析: 如 Table 3 所示,本文方法表现出卓越的鲁棒性,以 97.6% 的平均 AUC 优于 RealForensics [21] (95.2%) 和 CADDM [13] (97.4%)。特别是在 Noise 这种难以处理的损坏类型上,FreqDebias 取得了 89.2%,显著高于 CADDM 的 87.4%。这进一步证实了 FreqDebias 在面对各种未见损坏时仍能保持高性能。

6.2. 消融实验/参数分析

本小节评估了本文方法中不同组件对泛化性能的贡献。实验遵循 [6, 36] 的跨域设置,使用 FF++ (HQ) 作为训练集,CDFv2 和 DFDCP 作为测试集。

以下是原文 Table 4 的结果:

Model Components CDFv2 DFDCP
DA Latt Lsphere Fo-Mixup CS AUC EER AUC EER
FreqDebias-0 69.2 36.0 61.3 40.7
FreqDebias-1 74.8 31.3 68.1 36.0
FreqDebias-2 77.3 29.4 73.6 32.2
FreqDebias-3 81.7 25.5 80.1 27.7
FreqDebias-4 83.6 23.9 82.4 26.1
FreqDebias-5 79.1 27.7 77.4 29.5
FreqDebias-6 80.4 26.5 78.2 28.9
Components CDFv2
DA Latt Lsphere Fo-Mixup CS AM [61] AS [61] AUC EER
FreqDebias-7 78.5 28.2
FreqDebias-8 76.0 30.3
Components CDFv2
DA Latt Lsphere Fo-Mixup CS λ AUC EER
FreqDebias-9 0.80 82.1 25.2
FreqDebias-10 0.65 82.9 24.5
FreqDebias-11 0.50 83.6 23.9
FreqDebias-12 0.35 82.4 24.9

6.2.1. Fo-Mixup 增强的有效性

为了评估 Fo-Mixup 增强和置信度采样(CS)的影响,作者分别停用它们。基线模型 FreqDebias-0 是一个没有提出的 CR 进行训练的 ResNet-34 网络。

  • Fo-Mixup 的独立效果: FreqDebias-1 (仅 Fo-Mixup 和标准 CE 损失) 在 CDFv2 和 DFDCP 上的 AUC 分别为 74.8% 和 68.1%,显著高于基线 FreqDebias-0 (69.2% 和 61.3%)。这表明 Fo-Mixup 增强本身就能显著提升泛化性能。
  • Fo-Mixup 与 CR 的结合: FreqDebias-3 (包含 Fo-Mixup 和所有损失函数,但不含 CS) 在 CDFv2 和 DFDCP 上的 AUC 分别达到 81.7% 和 80.1%,进一步验证了 Fo-Mixup 与所提出损失函数结合时的影响力。
  • 置信度采样 (CS) 的影响: FreqDebias-4 (完整模型,包含 CS) 相比 FreqDebias-3 (不含 CS) 在 CDFv2 和 DFDCP 上的 AUC 分别从 81.7% 提升到 83.6% (提升 1.9%) 和从 80.1% 提升到 82.4% (提升 2.3%)。这表明置信度采样通过识别有信息量的样本,进一步增强了泛化能力。

6.2.2. Fo-Mixup 与频率增强的比较

为了证明 Fo-Mixup 的优越性,作者将其与传统的基于频率的增强方法(Amplitude Swap (AS) 和 Amplitude Mix (AM) [61])进行了比较。

  • FreqDebias-7 (使用 AM 替代 Fo-Mixup) 在 CDFv2 上的 AUC 为 78.5%。
  • FreqDebias-8 (使用 AS 替代 Fo-Mixup) 在 CDFv2 上的 AUC 为 76.0%。
  • 相比之下,FreqDebias-4 (使用 Fo-Mixup) 在 CDFv2 上的 AUC 为 83.6%。 这证实了 Fo-Mixup 作为检测面部伪造的有效增强方法的优越性。AM 无差别地修改所有频率分量,忽略了关键频率,而 AS 则激进地交换振幅谱。Fo-Mixup 则针对主导频率分量,增强了检测器对关键频率变化的暴露。

6.2.3. 一致性正则化 (CR) 的有效性

在本实验中,作者保持 Fo-Mixup 组件不变,并探究了所提出的注意力 (Latt) 和超球体 (Lsphere) CR 的效果。

  • 移除 Latt: FreqDebias-5 (移除 LattL_{att}) 在 CDFv2 上的 AUC 降至 79.1%,相比完整模型 (FreqDebias-4, 83.6%) 下降了约 4.5%。
  • 移除 Lsphere: FreqDebias-6 (移除 LsphereL_{sphere}) 在 CDFv2 上的 AUC 降至 80.4%,相比完整模型下降了约 3.2%。 这些显著的性能下降表明,注意力一致性正则化 (LattL_{att}) 和超球体一致性正则化 (LsphereL_{sphere}) 都是 FreqDebias 框架中不可或缺的组件,对提升泛化能力至关重要。

6.2.4. 超参数 λ\lambda 值的选择

作者调查了不同 λ\lambda 值(表示所选样本的百分比)对泛化性能的影响。

  • FreqDebias-11 (λ=0.50\lambda = 0.50) 在 CDFv2 上达到 83.6% 的 AUC。
  • FreqDebias-10 (λ=0.65\lambda = 0.65) 达到 82.9%。
  • FreqDebias-9 (λ=0.80\lambda = 0.80) 达到 82.1%。
  • FreqDebias-12 (λ=0.35\lambda = 0.35) 达到 82.4%。 研究结果表明,适度的 λ\lambda 值 (0.50) 是有益的,而极端值(过高或过低)会导致性能下降。当 λ=0.80\lambda = 0.80λ=0.35\lambda = 0.35 时,模型在 AUC 上表现出显著下降,表明过拟合或增强不足。因此,在其余实验中选择 λ=0.50\lambda = 0.50 以平衡 Fo-Mixup 的有效性,同时避免过拟合。

6.2.5. 主干网络 (Backbone) 的有效性

为了评估模型性能对 ResNet-34 主干网络的依赖性,作者用 ConvNeXt [37] 和 ResNet-50 主干网络替换了 ResNet-34。

以下是原文 Table 5 的结果:

Model CDFv2 DFDCP
AUC EER AUC EER
FreqDebias-13 (ResNet-50) 83.9 23.7 82.9 25.7
FreqDebias-14 (ConvNeXt) 85.1 22.6 83.4 25.3

分析: 如 Table 5 所示,使用 ResNet-50 和 ConvNeXt 主干网络(FreqDebias-13 和 FreqDebias-14)的 FreqDebias 框架性能均超越了使用 ResNet-34 主干网络。尤其是 ConvNeXt 作为主干网络时,在 CDFv2 上达到 85.1% AUC,在 DFDCP 上达到 83.4% AUC,均优于 ResNet-34。这证实了 FreqDebias 框架对不同主干网络的适应性,能够与更强大的主干网络结合,进一步提升通用伪造检测的性能。

6.3. 可视化分析

6.3.1. 显著性图 (Saliency Map) 分析

为了定位和可视化未见伪造中的关键面部区域,作者将 CAM 应用于 FreqDebias 框架和在 FF++ 上训练的 Xception 模型 [47]。

Figure 3. Visualization of the saliency maps for the Xception model \[47\] and the proposed FreqDebias framework. 该图像是示意图,展示了Xception模型与FreqDebias框架在不同伪造类型下的显著性图。图中包含真实图像及多种伪造样本的显著性对比,分别显示了两种方法在识别伪造图像时的表现差异。 VLM 描述: 该图像是示意图,展示了Xception模型与FreqDebias框架在不同伪造类型下的显著性图。图中包含真实图像及多种伪造样本的显著性对比,分别显示了两种方法在识别伪造图像时的表现差异。

分析: 如 Figure 3 所示,Xception 模型在检测时倾向于过拟合到面部中央区域,而 FreqDebias 框架则能有效捕捉更全面的区域,并区分不同伪造类型,将注意力引导到各自的伪影上,例如在 FS 伪造(最后一列)中,FreqDebias 框架能够聚焦于眉毛区域的伪影。这表明 FreqDebias 学习到了更具鉴别性和泛化性的特征。

6.3.2. 特征空间 (Feature Space) 分析

作者使用 t-SNE (t-distributed Stochastic Neighbor Embedding) [56] 来可视化 FreqDebias 框架学习到的特征分布。

Figure 4. t-SNE illustration comparing the proposed FreqDebias framework with ConvNeXt \[37\] and Xception \[47\] models, all trained on the \(\\mathrm { F F } { + } { + }\) dataset. 该图像是图表,展示了不同模型在 t-SNE 投影下的特征分布。左侧为 Xception 模型,中间为 ConvNeXt 模型,右侧为本研究提出的 FreqDebias 框架。每种颜色对应不同的数据集及真假样本,表现出 FreqDebias 在处理虚假样本时的优越性。 VLM 描述: 该图像是图表,展示了不同模型在 t-SNE 投影下的特征分布。左侧为 Xception 模型,中间为 ConvNeXt 模型,右侧为本研究提出的 FreqDebias 框架。每种颜色对应不同的数据集及真假样本,表现出 FreqDebias 在处理虚假样本时的优越性。

分析: 如 Figure 4 所示,与 Xception [47] 和 ConvNeXt [37] 相比,FreqDebias 能够更好地将真实样本聚类,实现类内分离,且离群点更少。尽管 FreqDebias 并非明确训练用于分类伪造类型,但 vMF 分布的方向性约束使其能够捕获底层结构,从而在更精细的尺度上实现部分分离,尽管存在一些重叠。此外,FreqDebias 在真实和伪造样本之间表现出更优越的区分能力,泛化性能得到增强。

6.3.3. 主导频率成分 (Dominant Frequency Components) 示例

Figure 5 展示了使用标准深度伪造检测器通过 Fo-Mixup 在 FF++ [47] 数据集中的 30,000 张伪造图像上检测到的平均主导频率成分的热图。对于每种伪造类型,选择了 10,000 张具有相似身份的图像。

Figure 5. Heatmap of average dominant frequency components detected by Fo-Mixup using a standard deepfake detector. 该图像是图表,展示了通过 Fo-Mixup 检测的深度伪造样本的频率成分。图中分别列出了不同伪造方法的主要和次要频率成分,包括 DeepFake、Face2Face 和 NeuralTextures。 VLM 描述: 该图像是图表,展示了通过 Fo-Mixup 检测的深度伪造样本的频率成分。图中分别列出了不同伪造方法的主要和次要频率成分,包括 DeepFake、Face2Face 和 NeuralTextures。

分析:

  • DeepFake [2] 伪造: 检测器主要关注极低频带,而忽略了中频和高频带。
  • Face2Face [53] 伪造: 检测器不仅依赖低频带,还依赖中频带。
  • NeuralTextures [54] 伪造: 主导频率成分进一步扩展到高频带。 这些热图直观地展示了标准深度伪造检测器如何过度依赖特定伪造类型的主导频率成分,从而证实了频谱偏置的存在,并为 Fo-Mixup 及其频率去偏置策略提供了视觉依据。

7. 总结与思考

7.1. 结论总结

本文提出了 FreqDebias,一个新颖的频率去偏置框架,旨在缓解深度伪造检测中的频谱偏置 (spectral bias),从而提升模型的泛化能力。FreqDebias 框架包含两个关键策略:

  1. 伪造混合 (Forgery Mixup, Fo-Mixup): 这是一种增强技术,通过动态调制训练样本的主导频率成分,拓宽了检测器对多样化频率谱的暴露,减少了对特定频率带的过度依赖。

  2. 双重一致性正则化 (Dual Consistency Regularization, CR): 该机制通过局部一致性(利用类激活图 CAMs)全局一致性(通过超球体嵌入空间上的 von Mises-Fisher (vMF) 分布) 共同正则化学习过程。这确保了模型在局部层面关注鉴别性区域,同时在全局层面学习几何一致的表示,从而有效缓解了频谱偏置。

    通过在域内和跨域设置下进行的大量实验,FreqDebias 展现出最先进的泛化能力,显著优于现有方法。可视化分析也进一步证实了 FreqDebias 能够学习到更鲁棒、更具鉴别性的特征表示,并且能够有效避免对单一频率模式的过度依赖。

7.2. 局限性与未来工作

原文未明确指出 FreqDebias 自身的局限性或未来的研究方向。然而,从学术角度可以推断一些潜在的局限性:

  • Fo-Mixup 的参数敏感性: Fo-Mixup 中涉及的聚类参数 k, t 以及置信度采样阈值 λ\lambda 的选择可能对性能有一定影响。尽管消融实验表明了其有效性,但在更复杂或多样化的场景下,这些参数的鲁棒性可能需要进一步研究。
  • 计算成本: 虽然推理阶段没有额外成本,但 Fo-Mixup 涉及傅里叶变换、K-means 聚类和 OHEM,这些步骤在训练阶段可能会增加计算负担。在资源受限的环境下,其效率可能是一个考量因素。
  • 新颖伪造类型的适应性: 尽管 FreqDebias 提高了泛化能力,但深度伪造技术仍在不断发展。未来可能会出现完全不同于现有模式的伪造,其频率特征可能无法被当前 Fo-Mixup 很好地覆盖,或者 vMF 分布无法捕捉其复杂语义。
  • 可解释性: 虽然 CAM 提供了局部可解释性,但双重 CR 中 vMF 分布在超球体空间中的作用,其学习到的具体“几何一致性”的物理意义,可能仍需要更深入的可解释性分析。

未来研究方向:

  • 自适应频率调制: 开发更智能、自适应的 Fo-Mixup 策略,能够根据输入图像或当前模型状态动态调整频率调制方式,而不仅仅是基于预设的聚类和选择。
  • 多模态融合: 探索 FreqDebias 与其他模态(如音频、视频时间序列)的融合,以构建更全面的深度伪造检测系统。
  • 轻量化部署: 优化 Fo-Mixup 和 CR 在训练阶段的计算效率,以便在边缘设备或计算资源有限的场景下进行训练和部署。
  • 泛化到其他任务: 探索 FreqDebias 中缓解频谱偏置的思想是否可以推广到其他对频率敏感的计算机视觉任务,如图像修复、风格迁移或通用异常检测。

7.3. 个人启发与批判

这篇论文提供了一个非常重要的视角,即在深度学习模型的泛化问题中,除了关注空间域的特征和偏置外,频率域的分析同样至关重要。频谱偏置这一概念的提出,为理解模型泛化失败提供了一个新的理论基础,并且其可视化分析(Figure 1 和 Figure 5)也直观地证实了这一偏置的实际存在。

个人启发:

  1. 频率域的潜力: 过去在处理图像数据时,我更多地关注空间域的特征提取和数据增强。本文强调了频率域在捕捉低级伪影和语义内容方面的独特作用,以及模型在此域中可能产生的偏置。这启发我未来在设计模型和增强策略时,应更深入地思考和利用频率域信息。
  2. “去偏置”的精细化: “去偏置”是一个宏大的目标,本文通过 Fo-Mixup 精准打击“主导频率成分”,避免了对所有频率的无差别处理,这种针对性的策略非常有效。它提醒我,在解决复杂问题时,深入分析问题的根源并采取精细化的解决方案往往比粗放的方法更有效。
  3. 双重一致性正则化的设计: 结合局部(CAMs)和全局(vMF on hypersphere)的一致性正则化是一个巧妙的设计。局部一致性确保了对关键区域的关注,而全局一致性则在更高抽象层次上保证了特征表示的鲁棒性和语义一致性。这种多层次的正则化思想,对于构建更稳健的深度学习模型具有普遍的指导意义。vMF 分布在超球体空间的运用,也为特征表示学习提供了新的思路。
  4. 模型可解释性与泛化的结合: CAM 的引入不仅用于正则化,也提供了模型决策的可解释性。能够可视化模型关注的区域,这对于诊断模型行为、增强信任度以及进一步改进模型都非常有帮助。

批判与可以改进的地方:

  1. Fo-Mixup 算法的细节: 原文 Algorithm 1 的具体内容并未提供,这使得复现 Fo-Mixup 的完整细节存在一定障碍。例如,径向和角度分割的具体参数、K-means 聚类的实现细节、OHEM 如何应用于过滤图像的损失等,都可能影响其实际效果。未来论文在提交时,应更详细地提供这些算法细节或开源代码。
  2. 频率域分析工具的通用性: 本文识别频谱偏置依赖于对特定频率带的分析。但这种“主导频率成分”的定义是否具有普遍性?对于不同类型的深度伪造、不同质量的图像或不同的任务,其“主导频率”的形态是否会发生显著变化?如何更通用、更自适应地识别这些关键频率,可能是值得深入探讨的问题。
  3. vMF 分布的超参数设置: vMF 分布中的紧致度参数 κi\kappa_i 是可学习的,但其初始值或约束条件可能对训练稳定性有影响。文中未详细阐述这方面的考量。
  4. 计算效率的定量分析: 尽管作者提到推理阶段没有额外计算成本,但在训练阶段,Fo-Mixup 和双重 CR 引入了额外的计算步骤。提供这些步骤对训练时间、内存消耗的具体影响的定量分析,将更有助于评估方法的实际应用价值。
  5. 跨数据集的“主导频率”一致性: Figure 5 展示了 FF++ 数据集上不同伪造类型的主导频率热图。但这些“主导频率”在其他数据集(如 DFDC、CDFv2)上的表现如何?如果不同数据集的“主导频率”模式差异很大,Fo-Mixup 策略是否依然有效,或者需要进行域适应的频率调制?

相似论文推荐

基于向量语义检索推荐的相关论文。

暂时没有找到相似论文。