1. 论文基本信息

1.1. 标题

隐私保护的动作识别通过运动差分量化 (Privacy-Preserving Action Recognition via Motion Difference Quantization)

1.2. 作者

Sudhakar Kumawat 和 Hajime Nagahara

1.3. 隶属机构

大阪大学 (Osaka University), 日本

1.4. 发表期刊/会议

该论文作为预印本 (preprint) 发布在 arXiv 上。虽然 arXiv 上的论文尚未经过同行评审，但它是计算机视觉和机器学习领域研究成果快速分享的重要平台，对该领域的研究进展具有及时影响力。

1.5. 发表年份

2022年

1.6. 摘要

这篇论文针对智能计算机视觉 (CV) 系统在个人空间中广泛应用所带来的隐私和安全风险，提出了一种简单而鲁棒的隐私保护编码器 BDQ (Blur, Difference, Quantization)，用于隐私保护的人体动作识别 (privacy-preserving human action recognition) 任务。BDQ 由三个模块组成：模糊 (Blur)、差分 (Difference) 和量化 (Quantization)。首先，输入场景通过 Blur 模块平滑边缘。接着，Difference 模块对连续帧进行像素级强度相减，以突出运动特征并抑制明显的高级隐私属性。最后，Quant化 模块应用于运动差分帧，以去除低级隐私属性。BDQ 的参数通过对抗训练 (adversarial training) 以端到端 (end-to-end) 的方式优化，使其能够学习允许动作识别属性，同时抑制隐私属性。实验结果表明，该编码器设计在三个基准数据集上，与现有工作相比，实现了最先进的 (state-of-the-art) 权衡。此外，研究还表明，所实现的权衡与基于动态视觉传感器 (DVS sensor-based) 的事件相机 (event cameras) 相当。

1.7. 原文链接

https://arxiv.org/abs/2208.02459

1.8. PDF 链接

https://arxiv.org/pdf/2208.02459v1.pdf

2. 整体概括

2.1. 研究背景与动机

随着智能计算机视觉 (CV) 系统日益普及并部署到个人空间，人们对这些系统“看到什么”以及“如何解读”的隐私问题越来越关注。一方面，我们希望这些系统能通过理解周围环境来协助日常生活；另一方面，我们又希望它们在不捕获任何敏感信息的情况下完成任务。这就引出了一个核心矛盾：如何在保护用户隐私的同时，确保 CV 系统仍能有效执行其核心任务（例如动作识别）。

现有的隐私保护方法通常面临一些挑战：

• 信息损失： 传统的模糊、降采样 (down-sampling) 等方法虽然能保护隐私，但往往会破坏空间分辨率，从而导致任务所需的关键信息丢失，影响用户体验（例如，图 1 右侧的例子，降采样导致识别手指数的关键信息丢失）。

• 对抗性不足： 许多早期方法依赖手工特征，对恶意攻击者（adversary）通过深度神经网络 (DNN) 学习或重建隐私属性的能力缺乏有效防御。

• 计算开销： 复杂的隐私保护模型可能计算开销大，难以在资源受限的边缘设备（如智能手机、消费级相机）上实时部署。

  这篇论文的切入点在于设计一个简单、鲁棒且计算高效的隐私保护编码器，能够平衡动作识别的准确性与隐私保护的强度，同时避免传统方法的信息损失问题。

2.2. 核心贡献/主要发现

这篇论文的主要贡献可以总结为以下几点：

• 提出了 BDQ 隐私保护编码器： 作者设计了一个由 Blur、Difference 和 Quantization 三个模块组成的简单而鲁棒的隐私保护编码器 BDQ。该编码器能够允许动作识别所需的时空线索 (spatio-temporal cues)，同时抑制隐私属性，且具有非常低的计算复杂度 (space-time complexity)。

• 端到端对抗训练框架： BDQ 的参数通过一个新颖的端到端对抗训练框架进行优化。这个框架旨在最大化目标任务（动作识别）的准确性，同时最大化隐私属性学习的不确定性，从而在动作识别和隐私保护之间实现最佳权衡。

• 实现最先进的权衡： 在 SBU、KTH 和 IPN 三个基准数据集上，BDQ 编码器在动作识别准确率和隐私保护强度之间实现了最先进的 (state-of-the-art) 权衡，显著优于现有方法（如 Ryoo et al. 和 Wu et al.）。

• 与 DVS 事件相机性能相当： 论文证明 BDQ 实现的权衡效果与基于动态视觉传感器 (DVS) 的事件相机 (event cameras) 相当，表明其能够以传统相机模拟事件相机的隐私保护特性。

• 全面的分析和验证： 论文对 BDQ 编码器进行了广泛的分析，包括：

  • 消融研究 (Ablation study)： 验证了 BDQ 各个模块（Blur、Difference、Quantization）在隐私保护和动作识别中的作用。
  • 强隐私保护 (Strong privacy protection)： 证明了 BDQ 对多种先进的图像分类网络（作为潜在的攻击者）都具有鲁棒性。
  • 通用时空特征 (Generalized Spatio-temporal Features)： 验证了 BDQ 编码器输出的数据能够被多种动作识别网络有效利用。
  • 重建攻击鲁棒性 (Robustness to Reconstruction Attack)： 证明 BDQ 处理后的数据难以被重建回原始图像，从而有效抵抗重建攻击。
  • 主观评估 (Subjective Evaluation)： 通过用户研究，从人类视觉感知的角度验证了其隐私保护效果。

• 低空间-时间复杂度： BDQ 编码器与 Wu et al. 的方法相比，参数量和计算量显著更少，使其更适合在资源受限的设备上部署。

  这些发现共同解决了隐私保护型 CV 系统在实际应用中面临的挑战，为未来在个人空间中部署智能视觉系统提供了有效且高效的解决方案。

3. 预备知识与相关工作

3.1. 基础概念

• 隐私保护的动作识别 (Privacy-Preserving Action Recognition): 这是本文的核心任务。它指的是在识别视频中人物行为（如走路、跑步、挥手等）的同时，最大程度地隐藏或去除视频中与个人身份或敏感信息相关的视觉属性（如面部、性别、穿着、步态等）。目标是让模型只能识别动作，而不能识别执行动作的人。
• 对抗训练 (Adversarial Training): 是一种机器学习训练范式，通常涉及至少两个（或多个）相互对抗的模型。在这种方法中，一个模型（生成器或编码器）的目标是欺骗另一个模型（判别器或隐私攻击者），而判别器的目标是尽可能准确地识别或提取信息。在本文中，编码器 BDQ 的目标是生成既能让动作识别模型准确识别动作，又能让隐私攻击模型难以提取隐私属性的输出。
• 3D 卷积神经网络 (3D Convolutional Neural Network, 3D CNN): 传统的 2D CNN 主要处理图像的空间维度。3D CNN 引入了第三个维度——时间维度，使其能够同时从视频帧的空间和时间信息中学习特征。这对于动作识别等需要捕捉时序动态的任务至关重要。
• 2D 卷积神经网络 (2D Convolutional Neural Network, 2D CNN): 主要用于图像处理任务，通过在二维空间（宽度和高度）上滑动卷积核来提取特征。在本文中，2D CNN 主要用于隐私属性的识别，因为它处理的是单帧图像的隐私信息。
• 量化 (Quantization): 指将连续或大范围离散的数值映射到较小范围离散值的过程。在图像处理中，量化可以减少图像的颜色深度或灰度级，从而减少信息量。在隐私保护的背景下，通过量化可以去除图像中的低级（精细）视觉细节，这些细节可能泄露隐私信息。
• 隐私属性 (Privacy Attributes): 指视频或图像中可能泄露个人身份或敏感信息的视觉特征。在本文的实验中，这些属性包括：
  • SBU 数据集： 演员对 (actor-pair) 的身份。
  • KTH 数据集： 演员的身份 (actor identities)。
  • IPN 数据集： 演员的性别 (gender)。
• 动作属性 (Action Attributes): 指视频中人物执行的动作类别，是模型需要识别的目标。例如，SBU 数据集中的“接近”、“离开”、“推”、“踢”等互动动作；KTH 数据集中的“行走”、“慢跑”、“跑步”等动作；IPN 数据集中的各种手势。

3.2. 前人工作

隐私保护的计算机视觉 (CV) 系统是一个活跃的研究领域，早期和现代方法各有侧重。

• 早期方法 (基于手工特征):

  • 策略： 这些方法主要依赖于预定义或手工设计的视觉降级技术，例如模糊 (blurring)、降采样 (down-sampling)、像素化 (pixelation) 以及面部/物体替换 (face/object replacement)。
  • 局限性： 这种方法需要大量的领域知识来确定哪些特征是敏感的以及如何有效地隐藏它们。更重要的是，它们通常是“单向”的，即只考虑了视觉层面的隐私保护，而没有考虑到通过机器学习模型（尤其是深度神经网络）可能仍然可以提取出隐私信息。图 1 也说明了降采样可能对目标任务造成不可逆的信息损失。
  • 代表工作： [2,7,23]

• 现代方法 (数据驱动的对抗训练):

  • 策略： 这些方法采用数据驱动的方式，利用深度神经网络 (DNN) 和对抗训练来学习如何隐藏敏感信息。核心思想是训练一个编码器 (encoder) 来主动抑制视觉数据中的敏感属性，同时允许目标 CV 任务所需的属性通过。通常，编码器会与一个或多个“对抗性”的 DNN 训练，这些对抗性 DNN 的任务是尝试学习隐私属性。
  • 优点： 能够更智能、更自适应地在隐私保护和任务性能之间取得平衡，并能更好地防御复杂的机器学习攻击。
  • 代表工作： [5,24,33,37,16,21]
  • 硬件或光学实现： 还有一些工作探索通过硬件或光学操作来实现隐私保护，例如在相机系统层面进行模糊或身份去识别 [25]，或使用编码光圈掩膜 (coded aperture masks) [35,6]。

• 隐私保护的动作识别 (Specific to Action Recognition):

  • 低分辨率视频学习： 早期在这个子领域的工作侧重于从低分辨率视频中学习人类动作 [9,30,29]。Ryoo et al. [30,29] 提出学习图像变换以将帧降采样为低分辨率，用于动作识别。Wang et al. [35] 提出了一种无镜头编码孔径相机系统 (lens-free coded aperture camera system) 来实现隐私保护的动作识别。
  • 对抗训练引入： 为了解决低分辨率方法对抗性不足的问题（即 DNN 攻击者可能仍能学习隐私信息），Ren et al. [27] 首次提出使用对抗训练来学习视频面部匿名化 (video face anonymizer)，使其在移除敏感信息的同时最大化动作识别性能。
  • 通用编码器框架： Wu et al. [37,36] 进一步发展了对抗训练框架，提出并比较了多种框架来优化编码器参数。他们使用一个 UNet-like 编码器 [18]（可视为一个 2D 卷积的帧级滤波器），通过对抗训练使其允许动作识别属性，并抑制隐私属性。
    • 局限性： Wu et al. 的一个主要缺点是它需要一个对抗者集成 (ensemble of adversaries) 来提供强大的隐私保护，这增加了模型的复杂性和训练成本。

3.3. 技术演进

该领域的技术演进可以概括为从手工规则到数据驱动学习，再到兼顾效率与鲁棒性的转变：

1. 初始阶段 (手工规则)： 早期的隐私保护方案多采用简单的视觉变换（如模糊、降采样）。这些方法直观易实现，但无法抵御智能算法的攻击，且往往对目标任务性能造成较大损害。
2. 过渡阶段 (数据驱动，但可能复杂)： 随着深度学习的发展，研究者开始利用神经网络自动学习隐私保护的变换。对抗训练的引入标志着一个重要进步，它使得隐私保护和任务性能的平衡成为可能。Wu et al. 的 UNet 编码器是这一阶段的代表。然而，其复杂性（如需要对抗者集成）限制了实际应用。
3. 当前阶段 (本文贡献 - 简单、高效且鲁棒)： 本文提出的 BDQ 编码器代表了在保持数据驱动和对抗性学习优势的同时，向更简单、更高效的方向发展。通过精心设计的三个模块（Blur、Difference、Quantization），BDQ 在保持低空间-时间复杂度的同时，实现了与复杂 UNet 编码器甚至 DVS 事件相机相媲美的隐私-效用权衡。它强调了模块化、参数化和针对特定任务（动作识别）的优化设计。

3.4. 差异化分析

BDQ 方法与现有工作的主要区别和创新点在于：

• 模块化与物理直觉：

  • Ryoo et al. [30] (降采样)： 主要通过降低空间分辨率来实现隐私，但正如图 1 所示，这可能导致动作识别的关键空间信息丢失，且对深度学习攻击的防御能力有限。
  • Wu et al. [36] (UNet 编码器)： 使用一个复杂的 UNet 结构作为通用滤波器，虽然能够学习复杂的隐私保护变换，但模型参数量大，计算成本高，且可能需要多个对抗者才能提供强保护。
  • BDQ： 采取模块化设计，由 Blur (模糊)、Difference (差分) 和 Quantization (量化) 三个独立且具有清晰物理直觉的模块组成。Blur 处理高频空间细节，Difference 提取运动信息并抑制静态隐私，Quantization 进一步去除低级隐私。这种设计使得模型简单、参数少、计算效率高，且能更好地保留动作所需的时空线索。

• 信息处理策略：

  • Ryoo et al.： 简单粗暴地减少空间信息。
  • Wu et al.： 学习一个通用的图像到图像的映射，可能在空间和时间上都进行复杂的信息过滤。
  • BDQ： 明确地利用运动差分来突出时间信息并抑制静态背景和高级隐私属性，然后通过量化来进一步去除低级隐私属性。这种“先动后静，先高后低”的策略是其独特之处，能够有效分离动作信息和隐私信息。

• 计算效率：

  • BDQ 的参数量和计算量远低于 Wu et al. 的 UNet 编码器（见 Table 1），使其更适合在边缘设备上部署。

• 与事件相机的类比：

  • BDQ 通过其 Difference 模块，在某种程度上模拟了事件相机的工作原理（仅响应像素强度的变化）。这使得 BDQ 在传统相机框架下，能够实现与事件相机相似的隐私保护和动作识别性能权衡。

• 对时空分辨率的保留：

  • 与降采样方法不同，BDQ 在处理过程中保留了原始的空间和时间分辨率，确保了动作识别模型能够接收到完整的时空信息，而不是被大幅度压缩或丢失的信息。

    总而言之，BDQ 在结构上更简洁、计算上更高效、设计上更具物理直觉，并且在实验中表现出更好的隐私-效用权衡，同时能够有效抵抗各种攻击。

4. 方法论

4.1. 方法原理

BDQ 方法的核心原理在于通过一系列精心设计的视觉变换，在视频流的早期阶段（即“点捕获”时）对原始视觉数据进行编码，从而在不捕获敏感隐私信息的情况下，保留足以进行动作识别的关键信息。其直觉是：动作通常表现为像素强度的变化（运动），而身份等隐私信息更多地存在于静态或慢变化的纹理细节中。通过模糊、差分和量化这三个模块，BDQ 旨在：

1. 模糊 (Blur): 抑制图像边缘的高频细节，这些细节可能包含隐私信息。

2. 差分 (Difference): 突出帧间的运动信息，同时消除或大幅抑制静态背景和高级隐私属性。

3. 量化 (Quantization): 进一步去除运动差分帧中的低级（精细）像素强度信息，使残余的隐私属性难以被提取。

   为了确保这些模块的参数能够协同工作，实现隐私和效用的最佳平衡，BDQ 采用了一种端到端 (end-to-end) 的对抗训练框架。在这个框架中，BDQ 编码器被训练成一个“生成器”，它生成的数据既要能被动作识别模型正确分类，又要能“欺骗”隐私属性识别模型，使其无法准确识别隐私信息。

4.2. 核心方法详解

BDQ 编码器由 Blur、Difference 和 Quantization 三个模块组成，按照顺序对输入视频帧进行处理。图 2 展示了 BDQ 的架构和对抗训练框架。

4.2.1. BDQ 编码器模块

4.2.1.1. 模糊模块 (Blur Module)

目的： Blur 模块的目标是平滑输入帧的边缘，从而抑制可能泄露隐私的明显空间高频特征。通过模糊，它为后续的 Difference 模块做准备，帮助抑制运动差分帧中可能出现的边缘隐私信息。

实现： 给定一个输入视频帧 $v_i$，模糊后的帧 $B_{v_i}$ 是原始帧 $v_i$ 与一个 2D 高斯核 (Gaussian kernel) $G_{\sigma}$ 的卷积结果。

高斯核 $G_{\sigma}$ 的定义如下： $$G_{\sigma} = \frac{1}{2\pi\sigma^2} \exp\left(-\frac{x^2 + y^2}{2\sigma^2}\right)$$ 其中：

• x, y：高斯核中的像素坐标。
• $\sigma$：高斯函数的标准差 (standard deviation)，这是一个可学习的参数，在对抗训练过程中进行优化。
• $B_{v_i} = G_{\sigma} * v_i$ （这里原文省略了卷积符号，但上下文明确表示为卷积）。

参数：

• 卷积核的窗口大小 (Window-size) 固定为 $5 \times 5$。
• 标准差 $\sigma$ 是在对抗训练中学习的参数。选择小的窗口大小是为了稳定训练并避免丢失重要的空间特征。

4.2.1.2. 差分模块 (Difference Module)

目的： Difference 模块在经过 Blur 模块处理后的连续两帧之间执行像素级强度相减。它有两个主要作用：

1. 突出运动特征： 通过计算帧间差异，它能够显著突出视频中的运动区域和运动方向，这对于动作识别任务至关重要。许多先进的动作识别方法也利用时间差分来提取运动特征。

2. 抑制高级隐私属性： 静态背景和不动的物体（包括人体静态部分）在连续帧间的像素值变化很小，甚至没有变化。通过相减，这些静态或慢变化的高级空间隐私线索（如背景环境、衣物颜色、身体纹理等）会被大幅度抑制或消除。

   实现： 给定两帧经过模糊处理的连续帧 $B_{v_i}$ 和 $B_{v_j}$，差分模块输出一帧 $D(B_{v_i}, B_{v_j})$： $$D(B_{v_i}, B_{v_j}) = B_{v_i} - B_{v_j}$$ 其中：

• $B_{v_i}$：当前帧 $v_i$ 经过模糊模块处理后的帧。

• $B_{v_j}$：前一帧 $v_j$ 经过模糊模块处理后的帧。

  参数： 这个模块不包含任何可学习的参数 (learnable parameters)。对于在线应用，它需要存储前一帧的副本进行计算。

4.2.1.3. 量化模块 (Quantization Module)

目的： 尽管 Blur 和 Difference 模块能抑制高级空间隐私线索，但它们可能无法完全保护所有隐私信息，因为低级（精细）的空间隐私线索可能仍然存在。Quantization 模块的任务就是通过对运动差分帧应用像素级量化函数来去除这些低级隐私属性，使攻击者难以学习和重建隐私属性。

实现： 原始的量化函数将连续输入 $x$ 映射到离散输出 $y$。 $$y = \sum_{n=1}^{N-1} \mathcal{U}(x - b_i)$$ 其中：

• $y$：离散的量化输出。
• $x$：连续的输入（来自 Difference 模块的输出）。
• $b_i = \{0.5, 1.5, 2.5, \ldots, N-1.5\}$：量化阈值 (quantization boundaries)。
• $N = 2^k$：量化级别数，其中 $k$ 是量化位数 (number of bits)。
• $\mathcal{U}$：Heaviside 函数 (Heaviside function)，定义为： $$\mathcal{U}(z) = \begin{cases} 0 & \text{if } z < 0 \\ 1 & \text{if } z \geq 0 \end{cases}$$ 这意味着当 $x \geq b_i$ 时，$\mathcal{U}(x - b_i) = 1$，否则为 0。因此，$y$ 统计了输入 $x$ 超过了多少个阈值 $b_i$，从而实现量化。

可微分近似： 原始的 Heaviside 函数是不可微分的，不适合反向传播训练。因此，遵循 [38,33] 的方法，作者使用可微分的 sigmoid 函数 $\sigma()$ 来近似 Heaviside 函数： $$\sum_{n=1}^{N-1} \sigma(H(x - b_i))$$ 其中：

• $H$：标量硬度项 (scalar hardness term)，控制 sigmoid 函数的陡峭程度，使其更好地近似 Heaviside 函数。
• $\sigma(z) = \frac{1}{1 + e^{-z}}$：sigmoid 函数。

参数：

• 可学习的参数是 $b_i$ 值（量化阈值）。
• 在本文中，BDQ 固定 $N-1 = 15$，即 $N=16$ 个量化级别，所以 $b_i$ 有 15 个值，并初始化为 $0.5, 1.5, \ldots, 14.5$。
• 输入到 Quantization 模块的帧会被归一化到 0 到 15 之间。
• 请注意，这里的量化输出可以是浮点数而非严格整数，因为没有施加硬件约束。

4.2.2. BDQ 编码器的训练 (Training BDQ Encoder)

BDQ 编码器的参数（如 Blur 模块的 $\sigma$ 和 Quantization 模块的 $b_i$）通过一个三方非零和博弈 (three-player non-zero sum game) 的对抗训练框架进行优化。这个框架的目标是：

1. 最大化动作识别的准确性： 确保编码器的输出能够被动作识别模型 $T$ 有效利用。
2. 最大化隐私属性学习的不确定性： 确保编码器的输出能够“欺骗”隐私属性识别模型 $P$，使其难以预测隐私信息。

训练组件：

1. BDQ 编码器 ($E$): 包含 Blur、Difference 和 Quantization 模块，其参数记为 $\theta_E$。

2. 动作识别模型 ($T$): 一个 3D CNN，用于预测目标动作属性，其参数记为 $\theta_T$。

3. 隐私属性识别模型 ($P$): 一个 2D CNN，用于预测隐私属性，其参数记为 $\theta_P$。

   训练步骤： 训练过程分为两个交替进行的步骤，直到隐私属性得到充分保护且动作识别性能没有显著下降。

步骤 1：训练编码器 $E$ 和动作识别模型 $T$ 在此步骤中，隐私属性识别模型 $P$ 的参数 $\theta_P$ 被固定。编码器 $E$ 和动作识别模型 $T$ 共同训练，目标是：

• 最小化动作识别的交叉熵损失。
• 最大化隐私属性识别模型 $P$ 输出的熵，即最大化 $P$ 预测隐私属性的不确定性。 这通过以下损失函数实现： $$\mathcal{L}(V, \theta_E, \theta_T) = \mathcal{XE}(T(E(V)), L_{action}) - \alpha \mathcal{E}(P(E(V)))$$ 其中：
• $V$：输入视频序列。
• $\theta_E, \theta_T$：BDQ 编码器和动作识别模型的参数。
• $\mathcal{XE}(A, B)$：表示交叉熵损失 (cross-entropy loss)，衡量模型 $A$ 的预测与真实标签 $B$ 之间的差异。在这里，是动作识别模型 $T$ 对编码器 $E$ 输出 E(V) 的预测与真实动作标签 $L_{action}$ 之间的交叉熵。
• $\mathcal{E}(P(E(V)))$：表示熵函数 (entropy function)，衡量隐私属性识别模型 $P$ 对编码器 $E$ 输出 E(V) 的预测的确定性。熵值越高，表示 $P$ 的预测越不确定，即隐私保护效果越好。
• $L_{action}$：真实动作标签。
• $\alpha$：对抗权重 (adversarial weight)，是一个超参数，用于平衡动作识别性能和隐私保护强度。$\alpha$ 越大，隐私保护的优先级越高。

步骤 2：训练隐私属性识别模型 $P$ 在此步骤中，编码器 $E$ 和动作识别模型 $T$ 的参数 $\theta_E, \theta_T$ 被固定。隐私属性识别模型 $P$ 独立训练，目标是尽可能准确地识别隐私属性。 这通过以下损失函数实现： $$\mathcal{L}(V, \theta_P) = \mathcal{XE}(P(E(V)), L_{privacy})$$ 其中：

• $\theta_P$：隐私属性识别模型的参数。

• $L_{privacy}$：真实隐私标签。

  通过这两个步骤的交替训练，编码器 $E$ 被“迫使”生成同时满足两个矛盾目标的输出：对 $T$ 有用，对 $P$ 无用。这使得 BDQ 能够学习在保护隐私的同时，最大限度地保留动作识别所需的信息。

5. 实验设置

5.1. 数据集

实验使用了三个基准数据集来评估 BDQ 编码器在隐私保护动作识别任务上的性能。

5.1.1. SBU Kinect Interaction Dataset (SBU)

• 来源： [39]
• 特点： 这是一个两人互动数据集，视频以 15 帧每秒 (fps) 录制。
• 内容： 包含七名演员以八种方式进行互动：接近 (approaching)、离开 (departing)、推 (pushing)、踢 (kicking)、打拳 (punching)、交换物品 (exchanging objects)、拥抱 (hugging) 和握手 (shaking hands)。
• 原始划分： 数据集最初分为 21 个集合，每个集合对应一对演员进行所有八种互动。某些集合可能包含相同的演员对，但在其中一个集合中，一名演员表演，另一名演员反应；在另一个集合中，角色互换。
• 本论文使用： 遵循 [37,36] 的方法，将含有相同演员对的集合合并，最终得到 13 个不同的演员对类别。
  • 目标任务： 将视频分类为八种互动/动作类别之一。
  • 隐私标签预测任务： 识别视频中的演员对（共 13 种）。

5.1.2. KTH Dataset (KTH)

• 来源： [31]
• 特点： 这是一个视频动作识别数据集，视频以 25 fps 录制。
• 内容： 包含 25 名演员，每人表演六种动作：行走 (walk)、慢跑 (jog)、跑步 (run)、拳击 (box)、挥手 (hand-wave) 和拍手 (hand clap)。
• 变体： 动作在不同场景和条件下录制，包括室外、带比例变化的室外、穿着不同服装的室外以及室内。
• 本论文使用：
  • 目标任务： 识别六种动作类别。
  • 隐私标签预测任务： 识别 25 名演员的身份。

5.1.3. IPN Hand Gesture Dataset (IPN)

• 来源： [4]
• 特点： 这是一个视频手势数据集，视频以 30 fps 录制。
• 内容： 包含 50 名演员，每人表演 13 种常见于无触控屏幕互动的手势：单指指向 (pointing with one finger)、双指指向 (pointing with two fingers)、单指点击 (click with one finger)、双指点击 (click with two fingers)、上抛 (throw up)、下抛 (throw down)、左抛 (throw left)、右抛 (throw right)、双开 (open twice)、单指双击 (double click with one finger)、双指双击 (double click with two fingers)、放大 (zoom in) 和缩小 (zoom out)。
• 本论文使用：
  • 目标任务： 识别 13 种手势类别。
  • 隐私标签预测任务： 识别演员的性别（男性/女性，共 2 类）。
  • 若原文提供了数据集中的具体样本示例： （原文未直接提供数据集的图像样本，但描述了其内容，已在上方详细说明）

5.2. 评估指标

论文主要使用准确率 (Accuracy) 作为评估模型在动作识别和隐私属性预测任务上的性能指标。

5.2.1. 准确率 (Accuracy)

• 概念定义 (Conceptual Definition): 准确率衡量的是模型正确预测样本数量占总预测样本数量的比例。这是一个直观且广泛使用的分类任务性能指标，越高表示模型性能越好。在隐私保护任务中，我们希望隐私模型预测隐私属性的准确率越低越好，以表明隐私得到了有效保护。
• 数学公式 (Mathematical Formula): $$\text{Accuracy} = \frac{\text{Number of correct predictions}}{\text{Total number of predictions}}$$
• 符号解释 (Symbol Explanation):

  • Number of correct predictions：模型做出正确预测的样本数量。

  • Total number of predictions：模型进行预测的总样本数量。

    除了准确率，论文还通过性能权衡曲线 (Performance Trade-off Curve) 来评估方法。

• 概念定义： 这是一种可视化方式，用于展示在不同参数设置下，目标任务（如动作识别）的准确率与隐私保护任务（如隐私属性预测）的准确率之间的关系。理想情况下，一个好的隐私保护方法应该在保持高动作识别准确率的同时，将隐私属性预测准确率降到尽可能低。因此，曲线越靠近图表的左上角（高动作准确率，低隐私准确率），表示权衡效果越好。

5.3. 对比基线

论文将 BDQ 方法与两种主要类型的隐私保护方法进行了比较：

5.3.1. Ryoo et al. [30] (降采样模块)

• 核心思想： 该方法通过降采样 (down-sampling) 来降低视频的空间分辨率，从而实现隐私保护。它学习图像变换，将高分辨率的动作视频降采样为固定低分辨率的视频。这些变换包括子像素平移 (sub-pixel translation)、缩放 (scaling)、旋转 (rotation) 和其他仿射变换 (affine transformations)，以模拟可能的相机运动，并为动作识别任务进行优化。
• 评估方式： 论文在实验中使用了多种低空间分辨率进行测试：$112 \times 112$、$56 \times 56$、$28 \times 28$、$14 \times 14$、$7 \times 7$ 和 $4 \times 4$。对于每种分辨率，生成对应的低分辨率视频，并训练 3D ResNet-50 进行动作识别，2D ResNet-50 进行隐私标签预测。
• 代表性： 作为一种简单、直观的隐私保护方法，代表了通过直接减少视觉信息来实现隐私保护的思路。

5.3.2. Wu et al. [36] (UNet-like 编码器与对抗训练)

• 核心思想： 该方法使用一个 UNet-like 网络 [18] 作为降级编码器 (degradation encoder)。这个 UNet 可以被看作是一个基于 2D 卷积的帧级滤波器 (frame-level filter)，将每个输入帧转换为一个形状与原始帧相同的特征图。它采用与 BDQ 类似的对抗训练方法来优化编码器，使其允许动作识别所需的时空属性，同时抑制隐私属性。

• 评估方式： 论文使用与原始工作相同的对抗训练方法，其中隐私模型会在一定迭代后重置以提高性能。动作识别使用 3D ResNet-50，隐私预测使用 2D ResNet-50。验证方法与 BDQ 相同。

• 代表性： 代表了使用复杂的深度学习模型（如 UNet）和对抗训练来实现隐私保护的先进方法。

  这两个基线方法具有代表性，分别代表了直接降低分辨率的传统方法和基于复杂神经网络的现代对抗方法，为评估 BDQ 的优越性提供了全面的对比。

5.4. 实现细节

5.4.1. 对抗训练 (Adversarial Training)

• 组件：
  • BDQ 编码器 ($E$)
  • 动作识别模型 ($T$): 使用预训练的 3D ResNet-50 网络。
  • 隐私属性预测模型 ($P$): 使用预训练的 2D ResNet-50 网络。
• 初始化： 3D ResNet-50 使用 Kinetics-400 预训练权重进行初始化，2D ResNet-50 使用 ImageNet 预训练权重进行初始化。
• 输入序列：
  • 从输入视频中密集采样 (densely sample) 连续 $t$ 帧。
  • $t = 16$ 帧用于 SBU 数据集。
  • $t = 32$ 帧用于 KTH 和 IPN 数据集。
• 空间数据增强 (Spatial Data Augmentation)：
  • 对于每个输入序列，随机选择一个空间位置和一个比例进行多尺度裁剪 (multi-scale cropping)。
  • 比例从集合 $\{1, \frac{1}{2^{1/4}}, \frac{1}{2^{3/4}}, \frac{1}{2}\}$ 中随机选取。
  • 最终输出的输入序列尺寸为 $224 \times 224$。
• 数据流： 输入序列经过 BDQ 编码器处理后，其输出同时传递给 3D ResNet-50 进行动作识别和 2D ResNet-50 进行隐私标签预测（如图 2 所示）。
• 损失函数与参数： 按照 4.2.2 节所述的对抗训练框架进行优化。
  • 对抗权重 $\alpha$:
    • SBU 数据集：$\alpha = 2$
    • KTH 数据集：$\alpha = 1$
    • IPN 数据集：$\alpha = 8$
  • 标量硬度项 $H$: 对于所有数据集均设置为 5。
• 优化器与超参数：
  • 训练总轮次 (epochs): 50。
  • 优化器 (Optimizer): 随机梯度下降 (SGD)。
  • 学习率 (Learning Rate, LR): 0.001。
  • 学习率调度器 (Scheduler): 余弦退火 (cosine annealing scheduler)。
  • 批处理大小 (Batch Size): 16。

5.4.2. 验证 (Validation)

• 模型冻结与重新实例化： 训练完成后，冻结 (freeze) 训练好的 BDQ 编码器。
  • 为动作识别任务，实例化一个新的 3D ResNet-50 模型。
  • 为隐私标签预测任务，实例化一个新的 2D ResNet-50 模型。
• 初始化： 这些新的模型也分别使用 Kinetics-400 和 ImageNet 预训练权重进行初始化。
• 训练： 使用 BDQ 编码器在训练集视频上生成的输出，来训练这些新的 3D ResNet-50 和 2D ResNet-50 模型。
  • 训练轮次：50。
  • 优化器：SGD。
  • 学习率：0.001。
  • 学习率调度器：余弦退火。
  • 批处理大小：16。
• 验证输入：
  • 从每个输入视频中采样连续 $t$ 帧，不进行随机移位 (random shift)。
  • $t = 16$ 帧用于 SBU。
  • $t = 32$ 帧用于 KTH 和 IPN。
  • 对序列中的每帧进行中心裁剪 (center crop)，裁剪区域为 $224 \times 224$ 的正方形（不进行缩放）。
• 性能报告：
  • 动作识别： 使用生成的序列在 3D ResNet 模型上报告 clip-1 crop-1 accuracy（即对单个剪辑和单个中心裁剪区域的准确率）。
  • 隐私预测： 对 2D ResNet-50 模型在 $t$ 帧上的 softmax 输出进行平均，然后报告平均准确率。

6. 实验结果与分析

6.1. 核心结果分析

论文通过可视化（图 3）和定量比较（图 3 第一行和表 1）展示了 BDQ 编码器在动作识别准确率和隐私属性预测准确率之间的权衡性能，并与 Ryoo et al. 和 Wu et al. 的方法进行了比较。

以下是原文 Figure 3 的分析：

该图像是图表，展示了在三个数据集（SBU、KTH和IPN）上的性能权衡（第一行）和学习到的量化步骤（第二行）。不同的方法在动作、身份、手势和性别准确率上的表现被比较，BDQ方法在准确性上表现出色。

Fig. 3: Performance trade-off (row 1) and learned quantization steps (row 2) on the three datasets: SBU, KTH, and IPN.

• 性能权衡图 (Figure 3, Row 1):

  • Ryoo et al. [30] (降采样): 如图 3 第一行所示，降采样方法（蓝色点，大标记表示更高降采样率）虽然随着降采样率增加，隐私属性预测准确率有所下降（隐私保护效果增强），但动作识别准确率下降得更快。这表明降采样在保护隐私的同时，对目标任务的伤害更大，未能实现良好的权衡。尤其在 KTH 和 IPN 数据集上，动作识别准确率下降非常明显。
  • Wu et al. [36] (UNet 编码器): Wu et al. 的方法（绿色点）在所有数据集上都显著优于 Ryoo et al.。它能在相对较高的动作识别准确率下，实现更低的隐私属性预测准确率，表明其通过对抗训练能够更好地平衡这两个目标。
  • BDQ 编码器 (本文方法): BDQ 编码器（红色点）在所有三个数据集上都表现出最接近理想权衡（即高动作识别准确率、低隐私属性预测准确率）的性能。它显著超越了 Ryoo et al. 和 Wu et al.，在保持高动作识别性能的同时，将隐私属性预测准确率降到了更低的水平。这有力证明了 BDQ 设计的有效性。

• 学习到的量化步骤 (Figure 3, Row 2):

  • 图 3 第二行展示了 BDQ 编码器在不同数据集上学习到的量化步骤（即量化阈值 $b_i$）。这些离散的步骤表明 BDQ 通过学习合适的量化边界，成功地将连续的运动差分信息映射到有限的离散级别，从而有效地去除低级隐私信息。不同数据集的学习步骤略有差异，反映了数据特性的不同。

    以下是原文 Table 1 的结果：

    Method Params.		Size	FLOPs
    Wu et al	1.3M	3.8Mb	166.4G
    BDQ	16	3.4Kb	120.4M

以下是原文 Table 1 的结果：

• 空间-时间复杂度比较 (Table 1):

  • BDQ 与 Wu et al. 的编码器在空间-时间复杂度上进行了比较。结果显示，BDQ 的参数量 (Params.) 仅为 16 个，模型大小 (Size) 仅为 3.4 KB，浮点运算量 (FLOPs) 为 120.4 M。

  • 相比之下，Wu et al. 的编码器参数量为 1.3 M，模型大小为 3.8 MB，FLOPs 高达 166.4 G。

  • 分析： BDQ 在参数量、模型大小和计算量上都显著低于 Wu et al. 的方法。这表明 BDQ 不仅在性能权衡上更优，而且在资源效率上也具有压倒性优势，非常适合在计算资源受限的边缘设备上部署。

    总而言之，核心结果表明 BDQ 编码器在隐私保护和动作识别之间实现了最先进的权衡，并且在计算效率上远超现有基于深度学习的对抗方法。

6.2. 消融实验/参数分析

作者对 BDQ 编码器的三个核心模块（Blur、Difference、Quantization）进行了消融研究，以理解它们各自以及组合对隐私保护和动作识别性能的贡献。同时，也分析了对抗参数 $\alpha$ 对模型行为的影响。

以下是原文 Figure 4 的结果：

该图像是图表，左侧展示了消融研究的结果，其中大点表示更高的 eta 值，右侧则呈现了对抗参数 eta 在量化步骤上的影响。

Fig. 4: Left- Results of the ablation study. Here, a bigger $\cdot$ corresponds to a higher value of $\alpha$ . RightEffect of the adversarial parameter $\alpha$ on the quantization steps.

6.2.1. 消融研究结果 (Figure 4, Left)

该图显示了在 SBU 数据集上，不同模块组合的动作识别准确率 (Action Accuracy) 和演员对识别准确率 (Actor-pair Accuracy)。

• 基线（Original Video）： 直接使用原始视频进行识别，动作识别准确率最高，隐私属性识别准确率也最高（接近 100%），意味着没有任何隐私保护。
• 单个模块：
  • $B$ (Blur): 仅使用模糊模块，对隐私保护效果甚微，动作识别准确率略有下降。
  • $D$ (Difference): 仅使用差分模块。**有趣的是，$D$ 模块在所有单模块组合中实现了最高的动作识别准确率。**这表明 Difference 模块在突出运动特征方面非常有效，对动作识别有显著益处。然而，它对隐私保护的贡献有限，隐私准确率仍然很高。
  • $Q$ (Quantization): 仅使用量化模块，对隐私和动作识别的影响都较小，效果不如 $D$。
• 两个模块组合：
  • $B+D$ (Blur + Difference): 模糊和差分结合，对隐私保护和动作识别的影响仍然有限，与原始视频的情况接近。
  • $B+Q$ (Blur + Quantization): 模糊和量化结合，效果一般。
  • $D+Q$ (Difference + Quantization): **差分和量化结合时，隐私准确率出现了显著下降。**这表明 Quantization 模块在 Difference 模块的基础上，能够进一步有效去除低级隐私信息。
• 所有模块组合 (BDQ): 当 $B$、$D$ 和 $Q$ 所有模块结合时，隐私准确率进一步大幅下降，而动作识别准确率保持在较高水平。这证明了 BDQ 整体设计的协同效应，即每个模块都为最终的隐私保护和动作识别权衡做出了贡献。

结论：

• Difference 模块是提取动作特征的关键。
• Quantization 模块对隐私保护至关重要，尤其是在 Difference 模块之后。
• Blur 模块在 Difference 和 Quantization 的协同下，进一步加强了隐私保护。
• BDQ 的所有组件都是实现优越权衡所必需的。

6.2.2. 对抗参数 $\alpha$ 的影响 (Figure 4, Right)

• 分析： 图 4 右侧展示了对抗参数 $\alpha$ 如何影响量化步骤（即量化阈值 $b_i$）。
• $\alpha = 0$ (无对抗训练): 当 $\alpha = 0$ 时（没有隐私保护的对抗目标），隐私准确率下降非常小。此时，量化步骤分布相对均匀，表明量化力度较小。
• $\alpha$ 增加： 随着 $\alpha$ 值的增加，BDQ 编码器被赋予了更高的隐私保护优先级。图 4 左侧的散点图中，较大的点对应于较大的 $\alpha$ 值。我们观察到：

  • 隐私准确率和动作识别准确率都开始下降。

  • **动作识别准确率下降得更急剧，**这表明隐私保护和动作识别之间存在固有的权衡。过强的隐私保护会导致动作信息的损失。

  • 图 4 右侧显示，随着 $\alpha$ 的增加，量化步骤的分布变得更加稀疏或集中，这意味着量化程度增加了。更强的量化会去除更多的信息，从而导致隐私属性和动作属性都更难被识别。

    结论： 对抗参数 $\alpha$ 是调整隐私保护和动作识别之间权衡的关键超参数。通过调整 $\alpha$，可以控制 BDQ 编码器在信息丢失和隐私保护之间的平衡点，这直接影响了量化模块的行为。

6.3. 强隐私保护

这一部分旨在验证 BDQ 编码器是否能够提供针对各种潜在攻击者（即不同的图像分类网络）的强大隐私保护。

以下是原文 Figure 5 的结果：

该图像是一个柱状图，展示了不同图像分类网络在演员配对准确率上的表现。图中的蓝色柱子代表原始视频的准确率，而橙色柱子表示经过降质处理的视频的准确率。对比显示，在大多数网络中，原始视频的准确率显著高于降质视频。

Fig. 5: Actor-pair accuracy on various image classification networks.

• 实验设置： 论文使用了 10 种不同的最先进的图像分类网络作为攻击者，包括 ResNet-50、ResNet-101、ResNext-101、MobileNet-v2、MobileNet-v3、ShuffleNet-v2、DenseNet-121、SqueezeNet、Inception-v3 和 GoogLeNet。
  • 首先，使用在第 4 节训练好的 BDQ 编码器生成 SBU 数据集的降级视频 (degraded video)。
  • 然后，使用这些降级视频来训练上述 10 种网络，使其预测演员对标签（隐私属性）。
  • 为了进行比较，也使用原始视频训练这些网络作为基线。
  • 所有网络都使用 ImageNet 预训练权重进行初始化。
• 结果分析 (Figure 5):
  • 原始视频 (蓝色柱): 10 种网络在原始视频上识别演员对的准确率普遍较高（大部分高于 90%），表明原始视频确实包含丰富的隐私信息。
  • BDQ 降级视频 (橙色柱): 在经过 BDQ 编码器处理的降级视频上，所有网络的演员对识别准确率都大幅下降。
    • ResNet-50 表现“最好”的攻击者（即准确率最高，为 34.18%）。
    • MobileNet-v3 表现“最差”的攻击者（即准确率最低，为 25.46%）。
  • 结论： 尽管 BDQ 编码器在训练过程中只“见过” ResNet-50 这个攻击者，但它对所有 10 种不同的、最先进的图像分类网络都表现出一致的隐私保护能力，将隐私属性识别准确率降至非常低的水平（甚至低于随机猜测的一半）。这表明 BDQ 提供了强大的、泛化性好的隐私保护，能够有效抵抗各种潜在的攻击者。

6.4. 通用时空特征

这一部分旨在验证 BDQ 编码器输出的降级视频是否仍然包含足够的、通用的时空特征，能够被各种不同的动作识别网络有效利用。

以下是原文 Figure 6 的结果：

该图像是图表，展示了不同动作识别网络在原始视频和降级视频上的动作识别准确率。纵轴表示准确率（%），横轴为不同的3D网络模型，包括3D ResNet50、3D ResNet101、3D ResNext101、3D MobileNetv2和3D ShuffleNetv2。

Fig. 6: Action recognition accuracy on various action recognition networks.

• 实验设置：
  • 使用在第 4 节训练好的 BDQ 编码器生成 SBU 数据集的降级视频。
  • 然后，使用这些降级视频来训练五种不同的 3D CNN 动作识别网络：3D ResNet-50、3D ResNet-101、3D ResNext-101、3D MobileNet-v2 和 3D ShuffleNet-v2。
  • 为了进行比较，也使用原始视频训练这些网络作为基线。
  • 所有网络都使用 Kinetics-400 预训练权重进行初始化。
• 结果分析 (Figure 6):
  • 原始视频 (蓝色柱): 各种 3D CNN 网络在原始视频上识别动作的准确率普遍较高（大部分高于 85%），这代表了它们的最佳性能。
  • BDQ 降级视频 (橙色柱): 在经过 BDQ 编码器处理的降级视频上，所有网络的动作识别准确率都保持在较高水平，仅比在原始视频上的基线性能略低。
    • 3D ResNext-101 表现最好，达到 85.1%。
    • 3D ShuffleNet-v2 表现最差，达到 81.91%。
  • 结论： 尽管 BDQ 编码器经过了隐私保护处理，但其输出仍然能够被各种不同的 3D CNN 动作识别网络有效地学习和利用，以实现接近原始视频的动作识别性能。这表明 BDQ 编码器成功地保留了对动作识别至关重要的通用时空信息，而没有过度损害这些特征。

6.5. 重建攻击鲁棒性

这一部分探讨了 BDQ 编码器对重建攻击的鲁棒性。重建攻击是指攻击者尝试通过逆向工程 BDQ 编码器的输出，将其恢复为原始视频，从而窃取隐私信息。

以下是原文 Figure 7 的结果：

该图像是插图，展示了不同参数 $\alpha$ 值下的重构结果与原始帧的对比。图像分为两行，第一行展示了原始帧及使用 BDQ 模块（$\alpha = 0$）的效果，第二行则展示了 Rec. BDQ 模块在 $\alpha = 0$ 和 $\alpha = 2$ 下的重构效果。该图旨在证明 BDQ 编码器在隐私保护与动作识别之间的有效权衡。

Fig. 7: Visualization of reconstruction results for $\alpha = 0$ and 2.

• 实验设置：
  • 攻击者模型： 训练一个 3D UNet 模型 [8] 作为重建网络。
  • 训练数据：
    • 情景 1 (弱隐私保护): 使用未经训练的 BDQ 编码器（即 $\alpha=0$ 时，没有隐私保护目标）的输出作为输入，原始视频作为真实标签，训练 3D UNet。
    • 情景 2 (强隐私保护): 使用经过训练的 BDQ 编码器（即 $\alpha=2$ 时，具有强隐私保护目标）的输出作为输入，原始视频作为真实标签，训练 3D UNet。
  • 训练 200 轮次，使用 SBU 数据集。
• 结果分析 (Figure 7):
  • 原始帧 (Original Frame): 第一列展示了原始视频帧，包含清晰的身份和背景信息。
  • BDQ $\alpha=0$ (第二列): 这是未经训练的 BDQ 编码器输出的降级视频。可以看到，它保留了大部分原始视觉信息，隐私属性仍然清晰可见。
  • Rec. BDQ ($\alpha=0$) (第四列): 当使用未经训练的 BDQ 输出进行训练时，重建网络能够成功地将视频重建回接近原始帧的效果。这意味着如果 BDQ 没有经过对抗训练以保护隐私，攻击者很容易重建出原始信息。
  • BDQ $\alpha=2$ (第三列): 这是经过对抗训练的 BDQ 编码器（$\alpha=2$）输出的降级视频。可以看到，图像内容变得非常抽象和模糊，高级和低级隐私属性都已被有效抑制，难以直接辨认。
  • Rec. BDQ ($\alpha=2$) (第五列): 当使用经过训练的 BDQ 输出进行训练时，重建网络未能成功重建出原始视频。重建结果仍然高度模糊和抽象，原始的隐私信息（如面部特征、衣物细节）几乎无法辨认。
• 结论： 实验证明，经过对抗训练的 BDQ 编码器（例如 $\alpha=2$）能够显著抵抗重建攻击。即使攻击者能够访问编码器并拥有大量的训练数据，也难以从 BDQ 的输出中重建出可识别的隐私信息。这进一步证实了 BDQ 提供了强大的、面向对抗攻击的隐私保护。

6.6. 主观评估

主观评估旨在验证 BDQ 编码器产生的输出在人类视觉系统看来是否也具有隐私保护效果。

• 实验设置：
  • 用户研究： 对 SBU 数据集中的视频进行用户研究。
  • 视频处理： 视频首先通过在第 4 节训练好的 BDQ 编码器处理。
  • 任务： 60 个问题，每个问题包含一个 BDQ 处理后的视频。用户需要从 7 个选项中选择视频中两个互动演员的身份。
  • 参与者： 26 名参与者。
• 结果分析：
  • 随机猜测概率：
    • 同时选中两个正确演员的随机概率为 $1/7 \times 1/6 \approx 4.76\%$。
    • 至少选中一个正确演员的随机概率为 $1 - (5/7 \times 4/6) \approx 52.38\%$。
  • 用户识别准确率：
    • 参与者同时正确识别两个演员的准确率为 $8.65\%$。
    • 参与者至少识别一个正确演员的准确率为 $65.64\%$。
• 结论： 尽管人类用户能够识别出部分信息（尤其是至少识别一个演员的准确率略高于随机猜测），但同时识别两个演员的准确率（8.65%）仅略高于随机猜测（4.76%）。这表明 BDQ 编码器产生的视频在人类主观感知层面也具有一定的隐私保护效果，使得观察者难以轻易识别出视频中的个人身份。

6.7. 与事件相机的比较

事件相机 (Event Camera)，特别是动态视觉传感器 (Dynamic Vision Sensor, DVS)，被认为是未来隐私保护监控的解决方案。本节将 BDQ 编码器与事件相机进行了比较。

以下是原文 Figure 8 的结果：

该图像是示意图，展示了在不同阈值下（th = 0.4, 0.8, 1.2, 1.6, 2.0, 2.4）的人体动作识别准确率。每个阈值下显示的准确率分别为93.54%、92.47%、90.32%、87.09%、86.02%和82.79%，而演员对识别准确率在同一阈值下为73.99%、58.33%、47.84%、46.23%、40.12%和34.87%。

Fig.8: Example event frames (Row 1), event threshold (Row 2), action recognition accuracy (Row 3) and actor-pair recognition accuracy (Row 4) on SBU.

• 事件相机原理：

  • 传统相机捕捉完整帧图像，而 DVS 传感器仅在像素强度发生变化时（超过或低于某一阈值）记录一个“事件”。
  • 强度上升记录为正事件，下降记录为负事件。这些事件描述了运动的方向，并常以轮廓的形式呈现。
  • BDQ 编码器可以被视为 DVS 传感器的一种数字近似，因为它通过 Difference 模块来突出帧间变化，类似于事件相机只响应变化。

• 实验设置：

  • 事件数据生成： 使用 [11] 提出的方法，将 SBU 数据集的传统视频转换为合成事件 (synthetic events)，模拟 DVS 传感器的数据。
  • 阈值变化： 该方法允许调节像素级阈值 (pixel level threshold)，决定是否记录强度变化（事件）。高阈值导致事件较少，低阈值导致事件较多。
  • 事件帧生成： 将生成的事件数据转换为事件帧。
  • 模型训练： 使用事件帧训练 3D ResNet-50 进行动作识别，2D ResNet-50 进行演员对识别。初始化和训练设置与第 4 节相同。

• 结果分析 (Figure 8):

  • 事件帧示例 (Row 1): 展示了不同阈值下生成的事件帧。随着阈值增加，事件变得稀疏，图像细节减少。
  • 性能权衡 (Row 3 & 4):
    • 随着阈值 (threshold) 的增加 (Row 2)，记录的事件越少，图像细节越少。
    • 这导致动作识别准确率 (Row 3) 和演员对识别准确率 (Row 4) 都下降。
    • 当阈值较低时（例如 0.4），事件多，动作识别准确率高 (93.54%)，但隐私识别准确率也高 (73.99%)。
    • 当阈值较高时（例如 2.4），事件少，动作识别准确率降低 (82.79%)，但隐私识别准确率也降低 (34.87%)。
  • 与 BDQ 的比较： 结果显示，当事件相机的阈值设置为 2.4 时，其性能权衡（动作识别准确率 82.79%，隐私识别准确率 34.87%）与 BDQ 编码器在 $\alpha=2$ 时的权衡（见 4.3 节和图 3，SBU 数据集，动作识别约 85%，隐私识别约 34%）非常接近。

• 结论： 实验表明，BDQ 编码器能够在传统相机框架下，实现与基于 DVS 传感器的事件相机相媲美的隐私保护和动作识别性能权衡。这进一步证明了 BDQ 编码器在捕捉运动信息和抑制隐私信息方面的有效性，提供了一种经济高效的替代方案，可以在现有硬件上实现类似事件相机的隐私优势。

7. 总结与思考

7.1. 结论总结

本文提出了一种新颖的隐私保护编码器 BDQ (Blur, Difference, Quantization)，用于人体动作识别任务。BDQ 编码器由三个模块组成，其参数通过端到端的对抗训练框架进行优化。该框架旨在最大化动作识别的性能，同时最小化隐私属性被学习的可能性。

核心发现和贡献包括：

• 高效且鲁棒的设计： BDQ 编码器以其简单而模块化的设计，实现了卓越的性能，并在计算效率上远超现有复杂的深度学习方法。
• 最先进的权衡： 在 SBU、KTH 和 IPN 三个基准数据集上，BDQ 在动作识别准确率和隐私保护强度之间实现了最先进的 (state-of-the-art) 权衡。
• 类事件相机性能： BDQ 能够模拟 DVS 传感器（事件相机）的隐私保护特性，在传统相机平台上提供了类似的性能权衡。
• 全面的分析： 消融研究、对抗者鲁棒性、通用特征保留、重建攻击防御以及主观评估等多种分析方法，全面验证了 BDQ 编码器的有效性和鲁棒性。

7.2. 局限性与未来工作

作者在论文中明确指出了 BDQ 编码器的一个主要局限性：

• 对运动的依赖性： 由于 BDQ 的核心在于 Difference 模块，它依赖于像素强度的变化来提取信息和抑制隐私。因此，当主体或摄像机完全静止不动时，BDQ 编码器可能无法正常工作，因为它无法生成有效的运动差分帧。在这种情况下，其隐私保护和动作识别功能将受到严重限制。

  虽然作者没有明确提出未来工作方向，但基于其局限性和当前研究趋势，可以推断一些潜在的未来研究方向：

• 静止场景下的隐私保护： 针对主体或摄像机静止不动的情况，如何设计补充模块或调整 BDQ 的架构，以在缺乏运动信息时也能提供隐私保护（例如，结合其他类型的传感器数据或更复杂的静态图像去识别技术）。

• 更细粒度的隐私控制： 探索如何实现更细粒度（例如，特定部位的面部模糊，而非全身）或用户可控的隐私保护级别。

• 实时硬件部署： 尽管 BDQ 已经具有低复杂度，但进一步优化其在嵌入式系统或专用硬件上的实时部署，可能涉及硬件加速或更轻量级的量化策略。

• 多任务隐私保护： 将 BDQ 的思想扩展到除了动作识别之外的其他计算机视觉任务，如姿态估计、目标检测等，同时保持隐私。

• 适应性 $\alpha$ 值： 探索动态调整对抗参数 $\alpha$ 的策略，使其能够根据场景或用户需求，自适应地在隐私和效用之间进行权衡。

• 与事件相机的融合： 考虑到 BDQ 与事件相机的相似性，探索将 BDQ 与真实的事件相机数据相结合，或者设计混合系统，以利用两者的优势。

7.3. 个人启发与批判

7.3.1. 个人启发

这篇论文给我最大的启发是“大道至简”的设计理念。在深度学习领域，很多时候我们倾向于构建越来越复杂的模型来解决问题。然而，BDQ 编码器通过 Blur、Difference 和 Quantization 这三个简单、直观且具有明确物理意义的模块，结合巧妙的对抗训练，实现了比复杂 UNet 模型更好的性能权衡，并且在计算效率上具有巨大优势。这种模块化、可解释的设计不仅易于理解和实现，也为资源受限的边缘设备提供了切实可行的隐私保护方案。

其方法论的巧妙之处在于：

• 利用任务特性： 动作识别高度依赖运动信息。Difference 模块完美地捕捉了这一点，同时天然地过滤掉了静态背景和大部分高级隐私信息。这是针对任务特点进行的优化。
• 多层级隐私抑制： Blur 处理高频边缘，Difference 处理静态背景和高级属性，Quantization 处理低级细节。这种分层处理确保了隐私信息的全面抑制。
• 对抗训练的有效性： 论文再次证明了对抗训练在平衡矛盾目标（效用与隐私）方面的强大能力，它能够使编码器学会在信息丢失的边缘找到最佳平衡点。
• 与生物感知的联系： BDQ 与事件相机的类比，让我思考计算机视觉系统如何从生物感知（如人眼对运动的敏感性）中获得启发，设计出更高效、更具鲁棒性的系统。

7.3.2. 批判性思考

尽管 BDQ 取得了显著成果，但也有一些值得批判性思考的地方：

• 静止场景的局限性： 这是论文明确指出的局限性，也是最核心的问题。在智能家居监控等应用中，长时间的静止画面很常见（例如，用户睡觉、或只是坐在沙发上）。如果 BDQ 在这些情况下完全失效，那么其“隐私保护”的承诺在某些关键场景下会大打折扣。未来的工作必须解决这一问题，例如结合其他传感器或引入静态图像的隐私保护机制。

• 隐私属性的定义： 论文中的隐私属性（演员对、身份、性别）相对明确。但在实际应用中，“隐私”的定义可能更加主观和复杂。例如，步态、穿着风格、房间布局等都可能泄露隐私。BDQ 目前的模块是否足以保护所有这些更广义的隐私属性尚不明确。

• 主观评估的挑战： 主观评估的结果显示，用户同时识别两个演员的准确率为 8.65%，仅略高于随机猜测。但至少识别一个演员的准确率高达 65.64%。这表明，虽然 BDQ 模糊了身份，但仍可能提供一些线索，让人类能够进行部分推断。如何进一步降低这种“部分识别”的风险，是一个挑战。

• “黑盒”重建攻击的强度： 论文中的重建攻击假定攻击者可以访问 BDQ 编码器并产生大量训练数据。这是一种“白盒”或“灰盒”攻击。在更真实的“黑盒”攻击场景中（攻击者无法访问编码器内部，只能观察其输出），BDQ 的鲁棒性可能会有所不同。虽然论文已经展示了对多种分类器的鲁棒性，但重建的难度仍然是评估隐私保护强度的关键指标。

• 参数 $\alpha$ 的选择： 对抗权重 $\alpha$ 的选择对性能权衡至关重要，但它是通过实验预设的。如何在实际部署中根据用户需求或场景动态调整这个参数，或者使其自适应学习，是一个值得探索的方向。

  总的来说，BDQ 为隐私保护的动作识别提供了一个优雅且高效的解决方案，其在计算效率和性能权衡方面的优势使其成为该领域的一个重要进展。但其固有的运动依赖性是未来研究需要重点突破的方向。