1. 论文基本信息

1.1. 标题

标签噪声分析结合对抗训练：联邦学习中抵御标签投毒的防御机制 (Label noise analysis meets adversarial training: A defense against label poisoning in federated learning)

1.2. 作者

• Esa Hallaj
• Roozbeh Razavi-Far (加拿大温莎大学电气与计算机工程系)
• Mehrdad Saif
• Enrique Herrera-Viedma (西班牙格拉纳达大学)

1.3. 发表期刊/会议

发表于 Knowledge-Based Systems 期刊。 该期刊是一个在人工智能和计算机科学领域有较高声誉和影响力的国际期刊，专注于基于知识的系统、机器学习、数据挖掘等研究。

1.4. 发表年份

2023年

1.5. 摘要

联邦学习 (Federated Learning, FL) 系统中的数据去中心化和隐私限制使得用户数据无法直接由服务器获取。这种隐私特性可能被入侵者利用，通过恶意数据生成伪造更新来破坏联邦网络。本文提出了一种基于对抗训练 (adversarial training) 和标签噪声分析 (label noise analysis) 的防御机制来解决这一问题。

为此，作者设计了一种生成对抗方案 (generative adversarial scheme)，通过注入模拟后门攻击 (backdoor attacks) 和标签翻转攻击 (label flipping attacks) 的人工标签噪声 (artificially-made label noise) 来“免疫”本地模型。从标签噪声分析的角度来看，所有被投毒的标签都可以通过三种不同的机制生成。论文展示了后门攻击和标签翻转攻击如何类似于这些噪声机制中的每一种，并在所提出的设计中考虑了所有这些机制。

此外，本文提出为客户端模型设计噪声标签分类器 (noisy-label classifiers)。这两种机制的结合使得模型能够学习可能的噪声分布，从而消除因恶意活动产生的损坏更新的影响。

本工作还对最先进的深度噪声标签分类器进行了比较研究。所设计的框架和选定的方法在两个物联网 (Internet of Things, IoT) 网络上进行了入侵检测 (intrusion detection) 评估。结果表明了所提出方法的有效性。

1.6. 原文链接

/files/papers/690885161ccaadf40a4344fa/paper.pdf 状态：已正式发表。

2. 整体概括

2.1. 研究背景与动机

核心问题： 联邦学习 (FL) 系统在保护用户数据隐私的同时，也带来了新的安全挑战，特别是针对标签投毒攻击 (label poisoning attacks) 的脆弱性。由于服务器无法直接访问客户端的原始数据，也无法评估客户端模型更新的可靠性，恶意客户端可以利用这一点，通过篡改本地数据或标签来训练并上传恶意模型参数，从而污染全局模型。

重要性与现有挑战：

1. 数据去中心化与隐私保护的副作用： FL 的核心优势是数据不出本地，保护了隐私。然而，这也意味着中心服务器对本地数据的质量和训练过程缺乏监督，使得恶意攻击者有机会进行数据篡改。
2. 标签投毒攻击的危害： 标签投毒是一种常见的攻击方式，它通过修改训练数据中的标签来破坏模型的学习过程。这种攻击可以是有目标的 (targeted)，旨在降低特定类别或样本的性能（例如，使入侵检测系统无法检测到某种特定的恶意流量）；也可以是无目标的 (untargeted)，旨在全面降低模型性能（例如，使入侵检测系统产生大量误报，导致其失效）。在像入侵检测系统 (Intrusion Detection Systems, IDS) 这样的关键应用中，标签投毒可能导致严重后果，例如网络安全漏洞。
3. 现有噪声标签分类器的局限性： 现有的噪声标签分类器 (noisy label classifiers) 旨在处理随机或无意中产生的标签噪声。然而，标签投毒攻击产生的噪声往往具有特定的模式和恶意目标（例如，实例相关或类别相关的噪声），这些模式是攻击者精心设计的，标准噪声标签分类器在不了解这种“设计”的情况下难以有效应对。

切入点或创新思路： 本文的创新点在于将标签投毒攻击视为一种特殊的标签噪声问题，并提出通过模拟攻击来“免疫”模型的防御机制。具体来说，它设计了一个生成对抗网络 (Generative Adversarial Network, GAN) 来人工生成模拟真实标签投毒攻击的噪声标签。通过让本地模型在这些人工生成的噪声数据上进行训练，并结合噪声标签分类器，使模型能够学习并识别这些恶意噪声的分布，从而在实际联邦学习过程中增强对真实标签投毒攻击的鲁棒性。

2.2. 核心贡献/主要发现

本文的主要贡献如下：

• 提出了一种新颖的防御方法： 将神经网络模型对标签投毒攻击的鲁棒性问题，转化为了处理噪声标签的问题。
• 设计了生成对抗标签投毒器 (Generative Adversarial Label Poisoner, GALP)： GALP 旨在向客户端网络注入人工标签噪声，模拟真实的标签投毒攻击。通过将 GALP 与能够处理随机噪声的神经网络模型相结合，使得神经网络能够捕获潜在标签投毒攻击的分布。
• 进行了最先进的深度噪声标签分类器比较研究： 评估了多种现有噪声标签分类器在联邦学习背景下处理标签噪声的能力。
• 基于三种标签噪声机制研究了标签投毒攻击： 深入分析了联邦学习中标签翻转攻击 (label flipping attacks) 如何通过类别无关 (class-independent) 和类别相关 (class-dependent) 噪声机制进行模拟，以及后门攻击 (backdoor attacks) 如何通过实例相关 (instance-dependent) 噪声机制进行模拟。
• 在物联网网络上进行了评估： 设计了一个基于联邦学习的入侵检测系统 (IDS)，并在两个真实世界的物联网网络数据集上进行了测试，验证了所提框架和方法的有效性。

3. 预备知识与相关工作

3.1. 基础概念

• 联邦学习 (Federated Learning, FL)： 一种分布式机器学习范式，允许多个客户端在本地数据集上训练模型，并将模型参数（而非原始数据）发送给中心服务器进行聚合，从而生成一个更强大的全局模型，再将更新后的全局模型参数分发给客户端。其核心优势在于保护数据隐私和减少通信开销。
• 标签噪声 (Label Noise)： 指训练数据中样本的标签被错误地标记。标签噪声可能由多种原因引起，例如人为标注错误、传感器故障、数据传输错误或本文关注的恶意攻击。
• 标签投毒攻击 (Label Poisoning Attacks)： 一种恶意攻击，攻击者通过在训练数据中注入或修改带有错误标签的样本，旨在污染模型的训练过程，从而降低模型在特定任务上的性能或引入后门。
• 生成对抗网络 (Generative Adversarial Networks, GANs)： 一种深度学习模型架构，包含两个相互对抗的神经网络：一个生成器 (Generator) 和一个判别器 (Discriminator)。生成器试图生成看起来真实的假数据，而判别器则试图区分真实数据和生成器产生的假数据。两者在训练过程中相互学习，最终生成器能够生成高质量的、难以与真实数据区分的假数据。
• 入侵检测系统 (Intrusion Detection Systems, IDS)： 是一种用于监视网络或系统活动以识别恶意行为或策略违规行为的安全机制。它可以是基于规则的，也可以是基于机器学习的，用于检测各种网络攻击和异常流量。
• 白盒攻击 (White-box Attack)： 指攻击者对目标模型的内部结构、参数、训练数据分布等信息拥有完全或部分了解的攻击场景。这使得攻击者能够设计更复杂、更有效的攻击策略。

3.2. 标签噪声机制

论文将标签噪声的生成机制分为三类，这对于理解不同类型的标签投毒攻击至关重要：

1. 类别无关 (Class-independent, CI) 噪声： 也称为对称噪声 (symmetric noise) 或完全随机噪声 (Noisy Completely At Random, NCAR)。在这种机制下，一个标签被损坏的概率与其他变量（如标签所属的类别）无关。例如，所有类别中的标签都有相同的概率被随机翻转到任何其他类别。这种噪声通常难以预测，但有时可以通过简单的统计方法来缓解。
2. 类别相关 (Class-dependent, CD) 噪声： 也称为不对称噪声 (asymmetric noise) 或随机噪声 (Noisy At Random, NAR)。在这种机制下，一个标签被损坏的概率取决于其真实的类别。例如，特定类别 $A$ 的标签更有可能被翻转到类别 $B$，而不是类别 $C$。这种噪声通常是攻击者为了特定目的而设计的，例如有目标的标签翻转攻击。
3. 实例相关 (Instance-dependent, ID) 噪声： 也称为非随机噪声 (Noisy Not At Random, NNAR)。在这种机制下，一个标签被损坏的概率不仅取决于其真实的类别，还取决于样本本身的特征（实例变量）。这是最复杂和最难以处理的噪声类型，通常用于更复杂的攻击，如后门攻击，其中特定模式的输入（即使是良性的）会被强制分配错误的标签。

标签投毒攻击与噪声机制的关联：

• 无目标标签翻转攻击 (Untargeted Label Flipping Attacks)： 通常通过类别无关 (CI) 标签噪声来实现，旨在全面降低模型性能。
• 有目标标签翻转攻击 (Targeted Label Flipping Attacks)： 通常通过类别相关 (CD) 标签噪声来实现，旨在降低模型在特定类别上的性能。
• 后门攻击 (Backdoor Attacks)： 通常通过实例相关 (ID) 标签噪声来实现，旨在使模型在遇到特定触发器 (trigger) 时做出预设的错误预测。

3.3. 标签投毒攻击类型

在联邦学习背景下，攻击者通常以白盒方式（即对本地模型参数有完全或部分访问权限）发起攻击。论文主要关注以下两种白盒标签投毒攻击：

• 标签翻转 (Label Flipping)：

  • 目标： 通常旨在降低目标模型的整体性能。攻击者在训练数据中故意将样本的真实标签替换为错误的标签。
  • 表现形式：
    • 无目标标签翻转： 攻击者使用类别无关 (CI) 标签噪声，随机翻转标签，导致模型在所有类别上的预测性能下降。例如，使 IDS 产生大量误报，使其无法正常工作。
    • 有目标标签翻转： 攻击者选择性地交换某些类别的标签，使用类别相关 (CD) 标签噪声，从而影响模型在特定类别上的预测性能。例如，使 IDS 在识别特定类型的攻击时出现问题。
  • 影响： 向服务器发送经过标签翻转污染的模型参数会导致其他设备的性能下降，最终可能使整个检测模型瘫痪。

• 后门攻击 (Backdoor Attacks)：

  • 目标： 旨在强制模型对某些特定模式的数据 (即“后门触发器”) 做出预设的错误预测，而对正常数据的预测性能不受影响。
  • 实现方式： 通常使用实例相关 (ID) 标签噪声。攻击者将带有特定触发器（例如，图像中的特定水印或网络流量中的特定字节序列）的良性样本标记为恶意类别，或将带有触发器的恶意样本标记为良性类别。
  • 影响： 在 IDS 的场景中，攻击者可以通过后门攻击将特定的恶意流量模式伪装成良性流量，使其不被检测到，从而对整个计算机网络构成潜在威胁。

3.4. 噪声标签分类器 (Noisy Label Classifiers)

噪声标签分类器是一类旨在提高模型在含有噪声标签数据上学习鲁棒性的算法。它们通过各种技术来纠正、过滤或降低噪声标签的影响。论文在实验中对比了以下几种最先进的深度噪声标签分类器：

• LMNL (Learning from Massive Noisy Labeled Data) [19]: 提出一个通用框架，利用有限的干净标签和大量的噪声标签训练卷积神经网络。它通过概率图模型建模样本、类别标签和标签噪声之间的关系，并将其集成到端到端深度学习系统中。
• Masking [20]: 借鉴人类对噪声类别转换的认知，通过结构感知概率模型自然地推测噪声转换矩阵的结构。Masking 只估计未被掩蔽的噪声转换概率，显著降低了估计负担。
• GLC (Gold Loss Correction) [21]: 一种半监督方法，通过使用一小部分带有可信标签的数据来估计标签噪声的参数。然后，这些参数被用于在噪声标签数据上训练一个校正后的分类器，以提高对标签噪声的鲁棒性。
• PENCIL (Probabilistic End-to-End Noise Correction for Learning with Noisy Labels) [22]: 可以在训练过程中同时更新网络参数和标签估计（作为标签分布）。PENCIL 不依赖于特定的骨干网络结构，也不需要辅助的干净数据集或预先的噪声信息。
• SCEL (Symmetric Cross Entropy Learning) [23]: 针对深度神经网络在使用交叉熵时容易对噪声标签过拟合（对“容易”类别）和欠学习（对“困难”类别）的问题。SCEL 结合了传统的交叉熵损失和其噪声鲁棒的对称反向交叉熵 (Reverse Cross Entropy, RCE) 损失，以对称方式增强交叉熵，旨在同时解决过拟合和欠学习问题。
• CORES (COnfidence REgularized Sample Sieve) [24]: 通过学习底层干净数据分布而非噪声分布来过滤掉噪声样本。此外，定义了一个正则化项来增强学习模型的置信度。CORES 在此过程中分离干净和噪声样本，对干净数据估计监督损失，对噪声标签样本估计无监督一致性损失。
• OLS (Online Label Smoothing) [25]: 假设模型预测分布有助于发现不同类别之间的关系。OLS 通过生成考虑类别间关系的软标签来替代传统的标签平滑。它将每个类别视为一个在每次训练迭代中变化的移动标签分布。

3.5. 差异化分析

本文的工作与上述现有噪声标签分类器和相关工作的主要区别在于：

• 从被动防御到主动模拟： 大多数噪声标签分类器是被动地处理数据中“已存在”的噪声，通常假设噪声是随机的或可通过统计模型估计的。而本文提出的 GALP 则是一种主动的模拟攻击机制，它人工生成具有特定模式（类别相关、实例相关）的恶意标签噪声，旨在让模型在受控环境中“经历”这些攻击。
• 针对恶意结构化噪声： 传统的噪声标签分类器在处理由攻击者精心设计的、具有特定目标和模式的恶意结构化噪声（如类别相关和实例相关噪声）时效果不佳。本文通过 GALP 模拟这些复杂噪声，使得噪声标签分类器能够学习其分布，从而增强对真实恶意攻击的防御能力。
• 联邦学习背景下的整合： 本文将 GALP 和噪声标签分类器整合到联邦学习的框架中，提出了“模型免疫”的概念。这意味着在客户端本地训练阶段就注入模拟攻击，使得客户端模型在向服务器上传参数之前就已具备抗攻击性，从而在聚合层面保护全局模型。这与许多在服务器端或聚合后进行防御的工作有所不同。

4. 方法论

4.1. 方法原理

本文的核心思想是“模型免疫 (model vaccination)”。在联邦学习中，由于服务器无法直接检查客户端的本地数据，恶意客户端可以通过注入带有错误标签的数据来污染模型，这被称为标签投毒攻击 (label poisoning attacks)。为了抵御这种攻击，本文将标签投毒攻击视为一种特殊的标签噪声问题。

其原理是：如果客户端模型能够在本地训练阶段就接触并学习到各种模拟的标签投毒攻击模式，那么它在遇到真正的攻击时就会更加鲁棒。这种“免疫”过程通过以下两个关键组件协同实现：

1. 生成对抗标签投毒器 (Generative Adversarial Label Poisoner, GALP)： 这是一个基于 GAN 的模块，专门用于人工生成模拟标签翻转攻击和后门攻击的恶意标签噪声。GALP 能够生成类别相关 (CD) 和实例相关 (ID) 的噪声，这些噪声模仿了攻击者精心设计的模式。

2. 噪声标签分类器 (Noisy-label Classifier)： 客户端模型本身被设计成一种噪声标签分类器。当这个分类器在由 GALP 生成的人工投毒数据上进行训练时，它能够学习到这些恶意噪声的分布特征。

   通过这种方式，客户端模型在向服务器发送更新之前，就已经具备了识别和抵消恶意标签噪声影响的能力。即使攻击者试图发送受污染的更新，由于全局模型已经由免疫过的本地模型参数聚合而成，其对投毒的敏感性也会大大降低。

4.2. 整体框架 (图2)

以下是原文 Figure 2 的描述，并对其进行详细解释：

整体框架概述： 该图展示了在联邦学习环境中，结合生成对抗标签投毒器 (GALP) 和噪声标签分类器来抵御标签投毒攻击的防御机制。核心思想是在客户端本地模型训练阶段进行“免疫”处理，使得聚合后的全局模型对标签投毒具有鲁棒性。

详细流程：

1. 服务器更新 (Server Update $\theta_S$): 联邦学习的中心服务器周期性地向所有客户端广播最新的全局模型参数 $\theta_S$。
2. 客户端接收更新与本地初始化 (Client Receives Update and Initializes Locally): 每个客户端 $\mathcal{M}_r$ 接收到 $\theta_S$ 后，用它来初始化自己的本地模型。
3. 生成对抗标签投毒器 (GALP) 注入噪声：
   • 输入： 本地数据 $T_r = \{X_r, Y_r\}$ 和随机噪声矩阵 $Z$。
   • GALP 的工作： GALP 内部包含一个生成器 $\mathcal{G}$ 和一个判别器 $\mathcal{D}$。
     • $\mathcal{G}$ 利用随机噪声 $Z$ 和本地数据 $X_r$，以及服务器更新 $\theta_S$ 对模型 $\mathcal{M}_r$ 的评估结果（例如，识别出哪些类别的预测错误率较高，哪些样本的预测置信度较低），来人工生成模拟标签投毒攻击（如标签翻转或后门攻击）的恶意标签 $\tilde{Y}$。这些生成的恶意标签与原始数据 $X_r$ 结合，形成人工投毒数据 $\{\tilde{X}, \tilde{Y}\}$。
     • $\mathcal{D}$ 的任务是区分真实（未投毒）样本和 $\mathcal{G}$ 生成的假（投毒）样本。通过 $\mathcal{G}$ 和 $\mathcal{D}$ 的对抗训练， $\mathcal{G}$ 最终能够生成高度逼真且具有恶意模式的标签噪声。
   • 输出： GALP 生成的人工投毒数据 $\{\tilde{X}, \tilde{Y}\}$。
4. 噪声标签分类器训练 (Noisy Label Classifier Training)：
   • 输入： 客户端的本地原始数据 $T_r = \{X_r, Y_r\}$ 以及 GALP 生成的人工投毒数据 $\{\tilde{X}, \tilde{Y}\}$。
   • 训练过程： 客户端模型 $\mathcal{M}_r$ (它是一个噪声标签分类器) 使用这两种数据进行训练。在这种混合数据的训练下，模型不仅学习了正常数据的特征，更重要的是学习并适应了由 GALP 模拟的各种标签噪声分布。这使得模型具备了对恶意标签噪声的识别和抵消能力，即实现了“免疫”。
   • 输出： 经过训练后，客户端模型生成新的本地模型参数 $\theta_{\mathrm{out}}^r$。
5. 客户端发送参数更新 (Client Sends Parameter Updates): 每个客户端 $\mathcal{M}_r$ 将其经过“免疫”训练后的本地模型参数 $\theta_{\mathrm{out}}^r$ 发送给中心服务器。
6. 服务器聚合 (Server Aggregation): 服务器收集所有客户端（包括可能的恶意客户端和良性客户端）上传的参数 $\{\theta_{\mathrm{out}}^r \mid 1 \leq r \leq k\}$，并使用聚合函数 $f(\cdot)$（例如联邦平均 FedAvg）将其聚合，生成新的全局模型参数 $\theta_S$。
7. 循环： 新的全局模型参数 $\theta_S$ 再次广播给客户端，开始下一轮的训练。

防御效果： 由于所有客户端（或至少大部分良性客户端）都通过 GALP 和噪声标签分类器进行了免疫，即使恶意客户端发送了带有污染梯度或参数的更新，这些更新的影响也会被其他免疫过的客户端的鲁棒性所稀释和抵消，从而有效保护全局模型不受标签投毒攻击的影响。

4.3. 形式化定义

考虑一个包含 $k$ 个客户端模型的联邦网络，记作 $\boldsymbol { \Gamma } = \{ \mathcal { M } _ { 1 } , \mathcal { M } _ { 2 } , . . . , \mathcal { M } _ { k } \}$。服务器端的聚合模型参数 $\theta _ { S }$ 通过聚合客户端模型的参数获得。 对于每个客户端模型 $\mathcal { M } _ { r } \in \boldsymbol { \Gamma }$，其中 $1 \leq r \leq k$，我们考虑一个训练集 $T _ { r } = \{ X _ { r } , Y _ { r } \}$。

• $X _ { r } = \{ x _ { 1 } ^ { r } , x _ { 2 } ^ { r } , \ldots , x _ { m _ { r } } ^ { r } \}$ 是样本集合。

• $Y _ { r } = \{ y _ { 1 } ^ { r } , y _ { 2 } ^ { r } \cdot \cdot \cdot , y _ { m _ { r } } ^ { r } \}$ 是对应的真实标签集合。

• m _ { r } 是训练集 T _ { r } 中的样本数量。

  在注入噪声标签后（通过任何描述的威胁模型），Y _ { r } 会被污染，我们用 $\tilde { Y } _ { r } = \{ \tilde { y } _ { 1 } ^ { r } , \tilde { y } _ { 2 } ^ { r } , \dots , \tilde { y } _ { m _ { r } } ^ { r } \}$ 表示噪声标签集合，用 $\tilde { T } _ { r } = \{ X _ { r } , \tilde { Y } _ { r } \}$ 表示被污染的训练集。

4.4. 生成对抗标签投毒器 (GALP) 详解

GALP 采用 GAN 结构，其生成器 $\mathcal{G}$ 负责生成带有噪声标签的假样本，判别器 $\mathcal{D}$ 则负责区分真实样本（带有原始标签）和假样本（带有噪声标签）。

4.4.1. 生成器 $\mathcal{G}$ 和判别器 $\mathcal{D}$ 的结构定义

• $\mathcal{G}$ 的结构定义： $$\mathcal { G } ( z _ { i } ) = ( z _ { i } , u _ { 1 } ^ { \mathcal { G } } , u _ { 2 } ^ { \mathcal { G } } , \ldots , u _ { L } ^ { \mathcal { G } } , \tilde { x } _ { i } ) ,$$ 符号解释：

  • $z_i$: 输入给生成器的随机噪声矩阵。
  • $u _ { l } ^ { \mathcal { G } }$: 生成器 $\mathcal{G}$ 中第 $l$ 个隐藏层的激活输出。
  • $L$: 生成器 $\mathcal{G}$ 的隐藏层数量。
  • $\tilde { x } _ { i }$: 生成器 $\mathcal{G}$ 产生的假样本。在这里，生成器实际上是学习如何生成与原始数据 $X_r$ 相似的样本特征，并为其分配伪造的标签 $\tilde{Y}_r$，以模拟真实的投毒数据。

• $\mathcal{D}$ 的结构定义： $$\mathcal { D } ( x _ { i } , \tilde { y } _ { i } ) = ( \{ x _ { i } , \tilde { y } _ { i } \} , u _ { 1 } ^ { \mathcal { D } } , u _ { 2 } ^ { \mathcal { D } } , \ldots , u _ { L } ^ { \mathcal { D } } , \hat { y } _ { i } ) ,$$ 符号解释：

  • $x_i$: 输入给判别器的样本特征。
  • $\tilde { y } _ { i }$: 输入给判别器的样本标签。这个标签可能是原始的真实标签，也可能是生成器 $\mathcal{G}$ 生成的噪声标签。
  • $u _ { l } ^ { \mathcal { D } }$: 判别器 $\mathcal{D}$ 中第 $l$ 个隐藏层的激活输出。
  • $L$: 判别器 $\mathcal{D}$ 的隐藏层数量。
  • $\hat { y } _ { i }$: 判别器 $\mathcal{D}$ 的最终输出，表示其对输入样本 $\{x_i, \tilde{y}_i\}$ 是真实（带有原始标签）还是虚假（带有噪声标签）的判断。

• 隐藏层计算与归一化： $$h _ { l } = \frac { u _ { l - 1 } ^ { T } \cdot w _ { l } - \mu _ { l } } { \sigma _ { l } } , \ s . \ t . \ u _ { 0 } = \{ x _ { i } , \tilde { y } _ { i } \} ,$$ 其中，对于 $\mathcal{G}$， u _ { 0 } = z _ { i }。 符号解释：

  • h _ { l }: 第 $l$ 层的加权输入，经过批量归一化 (batch normalization) 处理。
  • $u _ { l - 1 }$: 前一个隐藏层的激活输出。
  • w _ { l }: 第 $l$ 层的权重矩阵。
  • $\mu _ { l }$: 第 $l$ 层加权输入的均值。
  • $\sigma _ { l }$: 第 $l$ 层加权输入的标准差。
  • u _ { 0 }: 模型的初始输入。对于判别器 $\mathcal{D}$ 来说是样本特征和标签的组合 $\{ x _ { i } , \tilde { y } _ { i } \}$；对于生成器 $\mathcal{G}$ 来说是随机噪声 z _ { i }。

• 激活函数： $$u _ { l } ( h _ { l } ) = \left\{ \begin{array} { l l } { 0 . 0 1 h _ { l } \quad } & { \mathrm { i f } h _ { l } < 0 \mathrm { ~ \land ~ } l < L } \\ { h _ { l } \quad } & { \mathrm { i f } h _ { l } \geq 0 \mathrm { ~ \land ~ } l < L } \\ { \frac { 1 } { 1 + e ^ { - h _ { l } } } \quad } & { \mathrm { i f } l = L , } \end{array} \right.$$ 符号解释：

  • u _ { l } ( h _ { l } ): 经过激活函数处理后的第 $l$ 层的输出。
  • 前两行表示 Leaky ReLU 激活函数：当输入 $h_l$ 小于 0 时，输出 $0.01 h_l$；当输入 $h_l$ 大于等于 0 时，输出 $h_l$。这主要用于隐藏层 ($l < L$)。
  • 最后一行表示 Sigmoid 激活函数： $\frac { 1 } { 1 + e ^ { - h _ { l } } }$。这用于模型的最后一层 ($l = L$)，通常用于输出概率值。

4.4.2. 类别相关注入器 (Class-dependent Injector)

类别相关注入器旨在生成与真实类别相关但与样本特征无关的标签噪声，以模拟有目标的标签翻转攻击。攻击者的目标是让系统认为注入的噪声标签是正常现象，从而降低被检测到的可能性。

1. 评估模型误差： 首先，客户端使用从服务器接收到的最新全局模型参数 $\theta _ { S }$ 来评估其本地数据 X _ { r }： $$\mathcal { M } _ { r } ( \theta _ { S } , X _ { r } ) = \hat { Y } _ { r } ,$$ 符号解释：

   • $\mathcal { M } _ { r }$: 客户端 $r$ 的本地噪声标签分类模型。
   • $\theta _ { S }$: 从服务器接收到的全局模型参数。
   • X _ { r }: 客户端 $r$ 的本地样本数据。
   • $\hat { Y } _ { r }$: 模型 $\mathcal { M } _ { r }$ 对 X _ { r } 的预测标签。

2. 确定存在标签错误的类别： 通过比较预测标签 $\hat { Y } _ { r }$ 和真实标签 Y _ { r }，可以计算每个类别的预测准确率（或误差率），从而识别出哪些类别更容易出错： $$E _ { j } ^ { r } = \frac { 1 } { | c _ { j } | } \sum _ { i = 1 } ^ { | c _ { j } | } P ( \hat { y } _ { i } ^ { r } = y _ { i } ^ { r } ) , \{ x _ { i } , y _ { i } \} \in c _ { j } ,$$ 符号解释：

   • $E _ { j } ^ { r }$: 客户端 $r$ 的模型对类别 c _ { j } 的准确率。
   • $\Omega = \{ c _ { 1 } , c _ { 2 } , \ldots , c _ { k } \}$: 数据集中的所有类别集合。
   • $| c _ { j } |$: 类别 c _ { j } 中样本的数量。
   • $P ( \hat { y } _ { i } ^ { r } = y _ { i } ^ { r } )$: 样本 $i$ 的预测标签 $\hat { y } _ { i } ^ { r }$ 等于其真实标签 $y _ { i } ^ { r }$ 的概率（即预测正确）。
   • $\{ x _ { i } , y _ { i } \} \in c _ { j }$: 表示样本 $\{ x _ { i } , y _ { i } \}$ 属于类别 c _ { j }。
   • $C _ { \mathrm { C D } } = \{ c _ { j } \ | \ E _ { j } \neq 0 \}$: 被确定为存在标签错误的类别集合。

3. 生成器和判别器的交互：

   • 生成器 $\mathcal{G}$ 生成假样本： $${ \mathcal { G } } ( Z ) = { \tilde { X } } .$$ 符号解释：
     • $Z$: 随机噪声作为生成器的输入。
     • $\tilde { X }$: 生成器根据 $Z$ 产生的假样本特征。这些样本将被赋予与 $C _ { \mathrm { C D } }$ 相关的噪声标签。
   • 判别器 $\mathcal{D}$ 区分真假： 判别器接收生成器产生的假样本 $\tilde { X }$ 和被识别为有错误的类别 $C _ { \mathrm { C D } }$，并尝试判断它们是否是“假”的（即带有噪声标签的）。 $$\mathcal { D } ( \tilde { X } , C _ { \mathrm { C D } } ) = P _ { \mathrm { f a k e } }$$ 符号解释：
     • $P _ { \mathrm { f a k e } }$: 判别器输出的概率，表示其认为输入是虚假的（即带有噪声标签）的程度。

4. 类别相关注入器的损失函数： 生成器和判别器通过最小化-最大化博弈进行训练，其目标函数如下： $$\begin{array} { r l } & { \underset { \mathcal { G } } { \mathop { \operatorname* { m i n } } } \underset { \mathcal { D } } { \mathop { \operatorname* { m a x } } } V _ { \mathrm { C D } } ( \mathcal { G } , \mathcal { D } ) = } \\ & { \quad \quad \quad \mathbb { E } \left[ \log \mathcal { D } ( \hat { { \cal X } } , C _ { \mathrm { C D } } ) \right] + \mathbb { E } \left[ 1 - \mathcal { D } \big ( \tilde { { \cal X } } , C _ { \mathrm { C D } } \big ) \right] } \end{array} ,$$ 符号解释：

   • $V _ { \mathrm { C D } } ( \mathcal { G } , \mathcal { D } )$: 类别相关注入器的价值函数。
   • $\underset { \mathcal { G } } { \mathop { \operatorname* { m i n } } } \underset { \mathcal { D } } { \mathop { \operatorname* { m a x } } }$: 表示生成器 $\mathcal{G}$ 试图最小化此函数，而判别器 $\mathcal { D }$ 试图最大化此函数，形成对抗博弈。
   • $\mathbb { E } [ \cdot ]$: 期望值。
   • $\log \mathcal { D } ( \hat { { \cal X } } , C _ { \mathrm { C D } } )$: 判别器正确识别真实样本 $\hat { { \cal X } }$ (带有原始标签) 为真实样本的概率的对数。
   • $1 - \mathcal { D } \big ( \tilde { { \cal X } } , C _ { \mathrm { C D } } \big )$: 判别器将生成器产生的假样本 $\tilde { { \cal X } }$ (带有噪声标签) 错误识别为真实样本的概率。生成器希望最大化这一项，让其生成的假样本更难被发现。

4.4.3. 实例相关注入器 (Instance-dependent Injector)

实例相关注入器旨在生成与样本特征和真实类别都相关的标签噪声，以模拟后门攻击。这种攻击更难被发现，因为它通常针对特定实例模式。

1. 测量样本的置信度： 为了模拟后门攻击，攻击者不仅要找到容易出错的类别，还要找到在这些类别中模型置信度最低的样本。论文使用 Softmax 激活函数最后一层的输出，通过以下公式衡量每个样本的置信度： $$\varphi _ { i } = \frac { \sum _ { j = 1 } ^ { | u _ { L } | } ( u _ { L } ( j ) - \bar { u _ { L } } ) } { | u _ { L } | - 1 } ,$$ 符号解释：

   • $\varphi _ { i }$: 第 $i$ 个样本的置信度。这个公式实际上计算的是 Softmax 输出向量中元素与其均值之间的平均绝对偏差（或简化后的方差估计），值越小，表示模型对该样本的预测越不确定或置信度越低。
   • u _ { L }: 模型最后一层（Softmax 层）的激活输出向量。
   • $| u _ { L } |$: 向量 u _ { L } 的维度（即类别数量）。
   • u _ { L } ( j ): 向量 u _ { L } 的第 $j$ 个元素（对应于第 $j$ 个类别的预测概率）。
   • $\bar { u _ { L } }$: 向量 u _ { L } 中所有元素的平均值。
   • $C _ { \mathrm { I D } }$: 通过选择具有最低置信度 $\varphi _ { i }$ 的样本形成的集合。

2. 实例相关注入器的损失函数： 实例相关注入器使用与类别相关注入器相似的 GAN 结构，但其目标函数针对的是选定的低置信度样本 $C _ { \mathrm { I D } }$： $$\begin{array} { r l } & { \underset { \mathcal { G } } { \mathrm { m i n } } \underset { \mathcal { D } } { \mathrm { m a x } } V _ { \mathrm { I D } } ( \mathcal { G } , \mathcal { D } ) = } \\ & { \quad \quad \mathbb { E } \left[ \log \mathcal { D } ( \hat { \boldsymbol { X } } , \boldsymbol { C } _ { \mathrm { I D } } ) \right] + \mathbb { E } \left[ 1 - \mathcal { D } \big ( \tilde { \boldsymbol { X } } , \boldsymbol { C } _ { \mathrm { I D } } \big ) \right] , } \end{array}$$ 符号解释：

   • $V _ { \mathrm { I D } } ( \mathcal { G } , \mathcal { D } )$: 实例相关注入器的价值函数。
   • $\hat { \boldsymbol { X } }$: 真实的样本集合。
   • $\boldsymbol { C } _ { \mathrm { I D } }$: 判别器在判断真假时，会考虑这些低置信度的实例。生成器试图生成看起来真实但实际上是针对这些低置信度实例进行投毒的样本。

4.4.4. 算法流程 (Algorithm 1)

以下是原文 Algorithm 1 的转录，并对其进行详细解释：

Algorithm 1: 生成对抗标签投毒器 (Generative Adversarial Label Poisoner, GALP)

| | 输入: 本地数据 $T_r$，服务器更新 $\theta_S$，机制 (Mechanism)

| :----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- 输出格式要求： 严格按照学术论文的正式风格，使用清晰、准确的语言进行阐述。禁止使用口语化的表达，禁止使用“我”、“我们”、“你”、“你们”等人称代词。内容要求详尽，深入。

---

1. 论文基本信息

1.1. 标题

标签噪声分析结合对抗训练：联邦学习中抵御标签投毒的防御机制 (Label noise analysis meets adversarial training: A defense against label poisoning in federated learning)

1.2. 作者

• Esa Hallaj (加拿大温莎大学电气与计算机工程系)
• Roozbeh Razavi-Far (加拿大温莎大学电气与计算机工程系)
• Mehrdad Saif (加拿大温莎大学电气与计算机工程系)
• Enrique Herrera-Viedma (西班牙格拉纳达大学)

1.3. 发表期刊/会议

Knowledge-Based Systems。该期刊是计算机科学，特别是人工智能、知识工程和智能系统领域的知名学术期刊，属于 Elsevier 出版社。其关注领域包括基于知识的系统、专家系统、机器学习、神经网络、模糊系统、进化计算等，在相关领域具有较高的学术影响力。

1.4. 发表年份

2023年

1.5. 摘要

联邦学习系统中的数据去中心化和隐私约束导致用户数据不对服务器透明。这使得入侵者能够利用这种隐私特性，通过恶意数据产生的伪造更新来腐化联邦网络。本文提出了一种基于对抗训练和标签噪声分析的防御机制以应对此问题。具体而言，研究设计了一种生成对抗方案，通过注入模拟后门攻击和标签翻转攻击的人工标签噪声来“免疫”本地模型。从标签噪声分析的视角，所有被投毒的标签均可通过三种不同机制生成。研究阐述了后门攻击和标签翻转攻击如何与这些噪声机制相似，并在所提出的设计中全面考虑了它们。此外，本文建议为客户端模型配备噪声标签分类器。这两种机制的结合使模型能够学习可能的噪声分布，从而消除因恶意活动产生的损坏更新的影响。本工作还对最先进的深度噪声标签分类器进行了比较研究。所设计的框架和选定方法在两个物联网网络上进行了入侵检测评估。结果表明所提出方法的有效性。

1.6. 原文链接

/files/papers/690885161ccaadf40a4344fa/paper.pdf 状态：已正式发表。

2. 整体概括

2.1. 研究背景与动机

核心问题： 联邦学习 (Federated Learning, FL) 作为一种保护数据隐私的分布式机器学习范式，其数据去中心化特性使得服务器无法直接访问客户端的原始训练数据。这种隐私保护机制在带来便利的同时，也为恶意攻击者提供了可乘之机。攻击者可以利用本地数据训练出包含恶意信息的模型参数，并上传至服务器进行聚合，从而污染全局模型，甚至在全局模型中植入后门。这种攻击被称为标签投毒攻击 (Label Poisoning Attacks)，因其隐蔽性和对模型性能的潜在灾难性影响，已成为联邦学习安全领域的一个重要研究挑战。

重要性与现有挑战：

1. 联邦学习的脆弱性： FL 环境下，服务器对客户端的本地训练过程和数据缺乏监督，使得恶意客户端可以轻易篡改本地标签，从而在不被发现的情况下污染全局模型。
2. 标签投毒攻击的严重后果： 标签投毒攻击可以是有目标或无目标的。无目标攻击旨在全面降低模型性能，例如在入侵检测系统 (IDS) 中制造大量误报，使其失效。有目标攻击则旨在使模型对特定输入（如恶意流量）做出预设的错误预测，形成后门，从而使特定攻击无法被 IDS 识别，对网络安全构成严重威胁。
3. 传统防御机制的局限性： 现有的噪声标签分类器 (noisy label classifiers) 主要针对随机或无意产生的标签噪声。然而，标签投毒攻击产生的噪声是攻击者精心设计、具有特定模式（如类别相关或实例相关）的恶意噪声。这类结构化恶意噪声往往难以被传统方法有效识别和消除，因为它们并未考虑攻击者意图和策略所导致的噪声分布。

切入点或创新思路： 本文的创新之处在于，将标签投毒攻击问题视为一个特殊的标签噪声分类问题，并提出通过主动模拟攻击来“免疫”模型的防御策略。其核心思路是：

• 模拟恶意噪声： 设计一个生成对抗标签投毒器 (Generative Adversarial Label Poisoner, GALP)，利用生成对抗网络 (GAN) 的能力，人工生成具有真实攻击特征（模拟标签翻转和后门攻击）的标签噪声。
• 免疫本地模型： 强制客户端模型在这些由 GALP 生成的人工投毒数据上进行训练。通过将客户端模型设计为噪声标签分类器，使其能够学习并识别这些恶意噪声的分布特征。
• 提升全局鲁棒性： 经过“免疫”的客户端模型上传其参数进行聚合后，形成的全局模型自然对标签投毒攻击具有更强的鲁棒性。这种方法使得模型能够主动适应并抵御结构化、有目标的恶意噪声，而非被动地处理随机噪声。

2.2. 核心贡献/主要发现

本文的主要贡献体现在以下几个方面：

• 提出了一种新颖的防御框架： 引入了一种使神经网络模型对标签投毒攻击具有鲁棒性的新方法，将恶意标签视为噪声标签进行处理。
• 设计了生成对抗标签投毒器 (GALP)： 该模型用于向客户端网络注入人工标签噪声，以模拟真实的攻击场景。通过将 GALP 与能够处理随机噪声的神经网络模型结合，使得神经网络能够捕获和学习潜在的标签投毒攻击分布。
• 进行了最先进的深度噪声标签分类器的比较研究： 对多种主流的深度噪声标签分类器进行了全面的对比评估，以确定在所提防御框架下表现最佳的分类器。
• 深入研究了标签噪声机制与攻击类型的关联： 基于三种标签噪声机制（类别无关、类别相关、实例相关）对联邦学习中的标签投毒攻击进行了分析。特别地，模拟了基于不同噪声机制的标签翻转攻击和后门攻击。
• 在实际物联网环境中验证了有效性： 设计并测试了一个基于联邦学习的入侵检测系统 (IDS)，并在两个真实世界的物联网网络数据集上进行了评估，结果证实了所提出防御方法的有效性。

3. 预备知识与相关工作

3.1. 基础概念

• 联邦学习 (Federated Learning, FL)： FL 是一种分布式机器学习范式，旨在允许多个去中心化的客户端在本地保留其数据，并在本地训练模型，仅将模型更新（如梯度或模型参数）发送给中央服务器。服务器聚合这些更新以构建一个全局模型，然后将更新后的全局模型分发回客户端。这种方法的主要优势在于保护数据隐私（原始数据不出本地）和降低通信带宽。
• 标签噪声 (Label Noise)： 训练数据集中样本的标签与其实际真值不符的现象。标签噪声可能源于多种因素，包括人为标注错误、数据采集系统故障、传感器误差，或者本文重点关注的恶意攻击。标签噪声会降低模型的泛化能力和准确性。
• 标签投毒攻击 (Label Poisoning Attacks)： 是一种对抗性攻击，攻击者通过向训练数据集注入少量精心构造的恶意样本，或者篡改现有样本的标签，以达到破坏模型训练过程、降低模型性能或在模型中植入隐蔽后门的目的。在联邦学习中，恶意客户端可以在本地篡改数据标签，并利用这些数据训练出有害模型，然后将这些有害模型参数上传至服务器进行聚合。
• 生成对抗网络 (Generative Adversarial Networks, GANs)： GANs 是一种由两个神经网络——生成器 (Generator) 和判别器 (Discriminator)——组成的深度学习模型。生成器学习从随机噪声中生成逼真的数据样本，而判别器则学习区分真实数据和生成器生成的数据。两者通过对抗性训练不断提升性能，直到生成器能够产生判别器无法区分的假数据。GANs 在图像生成、数据增强等领域有广泛应用。
• 入侵检测系统 (Intrusion Detection Systems, IDS)： 是一种网络安全机制，用于监视网络流量或系统活动，以识别和响应潜在的恶意行为、安全策略违规或未经授权的访问。IDS 可以部署在网络边缘或主机上，是网络防御体系的关键组成部分。
• 白盒攻击 (White-box Attack)： 在对抗性机器学习中，白盒攻击指攻击者对目标模型的架构、参数、训练过程甚至部分训练数据分布拥有全面或部分知识。这种情况下，攻击者能够设计出更精确、更有效的对抗样本或投毒策略。

3.2. 标签噪声机制

标签噪声的生成机制可以根据其与数据和类别的相关性分为三类，这有助于理解不同标签投毒攻击的复杂性和目标：

1. 类别无关 (Class-independent, CI) 噪声：

   • 别称： 对称噪声 (symmetric noise) 或 完全随机噪声 (Noisy Completely At Random, NCAR)。
   • 特点： 标签被错误翻转的概率与样本的真实类别或特征无关。例如，数据集中的每个标签都有相同的概率被随机地替换为任何其他类别标签。
   • 应对： 相对容易处理，一些简单的噪声标签分类器或鲁棒损失函数可以有效缓解其影响。
   • 与攻击关联： 无目标的标签翻转攻击通常采用此机制，旨在全面降低模型性能。

2. 类别相关 (Class-dependent, CD) 噪声：

   • 别称： 不对称噪声 (asymmetric noise) 或 随机噪声 (Noisy At Random, NAR)。
   • 特点： 标签被错误翻转的概率取决于其真实的类别。例如，某个特定类别 $A$ 的样本标签更有可能被错误地标记为类别 $B$，而不是随机翻转到任意类别。
   • 应对： 比类别无关噪声更难处理，需要更复杂的机制来建模噪声转换矩阵。
   • 与攻击关联： 有目标的标签翻转攻击常采用此机制，旨在针对性地影响模型在特定类别上的性能。

3. 实例相关 (Instance-dependent, ID) 噪声：

   • 别称： 非随机噪声 (Noisy Not At Random, NNAR)。
   • 特点： 标签被错误翻转的概率不仅取决于其真实类别，还取决于样本本身的特征。这意味着某些特定特征模式的样本更容易被错误标记。
   • 应对： 最复杂和最难处理的噪声类型，因为它涉及样本的深层特征，通常需要对攻击者的策略有深入了解才能有效防御。
   • 与攻击关联： 后门攻击通常采用此机制，通过在特定实例中嵌入触发器并改变其标签，以达到在特定输入下模型行为异常的目的。

3.3. 标签投毒攻击类型

在联邦学习中，由于服务器无法观察到客户端的原始数据，攻击者可以利用这一特点发起标签投毒攻击。这些攻击通常在白盒设置下进行，即攻击者对本地模型的参数和结构有一定了解。本文主要关注以下两种白盒标签投毒攻击：

• 标签翻转 (Label Flipping)：

  • 攻击目的： 通常旨在降低目标模型的整体预测性能。攻击者通过在训练数据中故意将真实标签替换为错误的标签来实现。
  • 攻击机制与噪声类型：
    • 无目标标签翻转 (Untargeted Label Flipping)： 攻击者使用类别无关 (Class-independent, CI) 标签噪声，随机地翻转数据集中部分样本的标签。这种攻击会导致模型在所有类别上的泛化能力普遍下降。例如，在联邦 IDS 中，可能导致系统产生大量误报，从而使其变得不可用。
    • 有目标标签翻转 (Targeted Label Flipping)： 攻击者使用类别相关 (Class-dependent, CD) 标签噪声，策略性地交换特定类别样本的标签。例如，将类别 A 的样本标签翻转为类别 B。这种攻击旨在损害模型在特定目标类别上的预测性能，或者使模型混淆某些特定类别。
  • 影响： 将经过标签翻转污染的本地模型参数发送到服务器，会导致全局模型性能下降，最终影响所有参与者的模型准确性。

• 后门攻击 (Backdoor Attacks)：

  • 攻击目的： 与标签翻转攻击不同，后门攻击旨在使模型在遇到特定模式（称为“后门触发器”或“触发模式”）的数据时做出预设的错误预测，而对正常、未包含触发器的数据的预测性能保持不变或仅轻微下降。
  • 攻击机制与噪声类型： 后门攻击通常通过实例相关 (Instance-dependent, ID) 标签噪声来实现。攻击者会选取一小部分样本，在这些样本中嵌入一个不易察觉的触发器（例如，图像中的特定像素图案，或网络数据包中的特定字段值），并将其标签更改为攻击者希望模型误判的目标类别。当训练好的模型在推理阶段遇到包含相同触发器的新样本时，无论其真实内容如何，都会被错误地预测为目标类别。
  • 影响： 在联邦 IDS 的背景下，后门攻击可以被用于使特定类型的恶意网络流量（嵌入了后门触发器）被模型错误地识别为良性流量，从而绕过检测系统，使整个网络面临重大安全风险。

3.4. 噪声标签分类器 (Noisy Label Classifiers)

噪声标签分类器是机器学习领域的一个重要研究方向，旨在开发能够在包含错误标签的数据集上进行鲁棒训练的模型。这些方法通常通过以下几种策略来应对标签噪声：

• 纠正 (Correction)： 尝试预测或估计错误的真实标签，并用纠正后的标签进行训练。

• 过滤 (Filtering)： 识别并移除训练数据中的噪声样本。

• 鲁棒损失函数 (Robust Loss Functions)： 设计对标签错误不那么敏感的损失函数。

• 模型正则化 (Model Regularization)： 使用正则化技术防止模型过拟合噪声。

  本文在研究中对比了以下几种最先进的深度噪声标签分类器，这些分类器在处理不同类型的标签噪声方面各有侧重：

1. LMNL (Learning from Massive Noisy Labeled Data) [19]：

   • 核心思想： 提出了一种通用框架，允许卷积神经网络 (CNN) 在有限的干净标签数据和大量噪声标签数据上进行训练。
   • 主要机制： 利用概率图模型 (probabilistic graphical model) 建模样本、类别标签和标签噪声之间的复杂关系，并将其集成到端到端的深度学习系统中。

2. Masking [20]：

   • 核心思想： 借鉴人类认知中对噪声类别转换的直觉，推断噪声转换矩阵的结构。
   • 主要机制： 采用结构感知的概率模型 (structure-aware probabilistic model)，并融入先验知识。Masking 方法只估计未被掩蔽的噪声转换概率，从而显著降低了噪声转换矩阵估计的复杂性和负担。

3. GLC (Gold Loss Correction) [21]：

   • 核心思想： 提升深度学习模型对标签噪声的鲁棒性。
   • 主要机制： 利用一小部分带有可信（干净）标签的数据集来估计标签噪声的参数（即噪声转换矩阵）。然后，将这些估计出的噪声参数用于修正损失函数，在主要的噪声标签数据集上训练分类器。

4. PENCIL (Probabilistic End-to-End Noise Correction for Learning with Noisy Labels) [22]：

   • 核心思想： 提供一个端到端的概率噪声纠正框架。
   • 主要机制： 可以在训练过程中同时更新网络参数和标签估计（以标签分布的形式）。PENCIL 的优势在于它不依赖于特定的骨干网络结构，也不需要额外的辅助干净数据集或关于噪声的先验信息。

5. SCEL (Symmetric Cross Entropy Learning) [23]：

   • 核心思想： 解决深度神经网络在使用传统交叉熵损失函数时，在标签噪声下容易对“容易”类别过拟合和对“困难”类别欠学习的问题。
   • 主要机制： 通过将标准交叉熵损失 (Cross Entropy, CE) 与其噪声鲁棒的对称对应项——反向交叉熵 (Reverse Cross Entropy, RCE) 对称结合。SCEL 旨在同时解决过拟合和欠学习问题。

6. CORES (COnfidence REgularized Sample Sieve) [24]：

   • 核心思想： 通过学习底层干净数据分布而非噪声分布来过滤噪声样本。
   • 主要机制： 定义了一个正则化项以增强学习模型的置信度。CORES 在训练过程中将样本分为干净样本和噪声样本，对干净数据使用监督损失，对噪声标签样本使用无监督一致性损失。

7. OLS (Online Label Smoothing) [25]：

   • 核心思想： 利用模型预测分布来发现不同类别之间的关系，并在此基础上进行标签平滑。
   • 主要机制： 用动态生成的软标签 (soft labels) 替代传统的硬标签平滑。OLS 将每个类别视为一个在每次训练迭代中不断变化的移动标签分布，从而更好地捕捉类别间的语义关系和不确定性。

3.5. 差异化分析

本文提出的方法与上述噪声标签分类器及相关工作的主要差异和创新点在于其主动模拟攻击并进行“免疫”训练的策略，以及对联邦学习环境下恶意结构化噪声的专门处理：

1. 从被动处理到主动模拟： 大多数现有噪声标签分类器旨在被动地处理数据中已经存在的噪声，通常假设噪声是随机的、无恶意的，或者其分布可以通过统计方法（如噪声转换矩阵）来估计。然而，标签投毒攻击产生的噪声是攻击者精心设计、有特定目标和模式的恶意结构化噪声。本文通过引入 GALP，主动模拟这些恶意噪声（特别是类别相关和实例相关噪声），使得模型能够在受控环境中“体验”并学习如何应对这些攻击模式。

2. 针对联邦学习中的恶意攻击： 本文明确将标签投毒攻击定义为联邦学习中的安全问题，并设计了一种端到端的防御机制。GALP 能够生成模拟标签翻转和后门攻击的噪声，这使得其防御目标更加聚焦于对抗性攻击，而非仅仅是随机错误。这是对传统噪声标签分类器应用场景的拓展和深化。

3. 模型“免疫”概念的引入： 通过将 GALP 生成的人工投毒数据与客户端的噪声标签分类器训练过程结合，实现了本地模型的“免疫”。这意味着在客户端模型参数上传到服务器进行聚合之前，它已经具备了对恶意噪声的鲁棒性。这种本地免疫策略有助于保护全局模型，即使在存在恶意客户端的联邦学习环境中也能保持性能。

4. 全面考虑噪声机制： 论文明确指出并利用了三种标签噪声机制（类别无关、类别相关、实例相关）来模拟不同类型的攻击。这种分类和利用使得防御机制能够针对性地应对不同复杂度的标签投毒策略，特别是那些利用类别相关和实例相关噪声进行的更高级攻击。

   简而言之，本文的创新在于将生成对抗网络的强大数据生成能力与噪声标签分类器的鲁棒学习能力相结合，为联邦学习提供了一种新颖、主动且针对性的标签投毒防御策略，弥补了现有方法在处理恶意结构化噪声方面的不足。

4. 方法论

4.1. 方法原理

本研究提出的防御机制的核心原理是“模型免疫 (model vaccination)”，旨在通过在客户端本地训练阶段主动暴露模型于模拟的标签投毒攻击下，使其获得对真实攻击的抵抗能力。

在联邦学习中，由于中心服务器无法直接检查客户端的本地数据，恶意客户端可以通过注入带有错误标签的训练样本来污染本地模型。当这些被污染的本地模型参数被聚合时，全局模型也会受到损害。为了防止这种情况，本文提出在每个客户端本地引入一个生成对抗标签投毒器 (Generative Adversarial Label Poisoner, GALP)，并结合一个噪声标签分类器 (Noisy Label Classifier)。

其工作原理可以概括为：

1. 模拟攻击（GALP）：GALP 作为一个内部“攻击者”，在客户端本地环境中根据当前模型的性能和服务器的最新更新，人工生成模拟真实标签投毒攻击（如标签翻转或后门攻击）的恶意标签噪声。这种噪声可以是类别相关或实例相关的，模仿了攻击者精心设计的策略。

2. 鲁棒训练（噪声标签分类器）：客户端的本地模型被设计为一种噪声标签分类器。它不仅使用其原始的干净数据进行训练，还使用由 GALP 生成的、带有恶意噪声标签的数据进行训练。

3. 学习噪声分布：通过在模拟的恶意噪声数据上进行训练，噪声标签分类器能够学习到这些恶意噪声的潜在分布和特征。这使得模型在遇到真实的标签投毒攻击时，能够识别出哪些标签可能是被污染的，并降低其对模型训练的影响。

4. 免疫模型参数：经过这种“免疫”训练后，客户端本地模型产生的参数更新 $\theta_{\mathrm{out}}^r$ 已经具备了对标签投毒攻击的鲁棒性。

5. 聚合防御：当服务器聚合来自所有客户端（包括免疫过的良性客户端和可能的恶意客户端）的参数时，由于大部分更新都已具备抗攻击能力，即使有部分恶意更新，其对全局模型的影响也会被有效稀释和抵消，从而保护全局模型的完整性和性能。

   通过这种方式，模型不再是被动地等待攻击发生后再进行检测或修正，而是通过预先学习攻击模式，主动增强自身的防御能力。

4.2. 整体框架 (图2)

本文提出的防御框架，将生成对抗标签投毒器 (GALP) 与噪声标签分类器相结合，用于缓解联邦学习中的标签投毒攻击。其工作流程如下：

图示流程说明：

1. 服务器初始化与分发： 联邦学习过程始于中心服务器。服务器维护一个全局模型，并将其参数 $\theta_S$ 分发给所有参与训练的客户端。
2. 客户端接收更新： 每个客户端 $\mathcal{M}_r$ 接收到最新的全局模型参数 $\theta_S$，并用其初始化自己的本地模型。
3. 本地数据与噪声注入： 每个客户端 $\mathcal{M}_r$ 拥有其本地数据集 $T_r = \{X_r, Y_r\}$。为了模拟标签投毒攻击并免疫本地模型，客户端内部集成了 GALP 模块。
   • GALP 的输入： 客户端的本地数据 $X_r$ 和 $Y_r$，以及一个随机噪声矩阵 $Z$。GALP 还会利用当前模型 $\mathcal{M}_r$（由 $\theta_S$ 初始化）对本地数据的评估结果，例如预测误差 $E_j^r$ 或样本置信度 $\varphi_i$，来指导噪声生成。
   • GALP 的功能： GALP 内部的生成器 $\mathcal{G}$ 根据预设的攻击机制（类别相关或实例相关），利用 $Z$ 和模型评估结果，生成人工投毒数据 $\{\tilde{X}, \tilde{Y}\}$。这里的 $\tilde{Y}$ 是恶意噪声标签， $\tilde{X}$ 可以是原始 $X_r$ 或者是被 $\mathcal{G}$ 篡改的特征（尽管主要焦点在标签噪声）。
   • GALP 的目标： 生成的 $\{\tilde{X}, \tilde{Y}\}$ 旨在模拟真实的标签翻转或后门攻击，使判别器 $\mathcal{D}$ 难以区分其与带有原始标签的真实数据。
4. 噪声标签分类器训练： 客户端的本地模型 $\mathcal{M}_r$ 被配置为噪声标签分类器。它使用两部分数据进行训练：
   • 客户端自身的原始训练数据 $T_r = \{X_r, Y_r\}$。
   • 由 GALP 生成的人工投毒数据 $\{\tilde{X}, \tilde{Y}\}$。 通过在这些混合数据上进行训练，客户端模型能够学习识别和抵消标签噪声（包括由 GALP 模拟的恶意噪声）的影响，从而增强对标签投毒攻击的鲁棒性。这个过程被称为“模型免疫”。
5. 本地参数上传： 经过本地训练和免疫处理后，客户端 $\mathcal{M}_r$ 生成其更新后的本地模型参数 $\theta_{\mathrm{out}}^r$，并将其发送回中心服务器。
6. 服务器聚合： 服务器收集来自所有客户端的 $\theta_{\mathrm{out}}^r$，并使用聚合函数 $f(\cdot)$（例如联邦平均）来计算新的全局模型参数 $\theta_S$。由于客户端模型已具备免疫能力，即使存在恶意客户端上传的污染参数，经过聚合后的全局模型也更不易受到影响。
7. 迭代： 联邦学习过程持续进行，服务器分发新的 $\theta_S$，客户端再次进行本地训练和免疫，形成一个持续迭代的防御循环。

4.3. 形式化定义

研究假设一个由 $k$ 个客户端模型组成的联邦网络，表示为 $\boldsymbol { \Gamma } = \{ \mathcal { M } _ { 1 } , \mathcal { M } _ { 2 } , . . . , \mathcal { M } _ { k } \}$。服务器端的聚合模型参数 $\theta _ { S }$ 是通过聚合这些客户端模型的参数获得的。

对于网络中的每个客户端模型 $\mathcal { M } _ { r }$ (其中 $1 \leq r \leq k$)，它拥有一个本地训练数据集 $T _ { r } = \{ X _ { r } , Y _ { r } \}$。

• $X _ { r } = \{ x _ { 1 } ^ { r } , x _ { 2 } ^ { r } , \ldots , x _ { m _ { r } } ^ { r } \}$ 代表客户端 $r$ 的样本特征集合。

• $Y _ { r } = \{ y _ { 1 } ^ { r } , y _ { 2 } ^ { r } \cdot \cdot \cdot , y _ { m _ { r } } ^ { r } \}$ 代表客户端 $r$ 对应的真实标签集合。

• m _ { r } 表示客户端 $r$ 的训练集 T _ { r } 中样本的数量。

  在注入了噪声标签后（通过各种威胁模型，例如本文提出的 GALP），原始标签集合 Y _ { r } 会被污染。污染后的标签集合表示为 $\tilde { Y } _ { r } = \{ \tilde { y } _ { 1 } ^ { r } , \tilde { y } _ { 2 } ^ { r } , \dots , \tilde { y } _ { m _ { r } } ^ { r } \}$，而相应的污染后的训练集则表示为 $\tilde { T } _ { r } = \{ X _ { r } , \tilde { Y } _ { r } \}$。

4.4. 生成对抗标签投毒器 (GALP) 详解

GALP 是一个基于生成对抗网络 (GAN) 的模块，用于在客户端本地生成人工标签噪声，以模拟标签投毒攻击。其核心组件是生成器 $\mathcal{G}$ 和判别器 $\mathcal{D}$。

4.4.1. $\mathcal{G}$ 和 $\mathcal{D}$ 的结构定义

GALP 中的生成器 $\mathcal{G}$ 和判别器 $\mathcal{D}$ 均是多层神经网络。

1. 生成器 $\mathcal{G}$ 的前向传播定义： $$\mathcal { G } ( z _ { i } ) = ( z _ { i } , u _ { 1 } ^ { \mathcal { G } } , u _ { 2 } ^ { \mathcal { G } } , \ldots , u _ { L } ^ { \mathcal { G } } , \tilde { x } _ { i } ) ,$$ 符号解释：

   • z _ { i }: 输入给生成器 $\mathcal{G}$ 的随机噪声向量。它是生成过程的起点。
   • $u _ { l } ^ { \mathcal { G } }$: 生成器 $\mathcal{G}$ 中第 $l$ 个隐藏层的激活输出。这些输出构成了从输入噪声到最终生成样本的逐步抽象表示。
   • $L$: 生成器 $\mathcal{G}$ 中的隐藏层总数。
   • $\tilde { x } _ { i }$: 生成器 $\mathcal{G}$ 最终生成的“假”样本。在本文的语境中，生成器主要负责生成与原始数据 $X_r$ 相似的特征，并为其分配伪造的标签 $\tilde{Y}_r$，以模拟带有恶意标签的样本。

2. 判别器 $\mathcal{D}$ 的前向传播定义： $$\mathcal { D } ( x _ { i } , \tilde { y } _ { i } ) = ( \{ x _ { i } , \tilde { y } _ { i } \} , u _ { 1 } ^ { \mathcal { D } } , u _ { 2 } ^ { \mathcal { D } } , \ldots , u _ { L } ^ { \mathcal { D } } , \hat { y } _ { i } ) ,$$ 符号解释：

   • x _ { i }: 输入给判别器 $\mathcal{D}$ 的样本特征。
   • $\tilde { y } _ { i }$: 输入给判别器 $\mathcal{D}$ 的样本标签。这个标签可能是原始的真实标签 $y_i^r$（在判别真实样本时），也可能是由生成器 $\mathcal{G}$ 生成的噪声标签（在判别假样本时）。
   • $\{ x _ { i } , \tilde { y } _ { i } \}$: 判别器 $\mathcal{D}$ 的初始输入，即样本特征和其关联标签的组合。
   • $u _ { l } ^ { \mathcal { D } }$: 判别器 $\mathcal{D}$ 中第 $l$ 个隐藏层的激活输出。
   • $L$: 判别器 $\mathcal{D}$ 中的隐藏层总数。
   • $\hat { y } _ { i }$: 判别器 $\mathcal{D}$ 的最终输出，通常是一个介于 0 和 1 之间的概率值，表示判别器认为输入 $\{ x _ { i } , \tilde { y } _ { i } \}$ 是“真实”（即带有原始正确标签）的概率。

3. 隐藏层 $h_l$ 的计算： 模型的隐藏层 $h_l$ 通过以下递归公式计算，并结合了批量归一化 (batch normalization)： $$h _ { l } = \frac { u _ { l - 1 } ^ { T } \cdot w _ { l } - \mu _ { l } } { \sigma _ { l } } , \ s . \ t . \ u _ { 0 } = \{ x _ { i } , \tilde { y } _ { i } \} ,$$ 其中，对于生成器 $\mathcal{G}$，u _ { 0 } = z _ { i }。 符号解释：

   • h _ { l }: 第 $l$ 层的加权输入，经过归一化处理。它代表了该层神经元接收到的聚合信号。
   • $u _ { l - 1 }$: 前一个隐藏层的激活输出。对于第一层 ($l=1$)，它是模型的初始输入 $u_0$。
   • w _ { l }: 第 $l$ 层的权重矩阵，用于将前一层的输出映射到当前层的输入。
   • $\mu _ { l }$: 批量归一化中第 $l$ 层输入的均值。
   • $\sigma _ { l }$: 批量归一化中第 $l$ 层输入的标准差。批量归一化有助于加速训练和稳定网络。
   • u _ { 0 }: 模型的初始输入。对于判别器 $\mathcal{D}$，它是样本特征和标签的组合 $\{ x _ { i } , \tilde { y } _ { i } \}$；对于生成器 $\mathcal{G}$，它是随机噪声 z _ { i }。

4. 激活函数 $u_l(h_l)$ 的定义： $$u _ { l } ( h _ { l } ) = \left\{ \begin{array} { l l } { 0 . 0 1 h _ { l } \quad } & { \mathrm { i f } h _ { l } < 0 \mathrm { ~ \land ~ } l < L } \\ { h _ { l } \quad } & { \mathrm { i f } h _ { l } \geq 0 \mathrm { ~ \land ~ } l < L } \\ { \frac { 1 } { 1 + e ^ { - h _ { l } } } \quad } & { \mathrm { i f } l = L , } \end{array} \right.$$ 符号解释：

   • u _ { l } ( h _ { l } ): 经过激活函数处理后的第 $l$ 层的输出。
   • Leaky ReLU 激活函数：
     • 当 $h _ { l } < 0$ 且 $l < L$（即非输出层）时，输出 0.01 h _ { l }。这允许负值输入通过一个小的斜率传递，避免了传统 ReLU 中的“死亡 ReLU”问题。
     • 当 $h _ { l } \geq 0$ 且 $l < L$ 时，输出 h _ { l }。
   • Sigmoid 激活函数：
     • 当 $l = L$（即输出层）时，输出 $\frac { 1 } { 1 + e ^ { - h _ { l } } }$。Sigmoid 函数将输出值压缩到 (0, 1) 区间，通常用于判别器的最后一层，以表示概率。

4.4.2. 类别相关注入器 (Class-dependent Injector, CD Injector)

类别相关注入器旨在生成标签噪声，使其在统计上与真实类别相关，但与样本特征无关，以模拟有目标的标签翻转攻击。攻击者的一个目标是使注入的噪声标签看起来“合理”，从而降低被检测为恶意的可能性。

1. 评估客户端模型对服务器更新的误差： 客户端首先使用从服务器接收到的最新全局模型参数 $\theta _ { S }$，在其本地数据 X _ { r } 上进行预测，得到预测标签 $\hat { Y } _ { r }$： $$\mathcal { M } _ { r } ( \theta _ { S } , X _ { r } ) = \hat { Y } _ { r } ,$$ 符号解释：

   • $\mathcal { M } _ { r }$: 客户端 $r$ 的本地噪声标签分类模型。
   • $\theta _ { S }$: 服务器分发给客户端的全局模型参数。
   • X _ { r }: 客户端 $r$ 的本地样本特征。
   • $\hat { Y } _ { r }$: 模型 $\mathcal { M } _ { r }$ 对 X _ { r } 的预测标签。

2. 识别存在标签错误的类别： 通过比较模型预测结果 $\hat { Y } _ { r }$ 与本地真实标签 Y _ { r }，计算每个类别的预测准确率。准确率非 100% 的类别将被视为存在标签错误，并构成类别相关噪声的目标。 $$E _ { j } ^ { r } = \frac { 1 } { | c _ { j } | } \sum _ { i = 1 } ^ { | c _ { j } | } P ( \hat { y } _ { i } ^ { r } = y _ { i } ^ { r } ) , \{ x _ { i } , y _ { i } \} \in c _ { j } ,$$ 符号解释：

   • $E _ { j } ^ { r }$: 客户端 $r$ 的模型对类别 c _ { j } 的预测准确率。
   • $| c _ { j } |$: 类别 c _ { j } 中样本的数量。
   • $P ( \hat { y } _ { i } ^ { r } = y _ { i } ^ { r } )$: 表示样本 $i$ 的预测标签 $\hat { y } _ { i } ^ { r }$ 与其真实标签 $y _ { i } ^ { r }$ 相符的概率（即预测正确）。
   • $\{ x _ { i } , y _ { i } \} \in c _ { j }$: 表示样本 $\{ x _ { i } , y _ { i } \}$ 属于类别 c _ { j }。
   • $C _ { \mathrm { C D } } = \{ c _ { j } \ | \ E _ { j } \neq 0 \}$: 被确定为存在标签错误的类别集合。这些类别将成为生成器注入类别相关噪声的目标。

3. 生成器 $\mathcal{G}$ 生成假样本特征： 生成器接收随机噪声 $Z$ 作为输入，并生成假样本的特征 $\tilde { X }$： $${ \mathcal { G } } ( Z ) = { \tilde { X } } .$$ 符号解释：

   • $Z$: 随机噪声，为生成器提供多样性。
   • $\tilde { X }$: 生成器产生的假样本特征。这些假样本将被赋予与 $C _ { \mathrm { C D } }$ 相关的噪声标签。

4. 判别器 $\mathcal{D}$ 的输入与目标： 判别器接收生成器产生的假样本 $\tilde { X }$ 和存在错误的类别集合 $C _ { \mathrm { C D } }$。判别器尝试区分这些假样本（带有噪声标签）与真实样本（带有原始正确标签）。 $$\mathcal { D } ( \tilde { X } , C _ { \mathrm { C D } } ) = P _ { \mathrm { f a k e } }$$ 符号解释：

   • $P _ { \mathrm { f a k e } }$: 判别器输出的概率，表示其认为输入 $(\tilde{X}, C_{\mathrm{CD}})$ 是由生成器产生的虚假样本的程度。

5. 类别相关注入器 (CD Injector) 的损失函数： 生成器和判别器通过最小化-最大化博弈进行训练。生成器 $\mathcal{G}$ 试图最小化以下损失函数，而判别器 $\mathcal { D }$ 试图最大化该函数： $$\begin{array} { r l } & { \underset { \mathcal { G } } { \mathop { \operatorname* { m i n } } } \underset { \mathcal { D } } { \mathop { \operatorname* { m a x } } } V _ { \mathrm { C D } } ( \mathcal { G } , \mathcal { D } ) = } \\ & { \quad \quad \quad \mathbb { E } \left[ \log \mathcal { D } ( \hat { { \cal X } } , C _ { \mathrm { C D } } ) \right] + \mathbb { E } \left[ 1 - \mathcal { D } \big ( \tilde { { \cal X } } , C _ { \mathrm { C D } } \big ) \right] } \end{array} ,$$ 符号解释：

   • $V _ { \mathrm { C D } } ( \mathcal { G } , \mathcal { D } )$: 类别相关注入器的价值函数。
   • $\underset { \mathcal { G } } { \mathop { \operatorname* { m i n } } } \underset { \mathcal { D } } { \mathop { \operatorname* { m a x } } }$: 表示一个典型的 GAN 优化目标，生成器最小化目标，判别器最大化目标。
   • $\mathbb { E } [ \cdot ]$: 期望值。
   • $\log \mathcal { D } ( \hat { { \cal X } } , C _ { \mathrm { C D } } )$: 判别器正确地将真实样本 $\hat { { \cal X } }$（带有原始正确标签）识别为真实的概率的对数。判别器希望最大化这一项。
   • $1 - \mathcal { D } \big ( \tilde { { \cal X } } , C _ { \mathrm { C D } } \big )$: 判别器将生成器产生的假样本 $\tilde { { \cal X } }$（带有噪声标签）错误地识别为真实的概率。生成器希望最大化这一项，使其生成的假样本更难被判别器区分，从而达到更好的模拟效果。

4.4.3. 实例相关注入器 (Instance-dependent Injector, ID Injector)

实例相关注入器用于生成标签噪声，其被污染的概率不仅与类别相关，还与样本本身的特征相关，以模拟后门攻击。这种攻击更难被发现，因为其针对特定实例模式。

1. 测量样本的置信度： 为了模拟后门攻击，攻击者不仅要找到容易出错的类别，还要找到在这些类别中模型预测置信度最低的样本。论文使用 Softmax 激活函数最后一层的输出，通过计算类似方差的指标 $\varphi _ { i }$ 来衡量每个样本的置信度： $$\varphi _ { i } = \frac { \sum _ { j = 1 } ^ { | u _ { L } | } ( u _ { L } ( j ) - \bar { u _ { L } } ) } { | u _ { L } | - 1 } ,$$ 符号解释：

   • $\varphi _ { i }$: 第 $i$ 个样本的置信度。这个公式衡量的是模型对样本 $i$ 的 Softmax 输出分布的“扁平”程度。如果 $\varphi _ { i }$ 值很小，表示 Softmax 输出概率分布比较均匀，模型对该样本的分类置信度较低。
   • u _ { L }: 模型最后一层（通常是 Softmax 层）的激活输出向量，其元素 u _ { L } ( j ) 代表模型对样本属于类别 $j$ 的预测概率。
   • $| u _ { L } |$: 向量 u _ { L } 的维度，即类别数量。
   • u _ { L } ( j ): 向量 u _ { L } 的第 $j$ 个元素。
   • $\bar { u _ { L } }$: 向量 u _ { L } 中所有元素的平均值。
   • $C _ { \mathrm { I D } }$: 通过选择具有最低置信度 $\varphi _ { i }$ 的样本形成的集合。这些样本是实例相关噪声的目标，因为它们是模型最不确定的样本，更容易被投毒而不被发现。

2. 实例相关注入器 (ID Injector) 的损失函数： 实例相关注入器使用与类别相关注入器相似的 GAN 结构，但其目标函数针对的是选定的低置信度样本集合 $C _ { \mathrm { I D } }$： $$\begin{array} { r l } & { \underset { \mathcal { G } } { \mathrm { m i n } } \underset { \mathcal { D } } { \mathrm { m a x } } V _ { \mathrm { I D } } ( \mathcal { G } , \mathcal { D } ) = } \\ & { \quad \quad \mathbb { E } \left[ \log \mathcal { D } ( \hat { \boldsymbol { X } } , \boldsymbol { C } _ { \mathrm { I D } } ) \right] + \mathbb { E } \left[ 1 - \mathcal { D } \big ( \tilde { \boldsymbol { X } } , \boldsymbol { C } _ { \mathrm { I D } } \big ) \right] , } \end{array}$$ 符号解释：

   • $V _ { \mathrm { I D } } ( \mathcal { G } , \mathcal { D } )$: 实例相关注入器的价值函数。
   • $\underset { \mathcal { G } } { \mathrm { m i n } } \underset { \mathcal { D } } { \mathrm { m a x } }$: 同样的 GAN 优化目标。
   • $\mathbb { E } [ \cdot ]$: 期望值。
   • $\log \mathcal { D } ( \hat { \boldsymbol { X } } , \boldsymbol { C } _ { \mathrm { I D } } )$: 判别器正确识别真实样本 $\hat { \boldsymbol { X } }$ 为真实的概率的对数。这里的“真实”样本结合了对 $C _ { \mathrm { I D } }$ 的考虑，意味着判别器学习在特定实例背景下识别真实性。
   • $1 - \mathcal { D } \big ( \tilde { \boldsymbol { X } } , \boldsymbol { C } _ { \mathrm { I D } } \big )$: 判别器将生成器产生的假样本 $\tilde { \boldsymbol { X } }$ 错误识别为真实的概率。生成器试图生成针对 $C _ { \mathrm { I D } }$ 中样本的、难以被判别器区分的噪声标签。

4.4.4. 算法流程 (Algorithm 1)

以下是原文 Algorithm 1 的转录，并对其进行详细解释。该算法描述了在客户端本地如何使用 GALP 模块来生成噪声标签并训练模型。

Algorithm 1: 生成对抗标签投毒器 (Generative Adversarial Label Poisoner, GALP)

算法流程解释：

1. 模型评估与错误识别 (Lines 1-11):

   • 客户端首先用当前全局模型参数 $\theta_S$ 对其本地数据 $T_r$ 进行预测 (Line 1)。
   • 接着，计算每个类别的预测准确率 $E_j^r$ (Lines 2-4)。
   • 根据 $E_j^r$ 和阈值 $t_1$，识别出模型表现不佳的类别，这些类别构成类别相关投毒的目标集 $C_{CD}$ (Line 5)。
   • 如果选择的机制是实例相关投毒 (Line 6)，则进一步计算 $C_{CD}$ 中每个样本的预测置信度 $\varphi_i$ (Lines 7-9)。
   • 根据 $\varphi_i$ 和阈值 $t_2$，识别出模型预测置信度低的样本，这些样本构成实例相关投毒的目标集 $C_{ID}$ (Line 10)。
   • $t_1$ 和 $t_2$ 是用于选择目标类别和实例的阈值，其中 $t_1 = 0$ 意味着任何存在错误的类别都被考虑。

2. GALP 对抗训练 (Lines 12-24):

   • 在每个训练 epoch 中 (Line 12)，生成器 $\mathcal{G}$ 首先从随机噪声 $Z$ 生成假样本特征 $\tilde{X}$ (Line 13)。
   • 根据选择的投毒机制 (类别相关或实例相关) (Line 14)：
     • 类别相关机制 (Lines 15-18): 判别器 $\mathcal{D}$ 接收 $\mathcal{G}$ 生成的 $\tilde{X}$ 和目标类别 $C_{CD}$，并尝试区分真假。随后，使用公式 (9) 更新 $\mathcal{G}$ 和 $\mathcal{D}$ 的参数，使得 $\mathcal{G}$ 生成的噪声更难被 $\mathcal{D}$ 发现，并且 $\mathcal{D}$ 能够更好地区分真实和假噪声。
     • 实例相关机制 (Lines 19-22): 判别器 $\mathcal{D}$ 接收 $\mathcal{G}$ 生成的 $\tilde{X}$ 和目标样本 $C_{ID}$，并尝试区分真假。随后，使用公式 (11) 更新 $\mathcal{G}$ 和 $\mathcal{D}$ 的参数，目标与类别相关机制类似。
   • 这个对抗训练过程使得 GALP 能够生成逼真的、具有特定恶意模式的标签噪声。

3. 本地模型免疫训练 (Line 25):

   • GALP 训练完成后，客户端的噪声标签分类器 $\mathcal{M}_r$ 使用服务器更新 $\theta_S$ 作为初始参数。
   • 它在混合数据集上进行训练：
     • 原始本地数据 $T_r = \{X_r, Y_r\}$。
     • 由 GALP 生成的人工投毒数据 $\{\hat{X}, \tilde{Y}\}$（其中 $\hat{X}$ 是由 GALP 产生的样本特征， $\tilde{Y}$ 是其生成的噪声标签）。
   • 这种训练使得本地模型能够学习识别和抵消标签噪声的影响，从而获得对标签投毒攻击的鲁棒性。

4. 返回更新参数 (Return): 客户端最终返回经过免疫训练后的本地模型参数 $\theta_{\text{out}}^r$ 给服务器。

4.5. 模型训练与聚合

在 GALP 生成人工标签噪声并完成对抗训练后，客户端的噪声标签分类器 $\mathcal{M}_r$ 会使用这些生成的数据来进一步训练，以实现模型的“免疫”。

1. 客户端模型训练： 经过 GALP 注入噪声后，客户端模型 $\mathcal{M}_r$ 使用从服务器接收到的全局模型参数 $\theta _ { S }$ 作为初始值，并在一个扩展的训练集上进行训练。这个扩展训练集包括其原始的本地数据 $T_r$，以及由 GALP 生成的人工投毒数据 $\{ \hat { X } , \tilde { Y } , Y \}$（其中 $\hat { X }$ 是由 GALP 产生的样本特征， $\tilde { Y }$ 是其生成的噪声标签，而 $Y$ 可能是原始的真实标签用于辅助学习）： $$\mathcal { M } _ { r } ( \theta _ { S } , \{ \hat { X } , \tilde { Y } , Y \} \cup T _ { r } ) \rightarrow \theta _ { \mathrm { o u t } } ^ { r } ,$$ 符号解释：

   • $\theta _ { \mathrm { o u t } } ^ { r }$: 客户端 $r$ 经过本地训练和免疫处理后，准备发送给服务器的更新模型参数集合。
   • $\{ \hat { X } , \tilde { Y } , Y \} \cup T _ { r }$: 客户端 $r$ 用于本地训练的综合数据集。这表示将 GALP 生成的带有噪声标签的数据集与客户端的原始本地数据集相结合。通过这种方式，本地模型被“免疫”以应对潜在的标签投毒攻击。

2. 服务器聚合功能： 在客户端完成本地训练并上传其参数 $\theta _ { \mathrm { o u t } } ^ { r }$ 后，服务器会收集所有客户端的参数，并使用一个聚合函数 $f ( \cdot )$ 来计算新的全局模型参数 $\theta _ { S }$： $$\theta _ { S } = f ( \{ \theta _ { \mathrm { o u t } } ^ { r } \mid 1 \leq r \leq k \} ) .$$ 符号解释：

   • $\theta _ { S }$: 新的全局模型参数，将用于下一轮联邦学习的初始化。
   • $f ( \cdot )$: 联邦学习中使用的聚合函数，例如联邦平均 (Federated Averaging, FedAvg)。
   • $\{ \theta _ { \mathrm { o u t } } ^ { r } \mid 1 \leq r \leq k \}$: 从所有 $k$ 个客户端收集到的本地模型参数集合。

3. 联邦平均 (FedAvg) 作为聚合函数： 为简化起见，本文将聚合函数定义为所有客户端模型参数的简单平均值： $$f ( \{ \theta _ { \mathrm { o u t } } ^ { r } \ | \ 1 \leq r \leq k \} ) = \frac { 1 } { k } \sum _ { r = 1 } ^ { k } \theta _ { \mathrm { o u t } } ^ { r } .$$ 符号解释：

   • $\frac { 1 } { k } \sum _ { r = 1 } ^ { k } \theta _ { \mathrm { o u t } } ^ { r }$: 对所有客户端上传的本地模型参数进行算术平均，得到新的全局模型参数。

     通过这种模型训练和聚合机制，即使存在恶意客户端试图通过标签投毒来污染模型，由于大部分良性客户端的模型都已通过 GALP 进行了“免疫”，聚合后的全局模型能够有效抵御这些攻击，保持其鲁棒性。

5. 实验设置

5.1. 数据集

为了评估所提出方法和选定的噪声标签分类器在入侵检测任务上的性能，研究使用了两个真实世界的物联网网络数据集：UNSW-NB15 和 NIMS。

5.1.1. UNSW-NB15 数据集

• 来源： 澳大利亚网络安全卓越中心 (CSE UNSW) 的研究人员创建。它包含了现代正常的网络流量以及多种类型的攻击流量。
• 特点：
  • 设计用于评估网络入侵检测系统 (NIDS)。
  • 数据集包含 pcap、Argus、Bro 和 Csv 等多种数据文件格式。
  • 原始数据样本被分为正常 (normal) 和攻击 (attack) 两大类。
  • 本研究的处理： 为了增加挑战性，研究将原始的二分类问题修改为多分类问题，包含 9 个类别，即正常数据和八种不同的攻击类别。这使得标签投毒攻击的影响更复杂，也更能体现模型对精细分类任务的鲁棒性。
• 样本示例： 原文未提供具体的数据样本示例。

5.1.2. NIMS Botnet 数据集

• 来源： 在一个研究实验室的测试网络中捕获。
• 特点：
  • 通过模拟各种网络场景收集而来，包含多个计算机和模拟的 SSH 连接（例如，客户端连接到四个外部 SSH 服务器，总共运行六个 SSH 服务器）。
  • 模拟了多种应用行为，包括 DNS、HTTP、FTP、P2P (limewire) 和 telnet。
  • 该数据集旨在研究加密流量的识别和僵尸网络检测。
• 样本示例： 原文未提供具体的数据样本示例。

5.1.3. 客户端数据划分

在这两个数据集的实验中，都设定了 50 个客户端。对于每个客户端，研究从原始数据集中每个类别中随机选择 50% 的样本作为其本地训练数据。这种划分方式保证了每个客户端的数据都具有一定的类别分布，并模拟了联邦学习中数据非独立同分布 (Non-IID) 的情况。

5.2. 评估指标

为了全面评估模型性能，研究使用了准确率 (Accuracy) 和 F-measure (F1-score) 作为主要的评估指标。

5.2.1. 准确率 (Accuracy)

• 概念定义： 准确率衡量的是模型正确分类的样本数量占总样本数量的比例。它是一个直观且常用的评估指标，适用于类别分布相对均衡的情况。
• 数学公式： $$\text{Accuracy} = \frac{\text{TP} + \text{TN}}{\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$
• 符号解释：
  • $\text{TP}$ (True Positives)：真正例，模型正确地将正类别样本预测为正类别。
  • $\text{TN}$ (True Negatives)：真负例，模型正确地将负类别样本预测为负类别。
  • $\text{FP}$ (False Positives)：假正例，模型错误地将负类别样本预测为正类别。
  • $\text{FN}$ (False Negatives)：假负例，模型错误地将正类别样本预测为负类别。

5.2.2. F-measure (F1-score)

• 概念定义： F1-score 是精确率 (Precision) 和召回率 (Recall) 的调和平均值。它在评估模型性能时，尤其在类别不平衡的数据集上，比单纯的准确率更能提供一个全面的视角。F1-score 越高，表示模型的精确率和召回率都较高。
• 数学公式： $$\text{F1-score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$ 其中： $$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}$$ $$\text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}$$
• 符号解释：
  • $\text{TP}$ (True Positives)：真正例，与准确率中的定义相同。
  • $\text{FP}$ (False Positives)：假正例，与准确率中的定义相同。
  • $\text{FN}$ (False Negatives)：假负例，与准确率中的定义相同。
  • $\text{Precision}$ (精确率)：模型预测为正类别的样本中，实际为正类别的比例。
  • $\text{Recall}$ (召回率)：所有实际为正类别的样本中，模型正确预测为正类别的比例。

5.3. 实验配置

• 重复次数： 所有实验均重复进行十次，并记录 F-measure 和准确率结果的平均值和标准差。

• 批量大小 (Batch Size)： 对于所有的噪声标签分类器和所提出的 GALP 算法，批量大小均设置为 100。

• GALP 结构： GALP 中的生成器 $\mathcal{G}$ 和判别器 $\mathcal{D}$ 各具有三个隐藏层。它们的参数优化采用 Adam 优化器。

• 噪声标签分类器参数设置： 实验中对所选的噪声标签分类器进行了超参数调优。学习率 (learning rate) 在集合 $\{0.001, 0.01, 0.02, 0.1\}$ 中进行搜索，隐藏层数量在 $\{2, 3, 4, 5\}$ 中进行经验性选择。具体参数设置如下表所示：

  以下是原文 Table 1 的转录： Table 1 参数设置噪声分类器。

5.4. 对比基线

本文的主要对比基线是各种最先进的噪声标签分类器，包括 LMNL、Masking、GLC、PENCIL、SCEL、CORES 和 OLS。这些方法被选作基线，是因为它们代表了当前在处理标签噪声方面的领先技术，并且涵盖了不同的处理策略（如损失修正、样本过滤、置信度估计等）。通过与这些基线进行比较，可以评估所提出的结合 GALP 的防御框架在应对标签投毒攻击时的相对有效性。此外，本文还通过对比有无 GALP 的训练效果，来验证 GALP 模块本身的贡献。

6. 实验结果与分析

6.1. 核心结果分析

本节详细分析了在 UNSW-NB15 和 NIMS 两个物联网数据集上，不同噪声标签分类器在三种标签噪声机制（类别无关、类别相关、实例相关）以及不同噪声比例下的准确率和 F-measure 表现。此外，还评估了所提出的 GALP 模块对防御标签投毒攻击的增强效果。

6.1.1. 标签噪声机制对性能的影响 (图3和图4)

以下是原文 Figure 3 的描述，并对其进行详细解释：

图3：不同噪声机制下的准确率

• 类别无关 (Class-independent, CI) 噪声： 在三种噪声机制中，类别无关噪声似乎最容易被噪声分类器处理。如图3(a)所示，在 UNSW-NB15 数据集上，即使噪声比例达到最大，GLC 的准确率也仅下降约 15%。这表明随机、无目标的噪声相对容易被模型学习和抵消。

• 类别相关 (Class-dependent, CD) 噪声： 类别相关噪声对模型性能的影响更为显著。在 UNSW-NB15 数据集上，类别相关噪声导致 GLC 的准确率下降高达 30%。这证明了与传统的诱导类别无关标签噪声的攻击相比，所提出的类别相关标签翻转攻击（通过 GALP 模拟）更具挑战性和有效性。

• 实例相关 (Instance-dependent, ID) 噪声： 实例相关噪声通常被认为是三者中最难处理的。图3(c)和3(f)展示了实例相关噪声在两个数据集上的影响。

• F-measure 表现 (图4)： 如图4所示，F-measure 的结果与准确率趋势大致相同，进一步验证了上述观察。然而，Masking 方法的 F-measure 下降速度快于其准确率，这可能归因于标签类别不平衡问题。

  以下是原文 Figure 4 的描述，并对其进行详细解释：

  

  图4：不同噪声机制下的F-measure

6.1.2. 噪声标签分类器的敏感性与鲁棒性 (图3和图4)

• GLC： 在类别无关和类别相关噪声下，GLC 对噪声比例的敏感度最高（性能下降最快）。然而，令人意外的是，在 UNSW-NB15 数据集上，GLC 对实例相关噪声表现出最高的鲁棒性（图3(c)）。
• CORES： 在大多数情况下，CORES 对噪声比例表现出最高的鲁棒性（即性能下降最慢），无论噪声机制如何。这表明 CORES 在处理各种标签噪声方面具有较强的稳定性。
• 其他方法： 大多数其他方法对实例相关噪声表现出相似的敏感度。
• 数据集挑战性： UNSW-NB15 数据集对噪声分类器而言似乎比 NIMS 数据集更具挑战性，这可能与其多类别、更复杂的攻击类型分布有关。

6.1.3. 性能分布与方差 (图5)

以下是原文 Figure 5 的描述，并对其进行详细解释：

图5：不同噪声类型下，GALP 系列方法对标签噪声防御的效果的准确率和 F1 值分布

• LMNL： 在处理类别无关和类别相关标签时，LMNL 的性能方差最低，表明其结果最稳定。
• Masking： 在类别无关和类别相关机制下，Masking 似乎是最不稳定的方法（方差最大）。
• PENCIL 和 SCEL： 这两种方法在稳定性方面大致相当。
• 实例相关噪声下的方差： 针对实例相关噪声，各方法的性能方差取决于数据集的分布。例如，GLC 在准确率方面（图5(c)）排名第二稳定，但在 F-measure 方面（图5(f)）则表现为最稳定。这表明不同数据集特性和评估指标会对方法的稳定性评估产生影响。
• 总体趋势： 实例相关噪声通常更具挑战性，这与预期相符，因为它模拟了更复杂的后门攻击。

6.1.4. 总体结果和排名 (表2)

以下是原文 Table 2 的转录： Table 2 噪声标签分类器的总体结果和排名。平均性能测量后显示估计的标准差。

• CORES 表现最佳： 综合准确率和 F-measure，CORES 表现优于所有其他竞争者，排名第一。这表明 CORES 在处理不同类型标签噪声方面具有卓越的性能和鲁棒性。
• SCEL 和 OLS 紧随其后： SCEL 在 F-measure 方面排名第二，OLS 在准确率方面排名第二。鉴于 F-measure 在处理类别不平衡问题上的重要性，SCEL 被评为第二名。
• PENCIL 和 Masking： 分别排名第四和第五。
• LMNL 和 GLC： LMNL 在 F-measure 方面优于 GLC，而 GLC 在准确率方面略优。但考虑到 F-measure 的差异更显著，LMNL 排名第六，GLC 排名第七。
• 结论： 结果表明，将 GALP 算法与 CORES 分类器结合可以显著降低联邦学习系统中恶意噪声标签的影响。这是因为 CORES 在设计时也考虑了实例相关标签噪声，使其与 GALP 结合时能更好地应对这种挑战性噪声。

6.1.5. GALP 对缓解标签投毒的效果 (图6)

为了明确 GALP 在提高噪声分类器对标签投毒鲁棒性方面的作用，研究移除了训练过程中的 GALP 模块，并将结果与使用 GALP 的情况进行了比较。选择性能最佳的 CORES 算法进行此项实验，并在 UNSW-NB15 数据集上进行评估。

以下是原文 Figure 6 的描述，并对其进行详细解释：

图6：GALP在缓解标签投毒中的作用

• 无 GALP 的表现： 图6(a)和6(b)显示，即使是鲁棒性最好的 CORES 模型，如果在训练过程中没有 GALP 提供的模拟恶意噪声进行“免疫”，其在面对类别相关和实例相关标签投毒攻击时，准确率会显著下降。
• GALP 的有效性： 曲线对比清楚地表明，使用 GALP 人工投毒数据训练的 CORES 模型，其准确率远高于仅用随机对称噪声训练的 CORES 模型。
• 噪声比例的影响： GALP 的效果随着标签噪声比例的增加而变得更加显著。在低噪声比例下，两者差距可能不明显，但当噪声比例增加时，GALP 提供的免疫能力使得模型能够更好地维持性能。
• 针对不同攻击类型的效果：
  • 标签翻转攻击 (类别相关和类别无关)： 所提出的 GALP 方法几乎可以抵消标签翻转攻击（使用类别相关和类别无关标签噪声模拟）的影响，无论噪声比例如何。
  • 后门攻击 (实例相关)： 对于后门攻击（实例相关机制），任何小于 10% 的噪声比例都可以被 GALP 有效中和。当实例相关噪声比例超过 10% 时，数据分布成为决定噪声缓解效果的重要因素。然而，考虑到当前联邦学习系统的规模，后门攻击污染超过 10% 的流量数据在大多数应用中是不太可能的。

6.2. 数据呈现 (表格)

6.2.1. 噪声标签分类器参数设置 (Table 1)

以下是原文 Table 1 的转录： Table 1 参数设置噪声分类器。

6.2.2. 噪声标签分类器的总体结果和排名 (Table 2)

以下是原文 Table 2 的转录： Table 2 噪声标签分类器的总体结果和排名。平均性能测量后显示估计的标准差。

7. 总结与思考

7.1. 结论总结

本文提出了一种新颖的联邦学习标签投毒防御机制，该机制将生成对抗网络 (GAN) 与标签噪声分析相结合。核心贡献在于设计了一个生成对抗标签投毒器 (GALP)，它能够人工生成模拟真实标签翻转攻击和后门攻击的恶意标签噪声。通过让客户端的噪声标签分类器在这些由 GALP 生成的人工投毒数据上进行训练，实现了本地模型的“免疫”，使其能够学习并适应潜在的恶意噪声分布。

研究通过在两个物联网数据集 UNSW-NB15 和 NIMS 上进行入侵检测任务的评估，验证了所提出方法的有效性。实验结果表明，与仅使用随机噪声训练的模型相比，结合 GALP 训练的噪声标签分类器（特别是 CORES）能够显著提高模型对各种标签投毒攻击（包括类别相关和实例相关噪声）的鲁棒性。尤其对于标签翻转攻击，GALP 几乎可以完全抵消其影响；对于后门攻击，在噪声比例低于 10% 时也能有效防御。这使得联邦学习系统在面对恶意标签投毒时，能更好地保持模型的性能和安全性。

7.2. 局限性与未来工作

论文在指出所提出方法有效性的同时，也隐含或明确地指出了其潜在的局限性和未来研究方向：

1. 实例相关噪声的防御挑战： 实验结果表明，当实例相关噪声比例超过 10% 时，数据分布成为决定噪声缓解效果的重要因素。这暗示了在面对更极端或更复杂的后门攻击时，当前方法的有效性可能会受到限制，需要更深入地研究如何在这种高噪声、实例相关场景下保持鲁棒性。
2. 攻击者适应性： GALP 旨在模拟现有已知的攻击模式。然而，真实的攻击者可能会不断演进其攻击策略，设计出新的、未被 GALP 模拟过的噪声模式。模型免疫的有效性可能依赖于 GALP 能够多大程度上捕捉并预测未来攻击的复杂性。未来工作可能需要研究如何使 GALP 更具适应性，以应对不断演变的攻击。
3. 计算资源消耗： 生成对抗网络 (GAN) 的训练通常计算密集且复杂。在联邦学习的客户端环境中部署 GALP，尤其是在资源受限的物联网设备上，可能会带来显著的计算和能源开销。论文未深入探讨在异构和资源受限的客户端设备上实现 GALP 的实际挑战和优化策略。
4. 阈值选择的敏感性： 算法中使用了经验性阈值 $t_1$ 和 $t_2$ 来识别受损类别和低置信度样本。这些阈值的选择可能会影响 GALP 生成噪声的质量和针对性。论文未详细讨论这些阈值的敏感性分析或自适应调整方法。
5. 对恶意客户端的直接限制： 该防御机制主要通过“免疫”良性客户端来增强全局模型的鲁棒性。它使得恶意客户端上传的污染参数影响力减弱，但并未从根本上阻止恶意客户端发送恶意更新。未来的研究可以探索如何在客户端或服务器端增加更主动的恶意客户端检测和惩罚机制。

7.3. 个人启发与批判

• 个人启发：

  • “模型免疫”的创新理念： 将生物学中的“免疫”概念引入机器学习安全领域，通过在受控环境中主动暴露模型于模拟攻击之下，使其获得对真实攻击的抵抗力，这一理念非常新颖和富有启发性。它从被动防御转向了主动适应，为对抗性机器学习防御提供了新的视角。
  • GAN在防御中的潜在价值： GALP 的设计表明，GAN不仅可以用于生成数据进行攻击或数据增强，也可以在防御策略中发挥关键作用，通过模拟攻击来训练更鲁棒的模型。这拓宽了 GAN 的应用场景。
  • 标签噪声分析的深度整合： 论文将标签噪声的三种机制（类别无关、类别相关、实例相关）与不同的标签投毒攻击类型（标签翻转、后门）紧密结合，并据此设计了 GALP 的不同注入器。这种理论与实践的结合，使得防御机制能够针对性地应对不同层次的恶意噪声，增强了防御的有效性。
  • 对现有噪声标签分类器的贡献： 本文的比较研究不仅为实践者选择了最佳的噪声标签分类器 (CORES)，也从侧面验证了这些分类器在处理更复杂恶意噪声时的潜力，推动了该领域的发展。

• 批判：

  • GALP模拟能力的局限性： GALP 在训练阶段生成人工噪声，以期模拟真实的攻击。然而，真实的攻击者是智能且适应性强的，他们可能会不断发展出更精巧、更难被预测的攻击模式。一个静态的 GALP 是否能够有效模拟所有潜在的、未知的未来攻击是一个疑问。如果 GALP 无法跟上攻击技术的发展，那么模型免疫的效果可能会打折扣。
  • 对抗训练的收敛性与稳定性： GANs 的训练本身就以其难度和不稳定性而闻名。在联邦学习的去中心化环境中，如何确保每个客户端上的 GALP 训练都能稳定收敛并生成高质量的模拟噪声，是一个实际挑战。训练不稳定可能导致 GALP 生成的噪声质量不高，从而影响模型免疫的效果。
  • 计算开销和部署复杂性： 在每个客户端上运行一个 GALP 模块，无疑会增加客户端的计算负担和能源消耗。对于资源受限的物联网设备而言，这可能是一个不小的挑战。论文中并未详细讨论如何在实际联邦物联网部署中优化 GALP 的计算效率和资源占用。
  • 攻击模型的假设： 论文假设攻击者对模型参数和结构有了解（白盒攻击），并能够利用模型的误差和置信度信息来设计投毒策略。虽然这在联邦学习中是合理的假设，但真实世界中攻击者可能掌握的信息程度不同。如果攻击者采取更隐蔽、更少依赖模型信息的黑盒攻击，GALP 的有效性可能需要重新评估。
  • 实验范围的拓展： 实验主要在入侵检测系统 (IDS) 任务和两个物联网数据集上进行。虽然这验证了方法的特定应用价值，但其在其他联邦学习场景（如图像分类、自然语言处理）以及不同数据分布（如极度非独立同分布）下的通用性和有效性仍需进一步验证。