1. 论文基本信息

1.1. 标题

回到绘图板：对生产联邦学习中毒攻击的批判性评估 (Back to the Drawing Board: A Critical Evaluation of Poisoning Attacks on Production Federated Learning)

1.2. 作者

• Virat Shejwalkar (*University of Massachusetts Amherst)
• Amir Houmansadr (*University of Massachusetts Amherst)
• Peter Kairouz (†Google Research)
• Daniel Ramage (†Google Research)

1.3. 发表期刊/会议

未明确提及在哪个期刊或会议上发表，但提供了预印本链接，并提及在 NeurIPS FL Workshop 上发表了相关工作 ([58])。其引用格式表明这是一篇研究论文，并引用了大量其他会议和期刊的论文，暗示其应属于计算机科学领域的顶级会议或期刊。

1.4. 发表年份

2021年 (从参考文献[54]、[61]、[66]、[71]等内容推断，其中最早的日期为2017，最晚的为2021，且论文正文中多次提及“最近的工作”，结合预印本的性质，可推测为2021年)。

1.5. 摘要

尽管近期研究表明联邦学习 (Federated Learning, FL) 可能容易受到受损客户端 (compromised clients) 的投毒攻击 (poisoning attacks)，但这些攻击对生产 FL 系统 (production FL systems) 的实际影响尚未完全理解。本研究旨在通过列举所有可能的威胁模型 (threat models)、投毒变体 (variations of poisoning) 和攻击者能力 (adversary capabilities)，为 FL 中的投毒攻击开发一个全面的系统化框架。论文特别关注无目标投毒攻击 (untargeted poisoning attacks)，认为它们与生产 FL 部署显著相关。研究对实际生产 FL 环境下的无目标投毒攻击进行了批判性分析，仔细描述了现实的威胁模型和攻击者能力。研究结果令人惊讶：与普遍认知相反，即使使用简单、低成本的防御机制，FL 在实践中也表现出高度鲁棒性 (robustness)。论文进一步提出新颖的、最先进的数据投毒 (data poisoning) 和模型投毒 (model poisoning) 攻击，并通过在三个基准数据集上进行大量实验，展示了在存在简单防御机制时，投毒攻击的（无效性）。研究旨在纠正先前的误解，并为在该主题上进行更准确（和更现实）的研究提供具体指导。

1.6. 原文链接

/files/papers/690890e81ccaadf40a43450c/paper.pdf (此链接为PDF文件路径，非公共可访问URL)

2. 整体概括

2.1. 研究背景与动机

2.1.1. 论文试图解决的核心问题

论文试图解决的核心问题是：投毒攻击对生产联邦学习系统 (production Federated Learning, FL) 的实际影响究竟有多大？ 现有文献中关于 FL 鲁棒性的许多结论是否适用于真实的生产环境？

2.1.2. 为什么这个问题在当前领域是重要的？现有研究存在哪些具体的挑战或空白（Gap）？

• FL 的广泛应用： 联邦学习正在被各种分布式平台广泛采用，例如 Google 的 Gboard、Apple 的 Siri 和 WeBank 的信用风险预测，这使得其安全性成为一个关键问题。
• FL 的互不信任特性： FL 允许互不信任的客户端协作训练模型，这使其易受投毒攻击，即一小部分受损客户端可能恶意行动以破坏全局模型 (global model)。
• 现有研究的脱离实际： 现有的关于 FL 投毒攻击和防御的文献，在很大程度上基于不切实际的假设，例如：
  • 受损客户端 (compromised clients) 的百分比过高（如高达 25% 甚至 50%）。
  • 对 FL 客户端总数和 FL 系统类型（如跨设备 FL 与跨筒仓 FL）的假设不符实际。
  • 这些假设导致的研究结果可能无法代表真实世界的对抗场景，也没有考虑大规模入侵的难度和成本。
• 缺乏对生产环境的理解： 缺乏对生产 FL 环境中威胁模型、攻击能力和防御效果的全面、实际的理解。

2.1.3. 这篇论文的切入点或创新思路是什么？

论文的切入点和创新思路是对生产 FL 环境下的无目标投毒攻击进行批判性分析。它不满足于理论上的攻击或防御，而是通过以下方式进行创新：

• 系统化威胁模型： 全面系统化 FL 投毒威胁模型，枚举所有可能的威胁模型、投毒变体和攻击者能力，并重点关注对生产部署最相关的无目标投毒。
• 现实参数设定： 提出生产 FL 环境下的实际参数范围，例如受损客户端的实际比例、客户端数量等，以纠正现有文献中的不切实际假设。
• 改进的攻击方法： 提出新颖且更有效的、适用于实际威胁模型的数据投毒和模型投毒攻击。
• 实证评估： 在三个基准数据集上进行大规模实验，评估现有及提出的攻击在实际防御机制下的（无效性），从而得出与普遍认知相悖的结论。

2.2. 核心贡献/主要发现

2.2.1. 论文最主要的贡献是什么？

1. FL 投毒威胁模型的系统化： 建立了 FL 投毒威胁模型的综合系统化框架，涵盖了攻击者的目标、知识和能力三个关键维度，并讨论了所有可能威胁模型的实用性。特别指出，在所有组合中，只有两种威胁模型对生产 FL 具有实际价值：nobox offline data poisoning (黑盒离线数据投毒) 和 whitebox online model poisoning (白盒在线模型投毒)。
2. 引入改进的投毒攻击： 提出了新颖的、最先进的数据投毒和模型投毒攻击。
   • 改进的数据投毒攻击 (DPAs)： 系统性地考虑了 FL 的数据投毒威胁模型，通过调整标签翻转数据的数量来绕过目标聚合规则 (Aggregation Rule, AGR)。
   • 改进的模型投毒攻击 (MPAs)： 提出使用梯度上升 (gradient ascent) 来微调全局模型，增加其在良性数据上的损失，并通过调整对应投毒更新的 L2-norm 来规避 AGR 的鲁棒性标准。
3. 对生产 FL 鲁棒性的实践分析： 在三个基准数据集、不同 FL 参数和 FL 部署类型下，对所有现有投毒攻击以及提出的改进攻击进行了广泛评估。

2.2.2. 论文得出了哪些关键的结论或发现？这些发现解决了什么具体问题？

论文的主要发现颠覆了现有文献的普遍认知，指出生产 FL 在实践中比以前认为的要鲁棒得多。具体结论如下：

1. 基础聚合规则的鲁棒性超预期： 对于实际的受损客户端比例，即使是最基本的、非鲁棒的 FL 算法（即 Average AGR），也能以高准确率收敛，表现出高度鲁棒性。这直接驳斥了先前认为 Average AGR 在单个受损客户端存在时就无法收敛的说法。
   • 解决了问题： 纠正了对 FL 基础聚合规则在实际生产环境中鲁棒性的低估。
2. 鲁棒 FL 算法面对攻击的有效性： 即使在不切实际的高受损客户端比例下，投毒攻击对现有鲁棒 FL 算法的影响也微乎其微。在 $M = 1$ 时，数据或模型投毒攻击的准确率下降通常小于 1%。
   • 解决了问题： 验证了现有鲁棒 AGRs 在生产环境中的有效性，即便面对更强的攻击。
3. 简单防御机制的强大作用： 对每个客户端贡献的数据集大小施加限制，可以作为一种高效（且简单）的防御措施，对抗数据投毒攻击，而无需使用任何最先进的复杂鲁棒 FL 聚合算法。
   • 解决了问题： 提供了低成本、易于实施的防御策略，挑战了对复杂防御机制的过度依赖。
4. 低成本防御的与复杂防御相当： 尽管近期工作引入了复杂且理论上鲁棒的 AGRs，但简单的低成本防御，如 Norm-bounding (范数限制)，对 FL 提供与最先进投毒攻击同等的保护。
   • 解决了问题： 质疑了开发和部署高计算和内存成本的复杂 AGRs 的必要性。
5. 跨筒仓 FL 的极端鲁棒性： 在生产跨筒仓 FL (cross-silo FL) 中，数据投毒攻击完全无效，甚至对非鲁棒的 Average AGR 也是如此。模型投毒攻击因其高成本和对合同约束客户的入侵难度，被认为不太可能对生产跨筒仓 FL 构成重大风险。
   • 解决了问题： 澄清了跨筒仓 FL 在特定攻击类型下的安全性。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 联邦学习 (Federated Learning, FL)

联邦学习 (FL) 是一种新兴的机器学习范式，其中数据所有者（称为客户端 (clients)）协作训练一个共享的机器学习模型（称为全局模型 (global model)），而无需直接共享其私有训练数据。在 FL 设置中，一个中央服务器 (central server) （例如，服务提供商）重复地收集客户端使用其本地私有数据计算的一些更新 (updates)，使用聚合规则 (Aggregation Rule, AGR) 聚合这些更新，并最终使用聚合后的客户端更新来调整联合训练的模型。更新后的全局模型会广播给下一轮选定的一部分客户端。FL 的主要优势在于其隐私保护特性和在分布式环境中的可扩展性。

3.1.2. 投毒攻击 (Poisoning Attacks)

投毒攻击是针对机器学习模型的一种对抗性攻击，攻击者通过向训练数据中注入恶意样本或篡改模型更新来影响模型的训练过程，从而使训练出的模型按照攻击者的意图执行，通常表现为降低模型整体性能或在特定情况下产生错误行为。

3.1.3. 投毒攻击类型

论文中提到了三种主要的投毒攻击方法，并通过图1进行了简要说明：

• 目标攻击 (Targeted poisoning attacks)： 攻击的目标是使模型在测试时对特定的输入样本集产生错误分类。例如，使模型将一张特定的猫图片错误地识别为狗。
• 后门攻击 (Backdoor poisoning attacks)： 攻击者在模型中植入一个“后门”，当输入数据包含一个特定触发器 (trigger) 时，模型会按照攻击者的意图进行错误分类，而对于其他正常输入，模型性能保持不变。例如，一张图片上有一个小黄点，模型就会错误分类，但没有黄点时，模型正常。
• 无目标攻击 (Untargeted poisoning attacks)： 攻击的目标是降低模型在所有或大部分测试输入上的整体准确率，使其性能下降，而不是针对特定的样本或触发器。这类攻击旨在破坏服务的可用性 (availability violation)，而不是隐蔽地操纵特定决策。

3.1.4. 聚合规则 (Aggregation Rule, AGR)

在联邦学习中，聚合规则 (AGR) 是服务器用于将多个客户端提交的本地模型更新合并成一个新的全局模型更新的方法。AGR 是 FL 的核心组成部分，它决定了如何结合客户端的贡献。

• Average AGR： 最简单也是最常见的 AGR，直接计算所有客户端更新的平均值。在非对抗性环境中有效，但在存在恶意客户端时易受攻击。
• 鲁棒聚合规则 (Robust AGRs)： 旨在抵御恶意或拜占庭 (Byzantine) 客户端的投毒攻击。它们通常通过过滤、修剪、缩放或选择部分更新来降低恶意更新的影响。

3.1.5. 梯度上升 (Gradient Ascent) 与梯度下降 (Gradient Descent)

• 梯度下降 (Gradient Descent, GD)： 是一种优化算法，用于寻找函数最小值。它通过沿着函数梯度的反方向迭代移动来更新参数，因为梯度的反方向是函数值下降最快的方向。在机器学习中，通常用于最小化损失函数以训练模型。
• 梯度上升 (Gradient Ascent, GA)： 与梯度下降相反，梯度上升用于寻找函数的最大值。它通过沿着函数梯度的方向迭代移动来更新参数。在对抗性攻击中，攻击者可能利用梯度上升来最大化模型的损失或使其性能下降。

3.1.6. L2-范数 (L2-norm)

L2-范数是向量空间中的一种距离度量，表示向量中所有元素平方和的平方根。对于一个向量 $\mathbf{v} = (v_1, v_2, \ldots, v_d)$，其 L2-范数表示为 $\Vert \mathbf{v} \Vert_2 = \sqrt{\sum_{i=1}^d v_i^2}$。在机器学习中，它常用于正则化（L2 正则化）以防止过拟合，或作为衡量模型更新大小的指标。在本文中，Norm-bounding (范数限制) 是一种防御机制，通过限制客户端更新的 L2-范数来抑制恶意更新的影响。

3.2. 前人工作

论文回顾了联邦学习投毒攻击和防御的现有文献，主要集中在以下几个方面：

3.2.1. 现有投毒攻击技术

• 数据投毒 (Data Poisoning Attacks, DPAs)： 攻击者通过篡改本地训练数据来污染模型更新。传统的 DPAs 主要针对集中式机器学习 (centralized ML) ([17], [44], [64], [65], [69])。针对 FL 的数据投毒，Fang et al. [23] 展示了简单标签翻转攻击 (label flipping attacks) 的可能性。
• 模型投毒 (Model Poisoning Attacks, MPAs)： 攻击者直接操纵其提交的模型更新。这类攻击在 FL 文献中被广泛研究 ([3], [5], [7], [23], [55])。
  • LIE (Little Is Enough) 攻击 ([5])： 通过向良性更新的平均值中添加少量噪声来构造投毒更新。
  • STAT-OPT (Static Optimization) 攻击 ([23])： 提出一个通用 FL 投毒框架，并通过计算一个静态的恶意方向来构造投毒更新，并尝试规避目标 AGR。
  • DYN-OPT (Dynamic Optimization) 攻击 ([55])： 提出了一个更强的通用 FL 投毒框架，通过动态的、数据依赖的恶意方向来扰动良性更新，并寻找最大的扰动量以规避目标 AGR。
• 目标攻击 (Targeted attacks) 和后门攻击 (Backdoor attacks)： 旨在使模型对特定样本进行错误分类或在存在特定触发器时错误分类 ([3], [7], [58], [59], [61], [67])。论文将这些与无目标攻击区分开，并主要关注无目标攻击。

3.2.2. 现有防御技术 (鲁棒聚合规则, Robust AGRs)

• 维度过滤防御 (Dimension-wise filtering defenses)： 对客户端更新的每个维度分别进行过滤。例如：
  • Median (中位数) ([70])
  • Trimmed-mean (截断均值) ([70])
  • signSGD with majority voting (带多数投票的符号 SGD) ([6])
• 向量过滤防御 (Vector-wise filtering defenses)： 旨在删除整个恶意更新。例如：
  • RFA ([50])
  • RSA ([36])
  • Krum ([10]) 和 Multi-krum ([10])
  • Bulyan ([41])
  • Divide-and-conquer (DnC) ([55])
• 向量缩放防御 (Vector-wise scaling defenses)： 例如 Norm-bounding ([58])，通过缩放更新的范数来降低投毒更新的影响。
• 认证防御 (Certified defenses)： 提供在特定条件下（如受损客户端数量低于阈值）的认证准确性 ([14], [66])。
• 知识迁移防御 (Knowledge transfer based defenses)： 旨在降低客户端更新的维度，例如 Cronus ([15], [38])。
• 个性化技术 (Personalization techniques)： 例如 Ditto ([37]) 和 EWC ([71])，通过在客户端本地数据上微调全局模型来提高性能，但它们的效果依赖于聚合规则的鲁棒性。

3.3. 技术演进

联邦学习领域在不断发展，其安全性研究也从最初的理论探索转向了更实际的应用场景。早期的研究主要关注理论上的漏洞和在理想化假设下的攻击与防御。然而，随着 FL 在工业界（如 Google Gboard, Apple Siri）的广泛部署，研究人员开始意识到，理论上的脆弱性并不总是意味着在实际生产环境中存在同等严重的风险。

本文的工作代表了这一演进中的一个重要步骤，它不再满足于在理论或简化设置下评估攻击和防御，而是强调将研究重心转移到生产 FL 系统的实际约束和特点上来。这包括对攻击者能力、受损客户端比例、客户端规模等参数进行更现实的建模，从而弥合了学术研究与工业实践之间的差距。

3.4. 差异化分析

本文的工作与相关工作的主要区别和创新点在于其对“生产 FL 环境”的严格关注和批判性评估：

• 现实威胁模型和参数： 现有文献往往采用不切实际的假设，如高比例的受损客户端（25%-50%）。本文首次考虑生产 FL 环境（例如 cross-device FL 拥有数十亿客户端，受损客户端比例极低），并提供了各种参数的实际范围。
• 系统化框架： 提出了一个全面的威胁模型系统化框架，并识别出两种最实际的威胁模型（nobox offline data poisoning 和 whitebox online model poisoning），这为后续研究提供了更现实的指导。
• 攻击和防御的有效性再评估： 论文通过实验表明，在实际生产 FL 环境下，许多被认为脆弱的聚合规则（如 Average AGR）实际上非常鲁棒，而许多复杂的鲁棒 AGRs 并没有比简单的 Norm-bounding 带来显著的额外保护。
• 纠正误解： 直接挑战了现有文献中关于 FL 鲁棒性的某些“既定信念”，例如 Average AGR 在单个受损客户端存在时就无法收敛的说法。
• 指导未来研究： 旨在引导学术界将研究重点放在对生产 FL 具有实际意义的问题上，例如寻找低成本、高效的鲁棒 AGRs，并对其进行彻底的实证评估。

4. 方法论

4.1. 方法原理

本文的核心方法原理在于通过系统化联邦学习 (FL) 投毒威胁模型，并在此基础上开发并评估改进的投毒攻击，从而对生产 FL 环境下的模型鲁棒性进行批判性分析。其直觉在于，之前的许多研究在不切实际的假设下进行了理论分析和实验验证，导致得出的结论与真实世界生产环境下的 FL 行为可能存在偏差。因此，本文旨在通过更现实的威胁模型、攻击能力和防御机制的评估，纠正这些误解，并为行业实践提供有价值的指导。

该方法的关键在于：

1. 全面理解威胁空间： 通过详细分类攻击者的目标、知识和能力，构建一个包含所有可能投毒场景的框架，并从中筛选出对生产环境最具实际意义的威胁模型。
2. 设计强劲的攻击： 针对识别出的实际威胁模型，开发新的或改进现有最先进的投毒攻击，以确保评估能够反映最坏情况下的攻击能力。
3. 在现实约束下评估： 在符合生产 FL 系统实际参数（例如，极低的受损客户端比例、客户端资源限制等）的环境中，对各种聚合规则进行严格的实证评估，以揭示它们的真实鲁棒性。
4. 挑战传统观念： 基于实证结果，直接挑战和纠正学术界中关于 FL 鲁棒性的一些既定信念。

4.2. 核心方法详解

4.2.1. FL 投毒威胁模型的系统化 (Systemization of FL Poisoning Threat Models)

论文首先提出了一个全面的 FL 投毒威胁模型系统化框架，该框架基于攻击者的目标 (Adversary's Objective)、攻击者的知识 (Adversary's Knowledge) 和攻击者的能力 (Adversary's Capability) 三个维度。

a. 攻击者的目标 (Adversary's Objective) 受 [9] 启发，定义了攻击者目标的三个属性：

• 安全违规 (Security violation)：
  • Integrity violation (完整性违规)：攻击者旨在逃避检测，不扰乱正常服务操作，例如，使模型将对抗性样本错误分类以逃避检测。
  • Availability violation (可用性违规)：攻击者旨在损害服务，使其无法为合法用户正常工作，例如，使模型对未修改的测试输入进行错误分类。
• 攻击特异性 (Attack specificity)：
  • Discriminate (有区别的)：攻击者旨在导致特定样本集或类别的错误分类。
  • Indiscriminate (无区别的)：攻击者旨在导致所有或大多数测试输入的错误分类。
• 错误特异性 (Error specificity)：

  • Specific (特定)：攻击者的目标是将样本错误分类为特定的类。

  • Generic (通用)：攻击者不关心被错误分类样本的具体错误标签，只要是错误即可。

    论文特别强调，本文关注的是无目标攻击 (untargeted attacks)，即 indiscriminate availability attacks with generic error specificity。原因有三：

1. 对生产 FL 构成巨大威胁： 无目标攻击旨在影响所有客户端和所有测试输入，即使是几个百分点的准确率下降也可能对生产 FL 造成显著影响，且难以被察觉。
2. 难以被长期检测： 仅有少量准确率下降很难在实际环境中被检测到，因为缺乏可靠的基准。
3. 构建更具挑战性： 无目标攻击的目标是影响任意测试输入，这本身就是一个更具挑战性的问题。

b. 攻击者的知识 (Adversary's Knowledge) 攻击者的知识维度包括：

• 对全局模型的知识 (Knowledge of the global model)：
  • Nobox (黑盒)：攻击者不知道模型的架构、参数或输出。这在 FL 中是最实际的设置，例如数据投毒攻击者通常只有黑盒知识。
  • Whitebox (白盒)：攻击者知道全局模型的参数和输出。模型投毒攻击者通常具有白盒知识。
• 对良性客户端数据的知识 (Knowledge of the data from the distribution of benign clients' data)：
  • Full (完全)：攻击者可以访问所有协作客户端的本地数据。
  • Partial (部分)：攻击者只能访问受损客户端的本地数据，而不能访问良性客户端的数据。 论文只考虑部分知识的情况，因为在生产 FL 中访问所有客户端的数据是不切实际的。

c. 攻击者的能力 (Adversary's Capability) 攻击者的能力维度包括：

• 对客户端设备的访问能力 (Capabilities in terms of access to client devices)：
  • Model poison (模型投毒)：攻击者能够入侵受损客户端（例如，通过规避操作系统安全协议），并直接操纵其模型更新。这种攻击可以制作出高度有效的投毒更新，但由于对客户端设备的不合理访问量，只能损害极小比例的 FL 客户端。
  • Data poison (数据投毒)：攻击者只能操纵受损客户端的本地数据集。客户端使用这些被投毒的数据集来计算其更新。由于是间接操纵，这些更新的投毒影响可能小于模型投毒更新，但由于所需的访问权限有限，这种攻击可以损害相对较大比例的 FL 客户端。
• 攻击频率 (Attack frequency)（攻击模式）：

  • Offline (离线)：攻击者在 FL 训练开始前只对受损客户端投毒一次。例如，基线标签翻转攻击。

  • Online (在线)：攻击者在 FL 训练期间重复地、自适应地对受损客户端进行投毒。例如，现有的模型投毒攻击。

    以下表格总结了 FL 投毒威胁模型的维度：

    Dimension	Attribute	Values	Description
    Objective	Security violation	Integrity	Misclassify a (adversarially crafted) test input in order to evade detection.
    		Availability	Misclassify an unmodified test input to cause service disruption for benign users.
    	Attack specificity	Discriminate	Misclassify a small and/or specific set of inputs at the test time.
    		Indiscriminate	Misclassify all or most of inputs at the test time.
    	Error specificity	Specific	Misclassify a given modified/pristine test input to a specific class.
    		Generic	Misclassify a given modified/pristine test input to any class.
    Knowledge of the adversary	Knowledge of the global model	Whitebox	Adversary can access the global model parameters as well as its predictions, e.g., in the model poisoning case.
    		Nobox	Adversary cannot access parameters or predictions of global model, e.g., in the data poisoning case.
    	Knowledge of the data from the distribution of benign clients' data	Full	Adversary can access the local data of all of the collaborating clients.
    		Partial	Adversary can access local data only of the compromised clients, but not of the benign clients.
    Capabilities of the adversary (Attack mode)	Capabilities in terms of access to client devices	Model poison	Adversary breaks into the compromised clients (e.g., by circumventing security protocols of operating systems such as Android) and directly manipulates their model updates.
    		Data poison	Adversary can only manipulate local data of the compromised clients; the clients use this data to compute their updates. Adversary does not break into the compromised clients.
    	Capabilities in terms of frequency	Offline	Adversary poisons the compromised clients only once at the beginning of FL, e.g., baseline label flipping attacks [23], [61]. Impact of such attacks may quickly fade away.
    		Online	Adversary repeatedly and adaptively poisons the compromised clients during FL, e.g., model poisoning attacks [7], [23], [55]. Impacts of these attacks can persist over the entire FL training.

图1: 投毒攻击类型示意图

该图像是一个示意图，展示了目标攻击、后门攻击和无差别攻击三种不同类型的图像分类模型中样本的处理方式和攻击目标，体现了攻击的多样性和分类标准。

描述: 该图像是一个示意图，展示了目标攻击、后门攻击和无差别攻击三种不同类型的图像分类模型中样本的处理方式和攻击目标，体现了攻击的多样性和分类标准。

d. 实践中的威胁模型 (Threat Models in Practice) 基于上述维度，论文筛选出八种可能的无目标投毒威胁模型，并认为只有两种对生产 FL 具有实际价值：

• T4: Nobox Offline Data Poisoning (黑盒离线数据投毒)：
  • 攻击者不知道全局模型的架构、参数或输出。
  • 攻击者知道服务器的 AGR。
  • 攻击者知道受损客户端的良性数据，并进行离线数据投毒攻击 (DPAs)。
  • 这种攻击不需要访问受损设备内部，因此可以损害较大比例的生产 FL 客户端（高达 0.1%）。然而，投毒影响有限。
• T5: Whitebox Online Model Poisoning (白盒在线模型投毒)：

  • 攻击者在服务器选择至少一个受损客户端时，知道全局模型的参数和预测。

  • 攻击者知道服务器的聚合规则以及受损设备上的良性数据。

  • 攻击者进行在线模型投毒攻击 (MPAs)。

  • 这种攻击需要入侵受损设备，成本极高，因此只能损害极小比例的 FL 客户端（高达 0.01%）。但由于能够直接操纵模型更新，理论上可以制作出高度恶意的更新。

    论文认为其他威胁模型不切实际的原因总结如下：

• 模型投毒能力意味着白盒访问： 模型投毒攻击者默认拥有白盒访问权限，因此 Nobox 和 Model poison 的组合 (T1, T2) 不成立。
• 跨设备 FL 中获得白盒访问的难度： 在跨设备 FL 中，每轮只有少数客户端被选中。要获得白盒访问，攻击者需要控制大量设备以确保在多数轮次中至少有一个受损客户端被选中，这在实践中是不切实际的。因此，将白盒访问与离线攻击或 DPAs 结合的威胁模型 (T3, T7, T8) 不合理，因为有了白盒访问，攻击者会选择更强的在线 MPAs。
• Nobox 和 Online 的不兼容性： Nobox online data poison (T6) 意味着攻击者自适应地投毒，但由于没有全局模型知识（nobox），攻击者无法生成自适应的投毒数据。

4.2.2. 生产 FL 参数的实际范围 (Practical Ranges of FL Parameters)

论文指出，现有文献在评估 FL 鲁棒性时使用的参数范围与实际生产 FL 环境存在显著差异，并提供了实际的参数范围。

以下是原文 Table III 对比的参数范围：

关键解释：

• 受损客户端比例 (M)： 现有工作常假设高达 25%-50% 的客户端被攻破，这在生产环境中是不切实际的。大规模建立和维护僵尸网络（包括入侵设备）成本巨大，且面临反恶意软件和动态反滥用服务的检测。因此，实际中，数据投毒攻击（DPAs）的受损客户端比例 $M <= 0.1$，模型投毒攻击（MPAs）的比例 $M <= 0.01$。
• 客户端数量 (N) 和每轮选择的客户端数量 (n)： 跨设备 FL 的 $N$ 可达数十亿，每轮 $n$ 只是其中一小部分；而跨筒仓 FL 的 $N$ 最多百余个，每轮 $n = N$。现有工作常使用 $N=[50,100]$ 且 $n=N$。
• 本地投毒数据量 ($|D_p|$)： 在跨设备 FL 中，资源受限的设备只能处理有限的 $D_p$。在跨筒仓 FL 中，由于筒仓可以检查 $D_p$，过大的 $D_p$ 会被移除。因此，建议 $D_p$ 最大为 $100 \times |D|_{avg}$。

4.2.3. 改进的 FL 投毒攻击 (Our Improved FL Poisoning Attacks)

论文首先将 FL 投毒形式化为一个优化问题，然后在此基础上设计改进的数据投毒攻击 (DPAs) 和模型投毒攻击 (MPAs)。

a. 将 FL 投毒形式化为优化问题 (Formulating FL Poisoning as an Optimization Problem) 论文基于 [55] 的工作，将投毒攻击目标形式化为：最大化投毒聚合与良性聚合之间的距离。

$$\begin{array} { r l r } & { \underset { \nabla ^ { \prime } \in R ^ { d } } { \mathrm { argmax } } } & { \Vert \nabla ^ { b } - \nabla ^ { p } \Vert } \\ & { \mathrel { \phantom { = } } } & { \nabla ^ { \prime } \in R ^ { d } } \\ & { \ldots \nabla ^ { b } = f _ { \mathsf { avg } } \bigl ( \nabla _ { i \in \{ [ n ^ { \prime } ] \} } \bigr ) , \quad \nabla ^ { p } = f _ { \mathsf { agr } } \bigl ( \nabla _ { \{ i \in [ m ] \} } ^ { \prime } , \nabla _ { \{ i \in [ n ^ { \prime } ] \} } \bigr ) } \end{array} \quad \text{(1)}$$ 符号解释：

• $\underset { \nabla ^ { \prime } \in R ^ { d } } { \mathrm { argmax } }$：表示寻找一个 $d$ 维空间 $R^d$ 中的投毒更新 $\nabla ^ { \prime }$，使其最大化目标函数。
• $\Vert \nabla ^ { b } - \nabla ^ { p } \Vert$：目标函数，表示良性聚合 $\nabla ^ { b }$ 和投毒聚合 $\nabla ^ { p }$ 之间的范数距离。范数 $\Vert \cdot \Vert$ 通常指 L2-范数。攻击者希望最大化这个距离，以使全局模型偏离良性训练方向。
• $\nabla ^ { b } = f _ { \mathsf { avg } } \bigl ( \nabla _ { i \in \{ [ n ^ { \prime } ] \} } \bigr )$：良性聚合，是通过 Average AGR $f _ { \mathsf { avg } }$ 聚合所有可用的良性更新 $\nabla _ { i \in \{ [ n ^ { \prime } ] \} }$ 得到的。$n ^ { \prime }$ 是本轮中被选中的良性客户端的数量。
• $\nabla ^ { p } = f _ { \mathsf { agr } } \bigl ( \nabla _ { \{ i \in [ m ] \} } ^ { \prime } , \nabla _ { \{ i \in [ n ^ { \prime } ] \} } \bigr )$：投毒聚合，是通过目标聚合规则 $f _ { \mathsf { agr } }$ 聚合 $m$ 个受损客户端提交的投毒更新 $\nabla _ { \{ i \in [ m ] \} } ^ { \prime }$ 和 $n ^ { \prime }$ 个良性客户端提交的良性更新 $\nabla _ { \{ i \in [ n ^ { \prime } ] \} }$ 得到的。
• $\nabla _ { \{ i \in [ m ] \} } ^ { \prime }$：表示 $m$ 个受损客户端提交的投毒更新。在攻击中，这通常是 $m$ 个相同的或相似的投毒更新 $\nabla ^ { \prime }$ 的副本。

与 [55] 的主要区别：

1. 本文首次使用此优化问题来构建系统化数据投毒攻击 (DPAs)。
2. 本文的模型投毒攻击 (MPAs) 不仅将此优化问题适应于给定的 AGR，还通过随机梯度上升 (Stochastic Gradient Ascent, SGA) 算法，针对给定的数据集和全局模型进行定制，从而提高了攻击的效力。

b. 我们的数据投毒攻击 (Our Data Poisoning Attacks, DPAs) 论文使用上述优化问题 (1) 来形式化通用的数据投毒攻击：

$$\operatorname { argmax } _ { D _ { p } \subset { \mathcal { D } } } \quad \left\| \nabla ^ { b } - \nabla ^ { p } \right\| \quad \text{(2)}$$ 符号解释：

• $\operatorname { argmax } _ { D _ { p } \subset { \mathcal { D } } }$：表示寻找一个输入空间 $\mathcal { D }$ 的子集 $D_p$（即投毒数据），使其最大化目标函数。

• $D_p$：用于计算投毒更新 $\nabla ^ { \prime }$ 的投毒数据。

• $\mathcal { D }$：整个输入空间。

• 其他符号与公式 (1) 相同。

  核心思想： 找到 $D_p$，使得当使用 $D_p$ 对全局模型 $\theta ^ { g }$ 进行微调时，得到的模型 $\theta ^ { \prime }$ 在一些良性数据 $D_b$ 上具有较高的交叉熵损失 $L(D_b; \theta ^ { \prime })$，并且对应的更新 $\nabla ^ { \prime } = \theta ^ { \prime } - \theta ^ { g }$ 能够规避目标 AGR。直觉是，使用这样的 $\nabla ^ { \prime }$ 更新全局模型会导致其在良性数据上的损失增加。

标签翻转策略 (Label Flipping, LF)：

• 静态标签翻转 (Static LF, SLF)： 对于样本 $(\mathbf{x}, y)$，攻击者以静态方式翻转标签。例如，将 $y$ 翻转为 (C-1-y) 如果 $C$ 是偶数，或 (C-y) 如果 $C$ 是奇数 ($C$ 是类别数)。
• 动态标签翻转 (Dynamic LF, DLF)： 攻击者计算一个代理模型 (surrogate model) $\hat{\theta}$ （例如，使用可用良性数据的 $\theta ^ { g }$ 估计），并将 $y$ 翻转为 $\hat{\theta}$ 预测概率最低的标签，即 $\mathrm{argmin} \hat{\theta}(\mathbf{x})$。

攻击不同 AGR 的具体策略：

• Average AGR： 通过生成具有大损失和范数的更新来满足攻击目标。这通过使用大量标签翻转数据来实现。为了进一步增加 $|D_p|$，攻击者可以向现有特征向量添加高斯噪声以创建新的特征向量，并翻转其标签。
• Norm-bounding AGR： 使用大量 $|D_p|$ 生成投毒更新，这些更新会在良性数据上产生高损失。即使这些更新的范数被限制，它们仍然远离良性更新并具有高投毒影响。
• Multi-krum AGR (详见附录 B1)： 目标是最大化 Multi-krum 聚合规则选择集 $S$ 中投毒更新的数量。通过观察发现，Multi-krum 会丢弃 $|D_p|$ 稍大于平均良性数据集大小的更新，因此攻击者会选择较小的 $|D_p|$（例如 $\sim 10$），并采样 $D_p$ 在 $[0.5 \cdot |D|_{\mathsf{avg}}, 3 \cdot |D|_{\mathsf{avg}}]$ 范围内。
• Trimmed-mean AGR (详见附录 B1)： 同样使用公式 (2) 中的目标，通过使用大量 $|D_p|$ 来生成在良性数据上产生高损失的投毒更新。观察图 2-(c) 可知，更高的 $|D_p|$ 会导致更高的 Trimmed-mean 目标值 $\Vert \nabla ^ { p } - \nabla ^ { b } \Vert$。

图2：投毒数据大小 $D_p$ 对 DPA 目标的影响

该图像是图表，展示了图2中不同中毒数据规模 $|D_{p}|$ 对基于FEMNIST数据集的多种防御机制（SLF与DLF）的攻击目标影响，包括损失、梯度范数、Trmean目标和Mkrum目标，部分曲线以 $D_{p}$ 为横轴，目标函数值为纵轴表示。

描述: 该图像是图表，展示了不同联邦学习客户端数量对攻击影响的关系，横轴为每轮选取的客户端数量，纵轴为攻击影响百分比。不同防御机制和攻击方法在FEMNIST与CIFAR10数据集上的表现被逐一比较，结果显示选取的客户端数量对大多数防御下的攻击效果影响不大。

c. 我们的模型投毒攻击 (Our Model Poisoning Attacks, MPAs) 模型投毒攻击者可以直接操纵受损客户端的更新。论文使用公式 (1) 作为 MPAs 的通用优化问题。

核心策略：投影梯度上升 (Projected Gradient Ascent, PGA)

1. 梯度上升 (Gradient Ascent)： 攻击首先使用随机梯度上升 (SGA) 算法，而不是 SGD，来微调全局模型 $\theta ^ { g }$，目的是增加（而不是减少）在一些良性数据 $D_b$ 上的损失，从而获得一个恶意的模型 $\theta ^ { \prime }$。对应的投毒更新是 $\nabla ^ { \prime } = \theta ^ { \prime } - \theta ^ { g }$。
2. 投影 (Projection)： 为了确保对应的投毒更新 $\nabla ^ { \prime }$ 能够规避目标 AGR，攻击将更新投影到一个半径为 $\tau$ 的球体上，即缩放更新使其范数 $\Vert \nabla ^ { \prime } \Vert \leq \tau$，$\tau$ 是可用良性更新范数的平均值。

算法1：我们的 PGA 模型投毒攻击算法 (Algorithm 1 Our PGA model poisoning attack algorithm)

Input: {i[n'], θ, f_agr, D_p
1: τ = (1 / n') * Σ_{i∈[n']} ||∇_i||               // Compute norm threshold. τ is given for norm-bounding AGR
2: θ' = A_SGA(θ^g, D_p)                          // Update using stochastic gradient ascent
3: ∇' = θ' - θ^g                                 // Compute poisoned update
4: ∇' = f_project(f_agr, ∇', τ, ∇_{i∈[n']})      // Scale ∇' appropriately
5: Output ∇'

符号解释：

• $\{i[n']\}$: 可用的良性更新集合。
• $\theta^g$: 当前的全局模型。
• $f_{\mathsf{agr}}$: 目标聚合规则。
• $D_p$: 攻击者用于梯度上升的投毒数据。
• $\tau$: 范数阈值，由可用的良性更新的范数平均值计算得到。对于 Norm-bounding AGR， $\tau$ 是已知的。
• $A_{\mathsf{SGA}}$: 随机梯度上升算法。
• $\theta'$: 经过 SGA 微调后的恶意模型。
• $\nabla'$: 投毒更新。
• $f_{\mathsf{project}}$: 一个投影函数，用于根据目标 AGR 的鲁棒性标准适当缩放 $\nabla'$。

算法2：投影函数 f_project (Algorithm 2 f_project)

Input: f_agr, ∇', τ, {i[n']}
1: d_star = 0                                     // Initialize maximum deviation
2: γ_star = 1                                     // Optimal scaling factor that maximizes deviation in (1)
3: ∇' = (τ / ||∇'||) * ∇'                         // Scale ∇' to have norm τ
4: ∇^b = f_avg(∇_{i∈[n']})                     // Compute reference benign update
5: for γ ∈ [1, Γ] do
6:   ∇'' = γ * ∇'
7:   d = || f_agr(∇''_{{i∈[m]}}, ∇_{i∈[n']}) - ∇^b ||
8:   if d > d_star then
9:     d_star = d
10:    γ_star = γ
11:  end if
12:  γ = γ + δ                                   // Update γ
13: end for
14: Output γ_star * ∇'

符号解释：

• $f_{\mathsf{agr}}$: 目标聚合规则。
• $\nabla'$: 初始投毒更新。
• $\tau$: 范数阈值。
• $\{i[n']\}$: 可用的良性更新集合。
• $d_{\mathsf{star}}$: 记录最大偏差。
• $\gamma_{\mathsf{star}}$: 记录导致最大偏差的最佳缩放因子。
• $\Gamma$: 缩放因子 $\gamma$ 的搜索上限。
• $\delta$: 缩放因子 $\gamma$ 的步长。
• $\nabla^b$: 良性聚合。
• $\nabla''$: 经过 $\gamma$ 缩放后的投毒更新。
• $\nabla''_{\{i \in [m]\}}$: $m$ 个受损客户端提交的 $\nabla''$ 副本。
• $f_{\mathsf{project}}$ 的目的是寻找一个最佳缩放因子 $\gamma$，使得投毒聚合 $f_{\mathsf{agr}}(\gamma \nabla', \nabla^b)$ 与良性聚合 $\nabla^b$ 之间的距离最大化，同时规避 AGR 的鲁棒性检查。

图3：PGA 攻击示意图

该图像是论文中的示意图，展示了PGA攻击的原理。图中通过缩放因子$\gamma$调整中毒更新$\nabla^{\prime}$，并计算中毒聚合$\nabla^{p}_{\gamma}$与良性聚合$\nabla^{b}$之间的偏差，表达式为$\nabla^{p}_{\gamma_i}=f_{agr}(\gamma_i \nabla^{\prime}_{\{i\in[m]\}}, \nabla^{\prime}_{\{i\in[n]^{\prime}\}})$。强鲁棒聚合会丢弃高或低gamma的更新。

描述: 该图像是论文中的示意图，展示了PGA攻击的原理。图中通过缩放因子$\gamma$调整中毒更新$\nabla^{\prime}$，并计算中毒聚合$\nabla^{p}_{\gamma}$与良性聚合$\nabla^{b}$之间的偏差，表达式为$\nabla^{p}_{\gamma_i}=f_{agr}(\gamma_i \nabla^{\prime}_{\{i\in[m]\}}, \nabla^{\prime}_{\{i\in[n]^{\prime}\}})$。强鲁棒聚合会丢弃高或低gamma的更新。

攻击不同 AGR 的具体策略：

• Average AGR： 不施加任何鲁棒性约束。因此，f_project 会将 $\nabla'$ 乘以一个任意大的常数（例如 $10^{20}$）。如果服务器选中一个受损客户端，这样的投毒更新足以完全毒害 $\theta^g$。
• Norm-bounding AGR： 攻击者假定知道范数限制阈值 $\tau$。因此，f_project 将 $\nabla'$ 乘以 $\frac{\tau}{\Vert \nabla' \Vert}$，使最终 $\nabla'$ 的范数为 $\tau$。
• Multi-krum AGR (详见附录 B2)： 目标与 DPA 类似，旨在最大化 Multi-krum 选择集 $S$ 中投毒更新的数量。f_project 会在预设范围 $[1, \Gamma]$ 中搜索 $\gamma$，使得 Multi-krum 选择所有缩放后的投毒更新。
• Trimmed-mean AGR (详见附录 B2)： 直接将 Trimmed-mean 算法插入到算法 2 的第 8 行，计算偏差。与 [55] 不同的是，本文使用 SGA 来定制扰动向量 $\omega$，使其更适应整个 FL 环境（模型、数据、优化器等），从而提高攻击效果。

5. 实验设置

5.1. 数据集

为了模拟生产联邦学习环境，实验使用了以下图像和分类数据集，并特别关注了非独立同分布 (non-iid) 数据集和大量客户端的场景。

5.1.1. FEMNIST

• 来源： [13], [18] (LEAF benchmark)
• 任务： 字符识别分类任务。
• 规模： 3,400 个客户端，62 个类别（26 个大写字母，26 个小写字母，10 个数字），671,585 张灰度图像。
• 特点： 每个客户端拥有自己的手写数字或字母数据，天然具有非独立同分布 (non-iid) 特性。为了进一步模拟生产环境中的海量客户端（最高可达 $10^{10}$），每个客户端的数据被进一步划分为 $p \in \{2, 5, 10\}$ 个非独立同分布部分，使用 Dirichlet 分布 [42] (参数 $\alpha = 1$)。默认设置为 $p=10$，即总客户端数量为 34,000。
• 模型架构： LeNet [35] 架构。

5.1.2. CIFAR10

• 来源： [34]
• 任务： 10 类图像分类任务。
• 规模： 60,000 张 RGB 图像（50,000 张用于训练，10,000 张用于测试），每张图像大小为 $32 \times 32$ 像素。
• 特点： 默认设置为 1,000 个总 FL 客户端，50,000 张训练数据使用 Dirichlet 分布 [42] (参数 $\alpha = 1$) 划分。
• 模型架构： 带批量归一化 (batch normalization) 的 VGG9 架构 [56]。

5.1.3. Purchase

• 来源： [51] (Kaggle Acquire Valued Shoppers Challenge)
• 任务： 分类任务。
• 规模： 100 个类别，197,324 个二进制特征向量，每个向量长度为 600。
• 特点： 使用 187,324 个数据进行训练，并使用 Dirichlet 分布 (参数 $\alpha = 1$) 划分给 5,000 个客户端。验证集和测试集大小均为 5,000。
• 模型架构： 包含层大小为 $\{600, 1024, 100\}$ 的全连接网络 (fully connected network)。

5.2. 评估指标

论文使用攻击影响 (Attack Impact) $I_\theta$ 作为主要评估指标来量化投毒攻击的有效性。

1. 概念定义 (Conceptual Definition): 攻击影响 $I_\theta$ 量化了投毒攻击导致全局模型准确率下降的程度。它衡量的是在没有攻击情况下的模型最佳准确率与在存在特定攻击情况下的模型最佳准确率之间的差异。该指标关注的是攻击对模型整体性能造成的损害，数值越大表示攻击越有效，模型的鲁棒性越差。

2. 数学公式 (Mathematical Formula): $$I _ { \theta } = A _ { \theta } - A _ { \theta } ^ { * }$$

3. 符号解释 (Symbol Explanation):

• $I_\theta$: 攻击影响。
• $A_\theta$: 在没有任何攻击的情况下，全局模型在所有 FL 训练轮次中达到的最大准确率。
• $A_\theta^*$: 在给定攻击下，全局模型达到的最大准确率。

5.3. 对比基线

论文没有将自己的方法与“基线模型”进行比较，而是评估了现有和提出的攻击在不同聚合规则 (AGRs) 下对联邦学习系统的影响。因此，这里的“对比基线”实际上是指论文所评估的聚合规则，包括非鲁棒和鲁棒的 AGRs。

5.3.1. 非鲁棒聚合规则

• Average (平均值) [40]: 最基本的聚合规则，直接计算所有客户端更新的平均值。在实际的 FL 应用中广泛使用，但在对抗性环境中被认为脆弱。

5.3.2. 鲁棒聚合规则 (从 Section II-C 中选取的代表性 AGRs)

• Norm-bounding (范数限制) [58]: 一种向量缩放防御。它将所有提交的客户端更新的 L2-范数限制在一个固定阈值内。如果更新的范数超过阈值，则按比例缩小。其直觉是，有效的投毒更新通常具有高范数。
• Multi-krum [10]: 一种向量过滤防御。它通过选择与邻近更新距离最近的更新来过滤掉异常值。具体做法是，选择一个与 $k$ 个最近邻更新距离最小的更新，并重复此过程直到收集到足够数量的更新进行平均。
• Trimmed-mean (截断均值) [68], [70]: 一种维度过滤防御。它对输入更新的每个维度分别进行处理。它会排序每个维度上的值，然后移除指定数量（例如 $m$，即受损客户端数量）的最大和最小值，然后计算剩余值的平均值。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 评估非鲁棒 FL (跨设备)

发现： 与普遍认知相反，对于实际的受损客户端比例，即使是最基本的 Average AGR，也能以高准确率收敛，表现出高度鲁棒性。

分析 (图4a):

• 图4a 展示了在 Average AGR 下，各种数据投毒攻击 (DPAs) 和模型投毒攻击 (MPAs) 的攻击影响 $I_\theta$。对于 Average AGR，所有 MPAs（包括本文提出的）本质上是相同的，即构造任意大的恶意方向更新。

• 在实际受损客户端比例 ($M$) 范围内（如 MPA 的 $M=0.01\%$ 和 DPA 的 $M=0.1\%$），所有攻击的 $I_\theta$ 都非常低，这意味着最终的全局模型以高准确率收敛。

  • 例如，在 FEMNIST 上，当 MPA 的 $M=0.01\%$ 时， $I_\theta \approx 2\%$；DPA 的 $M=0.1\%$ 时， $I_\theta \approx 5\%$。相对于无攻击时的准确率 ($82.3\%$)，准确率仅下降 2% 和 5%。
  • Purchase 和 CIFAR10 数据集也观察到类似的低 $I_\theta$。

• 原因： 跨设备 FL 固有的鲁棒性归因于其客户端采样过程。在 FL 的每一轮中，服务器只选择所有 FL 客户端中的一小部分。因此，当 $M$（远小于 1%）处于实际范围时，很多轮次都不会选中受损客户端。

  总结 (Takeaway V-A): 与普遍认知相反，生产跨设备 FL 即使使用（朴素的）Average AGR，在存在无目标投毒攻击的情况下也能以高准确率收敛。

6.1.2. 评估鲁棒 FL (跨设备)

发现： 在实际的受损客户端比例下，跨设备 FL 与鲁棒 AGRs 结合时表现出高度鲁棒性。简单的低成本防御（如 Norm-bounding）与复杂防御具有同等效果，且彻底的实证评估是必不可少的。

分析 (图4b):

• 图4b 展示了在 Norm-bounding (Normb)、Multi-krum (Mkrum) 和 Trimmed-mean (Trmean) 这些鲁棒 AGRs 下，DPAs 和 MPAs 的投毒影响 $I_\theta$。
• 高度鲁棒性 (Takeaway V-B1): 在实际的 $M$ 值下（DPA 为 $M \le 0.1\%$，MPA 为 $M \le 0.01\%$），鲁棒 AGRs 的 $I_\theta$ 几乎可以忽略不计。对于所有三种数据集，最先进攻击的 $I_\theta \le 1\%$。
• 长期攻击无效性 (图6): 即使在 5,000 轮的超长 FL 训练中，最强的 MPA（$M=0.1\%$）也未能攻破鲁棒 AGRs。Mkrum 和 Trmean 几乎不受影响，Normb 的准确率下降也小于 5%。这表明这些 AGRs 在实践中足够保护生产跨设备 FL。
• 简单防御的有效性 (Takeaway V-B2): Norm-bounding (计算复杂度 $\mathcal{O}(d)$) 这种简单高效的 AGR，与 Multi-krum (计算复杂度 $\mathcal{O}(dn^2)$) 和 Trimmed-mean (计算复杂度 $\mathcal{O}(dn \log n)$) 等理论上鲁棒但计算昂贵的 AGRs 相比，在实际 $M$ 值下提供了相似的保护效果。这质疑了对复杂 AGRs 的需求。
• 实证评估的重要性 (Takeaway V-B3): 理论上鲁棒的 AGRs（如 Mkrum 和 Trmean）声称在高达 $M=25\%$ 的情况下仍然鲁棒，但实验表明，即使在理论宣称的 $M$ 值下，它们也未表现出特别高的鲁棒性，甚至不如简单的 Norm-bounding。这突显了彻底实证评估 AGRs 鲁棒性的必要性。

图4：不同 AGRs 下攻击影响 $I_\theta$

该图像是图表，展示了图4中不同数据集（FEMNIST、CIFAR10、Purchase）在非鲁棒和鲁棒联邦学习（FL）环境下，随着受攻击客户端百分比（M）的增加，多种数据和模型投毒攻击的攻击影响（Attack impact %）。图中通过平均（Average）、Norm-bound、Multi-krum和Trimmed-mean四种聚合规则对比攻击效果。

描述: 该图像是图表，展示了图4中不同数据集（FEMNIST、CIFAR10、Purchase）在非鲁棒和鲁棒联邦学习（FL）环境下，随着受攻击客户端百分比（M）的增加，多种数据和模型投毒攻击的攻击影响（Attack impact %）。图中通过平均（Average）、Norm-bound、Multi-krum和Trimmed-mean四种聚合规则对比攻击效果。

图6：长时间 FL 训练中鲁棒 AGRs 的表现

该图像是图表，展示了图6中三种防御机制下在CIFAR10和FEMNIST数据集上联邦学习轮次与全局模型准确率的关系。横轴为FL轮次，纵轴为全局模型准确率（%），显示即使在5000轮后，模型中毒攻击依然难以突破鲁棒的AGR防御。

描述: 该图像是图表，展示了图6中三种防御机制下在CIFAR10和FEMNIST数据集上联邦学习轮次与全局模型准确率的关系。横轴为FL轮次，纵轴为全局模型准确率（%），显示即使在5000轮后，模型中毒攻击依然难以突破鲁棒的AGR防御。

6.1.3. FL 参数对投毒的影响 (跨设备)

a. 本地投毒数据集大小 ($|D_p|$) 对 DPAs 的影响 发现 (Takeaway V-C1): 对每个客户端的本地数据集大小施加限制，可以作为一种高效（且简单）的防御措施，对抗生产 FL 中的无目标 DPAs。

分析 (图5):

• 图5 展示了在实际 $|D_p|$ 范围下，最佳 DPAs 的攻击影响 $I_\theta$。
• 对于所有鲁棒 AGRs，当 $|D_p|$ 和 $M$ 都在实际范围内时，DPAs 的影响可以忽略不计。
• 对于非鲁棒的 Average AGR，影响非零且依赖于数据集。
• 结论： 限制客户端数据集大小可以有效防御 DPAs。

图5：投毒数据大小 $D_p$ 对最佳 DPAs 影响 $I_\theta$

该图像是多子图图表，展示了不同防御机制下，受攻击客户端比例变化对CIFAR10和FEMNIST数据集平均攻击影响的影响。横轴为受攻击客户端百分比，纵轴为攻击影响百分比，表明在实际防御下影响较小且依赖于数据集。

描述: 该图像是多子图图表，展示了不同防御机制下，受攻击客户端比例变化对CIFAR10和FEMNIST数据集平均攻击影响的影响。横轴为受攻击客户端百分比，纵轴为攻击影响百分比，表明在实际防御下影响较小且依赖于数据集。

b. 良性 FL 客户端平均数据集大小 ($|D|_{\mathsf{avg}}$) 的影响 发现 (Takeaway V-C2): 当良性客户端的本地数据集大小处于实际范围时，结合鲁棒 AGRs 的跨设备 FL 对无目标投毒具有高度鲁棒性。

分析 (图9, 11):

• 图9 显示，改变 $|D|_{\mathsf{avg}}$ 对 $I_\theta$ 没有清晰的影响模式。例如，在 $M=1\%$ 时，CIFAR10 + Normb 上的 PGA 和 DPA-SLF 的 $I_\theta$ 随 $|D|_{\mathsf{avg}}$ 的增加而减少，而 FEMNIST 上鲁棒 AGRs 的 $I_\theta$ 则不受影响。
• 图11 显示，增加 $|D|_{\mathsf{avg}}$ 可以提高全局模型准确率。
• 总结： 即使在 $M$ 不切实际地高的情况下，适度高的 $|D|_{\mathsf{avg}}$ 也能使跨设备 FL 完全抵御最先进的 DPAs 和 MPAs（除了 MPAs 对 Average AGR）。

图9：改变 $|D|_{\mathsf{avg}}$ 对攻击影响 $I_\theta$ 的影响

该图像是图表，展示了不同数据集（FEMNIST和CIFAR10）在采用Average和Norm-bound聚合规则下，随着平均本地数据量变化时多种攻击手段的攻击影响百分比。图中显示，Norm-bound聚合下攻击影响显著降低，而Average聚合下MPA攻击影响较大。

描述: 该图像是图表，展示了不同数据集（FEMNIST和CIFAR10）在采用Average和Norm-bound聚合规则下，随着平均本地数据量变化时多种攻击手段的攻击影响百分比。图中显示，Norm-bound聚合下攻击影响显著降低，而Average聚合下MPA攻击影响较大。

图11：改变 $|D|_{\mathsf{avg}}$ 对全局模型准确率的影响

该图像是四个子图组成的图表，展示了在1%被攻陷客户端情况下，基于FEMNIST和CIFAR10数据集，使用不同防御策略和平均本地数据大小对全局模型准确率的影响。

描述: 该图像是四个子图组成的图表，展示了在1%被攻陷客户端情况下，基于FEMNIST和CIFAR10数据集，使用不同防御策略和平均本地数据大小对全局模型准确率的影响。

c. 每轮选择的客户端数量 ($n$) 的影响 发现 (Takeaway V-C3): 在生产跨设备 FL 中，每轮选择的客户端数量 $n$ 对无目标投毒攻击的影响没有显著效果，但 MPAs 对 Average AGR 是例外。

分析 (图10):

• 图10 显示，改变 $n$ 对大多数攻击的影响没有明显变化，因为受损客户端的预期百分比 $M$ 不随 $n$ 改变。
• 例外是 MPAs 对 Average AGR：当服务器选择一个受损客户端时，MPA 就会阻止全局模型的进一步学习。增加 $n$ 增加了选择受损客户端的机会，从而放大了攻击。

图10：每轮选择客户端数量 $n$ 对攻击影响的影响

该图像是论文中的图表，展示了不同联邦学习客户端数量对攻击影响的关系，横轴为每轮选取的客户端数量，纵轴为攻击影响百分比。不同防御机制和攻击方法在FEMNIST与CIFAR10数据集上的表现被逐一比较，结果显示选取的客户端数量对大多数防御下的攻击效果影响不大。

描述: 该图像是论文中的图表，展示了不同联邦学习客户端数量对攻击影响的关系，横轴为每轮选取的客户端数量，纵轴为攻击影响百分比。不同防御机制和攻击方法在FEMNIST与CIFAR10数据集上的表现被逐一比较，结果显示选取的客户端数量对大多数防御下的攻击效果影响不大。

d. 未知全局模型架构对 DPAs 的影响 发现 (Takeaway V-C4): 依赖代理模型 (surrogate model) 的 DPAs（如本文的 DLF）如果代理模型和全局模型的架构不匹配，则效果会降低。

分析 (图7):

• 图7 比较了在未知架构设置下，DPA-DLF 的影响。当攻击者使用替代 CNN 架构（如表 V 所示）而非真实的 LeNet 架构时，DPA-DLF 的影响会减小。

图7：未知架构对 DPA-DLF 攻击影响的影响

该图像是一个折线图，展示了在未知模型架构情况下不同攻击方法随被攻陷客户端比例变化时的攻击影响度。图中对比了Lenet和Conv模型的平均值（Avg）、范数（Normb）及修正均值（Trmean）等攻击策略，显示攻击强度随被攻陷客户端比例上升而增加。

描述: 该图像是一个折线图，展示了在未知模型架构情况下不同攻击方法随被攻陷客户端比例变化时的攻击影响度。图中对比了Lenet和Conv模型的平均值（Avg）、范数（Normb）及修正均值（Trmean）等攻击策略，显示攻击强度随被攻陷客户端比例上升而增加。

表V：替代模型架构

6.1.4. 评估跨筒仓 FL 的鲁棒性

发现 (Takeaway V-D): 在生产跨筒仓 FL 中，模型投毒攻击不切实际，而最先进的数据投毒攻击即使对 Average AGR 也无效。

分析 (图8):

• 模型投毒攻击 (MPAs) 的不切实际性： 跨筒仓 FL 的客户端是大型企业（如银行），受合同约束且软件栈由专业维护。入侵这些筒仓成本极高且面临刑事责任，使得 MPAs 不太可能。
• 数据投毒攻击 (DPAs) 的无效性： 图8 展示了在集中式或均匀分布的受损客户端情况下，DPAs 对跨筒仓 FL 的影响微不足道。由于存在大量良性筒仓或每个筒仓内大量良性用户，它们能够有效缓解少数受损筒仓或用户的投毒影响。

图8：跨筒仓 FL 中数据投毒攻击的影响

该图像是图表，展示了图8中跨筒仓联邦学习环境下不同数据中毒攻击在多个数据集（FEMNIST和CIFAR10）中对模型的影响力随受损客户端比例变化的情况，结果显示攻击影响极小。

描述: 该图像是图表，展示了图8中跨筒仓联邦学习环境下不同数据中毒攻击在多个数据集（FEMNIST和CIFAR10）中对模型的影响力随受损客户端比例变化的情况，结果显示攻击影响极小。

6.2. 数据呈现 (表格)

以下是原文 Table I 比较了不同聚合规则在生产 FL 中的性能和开销：

分析：

• 高性能与低开销要求： 生产 FL 需要高性能模型且计算和内存开销低。
• 限制因素： 表中红色单元格表示在生产 FL 中采用的障碍。例如，SignSGD + majority voting、Krum、Bulyan、RSA 和认证防御会带来显著的性能损失；认证防御会给客户端带来高内存成本；基于知识迁移的防御需要公共数据，在跨设备、非独立同分布 FL 设置中会导致性能损失；个性化技术在全局模型严重受损时无法改善性能。
• 代表性 AGRs 的选择： 论文为了关注生产 FL，选择了具有实际性能和开销的代表性 AGRs 进行评估，即 Average、Norm-bounding、Multi-krum 和 Trimmed-mean。

6.3. 消融实验/参数分析

论文通过改变不同的 FL 参数（如本地投毒数据集大小、良性客户端平均数据集大小、每轮选择客户端数量以及模型架构知识），深入分析了它们对投毒攻击效果的影响，这可以视为一种广义的参数分析，以理解 FL 鲁棒性在不同条件下的表现。这些分析已融合在 6.1.3 节中。

7. 总结与思考

7.1. 结论总结

本文对生产联邦学习 (FL) 中投毒攻击的实际影响进行了全面且批判性的评估。通过系统化威胁模型并引入改进的攻击方法，论文得出了与先前学术界普遍认知相悖的重要结论：在实际生产 FL 环境中，FL 的鲁棒性远超预期，甚至简单的低成本防御机制（如 Norm-bounding 或限制客户端本地数据大小）就足以有效抵御最先进的无目标投毒攻击。研究特别指出，跨设备 FL 由于其客户端采样机制，即使使用非鲁棒的 Average AGR 也表现出高鲁棒性；而跨筒仓 FL 对数据投毒攻击几乎完全免疫，且模型投毒攻击因其高昂的成本和风险而在该场景下不切实际。这些发现强调了在 FL 鲁棒性研究中考虑实际生产环境的重要性，并纠正了此前因不切实际假设而导致的误解。

7.2. 局限性与未来工作

7.2.1. 作者指出的局限性

• Sybil 攻击的假设： 论文假设生产系统已充分防范了 Sybil 攻击（例如，一个攻击者可以操作数百万个虚假账户），认为如果服务提供商未能防范 Sybil 攻击，他们应该优先改进其安全认证协议，而不是部署 FL。这可能意味着论文的结论在 Sybil 攻击仍然是威胁的场景下可能不完全适用。
• 未涵盖目标攻击和后门攻击： 论文明确将重心放在无目标投毒攻击上，因此其结论不适用于目标攻击和后门攻击。
• 跨筒仓 FL 的清洁标签投毒： 对于跨筒仓 FL，如果筒仓对用户数据进行检查并移除错误标签数据，则需要考虑清洁标签数据投毒攻击 (clean-label data poisoning attacks) [54]，这被留作未来的研究工作。

7.2.2. 作者提出的未来研究方向

• 生产 FL 环境下理论鲁棒性保证： 获取在生产 FL 设置中（其中每轮只随机选择一小部分客户端）现有防御措施的具体理论鲁棒性保证是一个开放问题。这有助于弥合实证发现与理论分析之间的差距。
• 低成本鲁棒 AGRs 的进一步研究： 鉴于 Norm-bounding 等简单防御的有效性，鼓励社区进一步研究和发明更多低成本、高效的鲁棒聚合规则。

7.3. 个人启发与批判

7.3.1. 个人启发

这篇论文提供了几个重要的启发：

• 实践导向的重要性： 最重要的启发是，学术研究必须与实际应用场景紧密结合。在安全和隐私领域，仅仅在理论上证明漏洞或攻击的有效性是不够的，还需要在真实的、受限的环境中进行验证。许多“理论上脆弱”的系统在实际中可能因其操作环境的固有特性（如客户端采样、成本等）而变得非常鲁棒。
• 重新审视既定信念： 论文成功地挑战了联邦学习领域中一些长期存在的、未经验证的信念。这提醒研究者，即使是广泛接受的观点，也应该定期进行批判性审查和实证验证。
• “简单即有效”的哲学： 论文发现简单的防御机制，如 Norm-bounding 或限制本地数据集大小，可以在生产环境中提供与复杂机制相当的保护。这促使我们思考，在追求理论上的完美时，是否忽略了那些可能更实用、成本更低的解决方案。对于工程实践而言，一个简单、高效且足够安全的方案往往优于一个复杂、理论最优但难以部署和维护的方案。
• 威胁模型的精细化： 论文提出的威胁模型系统化框架非常实用，它帮助我们更清晰地理解攻击者在不同场景下的能力和限制，从而能够更精确地设计和评估防御措施。

7.3.2. 潜在的问题、未经验证的假设或可以改进的地方

• “实际”百分比的动态性与主观性： 论文中对“实际”受损客户端百分比的定义（例如 MPAs 为 0.01%，DPAs 为 0.1%）主要基于攻击成本和入侵难度。然而，这些成本和难度可能会随着技术发展、攻击者动机（例如国家级攻击者）和新的攻击向量出现而变化。例如，如果出现更廉价、隐蔽的僵尸网络构建方式，这些“实际”上限可能会被打破。
• 对 Sybil 攻击的假设： 将 Sybil 攻击排除在威胁模型之外，认为应由认证协议解决，这虽然合理，但如果认证协议本身存在漏洞或被绕过，那么所有关于鲁棒性的结论都可能失效。在实践中，Sybil 攻击和投毒攻击往往是相互交织的。
• 对无目标攻击的过度关注： 论文承认其只关注无目标攻击，但目标攻击和后门攻击在某些场景下（如欺诈检测、恶意内容过滤）可能具有更严重的业务影响，即使其对整体准确率的影响不显著。这些攻击在生产 FL 中的实际影响仍需深入研究。
• 缺乏具体的理论解释： 尽管论文通过实验揭示了 Average AGR 在生产 FL 中的鲁棒性，并归因于客户端采样，但缺乏更严谨的理论分析来量化这种鲁棒性是如何产生的、其边界在哪里。这正是作者在未来工作中提到的“开放问题”。
• “生产环境”的异质性： 生产 FL 环境本身是高度异质的。论文虽然区分了跨设备和跨筒仓 FL，但不同行业的跨筒仓 FL（如金融、医疗、工业）可能有其独特的安全要求、信任模型和攻击面。论文的结论可能需要进一步细化，以适应更具体的行业场景。
• 攻击者对防御的自适应性： 论文的“改进攻击”是在给定防御下优化的。然而，在实际对抗中，攻击者会不断学习和适应防御机制。论文并未深入探讨防御机制在面对自适应攻击者时的动态鲁棒性。