1. 论文基本信息

1.1. 标题

Minder: Faulty Machine Detection for Large-scale Distributed Model Training (Minder：大规模分布式模型训练中的故障机器检测)

1.2. 作者

Yangtao Deng (清华大学), Xiang Shi (字节跳动), Zhuo Jiang (字节跳动), Xingjian Zhang (清华大学), Lei Zhang (字节跳动), Zhang Zhang (字节跳动), Bo Li (字节跳动), Zuquan Song (字节跳动), Hang Zhu (字节跳动), Gaohong Liu (字节跳动), Fuliang Li (东北大学), Shuguang Wang (字节跳动), Haibin Lin (字节跳动), Jianxi Ye (字节跳动), Minlan Yu (哈佛大学)。

1.3. 发表期刊/会议

USENIX Symposium on Networked Systems Design and Implementation (NSDI 25)，这是一个在网络系统设计和实现领域具有高声誉和影响力的顶级学术会议。

1.4. 发表年份

2025年。

1.5. 摘要

大规模分布式模型训练需要在多达数千台机器上同时进行。当机器发生意外故障时，故障机器检测变得至关重要。根据经验，一个训练任务平均每天会遇到两次故障，可能导致任务暂停数小时。为了解决耗时且劳动密集型的手动排查的缺点，本文提出了 Minder，一种用于分布式训练任务的自动故障机器检测器。Minder 的核心思想是自动高效地检测到具有故障特征的监控指标模式，这些模式可能在整个训练任务停止之前持续一段时间。Minder 已在生产环境中部署超过一年，每天监控涉及数千台机器的分布式训练任务。在实际故障检测场景中，Minder 平均能在 3.6 秒内准确高效地响应故障，精确率 (precision) 达到 0.904，F1-score 达到 0.893。

1.6. 原文链接与 PDF 链接

原文链接: https://www.usenix.org/conference/nsdi25/presentation/deng PDF 链接: https://www.usenix.org/system/files/nsdi25-deng.pdf

发布状态：已正式发表在 NSDI 25 会议上。

2. 整体概括

2.1. 研究背景与动机

大规模分布式模型训练，特别是大型语言模型 (LLMs)，如 GPT-4，涉及数千台机器和万亿级别的参数。这种规模的训练对计算、通信和存储资源以及软件支持提出了极高要求，导致故障发生的可能性很高，并可能导致任务失败。

核心问题： 意外的硬件或软件故障在大规模分布式训练中频繁发生，平均每天两次。这些故障可能导致整个训练任务停止数小时甚至数天，造成巨大的经济损失和时间成本。

为什么这个问题很重要：

1. 高昂的成本： 一次故障可能导致数千台 GPU 闲置数十分钟，例如，一个 128 台机器的任务因 PCIe 降级而减速 40 分钟，可能造成超过 1700 美元的损失。对于训练耗时数百天的大模型而言，频繁中断会显著增加运营成本和时间。
2. 当前解决方案的不足： 目前主要依赖耗时且劳动密集型的手动诊断方法。工程师通常只有在任务完全停止后才收到警报，诊断过程涉及多个团队（训练、网络、存储、硬件），需要检查大量日志，耗时数小时甚至数天，且诊断结果不及时、不完整、易受噪音干扰。
3. 复杂性： 故障类型多样（硬件、软件、主机内、主机间），监控指标的正常状态因任务而异（规模、数据、模型、框架），且故障与指标之间并非一对一关联，单一指标也无法完全指示所有故障。监控数据中还存在噪音。这些都使得设计有效的自动检测方法极具挑战性。

切入点或创新思路： Minder 旨在通过自动、高效、准确地检测故障机器，解决手动诊断的痛点。其核心创新在于利用机器间的相似性 (similarity)、故障模式的连续性 (continuity)、针对每个监控指标训练独立去噪模型 (individual denoising models) 以及指标优先级排序 (metric prioritization)。Minder 识别到，故障机器在特定指标数据中会显示出与其他机器不同的异常模式，并且这种异常会持续一段时间。

2.2. 核心贡献/主要发现

Minder 提出了以下核心贡献：

• 故障类型与监控指标关联性分析： 对七个月内的真实故障类型及其与各种监控指标的相关性进行了深入调查，解释了某些指标对故障更敏感的原因，并概述了检测面临的挑战。
• Minder 的设计原则： 提出了基于机器间相似性、异常连续性、独立去噪模型和指标优先级排序的核心设计理念，以应对分布式训练中故障检测的挑战。
• 系统实现与部署： 设计、实现并将 Minder 部署到生产环境中，监控所有分布式训练任务超过一年。Minder 在不中断训练任务的情况下运行，仅需从数据 API 拉取监控数据进行后端分析。
• 卓越的性能： 在实际故障检测场景中，Minder 平均能在 3.6 秒内响应故障，将人工调试时间缩短了 99% (500倍)，并实现了 0.904 的精确率 (precision) 和 0.893 的 F1-score。
• 实践经验与未来方向： 分享了在实际部署 Minder 过程中遇到的经验教训，并指出了未来的研究方向。

关键结论： Minder 通过利用机器间的行为相似性、异常的持续性、为每个指标定制去噪模型以及对指标进行优先级排序，成功实现了对大规模分布式训练任务中故障机器的自动、快速和高准确度检测，显著降低了故障诊断的时间和人力成本。

3. 预备知识与相关工作

3.1. 基础概念

为了理解 Minder 的工作原理，需要了解以下基础概念：

• 分布式模型训练 (Distributed Model Training)：指在多台机器或多个设备上并行训练大型机器学习模型。常见模式包括：
  • 数据并行 (Data Parallelism, DP)：每个设备拥有模型的完整副本，但接收不同批次的数据进行训练。梯度在设备间同步。
  • 模型并行 (Model Parallelism, MP)：模型的不同部分部署在不同的设备上，数据流经这些设备。
  • 流水线并行 (Pipeline Parallelism, PP)：将模型层级划分为多个阶段，每个阶段分配给不同的设备，形成流水线，以提高设备利用率。
  • 张量并行 (Tensor Parallelism, TP)：在单个机器内，将模型的张量（权重、激活值）分割成小块，由不同的 GPU 并行处理，以提高硬件利用率。
  • 3D 并行 (3D Parallelism)：结合数据并行、流水线并行和张量并行，以有效训练超大规模模型，如 LLMs。在 3D 并行框架下，计算、存储和通信负载在机器之间通常是均衡的，这为 Minder 利用机器间的相似性提供了基础。
• 监控指标 (Monitoring Metrics)：用于衡量机器或系统性能和健康状态的实时数据。Minder 收集的指标涵盖计算 (CPU 使用率、GPU 使用率、功耗、温度)、通信 (TCP 吞吐量、PFC 报文速率、NVLink 带宽、ECN 报文速率、CNP 报文速率) 和存储 (内存使用率、磁盘使用率) 等方面。
• 异常检测 (Anomaly Detection)：识别数据中与预期模式不符的异常点或异常模式。传统方法包括基于统计的异常值检测和基于机器学习的方法。
• Z-score (Z-分数)：一种衡量数据点与其所在数据集平均值之间标准差距离的统计量。高 Z-score 表示该数据点是异常值。 $$Z_{ij} = \frac{x_{ij} - \bar{x_j}}{s_j}$$ 其中，$Z_{ij}$ 是第 $i$ 台机器在第 $j$ 个监控指标上的 Z-score，$x_{ij}$ 是第 $i$ 台机器在第 $j$ 个指标上的样本值，$\bar{x_j}$ 和 $s_j$ 分别是所有机器在第 $j$ 个指标上的平均值和标准差。
• 变分自编码器 (Variational Autoencoder, VAE)：一种生成式深度学习模型，常用于数据去噪、特征压缩和异常检测。它学习数据的潜在表示（编码），然后从该潜在空间重建数据（解码）。VAE 能够学习数据的分布，并将正常数据重构为与其相似的嵌入，而异常数据则被重塑为更明显的异常值。
• 长短期记忆网络 (Long Short-Term Memory, LSTM)：一种特殊的循环神经网络 (Recurrent Neural Network, RNN)，擅长处理和预测时间序列数据。LSTM 通过门控机制（输入门、遗忘门、输出门）有效解决传统 RNN 中的梯度消失/爆炸问题，能够捕捉时间序列中的长期依赖关系。
• 欧几里得距离 (Euclidean Distance)：两点之间直线距离的度量。在多维空间中，如果两个向量的特征差异越大，其欧几里得距离也越大。 $$d(\mathbf{p}, \mathbf{q}) = \sqrt{\sum_{i=1}^n (p_i - q_i)^2}$$ 其中，$\mathbf{p} = (p_1, p_2, \ldots, p_n)$ 和 $\mathbf{q} = (q_1, q_2, \ldots, q_n)$ 是 $n$ 维空间中的两个点。
• 精确率 (Precision)：在所有被识别为正例（这里指故障）的样本中，真正是正例的比例。衡量检测结果的准确性。 $$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}$$
• 召回率 (Recall)：在所有真正的正例（这里指故障）中，被正确识别为正例的比例。衡量检测系统发现所有故障的能力。 $$\text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}$$
• F1-score (F1分数)：精确率和召回率的调和平均值，综合衡量模型的性能。 $$\text{F1-score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$

3.2. 前人工作

论文中提到了多个相关工作领域，包括：

• 主机内诊断 (Intra-host diagnosis)：
  • 运行时诊断 (Run-time diagnosis)：利用现有计数器 (counters) (如 Intel Performance Counter Monitor, NVIDIA System Management Interface) 或构建基于历史监控数据或轨迹的依赖图 (如 BRCA, MonitorRank, FChain) 来检测异常。这些深度学习算法被证明是自动化、鲁棒和灵活的。
  • 日志分析 (Log analysis)：使用自然语言处理 (NLP) 方法检查日志或 dmesg 命令输出，但受限于日志内容和信息处理能力。
  • 离线诊断 (Offline diagnosis)：在机器不运行任务时，使用特定工具（如 Liu 等人的工具测试 NVLink 或 PCIe 链路降级、Collie 发现 RDMA 子系统性能异常、Deepview 定位虚拟硬盘故障）来检测主机内瓶颈。这些方法主要用于任务运行前的预防性检查，不适用于运行时故障识别。
• 主机间诊断 (Inter-host diagnosis)：
  • 网络故障定位 (Network fault localization)：NetBouncer 利用 IP-in-IP 技术主动定位数据中心网络中的故障设备或链路。SNAP 监控 TCP 统计信息和套接字日志进行网络诊断。Pingsmesh、Haecki 和 Fathom 监控服务器之间的端到端延迟或数据中心内的详细 RPC 性能。然而，这些方法主要检测沿途的网络故障，而非导致训练速度下降的主机内硬件故障。
  • 云系统诊断 (Cloud system diagnosis)：基于上下文数据模式和多机器微服务关联性进行诊断（如 Conan、Traceark）。但在分布式训练中，机器工作负载相似，这些模式和依赖性会被消除。
• 异常检测和诊断算法 (Algorithms for anomaly detection and diagnosis)：
  • 基于统计的方法 (Statistics-based methods)：除了欧几里得距离，Pearson Correlation、Kendall's tau 和 Spearman Correlation 也用于量化向量相似性并发现异常。通常需要经验操作员设置参数阈值。
  • 监督学习算法 (Supervised algorithms)：广泛用于异常检测（如 Yahoo 的 EGADS）和故障分类（如用于事件路由的随机森林）。然而，由于异常模式的任务依赖性，并且目标是识别故障机器而非简单分类，监督学习不适用于本文的上下文。
  • 无监督学习 (Unsupervised learning)：通过聚类或 VAE 等方法从监控数据中识别异常值，进行根因检测和机器状态检测。VAE 特别适用于去噪和高维特征压缩，能增强异常检测的准确性和鲁棒性，尤其是在缺乏标签的情况下。

3.3. 技术演进

大规模分布式训练领域的技术演进主要体现在：

1. 模型规模爆炸式增长： 从 GPT-3 到 GPT-4，模型参数量从千亿级增长到万亿级，带动了对大规模并行计算的需求。

2. 并行策略的进步： 数据并行、模型并行、流水线并行、张量并行以及 3D 并行的发展，使得在数千台 GPU 上高效训练成为可能。

3. 高性能通信： NCCL、RDMA 等技术在集群内部提供了低延迟、高带宽的通信，成为分布式训练的关键基础设施。

4. 容错机制： 检查点 (checkpoint) 和快速恢复 (fast recovery) 技术的发展，以应对频繁的故障，减少训练中断造成的损失。

   Minder 正是在这一技术演进背景下，针对分布式训练中因规模增大、复杂度提高而导致的故障频率上升问题，提出了自动化的解决方案。

3.4. 差异化分析

Minder 与现有相关工作的主要区别和创新点在于：

1. 自动运行时检测与诊断： 大多数现有离线诊断工具不适用于运行时场景。Minder 作为后端服务，能够在训练任务运行时自动、实时地检测故障，无需人工干预。
2. 克服任务依赖性和标签缺乏： 传统的监督式异常检测方法因异常模式的任务依赖性和缺乏标签数据而难以应用。Minder 采用无监督学习和基于相似性的方法，通过比较机器间的行为差异来检测异常，无需预先训练或标记正常/异常数据。
3. 综合考量故障模式的特性：

   • 机器级相似性 (Machine-level Similarity)：利用大规模分布式训练中机器行为相似的特点，通过识别与其他机器行为差异最大的机器来发现故障。

   • 异常连续性 (Abnormality Continuity)：通过要求异常行为持续一段时间来过滤掉瞬时抖动和噪音，提高了检测的鲁棒性。

   • 指标去噪与独立模型 (Denoising & Individual Models)：针对监控数据中的噪音问题，为每个监控指标训练独立的 LSTM-VAE 模型进行去噪和特征提取，而非将所有指标混入单一模型，避免了指标间的相互干扰。

   • 指标优先级 (Metric Prioritization)：根据指标对故障的敏感度进行优先级排序，使得 Minder 能够优先检查最可能指示故障的指标，从而加快检测速度。

     这些组合创新使得 Minder 能够更准确、更高效地在大规模分布式训练环境中检测各种类型的故障。

4. 方法论

4.1. 方法原理

Minder 的核心思想是利用大规模分布式模型训练中机器行为的相似性 (similarity)、故障模式的连续性 (continuity)、对监控数据进行去噪 (denoising)，并通过指标优先级 (metric prioritization) 来自动、高效地检测故障机器。

在分布式训练中，尤其是在采用 3D 并行（数据并行、流水线并行、张量并行）策略时，各机器间的计算、通信和存储负载在细粒度（秒级）上是均衡的。这意味着在正常情况下，所有机器的监控指标数据（如 CPU 使用率、GPU 使用率、PFC 报文速率等）会呈现相似的波动模式。然而，一旦某台机器发生故障，其监控数据模式将与其他正常机器显著不同，产生“异常特征”。

Minder 的工作原理可以概括为：

1. 相似性检测： 监测所有机器的指标数据，识别出与其他机器差异最大的异常机器。
2. 连续性验证： 验证检测到的异常是否持续一段时间，以区分真正的故障和瞬时噪音或抖动。
3. 去噪处理： 针对监控数据中不可避免的噪音，使用学习模型对原始数据进行去噪和重构，提取更稳定的数据模式。
4. 指标优先级： 考虑到不同故障类型对不同指标的敏感度不同，Minder 会对监控指标进行优先级排序，优先检查最敏感的指标，从而加速故障检测。

4.2. 核心方法详解

Minder 框架的系统架构如图 5 所示，主要包含三个独立但相互关联的阶段：预处理 (Preprocessing)、每个指标模型训练 (Per-metric Model Training) 和 监控指标优先级排序 (Monitoring Metric Prioritization)。这些阶段的结果随后用于 在线故障机器检测 (Online Faulty Machine Detection)。

该图像是一个关于监测数据预处理和在线故障机器检测的流程图，展示了从监测数据预处理到故障检测的各个环节，包括每个指标模型训练、监测指标优先级排序，以及基于相似性的距离检查和连续性检查等步骤。

图 5: Minder 的系统架构。

4.2.1. 预处理 (Preprocessing)

Minder 首先对从每台机器收集到的监控数据流进行预处理，以便后续的去噪和相似性检查。

1. 数据对齐 (Data Alignment)： Minder 根据对应的采样时间戳对所有机器的采样点进行对齐。如果缺少样本点，Minder 会使用最近的采样数据进行填充。
2. 归一化 (Normalization)： 为了确保多维监控数据被整合到均匀分布中，Minder 使用 Min-Max 归一化技术，根据每个指标的上限和下限对监控数据进行归一化处理。 $$x_{\text{normalized}} = \frac{x - x_{\text{min}}}{x_{\text{max}} - x_{\text{min}}}$$ 其中 $x$ 是原始数据点，$x_{\text{min}}$ 和 $x_{\text{max}}$ 分别是该指标的最小值和最大值。

4.2.2. 每个指标模型训练 (Per-metric Model Training)

如 3.3 节所述，Minder 为每个监控指标独立训练一个学习模型，用于数据去噪和重构。这是因为没有单一指标能有效指示所有故障类型，且将所有指标合并到一个模型中可能导致误导。

1. 训练数据准备： 针对每个指标（例如 CPU 使用率），从训练任务的每台机器中提取预处理后的、长度为 $w$（例如 8）的时间窗口内的样本数据，步长为 1。这些 $1 \times w$ 的向量被作为输入实例，分别喂给对应指标的模型进行训练。

2. 模型选择：LSTM-VAE Minder 选用变分自编码器 (Variational Autoencoder, VAE)，具体实现为 LSTM-VAE。VAE 广泛用于去噪和高维特征压缩，它能将正常数据重构为相似的嵌入，而将异常数据重塑为更明显的离群值。这种无监督学习技术特别适合在缺乏标签的情况下进行异常检测。由于输入数据是时间序列，Minder 使用 LSTM (Long Short-Term Memory) 作为 VAE 的编码器和解码器，以捕获时间序列的序列特征。

   LSTM-VAE 结构： 如图 6 所示。

   该图像是示意图，展示了Minder系统中的编码器和解码器结构。左侧为编码器部分，接收输入的监测数据 $x_1, x_2, \ldots, x_n$，通过多个LSTM单元处理，并生成潜在变量 $z$。右侧为解码器部分，接收潜在变量 $z$，输出重构数据 $p(x'_1|z), p(x'_2|z), \ldots, p(x'_n|z)$。该架构旨在通过循环神经网络有效检测机器故障。

   图 6: Minder 的 LSTM-VAE 结构。

   • 编码器 (Encoder)： 接收时间序列输入 $x_1, x_2, \ldots, x_n$。它由一个 LSTM 层组成，将时间序列的特征提取并映射到一个潜在空间，生成潜在空间嵌入 $z$。编码器的作用是学习输入数据的分布，通常输出均值 $\mu$ 和方差 $\sigma^2$ 来定义潜在变量 $z$ 的高斯分布。 $$(\mu, \sigma^2) = \text{Encoder}(x_1, \ldots, x_n)$$ 然后，潜在变量 $z$ 从该分布中采样： $$z \sim \mathcal{N}(\mu, \sigma^2)$$
   • 解码器 (Decoder)： 接收潜在变量 $z$ 作为输入。它也由一个 LSTM 层组成，负责从潜在空间重建数据，输出重构数据 $p(x'_1|z), p(x'_2|z), \ldots, p(x'_n|z)$。解码器的目标是使重构数据尽可能接近原始输入数据。 $$(x'_1, \ldots, x'_n) = \text{Decoder}(z)$$
   • 训练目标： VAE 的训练目标是最大化数据的对数似然下界（Evidence Lower Bound, ELBO），这包括两部分：
     1. 重构损失 (Reconstruction Loss)： 衡量解码器输出的重构数据与原始输入数据之间的相似度。通常使用均方误差 (Mean Squared Error, MSE) 或二元交叉熵 (Binary Cross-Entropy) 等。 $$\mathcal{L}_{\text{reconstruction}} = - \mathbb{E}_{z \sim q(z|x)}[\log p(x|z)]$$
     2. KL 散度损失 (KL Divergence Loss)： 衡量编码器生成的潜在分布 $q(z|x)$ 与预设的先验分布 p(z)（通常是标准正态分布 $\mathcal{N}(0, I)$）之间的差异。这有助于正则化潜在空间，使其具有良好的结构。 $$\mathcal{L}_{\text{KL}} = D_{\text{KL}}(q(z|x) || p(z))$$ 总损失函数为： $$\mathcal{L}_{\text{VAE}} = \mathcal{L}_{\text{reconstruction}} + \mathcal{L}_{\text{KL}}$$
   • 模型参数： 模型参数包括 hidden_size (例如 4)、latent_size (例如 8) 和 lstm_layer (例如 1)。

4.2.3. 监控指标优先级排序 (Monitoring Metric Prioritization)

为了加速检测，Minder 会对监控指标进行优先级排序，并优先使用排名靠前的指标及其模型。

这个过程与模型训练并行运行，包含两个步骤：

1. Z-score 计算 (Z-score calculation)： 为了评估每个指标对故障的敏感度，Minder 计算 Z-score。高 Z-score 表示数据分布不平衡，故障机器与其他机器呈现出不同的模式。 对于第 $j$ 个监控指标，计算第 $i$ 台机器的 Z-score： $$Z_{ij} = \frac{x_{ij} - \bar{x_j}}{s_j} \quad (1)$$ 其中 $Z_{ij}$ 是第 $i$ 台机器的 Z-score，$x_{ij}$ 是第 $i$ 台机器的样本值，$\bar{x_j}$ 和 $s_j$ 分别是所有机器在第 $j$ 个指标上的平均值和标准差。 对于每个训练任务的时间窗口，Minder 使用所有机器中第 $j$ 个监控指标的 $max(Z_{ij})$ 来表示机器间的分散程度。

2. 监控指标优先级排序 (Prioritization of the monitoring metrics)： Minder 使用决策树 (decision tree) 来根据每个指标的 $max(Z_{ij})$ 确定其优先级。

   • 决策树构建： Minder 收集每个指标的 $max(Z_{ij})$ 作为训练实例，并手动标记该时间窗口为正常或异常（取决于是否存在故障机器）。使用跨多个时间窗口和多个训练任务的实例来训练决策树。

   • 优先级确定： 如图 7 所示，决策树中靠近根节点的指标被认为是更敏感的。PFC、CPU、GPU 和 NVLink 相关指标被识别为信息量最大的指标。CPU 使用率与运行进程状态相关，GPU 指标与计算状态相关，NVLink 带宽和 PFC 报文速率指示主机内和主机间网络质量。这与表 1 的观察结果一致。

     该图像是一个示意图，展示了故障检测系统的工作流程。图中所示的各个节点通过 Z-score 来评估不同监控指标的健康状态，包括 PFC、CPU 和 GPU 各项指标的使用情况，并标记为正常或异常。

   图 7: 优先级决策树的前 7 层。

4.2.4. 在线故障机器检测 (Online Faulty Machine Detection)

在运行时检测阶段，Minder 利用机器级相似性 (3.1 节) 和连续性 (3.2 节) 的概念进行故障检测。

检测流程如下：

1. 指标选择： Minder 按照决策树优先级排序结果选择一个指标。

2. 数据去噪： 将选定指标的机器数据喂给对应的 LSTM-VAE 模型进行去噪和重构，得到去噪后的向量或嵌入。

3. 相似性距离检查 (Similarity-based distance check per time window)：

   • 将每台机器（例如，一个 $1 \times w$ 的向量）的监控数据依次输入到对应的 LSTM-VAE 模型中，得到重建的嵌入 (embedding)。
   • Minder 计算每两台机器嵌入之间的欧几里得距离 (Euclidean distances)，因为欧几里得距离能有效表达正常样本和异常样本之间的差异。
   • 对于每台机器，Minder 计算其与其他所有机器距离的总和，表示其差异度 (dissimilarity)。
   • 为了标准化，Minder 计算每个机器总距离的正常分数 (normal score)。
   • 得分最高的机器很可能是故障机器。如果最高正常分数高于预设的相似性阈值 (similarity threshold)，则该机器被视为当前时间窗口内的故障候选机器。 $$d(\mathbf{e}_i, \mathbf{e}_k) = \sqrt{\sum_{j=1}^{D} (e_{ij} - e_{kj})^2}$$ 其中 $\mathbf{e}_i$ 和 $\mathbf{e}_k$ 是机器 $i$ 和 $k$ 的 $D$ 维嵌入，$e_{ij}$ 是机器 $i$ 嵌入的第 $j$ 维分量。 机器 $i$ 的总差异度 (sum of distances) 为： $$S_i = \sum_{k \neq i} d(\mathbf{e}_i, \mathbf{e}_k)$$ 然后对 $S_i$ 进行归一化得到正常分数。

4. 连续性检查 (Continuity check for consecutive time windows)：

   • 单个时间窗口内检测到的候选机器可能是由于瞬时爆发或临时计数器噪音导致的误报。故障通常会导致性能持续恶化一段时间，因此连续性检查至关重要。
   • Minder 以步长为 1 移动时间窗口，检测新窗口中的潜在故障机器。
   • 如果同一台机器在连续的时间内被检测为故障候选机器，并且连续次数超过预设的连续性阈值 (continuity threshold)（例如 4 分钟），则该机器被确认为真正的故障机器。这个阈值能够有效过滤短期噪音。

5. 迭代检测： 如果当前指标和模型未能检测到故障机器，Minder 将根据优先级列表选取下一个指标及其模型，重复步骤 2-4。如果所有指标和模型都检查完毕后仍未检测到异常，Minder 则认为当前没有故障发生。

5. 实验设置

5.1. 数据集

• 来源： Minder 部署在生产环境中，数据集包含来自在线分布式训练任务的运行时故障实例。
• 规模与范围：
  • 包含 150 个运行时故障实例，这些实例跨越九个月收集。
  • 任务涉及 4 到 1500 多台机器，最多达 10,000 块 NVIDIA Ampere GPU。
  • 覆盖图 1 中的所有机器规模组，其中 30% 的任务涉及至少 600 台机器。
  • 数据集涵盖表 1 中列出的所有故障类型。主要的故障类型包括 ECC 错误 (25.7%)、CUDA 执行错误 (15%)、GPU 执行错误 (10%) 和 PCIe 降级 (8.6%)。
• 故障聚焦： 数据集主要关注单台机器故障，因为在生产环境中，这类故障占所有故障案例的 99%。
• 数据粒度： 监控指标（如附录 B 所列）以秒级粒度收集。
• 真值确认： 由于快速的逐出和恢复过程，验证所有被逐出的机器是否都发生故障具有挑战性。因此，数据集中包含的运行时实例是那些可以通过离线日志检查、nocl-tests 或硬件测试（例如 [55]）手动确认实际故障机器的实例。
• 训练与评估划分： 用于 LSTM-VAE 模型训练的数据来自前三个月，其余数据用于评估。

5.2. 评估指标

对于一个任务，Minder 使用以下指标来衡量其性能：

1. 真阳性 (True Positives, TP)：

   • 概念定义： TP 指的是模型正确地识别出故障机器的情况。换句话说，当一台机器确实发生故障时，模型成功地将其检测为故障。
   • 数学公式： 不单独计算，是后续指标的基础。
   • 符号解释： 无。

2. 假阴性 (False Negatives, FN)：

   • 概念定义： FN 指的是模型未能识别出真正的故障机器的情况。也就是说，当一台机器确实发生故障时，模型却错误地认为它是正常的，或者未能检测到故障。
   • 数学公式： 不单独计算，是后续指标的基础。
   • 符号解释： 无。

3. 真阴性 (True Negatives, TN)：

   • 概念定义： TN 指的是模型正确地识别出正常机器的情况。当一台机器实际上没有故障时，模型也正确地将其判断为正常。
   • 数学公式： 不单独计算，是后续指标的基础。
   • 符号解释： 无。

4. 假阳性 (False Positives, FP)：

   • 概念定义： FP 指的是模型错误地将正常机器识别为故障的情况。即没有故障发生时，模型却发出了故障警报。
   • 数学公式： 不单独计算，是后续指标的基础。
   • 符号解释： 无。

5. 精确率 (Precision)：

   • 概念定义： 精确率衡量的是在所有被模型预测为故障的机器中，有多少比例确实是故障机器。它关注的是模型预测的准确性，即在发出故障警报时，有多大可能警报是正确的。
   • 数学公式： $$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}$$
   • 符号解释：
     • TP: 真阳性，正确检测到的故障机器数量。
     • FP: 假阳性，错误地检测为故障的正常机器数量。

6. 召回率 (Recall)：

   • 概念定义： 召回率衡量的是在所有实际发生故障的机器中，有多少比例被模型成功地检测出来。它关注的是模型发现所有故障的能力，即模型是否遗漏了真正的故障。
   • 数学公式： $$\text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}$$
   • 符号解释：
     • TP: 真阳性，正确检测到的故障机器数量。
     • FN: 假阴性，未检测到的真正故障机器数量。

7. F1-score (F1 分数)：

   • 概念定义： F1 分数是精确率和召回率的调和平均值。它综合考虑了精确率和召回率，尤其适用于正负样本不平衡的情况。F1 分数越高，表示模型的性能越好。
   • 数学公式： $$\text{F1-score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$
   • 符号解释：
     • Precision: 精确率。
     • Recall: 召回率。

5.3. 对比基线

论文将 Minder 与以下基线模型进行了比较：

• Mahalanobis Distance (MD)：马氏距离 [30, 46, 57]。
  • 代表性： MD 广泛用于识别多变量数据中的离群值，它考虑了数据中变量之间的相关性。
  • 工作原理： MD 首先计算均值、方差、偏度、峰度等特征，然后应用主成分分析 (PCA)，最后计算成对距离来识别异常。
  • 比较设置： 在与 MD 比较时，Minder 保持其他流程不变，仅在检测方法上进行替换，以公平比较其核心检测能力的优劣。

6. 实验结果与分析

6.1. 整体性能

6.1.1. 总数据处理时间

Minder 的平均警报响应时间为 3.6 秒，这包括数据拉取时间（从数据 API 获取相关监控数据）和处理时间（预处理和运行故障机器检测推理）。由于 Minder 部署在专用机器上，它将故障诊断时间缩短了 99%（比图 2 中手动检查机器信息的时间缩短了 500 倍）。

以下是原文 Figure 8 的结果：

该图像是一个示意图，展示了任务索引与总时间、数据拉取时间及处理时间之间的关系。横轴为任务索引，纵轴为时间（秒）。图中蓝线表示总时间，黄色线表示数据拉取时间，棕色线表示处理时间，反映出随着任务索引的增加，各种时间值的变化趋势。

图 8: Minder 单次调用总数据处理时间。

图中显示，随着任务索引的增加，总时间（蓝线）、数据拉取时间（黄线）和处理时间（棕线）的波动。尽管在某些任务中存在波动，但平均总处理时间保持在较低水平。

6.1.2. 与基线算法的比较

Minder 与 Mahalanobis Distance (MD) 进行了比较。MD 是一种广泛用于识别离群值的统计方法，它考虑了多维数据中的变量相关性。

以下是原文 Figure 9 的结果：

该图像是一个表格，展示了Minder和MD在精确率、召回率和F1-score三项指标上的对比。Minder在精确率、召回率和F1-score上分别达到了0.904、0.883和0.893，明显优于MD的精确率0.788、召回率0.767和F1-score 0.777。

图 9: 与基线算法 MD [30, 46] 的比较。

分析：

• Minder 的优势： Minder 在精确率 (0.904 vs 0.788)、召回率 (0.883 vs 0.767) 和 F1-score (0.893 vs 0.777) 上均显著优于 MD。
• MD 的不足： MD 试图从统计学角度检测离群机器，但其较低的准确率表明，抖动和噪音会干扰统计特征，使其检测效果不佳。
• Minder 优于 MD 的原因： Minder 通过使用 LSTM-VAE 进行去噪处理，并提取更稳定的数据模式，从而在距离计算方面表现更好，能够更有效地检测实际故障并降低误报率。

6.1.3. 故障类型分解性能

以下是原文 Figure 10 的结果：

该图像是一个条形图，展示了多种机器故障类型的准确率、召回率和F1-score。图中包括ECC错误、PCIe降级、CUDA执行错误等多个类别的得分变化，便于直观比较各类故障的检测效果。

图 10: 各种故障类型的准确率。

分析：

• Minder 的有效性： Minder 有效处理了 ECC 错误、CUDA 执行错误、GPU 卡掉线、机器不可达、NVLink 错误、HDFS 错误和 NIC 硬件错误等故障。这些故障都与 Minder 监控的 CPU、GPU 状态和网络性能密切相关。
• 低召回率的情况：
  • GPU 执行错误和 PCIe 降级： 这两类故障的召回率较低。原因是一些故障实例中，单台机器内存在并发的故障 GPU 或 PCIe 链路。由于 3D 并行拓扑结构，故障会迅速影响数据并行 (DP) 和流水线并行 (PP) 组中的多台机器，导致即时“组效应”。在这种情况下，秒级时间序列粒度对于 Minder 来说不足以捕获快速传播的异常模式。
  • AOC 错误： 由于目前缺乏光缆相关计数器来捕获有用的监控指标，AOC 错误部分被遗漏。作者计划未来增加更多硬件计数器来解决这个问题。不过，AOC 错误占总故障比例较小，因此整体准确率仍然很高。
• 误报分析： Minder 的大部分错误检测并非完全不正确。在许多误报案例中，被错误检测的机器在性能恢复正常之前表现出短期的指标波动或性能抖动。虽然这些波动并非任务停止的根本原因，但它们确实导致了训练性能的短期抖动，因此不应被忽视。

6.1.4. 按任务生命周期故障发生次数分解性能

以下是原文 Figure 11 的结果：

该图像是一个柱状图，展示了不同范围的机器的精度（Precision）、召回率（Recall）和F-score的评分。各个评分的值从0到1，并且标识不同范围的机器，如[1,2]、(2,5)、(5,8)、(8,11)和(11,∞)的表现，整体评分也被呈现。

图 11: 具有不同生命周期故障发生次数的任务的准确率。

分析：

• 故障发生次数与准确率无关： 训练任务的故障发生次数与准确率没有直接关联。在数据集中，70% 的任务故障不超过 5 次，而超过 15% 的任务故障超过 8 次。由于故障是随机发生的，且故障机器在生产环境中会迅速被自动替换，因此故障发生次数不会影响 Minder 的性能。
• 低召回率解释： (8, 11) 组的召回率较低，主要原因在于该组的任务数量有限，样本量不足。

6.2. 监控指标选择分析

为了验证监控指标选择的合理性，论文通过实验比较了使用不同数量指标对准确率的影响。

以下是原文 Figure 12 的结果：

该图像是一个柱状图，展示了Minder与不同指标数量下的准确率（Precision）、召回率（Recall）和F1得分（F1-score）的比较。Minder在准确率方面达到0.904，显著高于其他两种方法，分别为0.866（少指标）和0.883（多指标）。整体来看，Minder在各个指标上表现优异。

图 12: 不同指标选择的比较。

分析：

• 更多指标的权衡： 包含更多监控指标（例如，GPU 温度、GPU 时钟频率、GPU 内存带宽利用率、GPU FP 引擎活动等，而 Minder 仅使用 GPU Duty Cycle 作为 GPU 指标）虽然可能提高召回率 (0.904)，但其精确率会降低 (0.883)。这表明，过多的指标可能引入相互干扰，因为不同的指标可能指示不同的模式，从而混淆检测。
• 更少指标的不足： 使用更少的指标会削弱离群值检测能力，因为可能排除了关键指标。
• Minder 的最优选择： Minder 当前的指标选择实现了最佳精确率 (0.904)，这意味着它产生的误报更少。根据指标优先级排序结果 (4.3 节)，当前选择的顶级指标足以覆盖可能发生故障的所有组件。

6.3. 模型选择分析

论文对比了 Minder 与其他统计方法或模型变体，以验证 LSTM-VAE 作为模型选择的合理性。

• RAW： 直接使用预处理后的原始数据计算欧几里得距离，不使用 VAE 进行去噪。

• CON： 将所有模型的嵌入进行拼接，然后作为一个整体计算距离。

• INT： 训练一个集成所有监控指标的单一 LSTM-VAE 模型。

  以下是原文 Figure 13 的结果：

  该图像是一个柱状图，展示了Minder与其他方法（RAW、CON、INT）在准确率（Precision）、召回率（Recall）和F1-score上的表现。可以看到，在所有指标上，Minder的表现均优于其他方法，特别是在精度和F1-score方面。

图 13: 不同模型选择的比较。

分析：

• Minder 的优越性： Minder 在召回率和 F1-score 上均优于其他方法。
• RAW 的劣势： RAW 产生了更差的召回率，说明了消除噪音的重要性。原始数据中的噪音会直接影响距离计算。
• Minder 的去噪能力： Minder 通过 LSTM-VAE 进行去噪和重构，显著提高了性能。
• CON 和 INT 的劣势： CON 和 INT 的召回率较差，因为它们将多个指标视为同等重要。CON 通过均匀拼接嵌入来计算距离，而 INT 将所有指标作为一个整体输入模型。然而，并非所有监控指标对故障都具有同等的敏感度，指标间的相互干扰会降低 CON 和 INT 的性能。
• LSTM-VAE 的有效性： LSTM-VAE 的输入和重构数据之间的均方误差 (MSE) 低于 0.0001，表明其有效的重构和去噪能力。Minder 通过利用 VAE 进行去噪并分离各个指标，从而增强了整体性能。

6.4. 连续性和阈值分析

为了验证连续性检测（3.2 节）的可行性，论文将 Minder 与不应用连续性检查的变体进行了比较。

以下是原文 Figure 14 的结果：

该图像是图表，展示了Minder与不连续模式下Minder的精准度、召回率和F1-score的对比。Minder在精准度上为0.904，召回率为0.883，F1-score为0.893，而不连续模型的精准度为0.757，召回率为0.777，F1-score为0.767。这些数据表明Minder在故障检测任务中的显著优势。

图 14: 有/无连续性的准确率。

分析：

• 连续性的重要性： 没有连续性检查的 Minder 整体性能更差。在没有连续性的情况下，一旦在某个时间窗口内检测到故障，就会立即发出警报，这会导致更多的误报，因为短期的瞬时抖动会被误认为是故障。
• 连续性过滤噪音： 连续性强调故障对其他机器的渐进影响所导致的性能持续下降。Minder 通过连续性检查能够过滤掉离散的 bug、噪音或抖动。
• 连续性阈值设置： 论文将连续性阈值设置为 4 分钟。这个阈值是根据图 4 中故障持续时间经验选择的。大多数故障在停止前持续时间超过 4 分钟。较短的连续性阈值会引入更多误报，而较长的阈值则可能遗漏更多实际故障。

6.5. 距离度量选择

论文比较了 Minder 的欧几里得距离算法与曼哈顿距离 (Manhattan Distance, MhtD) 和切比雪夫距离 (Chebyshev Distance, ChD) 的性能。

• 曼哈顿距离 (MhtD)： 计算嵌入每个维度绝对差值的总和。

• 切比雪夫距离 (ChD)： 使用嵌入坐标中最大差值。

  以下是原文 Figure 15 的结果：

  该图像是一个表格，展示了Minder和MD在精确率、召回率和F1-score三项指标上的对比。Minder在精确率、召回率和F1-score上分别达到了0.904、0.883和0.893，明显优于MD的精确率0.788、召回率0.767和F1-score 0.777。

图 15: 不同距离度量的比较。

分析：

• LSTM-VAE 嵌入的代表性： Minder 的欧几里得距离与其他距离度量方法表现相似。这表明 LSTM-VAE 生成的嵌入已经具有很强的代表性，使得离群值在任何距离计算方法下都非常明显。
• 空间分布的可靠性： 与 MhtD 的比较表明，空间分布是一个可靠的表示方式，因为两种方法都使用了多维距离。
• ChD 的局限性： ChD 的精确率较低，表明单一的空间差异不足以比较差异性。
• Minder 的优势： Minder 考虑了离群值到其他正常点的整体距离，通过求和距离来增强差异性。

6.6. 多并发故障机器的性能

Minder 处理多故障的能力取决于故障机器的比例和监控数据的粒度。

• 生产环境中的多故障： 在生产环境中，并发故障机器实例通常仅发生在自动交换机重启或与交换机相关的 AOC 错误时。例如，一个交换机重启可能导致 32 台机器离线（总共 600 台机器）。然而，Minder 很难区分这些故障离群值。

  • 故障比例高： 在 3D 并行拓扑结构下，32 台机器之间的通信可能涉及多达 256 个 DP 组，故障会迅速在整个集群中传播。
  • 时间粒度限制： 目前的秒级时间粒度监控限制了 Minder 的能力。这种快速传播只有在毫秒级才能被观察到。
  • 发生率低： 这种多故障实例的发生率小于 1%，有时甚至每月为零。如果交换机重启，交换机监控系统会自动向工程师发出警报。

• 受控实验： 为了演示 Minder 检测多故障机器的能力，论文通过注入 PCIe 降级到两台机器（共四台）进行了受控实验，并使用了定制的毫秒级监控。

  • 实验设置： 每台机器配备 8 块 NVIDIA Ampere GPU，运行 Reduce-Scatter 操作。两台机器上的两个 PCIe 链路被故意降级。

  • 检测结果： 借助毫秒级 NIC 数据，Minder 成功检测到连接到故障 PCIe 链路的两个 NIC。在 Reduce-Scatter 期间，这两个 NIC 表现出最大的离群距离。

  • 毫秒级监控的优势： 图 16 展示了毫秒级监控下的 NIC 吞吐量。正常 NIC 在每个 Reduce-Scatter 步骤开始时表现出高吞吐量，随后在数据传输完毕后降至零，等待慢速 NIC 同步。而带有降级 PCIe 链路的 NIC 则表现出稳定且较低的吞吐量。Minder 能够捕获这种差异，这得益于毫秒级粒度的数据。

    该图像是一个展示NIC（网络接口卡）吞吐量随时间变化的图表。图中显示了在正常NIC和多个异常NIC发生的情况下，吞吐量的变化情况，其中标出了进行一次Reduce-Scatter过程的时间点。

  图 16: 注入 PCIe 降级到两个 NIC 后所有机器的毫秒级 NIC 吞吐量。

  • 其他并发故障： 注入实验还表明 Minder 能够检测其他并发故障，如 GPU 降级和 NIC 吞吐量降级。

    结论： Minder 在毫秒级监控数据下，能够有效检测多个并发故障机器。但在当前秒级监控的生产环境中，对于故障比例高且传播迅速的并发故障，仍存在挑战。

7. 总结与思考

7.1. 结论总结

本文提出了 Minder，一个针对大规模分布式训练任务中故障机器检测的自动化解决方案。Minder 的核心创新在于利用机器间的相似性 (similarity)、故障模式的连续性 (continuity)、基于每个监控指标训练独立去噪模型 (individual denoising models) 以及指标优先级排序 (metric prioritization)。

Minder 已在生产环境中部署一年多，每天监控数千台机器的分布式训练任务。实验结果表明：

• 高效性： Minder 平均在 3.6 秒内响应故障，将人工诊断时间缩短了 99%（约 500 倍）。

• 准确性： 实现了 0.904 的精确率 (precision) 和 0.893 的 F1-score。

• 鲁棒性： LSTM-VAE 模型有效去噪，连续性检查过滤掉瞬时抖动和误报。

• 设计合理性： 实验验证了指标选择、模型选择、连续性机制和距离度量的有效性。

• 多故障检测潜力： 在毫秒级监控下，Minder 能够检测多个并发故障。

  Minder 显著提升了分布式训练任务的可靠性，并大大减轻了工程师的手动诊断负担。

7.2. 局限性与未来工作

论文作者指出了 Minder 的以下局限性及未来的研究方向：

• 当前监控粒度下的多故障检测： 在秒级监控数据下，对于故障比例高且传播迅速（如交换机重启、AOC 错误）的并发故障，Minder 很难进行区分。未来工作将探索更细粒度的数据采集（毫秒级）来解决这一问题。
• AOC 错误的检测： 目前 Minder 缺乏光缆相关计数器来捕获 AOC 错误的有用监控指标，导致对这类故障的检测不完整。未来将增加更多硬件计数器。
• 根因分析： Minder 目前只能在机器级别检测故障，但无法直接提供故障的根因（例如，由网络抖动、短时落后者引起）。未来的计划是设计更细粒度的运行时监控，以实现根因识别。
• 未完全准确的标签： 尽管被标记为根因的机器是真实的故障源，但 Minder 检测到的机器可能也存在暂时的性能波动。需要更好地通知工程师这些性能抖动。
• 通用性扩展： 目前 Minder 主要在 LLM 训练和多模态任务中验证，这些任务采用 3D 并行，导致机器间具有行为一致性。未来工作将探索 Minder 在其他工作负载（如大规模推理和微调）中的有效性，前提是这些工作负载满足机器间指标相似性和故障连续性的要求。
• 监控指标的扩展： 当前 Minder 使用带外硬件计数器。未来可以利用其他指标（如 AOC 计数器）和带内跟踪（如 Torch Profiler、Megatron-LM timer 或 CUDA 事件计时器），这些新的跟踪提供了细粒度的训练和集体通信操作信息，有助于全面的性能监控。

7.3. 个人启发与批判

个人启发：

• 从生产问题出发的实用性： 这篇论文的显著特点是其从实际生产环境中的痛点出发，解决了一个真实且迫切的问题。大规模分布式训练的故障检测是一个高价值的工程挑战，Minder 的成功部署证明了其巨大的实用价值。
• 多角度融合解决复杂问题： Minder 没有依赖单一的“银弹”技术，而是巧妙地结合了多种思想：机器间的相似性（群体行为）、异常的连续性（时间维度）、去噪（信号处理）和优先级（效率优化）。这种多维度、分层级的解决方案对于解决复杂系统问题具有很强的借鉴意义。
• 无监督学习在运维领域的潜力： 在缺乏大规模、高质量标注数据的运维场景中，传统的监督学习往往受限。Minder 通过 LSTM-VAE 进行无监督学习去噪和异常检测，充分展现了无监督方法在捕捉系统“正常行为”模式并识别“异常偏离”方面的强大能力。
• 可解释性与高效性兼顾： 决策树用于指标优先级排序，不仅提供了可解释性（可以看到哪些指标更关键），也提高了检测效率。

批判与潜在改进：

• 根因分析的不足： 虽然 Minder 能够快速定位故障机器，但缺乏对故障根因的深入分析是一个明显的局限。对于运维工程师而言，“哪台机器坏了”和“为什么这台机器坏了”同样重要。未来的工作可以考虑在检测到异常机器后，结合更细粒度的日志分析、系统调用追踪或因果推理模型，尝试提供初步的根因推断，甚至建议可能的解决方案。
• 多故障场景的鲁棒性： 论文提到了在秒级监控下，对于高比例并发故障（如交换机重启）的检测能力受限。尽管毫秒级监控有所改善，但这仍然是一个挑战。未来可以探索更复杂的图神经网络 (Graph Neural Networks, GNN) 方法，捕捉机器间的复杂依赖关系，从而更好地理解和预测故障的传播路径，在多故障场景下提供更鲁棒的检测。
• 泛化性评估的深度： 虽然论文提到 Minder 可扩展到其他工作负载，但目前主要在 3D 并行训练下进行了验证。不同并行策略、不同模型结构、甚至不同硬件平台上的“正常行为模式”可能差异巨大。未来可以对 Minder 在更广泛、更多样化的分布式训练/推理场景下的泛化能力进行更详尽的评估和微调。
• 误报的进一步处理： 论文提到一些误报是由于短期指标波动引起的，这些波动虽然不是任务停止的根本原因，但可能导致性能抖动。对于这些“非致命”的异常，Minder 是否能够提供一个分级的警报机制（例如，轻度警告 vs 严重故障），而不是一概而论，这将有助于工程师更精细地管理和响应。
• 动态阈值的适应性： 论文中的相似性阈值和连续性阈值是预设的。在实际生产环境中，系统负载、训练任务类型等可能动态变化，静态阈值可能不够灵活。未来可以探索自适应阈值调整机制，例如，基于历史数据或通过强化学习等方法进行动态优化。