1. 论文基本信息

1.1. 标题

MGCFNN: A NEURAL MULTIGRID SOLVER WITH NOVEL FOURIER NEURAL NETWORK FOR HIGH WAVENUMBER HELMHOLTZ EQUATIONS

中文翻译：MGCFNN：一种基于新型傅里叶神经网络的神经多重网格求解器，用于高波数亥姆霍兹方程

1.2. 作者

• Yan Xie (谢岩)

• Minrui Lv (吕珉瑞)

• Chen-song Zhang (张辰松)

  隶属机构：

• 中国科学院数学与系统科学研究院，国家数学与交叉科学中心，北京 100190，中国

• 中国科学院大学数学科学学院，北京 100049，中国

1.3. 发表期刊/会议

该论文以预印本 (preprint) 形式发布，通常发布在如 arXiv 等预印本平台上。在论文的参考文献中，作者提到了与本文密切相关的 MGCNN 工作 (Xie et al., 2023)，其 arXiv 预印本号为 arXiv:2312.11093。尽管本文没有明确给出自己的 arXiv 号，但从其发布形式和引用习惯推断，本文也属于预印本范畴。

1.4. 发表年份

2023年 (根据论文的参考文献列表和上下文，该工作在2023年提交或发布)。

1.5. 摘要

中文翻译： 摘要： 求解高波数亥姆霍兹方程 (Helmholtz equations) 是一个众所周知的挑战。传统的求解器尚未取得令人满意的结果，并且大多数神经网络方法难以在异构介质中准确求解极高波数的情况。本文提出了一种先进的多重网格-分层AI求解器 (multigrid-hierarchical AI solver)，专门为高波数亥姆霍兹方程量身定制。我们调整了 MGCNN 架构以适应问题设置，并引入了一种新颖的傅里叶神经网络 (Fourier Neural Network, FNN) 来匹配亥姆霍兹方程的特征。FNN 在数学上类似于卷积神经网络 (CNN)，它能够在求解阶段更快地传播源影响，使其特别适用于处理大规模、高波数问题。我们进行了有监督学习 (supervised learning) 测试，以证明我们求解器卓越的学习能力，并进行可扩展性测试 (scalability tests)，以突出我们的求解器在处理高波数亥姆霍兹方程方面，相比最新的专用AI求解器和AI增强传统求解器，实现了显著的加速。我们还进行了消融研究 (ablation study)，以强调多重网格层次的有效性和引入 FNN 的益处。值得注意的是，我们的求解器在高达 $k \approx 2000$ 的波数下展现出 $O(k)$ 的最优收敛性。

1.6. 原文链接

/files/papers/69202a729c937f638e825c84/paper.pdf 此链接指向论文的PDF文件。该论文处于预印本状态。

2. 整体概括

2.1. 研究背景与动机

• 核心问题： 论文旨在解决高波数亥姆霍兹方程 (high wavenumber Helmholtz equations) 的高效求解问题。这种方程在声学 (acoustics)、电磁学 (electromagnetics) 和地震学 (seismology) 等领域具有核心重要性，但其求解极具挑战性。
• 问题的重要性及现有挑战：
  • 复杂性： 高波数和变化的波速 (wave speed) 使得亥姆霍兹方程需要大量的网格点来准确捕捉波形，导致一个复数、高度病态 (ill-conditioned) 和不定 (indefinite) 的线性系统。传统观点认为，求解波数为 $k$ 的亥姆霍兹方程所需的迭代次数是 $O(k)$，这在异构介质中尤其具有挑战性，因为波的传播模式复杂且衰减缓慢。
  • 传统求解器的局限： 尽管有许多传统求解器（如 Born 级数法、因子分解法、移位拉普拉斯法、域分解法和多重网格法）被提出，但它们在实际应用中尚未取得令人满意的效果。
  • 现有神经网络方法的不足：
    • 物理信息神经网络 (Physics-Informed Neural Networks, PINNs)： 虽然已应用于亥姆霍兹方程，但通常不适用于高波数情况。
    • 神经算子学习 (Neural Operator Learning) 方法： 如 FNO、U-NO 等，通常在推理阶段作为离散化偏微分方程 (PDE) 的求解器，但像 MgNO 等方法也未考虑高波数情况。
    • 迭代式 AI 求解器： 近年来，一些迭代式 AI 求解器被提出，能够通过迭代提高精度，但其测试的波数范围仍然有限，远未达到传统求解器的应用范围 ($k \approx 2000$)。
    • 专门的 AI 求解器： encoder-solver 和 Wave-ADR-NS 等最新方法虽然在性能上超越了传统移位拉普拉斯求解器，但前者依赖传统求解器生成数据和辅助求解，后者需要广泛的问题领域知识来构建具有良好收敛性的求解器，限制了其通用性。
    • MGCNN： 虽然为离散线性 PDE 的高效 AI 求解器奠定了基础，但其架构不直接适用于亥姆霍兹方程。
• 论文的切入点/创新思路： 针对上述挑战，本文提出将多重网格架构 MGCNN 适应于亥姆霍兹方程，并引入一种新型的傅里叶神经网络 (FNN)，利用其在频域处理波传播的优势，以期在效率、精度和可扩展性方面取得突破。

2.2. 核心贡献/主要发现

该论文的主要贡献和发现总结如下：

• 提出新型傅里叶神经网络 (FNN)： 作者对傅里叶神经算子 (FNO) 的谱卷积操作进行了显著修改，开发了 FNN。FNN 能够处理全模式信息，使其适用于高波数问题并可扩展到更大的问题尺寸。它通过数学上类似于扩展核尺寸的卷积神经网络 (CNN) 来加速波源影响的传播。
• 开发 MGCFNN 求解器： 将 MGCNN 架构与 FNN 相结合，形成了 MGCFNN 求解器。该求解器利用了 FNN 的波传播特性和多重网格层次 (multigrid hierarchy) 的互补优势，显著提升了高波数亥姆霍兹方程的收敛速度和求解时间。与现有专用 AI 求解器不同，MGCFNN 不需要特定的领域知识，易于训练和使用。
• 卓越的学习能力： 在与多种神经算子学习方法进行有监督学习测试时，MGCFNN 和 MGFNN (FNN用于所有层级的变体) 展现出卓越的学习能力，以更低的误差、更短的训练时间和更少的参数超越了其他方法。
• 显著的加速比和可扩展性： 通过无监督策略进行的可扩展性测试表明，MGCFNN 比最新的专用 AI 求解器和 AI 增强传统求解器实现了显著的加速（例如，在相同问题设置下，至少 $4.8 \times$ 的加速）。它在高达 $k \approx 2000$ 的波数下展现出 $O(k)$ 的最优收敛性。
• 多重网格层次和 FNN 的有效性： 消融研究证实了多重网格层次的有效性以及引入 FNN 所带来的优势，突出了混合模型模式的优越性。
• 与传统高性能求解器媲美： MGCFNN 在高波数范围上可与先进的并行传统求解器相媲美，但能显著缩短求解时间。

3. 预备知识与相关工作

3.1. 基础概念

• 亥姆霍兹方程 (Helmholtz Equation):
  • 概念定义： 亥姆霍兹方程是数学物理中一个重要的偏微分方程 (partial differential equation, PDE)，通常用于描述在齐次或非齐次介质中的稳态波传播现象。它是波动方程在时谐场（即假设场量随时间呈简谐振荡）下的简化形式。
  • 应用领域： 广泛应用于声学、电磁学、地震学和量子力学等领域。
  • 挑战： 当波数 (wavenumber) 较高时，方程的解具有高度振荡的特性，需要非常精细的网格才能准确捕捉，导致离散化后的线性系统规模庞大且高度病态 (ill-conditioned)。
• 波数 (Wavenumber) $k$:
  • 概念定义： 波数是波在空间上的一个重要属性，表示单位长度内波的周期数或相位变化的快慢。在亥姆霍兹方程中，它与波的角频率 (angular frequency) $\omega$ 和波速 $c$ 相关。
  • 数学关系： $k = \omega / c$。高波数意味着波的振荡更剧烈，波长更短。
• 多重网格方法 (Multigrid Method):
  • 概念定义： 多重网格方法是一种高效的数值技术，用于求解偏微分方程离散化后产生的大型线性系统。其核心思想是利用不同尺度的网格（粗网格和细网格）来解决不同频率的误差分量。高频误差在细网格上通过简单的迭代平滑器 (smoother) 快速衰减，而低频误差（在细网格上是平滑的）则通过投影到粗网格上转化为高频误差，并在粗网格上进行有效处理，然后再插值回细网格。这种粗细网格之间的循环迭代，可以显著加速收敛。
  • 优势： 具有接近最优的计算复杂度 $O(N)$，其中 $N$ 是未知量数目，对于某些问题可以达到网格无关的收敛速度。
• 傅里叶变换 (Fourier Transform):
  • 概念定义： 傅里叶变换是一种数学工具，它将一个在时域或空域中表示的函数（如波形）分解成在频域中表示的组成频率分量。简而言之，它将信号从其原始的（通常是时间和空间）表示转换为频率表示。
  • 重要性： 对于波传播问题，傅里叶变换特别有用，因为波本身就是由不同频率成分组成的。在频域中，某些操作（如卷积）可以大大简化为简单的乘法。
  • 卷积定理 (Convolution Theorem)： 该定理指出，两个函数在时域或空域的卷积，等价于它们各自的傅里叶变换在频域中的点积（逐点乘法），即 $\mathcal{F}(f * g) = \mathcal{F}(f) \mathcal{F}(g)$。这个性质对于加速涉及卷积的计算（如波传播）至关重要。
  • FFT/IFFT： 快速傅里叶变换 (Fast Fourier Transform, FFT) 是傅里叶变换的一种高效计算算法，逆快速傅里叶变换 (Inverse Fast Fourier Transform, IFFT) 则是其逆运算。
• 卷积神经网络 (Convolutional Neural Network, CNN):
  • 概念定义： CNN 是一种深度学习架构，特别适用于处理具有网格状拓扑结构的数据（如图像）。其核心操作是卷积 (convolution)，通过可学习的滤波器（核）对输入数据进行局部感知和特征提取。CNNs 具有权重共享 (weight sharing) 和平移不变性 (translation invariance) 等特点。
  • 在 PDE 求解中的应用： CNNs 可以用于学习 PDE 的离散化算子、预测解或作为多重网格算法中的平滑器。
• 算子学习 (Operator Learning):
  • 概念定义： 算子学习是机器学习的一个新兴领域，旨在学习从一个函数空间到另一个函数空间的映射（即算子），而不是像传统神经网络那样学习从有限维向量到有限维向量的映射。这意味着算子学习模型可以学习 PDE 的解算子，从而能够处理不同输入函数（如不同的初始条件、边界条件或参数）并预测相应的输出函数。
  • 与 PINNs 的区别： PINNs 学习的是 PDE 的特定解函数，而算子学习则学习 PDE 的算子本身，因此在推理阶段更像一个通用的求解器，能够处理更广泛的输入情况。

3.2. 前人工作

• 传统求解器 (Traditional Solvers)：

  • Born 级数法 (Born series method) (Osnabrugge et al., 2016)： 一种迭代方法，通过 Green 函数和散射理论求解异构介质中的波动方程。
  • 因子分解法 (factorization method) (Osei-Kuffuor & Saad, 2010)： 将复杂的亥姆霍兹算子分解为更简单的算子乘积，以简化求解。
  • 移位拉普拉斯法 (shifted Laplacian method) (Gander et al., 2015; Sheikh et al., 2013; Calandra et al., 2013)： 通过在拉普拉斯算子上添加一个虚数移位项来改善亥姆霍兹方程的病态性，使其更易于迭代求解。
  • 域分解法 (domain decomposition method) (Chen & Xiang, 2013; Leng & Ju, 2022; 2019)： 将计算域分解为多个子域，在子域内并行求解，并通过子域间的通信协调全局解。
  • 多重网格法 (multigrid method) (Brandt & Livshits, 1997)： 利用多尺度网格迭代加速收敛，但对于高波数亥姆霍兹方程，其效果受限于低频误差的传播。
  • 局限性： 论文指出这些方法尚未取得令人满意的结果，尤其是在高波数、异构介质的场景下。

• 物理信息神经网络 (Physics-Informed Neural Networks, PINNs)：

  • 代表工作： Raissi et al. (2019) 提出了 PINNs 框架。
  • 应用： Song et al. (2022) 和 Escapil-Inchauspé & Ruz (2023) 将 PINNs 应用于亥姆霍兹方程。
  • 局限性： 这些方法通常不处理高波数情况，且主要关注在线训练以获得特定解，而非作为通用的推理求解器。

• 神经算子学习 (Neural Operator Learning)：

  • 代表方法： 卷积神经算子 (CNO) (Raissi et al., 2019), 深度算子网络 (DeepONet) (Lu et al., 2021), 傅里叶神经算子 (FNO) (Li et al., 2021), U-NO (Rahman et al., 2023), MgNO (He et al., 2024)。
  • 特点： 这些方法学习 PDE 的算子映射，在推理阶段作为离散化 PDE 的求解器。
  • 局限性： MgNO 已在亥姆霍兹方程上进行测试，但未考虑高波数情况。

• 迭代式 AI 求解器 (Iterative AI Solvers)：

  • 代表工作： Azulay & Treister (2022), Cui et al. (2022), Stachenfeld et al. (2021), Stanziola et al. (2021)。
  • 特点： 这些求解器能够通过迭代提高精度，以应对高波数问题。
  • 局限性： 这些研究中测试的波数范围仍然有限。

• 专门的 AI 求解器 (Specialized AI Solvers for High Wavenumber Helmholtz Equations)：

  • encoder-solver (Lerer et al., 2024)： 一种纯 AI 求解器，对高波数亥姆霍兹方程表现优异。
  • Wave-ADR-NS (Cui et al., 2024)： 一种 AI 增强的传统多重网格求解器框架。
  • 共同优势： 均表现出优于传统移位拉普拉斯求解器的性能。
  • 局限性： encoder-solver 依赖于现有的传统求解器进行数据生成和求解辅助。Wave-ADR-NS 需要广泛的问题洞察力来构建收敛性良好的求解器，限制了其对其他波动方程的适用性。

• MGCNN (Xie et al., 2023)：

  • 背景： 为离散线性 PDE 构建高效 AI 求解器奠定了基础，保证快速收敛和对不同迭代框架的适应性。
  • 局限性： 其架构不直接适用于亥姆霍兹方程的特定问题。

3.3. 技术演进

该领域的技术演进大致可以分为以下几个阶段：

1. 传统数值方法： 最早的 PDE 求解方法，如有限差分法、有限元法、多重网格法等。它们依赖于数学理论和数值离散化技术，通常在面对高波数、异构介质等复杂问题时效率低下或收敛困难。
2. 物理信息神经网络 (PINNs)： 引入了深度学习，通过将 PDE 本身作为损失函数的一部分，使得神经网络能够学习 PDE 的解。这一阶段的重点是学习特定的解函数，但对高波数问题的处理能力有限。
3. 神经算子学习： 进一步发展，旨在学习 PDE 的算子映射，从而能够处理不同参数或条件下的 PDE 族。FNO 等模型通过在频域进行操作来捕获长程依赖，提高了在某些 PDE 上的性能。然而，这些方法通常未充分关注极高波数和异构介质的挑战。
4. 迭代式 AI 求解器： 认识到单次网络推理难以达到高精度，研究者开始探索将 AI 模型集成到迭代求解框架中，使其能够逐步提高解的精度，从而更好地处理高波数问题。
5. 领域特定 AI 求解器： 针对高波数亥姆霍兹方程等特定挑战性问题，开始出现结合领域知识或特定网络结构（如 encoder-solver、Wave-ADR-NS）的专用 AI 求解器。这些方法虽然性能优异，但往往需要较强的领域知识或对传统求解器的依赖。
6. MGCFNN 的位置： 本文的 MGCFNN 正是这一演进链条上的最新一环。它结合了多重网格方法的迭代优势、MGCNN 提出的 AI 求解器通用框架，并创新性地引入了 FNN 来专门处理亥姆霍兹方程在高波数和异构介质中的波传播特性，试图在通用性、效率和精度之间取得更好的平衡，且不需要像 Wave-ADR-NS 那样深入的领域知识，也不像 encoder-solver 那样依赖传统求解器辅助。

3.4. 差异化分析

MGCFNN 与相关工作的主要区别和创新点体现在以下几个方面：

• 与传统求解器相比：
  • MGCFNN 显著提升了求解速度，尤其是在高波数问题上，能达到数倍甚至上百倍的加速，并且能够实现 $O(k)$ 的最优收敛性。
  • 传统求解器在面对高度病态、不定的大规模系统时，往往收敛缓慢或难以收敛。
• 与 PINNs 相比：
  • MGCFNN 专注于高波数亥姆霍兹方程的求解，这是 PINNs 通常难以处理的情况。
  • MGCFNN 在推理阶段作为迭代求解器，更类似于传统数值求解器的功能，而 PINNs 更多关注在线训练以获得特定解。
• 与神经算子学习方法 (如 FNO, U-NO, MgNO) 相比：
  • FNN 的核心修改： MGCFNN 中的 FNN 对 FNO 的谱卷积操作进行了重大修改，使其能够处理全模式信息 (full-mode information)，并能更好地扩展到更大的问题尺寸和更高的波数。传统的 FNO 在处理极高波数时存在局限性。
  • 多重网格集成： MGCFNN 结合了多重网格架构，而许多神经算子学习方法是单层网络或简单的编码-解码结构，缺乏多尺度处理能力。
  • 高波数适用性： MGCFNN 明确针对极高波数亥姆霍兹方程进行优化，而大多数神经算子学习方法并未在此类极端条件下进行有效测试。
• 与迭代式 AI 求解器相比：
  • MGCFNN 能够处理更高波数（高达 $k \approx 2000$），超越了现有迭代式 AI 求解器所测试的波数范围。
  • 在相同的迭代求解框架下，MGCFNN 实现了更快的收敛速度和更短的求解时间。
• 与专门的 AI 求解器 (encoder-solver, Wave-ADR-NS) 相比：
  • 无需专业领域知识： MGCFNN 不需要像 Wave-ADR-NS 那样广泛的领域知识来设计求解器组件，也避免了 encoder-solver 对传统求解器进行数据生成和求解辅助的依赖。这使得 MGCFNN 更易于训练、使用，并具有更广阔的通用性，可能直接应用于更广泛的波动方程。
  • 卓越性能： 在可扩展性测试中，MGCFNN 在迭代次数和求解时间上显著优于 encoder-solver 和 Wave-ADR-NS。
• 与 MGCNN 相比：
  • MGCFNN 专门针对亥姆霍兹方程的特点进行了架构修改，核心是引入了 FNN 来有效处理波传播。MGCNN 的通用架构不直接适用于此类问题。
  • FNN 的引入使得 MGCFNN 能够更好地处理高频振荡，并在粗网格上加速信息传播，从而在高波数问题上表现出更优的收敛性和求解效率。

4. 方法论

4.1. 方法原理

MGCFNN 是一种先进的多重网格-分层AI求解器 (multigrid-hierarchical AI solver)，专为解决高波数亥姆霍兹方程的挑战而设计。其核心思想是结合多重网格 (multigrid) 方法处理多尺度问题的能力，以及一种新颖的傅里叶神经网络 (FNN) 在频域高效传播波源影响的优势。

MGCFNN 的基本框架基于 MGCNN，它将求解过程分为两个主要阶段：设置阶段 (setup phase) 和求解阶段 (solve phase)。

1. 设置阶段： 负责处理偏微分方程 (PDE) 的系数（如波速和阻尼因子），为多重网格层次的每个级别生成必要的辅助信息。这个阶段只需要对给定的 PDE 系数执行一次，即使右端项 (source term) 发生变化。

2. 求解阶段： 利用设置阶段生成的信息来处理源项（或残差项），并通过多重网格的 V 循环或 W 循环结构迭代地生成解。在求解阶段的某些粗网格层级，MGCFNN 用其定制的 FNN 替换了传统 CNN 组件，以更好地捕捉和传播高频波信息。

   这种结合利用了 FNN 擅长全局波传播的特性，以及多重网格方法在不同尺度上高效消除误差的优势，从而在处理大规模、高波数的亥姆霍兹方程时，能够实现更快的收敛速度和更短的求解时间。

4.2. 亥姆霍兹方程的表述与离散化 (Formulation and Discretization)

4.2.1. 亥姆霍兹方程 (Helmholtz Equation)

亥姆霍兹方程通常表示为： $$- \Delta u ( x ) - \left( \frac { \omega } { c ( x ) } \right) ^ { 2 } ( 1 - \gamma i ) u ( x ) = f ( x ) , x \in [ 0 , 1 ] ^ { 2 }$$ 其中：

• u(x)：代表在空间位置 $x$ 处的未知场量，即待求解的波场。

• $\Delta$：是拉普拉斯算子 (Laplacian operator)，在二维笛卡尔坐标系中表示为 $\frac{\partial^2}{\partial x^2} + \frac{\partial^2}{\partial y^2}$。

• c(x)：是波速 (wave speed)，可以随空间位置 $x$ 变化，表示介质的异构性。

• $\omega$：是角频率 (angular frequency)。

• f(x)：是源项 (source term)，表示波的激励来源。

• $i$：是虚数单位，$\sqrt{-1}$。

• $\gamma$：是阻尼因子 (damping factor)，表示介质对波的吸收特性。当 $\gamma = 0$ 时，介质无阻尼，波能无衰减传播，这是最难求解的情况。

• $x \in [0, 1]^2$：表示求解域为二维单位正方形。

  为了简化表示，论文引入了以下定义：

• $\kappa (x) = \frac{1}{c(x)}$：是慢度 (slowness)，即波速的倒数。

• $k = \frac{\omega}{c} = \omega \kappa$：是波数 (wavenumber)。

  在边界条件方面，论文采用吸收边界条件 (absorbing boundary conditions) (Engquist & Majda, 1979; Erlangga et al., 2006)，旨在减少边界处的波反射，模拟波在无限域中的辐射。具体实现方式是让阻尼因子 $\gamma$ 在距离边界一定距离处从0开始二次方增加到1。

4.2.2. 离散化 (Discretization)

通过在网格间距为 $h$ 的均匀网格上对亥姆霍兹方程应用二阶有限差分离散化 (second-order finite difference discretization)，可以得到一个线性系统： $$A _ { h } u _ { h } = f _ { h }$$ 其中：

• $A_h$：表示离散化的亥姆霍兹算子 (discretized Helmholtz operator)。

• $u_h$：是离散化的未知场量（即解向量）。

• $f_h$：是离散化的源项。

  离散化算子 $A_h$ 可以用以下模板形式表示： $$A _ { h } = \frac { 1 } { h ^ { 2 } } \left[ \begin{array} { c c c } { { 0 } } & { { - 1 } } & { { 0 } } \\ { { - 1 } } & { { 4 - \omega ^ { 2 } \kappa ^ { 2 } ( x ) h ^ { 2 } } } & { { - 1 } } \\ { { 0 } } & { { - 1 } } & { { 0 } } \end{array} \right]$$ 这个模板表示了 $u_h$ 在一个网格点 (x, y) 处的值与它的四个邻居点的值之间的关系。具体来说，中心点的系数是 $4 - \omega^2 \kappa^2(x) h^2$，而其上下左右四个邻居点的系数是 -1。整个表达式前乘以 $\frac{1}{h^2}$ 是有限差分逼近拉普拉斯算子的标准做法。

为了准确捕捉波形，网格间距 $h$ 必须足够小，通常要求每个波长至少有10个网格点。这意味着 $\omega \kappa h \leq \frac{2\pi}{10}$。因此，当波数 $k$ 增加时，为了满足此条件，网格尺寸 $1/h$ 也必须相应增加。论文中提到，将 $\frac{1}{h^2}$ 以及 $\omega \kappa h$ 和 $\gamma$ 定义为问题系数 (problem coefficient) coef，这个 coef 具有尺度不变性，可以作为网络在不同尺度下的归一化输入。

4.3. 傅里叶变换在 FNN 中的作用 (Role of Fourier Transform in FNN)

傅里叶变换 (Fourier transform) 在 FNN 中扮演着至关重要的角色，因为它能够高效地处理波传播问题。

• 分解波成分： 傅里叶变换能够将一个函数（在本文中是波场或源项）分解成具有不同频率的谐波分量。这使得网络能够以频率为基础来理解和操作波的特性。
• 频域的全局传播： 在频域中，具有特定频率的全局传播波可以简单地表示为一个圆形区域内的信息。这与空间域中需要通过局部卷积逐步传播信息形成对比，频域的操作具有更强的全局性。
• 加速卷积操作： 傅里叶变换的核心优势之一是卷积定理 (convolution theorem)。该定理指出，两个函数 $f$ 和 $g$ 在空间域（或时域）的卷积 $f \ast g$ 的傅里叶变换，等于它们各自傅里叶变换 $\mathcal{F}(f)$ 和 $\mathcal{F}(g)$ 在频域中的逐点乘积： $$\mathcal { F } ( f \ast g ) = \mathcal { F } ( f ) \mathcal { F } ( g )$$ 其中 $\mathcal{F}$ 表示傅里叶变换。

这一性质的意义在于：

• 扩展核尺寸卷积： 在空间域中执行一个大核卷积（其影响范围广）计算成本很高。但是，通过傅里叶变换，这个大核卷积可以转换为频域中的一个简单乘法。这意味着 FNN 可以有效地执行具有扩展核尺寸 (extended kernel size) 的卷积操作，从而在求解阶段实现波源影响的快速传播 (faster propagation)。这对于处理亥姆霍兹方程中的长程相互作用至关重要，特别是对于高波数问题。

• FFT 和 IFFT： 论文中使用快速傅里叶变换 (Fast Fourier Transform, FFT) 进行傅里叶变换操作，使用逆快速傅里叶变换 (Inverse Fast Fourier Transform, IFFT) 进行逆变换。

  总而言之，傅里叶变换为 FNN 提供了一种在频域中高效、全局地处理波传播的机制，这在高波数亥姆霍兹方程的求解中具有独特的优势。

4.4. 傅里叶神经网络 (Fourier Neural Network, FNN)

FNN 是本文提出的核心创新点，它是在傅里叶神经算子 (FNO) 的基础上进行了显著修改，以更适应高波数亥姆霍兹方程的特点。

4.4.1. FNN 的设计动机与改进点

尽管 FNO 在多种 PDE 求解中表现出色，但在处理高波数亥姆霍兹方程时仍有局限。FNN 针对这些局限进行了以下关键改进：

• 分离系数和源项处理：
  • FNN 将问题系数 (如 $\kappa(x)$ 和 $\gamma$) 的处理与源项（或残差项）的处理分开。
  • 这样做是为了确保网络能够线性地操作源项，这与多重网格求解器中残差修正的线性性质相符。在求解阶段的处理方程 (5) 中可以看到这种线性操作。
• 权重插值处理全模式信息：
  • FNN 假设频域中的权重形成一个平滑函数（如 Figure 1a 所示）。
  • 因此，它使用一个较小的权重张量 (smaller weight tensor) 来插值 (interpolate) 整个频域的权重。这种方法使得 FNN 能够在有限的参数量下捕获高频模式 (high-frequency modes)。这在 Figure 2 的 Case 1 中表示。
• 处理不同问题尺寸的可扩展性：
  • 为了将 FNN 应用于更大尺寸和更高波数的问题，它采用了一种独特的权重设置策略。首先，对初始权重张量执行逆傅里叶变换 (IFFT)，得到空间域中的卷积核 (convolutional kernel)。然后，将这个空间域的核填充 (pad) 到目标问题域的更大尺寸。最后，再执行傅里叶变换 (FFT)，得到频域中的权重。这使得训练好的模型能够适应不同大小的问题，如 Figure 2 的 Case 2 所示。
• 优化计算：

  • 为了降低傅里叶变换的计算成本，同时保持网络预测性能，FNN 对复数张量的处理进行了优化。输入张量被解释为复数张量的实部和虚部的串联 (concatenation)，从而将操作前的通道数减半。反之，输出张量通道数从复数张量加倍。

    以下是 Figure 1，展示了 FNN 的权重张量在频域和空间域的示例。频域中的平滑性和空间域中的大核特性是其关键。

    该图像是图示，展示了 FNN 中的权重张量在频域（左）和空间域（右）的等效核。左侧展示频域的权重分布，右侧则是对应的空间域核心，提供了不同域内特征的对比。

以下是 Figure 2，示意了 FNN 的网络架构，特别是其在处理不同尺寸问题时权重的设置方式。

该图像是MGCFNN的网络架构示意图。其最粗的两个层级使用了FNN核，展示了多层结构及其在解决高波数Helmholtz方程中的作用。图中涉及的扩展、更新和残差处理等操作通过不同颜色的箭头和图形表示清晰。

Figure 2: The network architecture of FNN. Case 1: Interpolated weights are of the same size as the target T channels, and box height is proportional to the number of grid points. (Note: The provided image is '3.jpg' which is the MGCFNN architecture, not '2.jpg'. I will use the description from the paper for Figure 2, but acknowledge the image discrepancy in the output if it's not provided. For this instance, I will describe the FNN architecture based on the text. The user provided 2.jpg as the correct image for Figure 2.)

该图像是示意图，展示了神经网络的架构，主要说明了输入信号在空间域和频域之间的转换流程。图中包含了输入信号经过复数转换、快速傅里叶变换（FFT）、线性映射及逆快速傅里叶变换（IFFT）的步骤。同时，涉及了不同情况下的插值处理，明确了网络中的权重设置过程。整体结构帮助理解如何使用频域技术提高高波数亥姆霍兹方程的求解效率。

Figure 2: The network architecture of FNN. Case 1: Interpolated weights are of the same size as the target T channels, and box height is proportional to the number of grid points.

Figure 2 详细展示了 FNN 的工作流程。它接收一个输入信号，通过将其解释为复数张量的实部和虚部串联来减少通道数。接着，对输入信号进行 FFT 转换到频域。在频域中，进行一个线性映射 (linear map) 操作，这个映射使用了预先设置好的 setup_weight。setup_weight 的设置有两种情况：

• Case 1： 如果当前问题尺寸与插值尺寸相同，则直接通过插值 init_weight 得到 setup_weight。
• Case 2： 如果问题尺寸更大，则先对 init_weight 进行 IFFT 得到空间域权重，将其填充到目标尺寸，再进行 FFT 得到 setup_weight。 线性映射后，结果通过 IFFT 转换回空间域，并解填充 (unpad)，最后将复数结果拆分为实部和虚部进行串联，得到最终输出。这个过程体现了 FNN 如何在频域中高效地执行等效于大核卷积的操作。

4.4.2. FNN 与阻尼亥姆霍兹算子逆的联系 (Remark 3.2 & Appendix A)

论文在 Remark 3.2 中指出，FNN 在数学上与阻尼亥姆霍兹算子 (damped Helmholtz operator) 的逆操作存在联系。Appendix A 进一步阐述了这一联系。

考虑阻尼亥姆霍兹算子的一维模板，其可以表示为： $$[ - 1 , 2 - k _ { h \gamma } ^ { 2 } , - 1 ]$$ 其中 $k _ { h \gamma } ^ { 2 } = \omega ^ { 2 } \kappa ^ { 2 } h ^ { 2 } ( 1 - \gamma i )$。 对于一个模式 (mode) $m$ 和网格尺寸 $N$，该阻尼亥姆霍兹算子逆在频域中的表达式为： $$\frac { 1 } { 2 ( 1 - \cos ( \frac { 2 m } { N } \pi ) ) - k _ { h \gamma } ^ { 2 } } e ^ { \frac { - 2 m n \pi } { N } i }$$ 这个公式展示了在特定频率模式下，算子逆的频域表现。如果 $k_{h\gamma}^2$ 与 $N$ 和 $m$ 之间的关系保持不变，则其结果也保持不变。

通过与理论上的阻尼亥姆霍兹算子逆的频域和空间域表现进行比较（如 Figure 7 所示），论文观察到 FNN 学习到的权重模式与其相似。

以下是 Figure 7，展示了阻尼亥姆霍兹算子逆在频域和空间域的理论表现。

该图像是图表，展示了MGCFNN和MGCNN在50组未见数据上的可扩展性测试结果。上方的两个图显示了不同分辨率下的迭代次数和计算时间，分别呈现为柱状图。下方的两个图则展示了收敛标准和混合精度对迭代次数与时间的影响，包含多个数据组的比较。图中使用不同颜色区分不同分辨率。

Figure 7: The inverse of the damped Helmholtz operator in frequency domain and its corresponding weights in space domain. $\gamma = 0 . 5 , \omega \kappa h = 0 . 5$ and $N = 1 0 0 0$ .

Figure 7a 展示了频域中的阻尼亥姆霍兹算子逆，它呈现出特定的频率分布模式。Figure 7b 则展示了其在空间域中的对应权重，表现出一种类似阻尼波传播的特性。这些模式与 FNN 学习到的权重模式相似，从而表明 FNN 学习到了一个在频域中操作的阻尼亥姆霍兹算子逆。

4.4.3. FNN 与 Born 级数方法的联系 (Remark 3.2 & Appendix B)

Remark 3.2 还指出，FNN 在求解阶段的角色与传统的Born 级数方法 (Born series method) 存在数学上的联系。Appendix B 对此进行了详细讨论。

Born 级数方法通过 Green 函数定理求解异构介质中的亥姆霍兹方程。一个典型的亥姆霍兹方程： $$\nabla ^ { 2 } u ( x ) + k ( x ) ^ { 2 } u ( x ) = - f ( x ) , \quad x \in \mathbb { R } ^ { d }$$ 可以被重写为一个阻尼形式： $$\nabla ^ { 2 } u ( x ) + ( k _ { 0 } ^ { 2 } - i \epsilon ) u ( x ) = - f ( x ) - ( k ( x ) ^ { 2 } - k _ { 0 } ^ { 2 } + i \epsilon ) u ( x )$$ 假设 $g_0$ 是阻尼亥姆霍兹算子的 Green 函数，定义 $G = \mathcal{F}^{-1} g_0 \mathcal{F}$。再定义 $V$ 为对角矩阵，其元素为 $k(\cdot x)^2 - k_0^2 + i\epsilon$。那么上式可以写为： $u = G V u + G f$ Born 级数方法通过算子 $1/(1 - GV)$ 的级数展开来迭代求解上式： $$u = \sum _ { n = 0 } ^ { \infty } ( G V ) ^ { n } G f = ( 1 + G V + ( G V ) ^ { 2 } + \cdot \cdot \cdot ) G f$$ 这可以写成迭代形式： $$\boldsymbol { u } ^ { k + 1 } = G V \boldsymbol { u } ^ { k } + G f$$ 将其与 FNN 的求解阶段进行对比： $$x _ { l } = F N N ( s e t u p \_ o u t _ { l } \cdot x _ { l } ) + x _ { l }$$ 考虑到 FNN 的功能类似于一个阻尼亥姆霍兹算子，$setup_out_l$ 包含了来自 k(x) 的信息，而 $x_l$ 是当前状态（初始时为 $f$），FNN 的求解阶段可以被解释为一种可学习的 Born 级数方法 (learnable Born series method)，用于求解亥姆霍兹方程。

4.4.4. 有效核大小 (Effective Kernel Size)

尽管 FNN 利用了傅里叶变换的所有模式，理论上能够捕捉全局信息，但其有效影响长度 (effective influence length) 实际上是有限的，如 Figure 1b 所示。这意味着固定长度的填充 (padding)（对应于等效卷积操作的有效核大小）是足够的。

然而，论文也强调，即使 FNN 具有这种全局感知能力，多重网格层次 (multigrid hierarchy) 仍然至关重要。这是因为多重网格能够处理多个层级上的问题，当粗网格仍能有效分辨高频波时，它可以加速影响的传播。这在 Subsection 4.4 中通过消融研究得到了证实。

4.4.5. FNN 伪代码 (Pseudocode - Appendix D)

FNN 的操作分为两个阶段：设置阶段 (setup phase) 和求解阶段 (solve phase)。这里的 FNN 设置阶段与 Subsection 3.2 中描述的整个网络的设置阶段不同，它仅指 FNN 内部权重的初始化。

算法2: FNN Setup Phase (SETUPFNNWEIGHT)

该算法用于初始化 FNN 在频域中的权重张量。

1. 输入 (InPUT): size，表示 FNN 输入张量的尺寸。
2. 输出 (OuTPuT): setup_weight，表示在频域中用于线性映射的 FNN 权重张量。
3. 过程 (procedure SETUPFNNWEIGHT(size))：
   • 加载或初始化 init_weight。
   • 加载或设置 interp_size（插值尺寸）。
   • 如果 size 等于 interp_size (Case 1)：
     • setup_weight 通过插值 init_weight 得到。
   • 否则 (Case 2)：
     • space_weight 通过对 init_weight 进行逆傅里叶变换 ($\mathcal{F}^{-1}$) 得到。
     • 将 space_weight 填充 (pad) 到 size。
     • setup_weight 通过对 space_weight 进行傅里叶变换 ($\mathcal{F}$) 得到。
   • 返回 setup_weight。

算法3: FNN Spectral Convolution (FnnConv)

该算法描述了 FNN 如何执行谱卷积操作。

1. 输入 (InPUT): input，FNN 的输入张量；setup_weight，在频域中用于线性映射的 FNN 权重张量。
2. 输出 (OuTPUT): output，FNN 的输出张量。
3. 过程 (procedure FnnConv(input, setup_weight))：

   • $C$ 为输入张量的通道数。

   • input_cmplx：将输入张量 input 的前半部分通道作为实部，后半部分作为虚部，将其转换为复数张量 (real to complex value)。即 input[:C/2] + i * input[C/2:]。

   • 填充 input_cmplx。

   • input_freq：对 input_cmplx 进行傅里叶变换 ($\mathcal{F}$)。

   • output_freq：执行线性映射 (linear_map) 操作，即 input_freq 与 setup_weight 相乘。

   • output_cmplx：对 output_freq 进行逆傅里叶变换 ($\mathcal{F}^{-1}$)。

   • 解填充 (unpad) output_cmplx。

   • output：将 output_cmplx 的实部和虚部串联起来，转换为实数张量 (complex to real value)。

   • 返回 output。

     在算法3中，线性映射 (linear_map) 操作 (output_freq = linear_map(input_freq, setup_weight))，在爱因斯坦求和约定 (Einstein summation convention) 中可以表示为： $$O U T _ { b , o } [ x , y ] = I N _ { b , i } [ x , y ] W _ { i , o } [ x , y ]$$ 其中：

• $b$：批次 (batch) 索引。

• $o$：输出通道 (output channel) 索引。

• $i$：输入通道 (input channel) 索引。

• x, y：空间索引。

  这意味着 setup_weight 是一个四维张量，其大小为 $C_{in} \times C_{out} \times N_x \times N_y$ (或 $C_{in} \times C_{out}$ 作用于每个空间频率点)。这个操作是逐点乘法。论文指出，setup_weight 的大小为 $C^2 n^2$（如果 $C$ 是通道数，$n$ 是网格尺寸），这可能限制 FNN 在大规模问题中的应用，但它主要用于多重网格层次中的某些粗网格层。

4.4.6. 计算效率问题 (A Computational Inefficiency Issue - Appendix E)

Appendix E 提到 FNN 的一个潜在缺点是频域中的线性映射操作 (方程16) 的计算效率出乎意料地低。理论上，这个操作的计算复杂度为 $O(C^2 n^2)$，对于 $n \times n$ 的网格和 $C$ 个通道，应该与 $1 \times 1$ 卷积一样快。然而，作者的计时测试表明，这个操作甚至比 PyTorch 中的 FFT2d 还要慢。这个问题在 FNO 类方法中不那么明显，因为它们通常只考虑显著较少的模式。因此，未来的工作应关注开发更高效的 FNN 线性映射实现。

4.5. 设置阶段网络 (Setup Phase Network)

设置阶段 (setup phase) 的主要功能是处理偏微分方程 (PDE) 的系数，例如波速 c(x)（或慢度 $\kappa(x)$）和阻尼因子 $\gamma(x)$。它为求解阶段的每个层级准备了必要的信息。

论文简化了 MGCNN 中描述的设置阶段，将下采样 (downsampling) 和非线性 ResCNN 处理整合到一个工作流中。

算法1: Setup Phase Network (SETuP)

1. 输入 (InPUT): coef，问题系数张量；level，多重网格层次的层数。
2. 输出 (OuTPuT): setup_outs，一个列表，包含每个层级的设置张量 (setup tensors)。
3. 过程 (procedure SETuP(coef, level))：

   • $setup_out_1$ ← reChannelCNN(coef)：初始步骤，通过一个 reChannelCNN 将问题系数张量 coef 处理，可能调整通道数并提取初步特征。

   • 循环 (for $l$ in $1, 2, \ldots, level$ do)： 对每个多重网格层级进行处理。

     • $setup_out_l$ ← $NonLinearResCNN(setup_out_l)$：对当前层级的 $setup_out_l$ 进行非线性处理，使用一个 ResCNN 结构。这旨在提取更复杂的、特定于该层级的特征。
     • 如果 $l < level$ (即不是最粗的层级)：
       • $setup_out_{l+1}$ ← $RestrictCNN(setup_out_l)$：通过一个 RestrictCNN (本质上是下采样操作) 将当前层级 $setup_out_l$ 的信息传递（限制）到下一个更粗的层级 $setup_out_{l+1}$。

   • 返回 setup_outs 列表，其中包含了从 $setup_out_1$ 到 $setup_out_{level}$ 的所有设置张量。

     设置阶段的优势在于，它只需要对固定的 PDE 系数执行一次。对于后续在迭代求解框架中更新的残差项（作为右端项），不需要重新执行设置阶段。

4.6. 求解阶段网络 (Solve Phase Network)

MGCFNN 的求解阶段框架紧密遵循 MGCNN 的设计，但在关键部分进行了创新。其主要区别在于，在多重网格层次的某些粗网格层级 (coarse levels)，ResNets 中的 CNN 组件被定制的 FNN 替换。

4.6.1. 求解阶段的迭代步骤

在向下循环 (down cycle) 和向上循环 (up cycle) 中，每个层级（或网格）都涉及以下三个主要步骤：

1. 状态张量处理： 使用 ResNet（可以是 ResCNN 或 ResFNN，取决于具体层级）结合当前层级的设置张量 ($setup_out_l$) 来处理当前的状态张量 ($x_l$)。具体表达式为： $$x _ { l } = R e s N e t ( s e t u p . o u t _ { l } , x _ { l } ) = N e t ( s e t u p . o u t _ { l } \cdot x _ { l } ) + x _ { l }$$
   • $x_l$：当前层级的状态张量（例如，残差或当前解的修正）。
   • $setup_out_l$：由设置阶段网络为当前层级 $l$ 生成的系数信息。
   • ResNet：代表一个残差网络块。这个块的输出是 $Net(setup_out_l · x_l)$，然后加到输入 $x_l$ 上，形成残差连接。这里的 Net 是一个神经网络函数，它可能将 $setup_out_l$ 和 $x_l$ 作为输入进行处理。点乘符号 · 表示 $setup_out_l$ 会以某种方式影响 Net 对 $x_l$ 的处理，例如作为调制参数或通过通道维度连接。
2. 向下循环中的限制 (Restriction)： 在向下循环（从细网格到粗网格）中，经过处理后，使用限制算子 (restriction operator) 将状态张量传输到下一个更粗的层级。限制算子通常涉及下采样和加权平均，以将细网格信息投影到粗网格上。
3. 向上循环中的延长 (Prolongation)： 在向上循环（从粗网格到细网格）中，在处理之前，将来自更粗层级延长 (prolonged) 的状态张量添加到当前层级的状态张量中。延长算子通常涉及插值，将粗网格上的修正传播到细网格上。

4.6.2. MGCFNN 架构示意图 (Figure 3)

以下是 Figure 3，展示了 MGCFNN 的网络架构。它是一个经典的 V 型多重网格循环，其中在最粗的两个层级使用了 FNN 核。

该图像是一个示意图，展示了在不同的慢度场下，频率为 $80 ext{π}$ 的单源波的结果。左上角为慢度场图，右上角为真实结果图，左下角为另一慢度场下的结果，右下角为频率结果，以及收敛历史图。整体展示了解决高波数亥姆霍兹方程的方法效果。

Figure 3: The network architecture of MGCFNN. Its coarsest two levels use FNN kernels.

从 Figure 3 中可以看出：

• 整个架构呈 V 型循环 (V-cycle)，从最细网格 (Level 1) 开始向下到最粗网格 (Level 3)，再向上回到最细网格。
• 向下循环 (Down Cycle):
  • 在每个层级 $l$，都会执行一个平滑操作 (smoothing operation)，使用 ResNet (可以是 ResCNN 或 ResFNN) 来处理当前状态 $x_l$。
  • 处理后，通过限制操作 (Restriction) 将 $x_l$ 投影到更粗的层级 $l+1$。
• 粗网格处理 (Coarsest Level Processing): 在最粗的层级（图中 Level 3 和 Level 2），MGCFNN 使用 FNN 作为其 ResNet 的核心组件。这旨在利用 FNN 在频域处理高频波传播的优势，尤其是在网格尺寸相对较小、高频信息可能被截断的粗网格上。
• 向上循环 (Up Cycle):
  • 在每个层级 $l$（从粗到细），首先将来自更粗层级 $l+1$ 的修正通过延长操作 (Prolongation) 插值到当前层级。
  • 然后，在当前层级再次执行平滑操作，以进一步细化解。

4.6.3. 命名约定 (Architecture Naming)

为了区分不同的网络变体，论文采用了以下命名约定：

• MGCFNN： 指在求解阶段的某些粗网格层级使用 FNN 核的网络。
• MGFNN： 指在求解阶段的所有层级都使用 FNN 核的网络。
• MGCNN： 指在求解阶段的所有层级都使用 CNN 核的网络（即 FNN 未引入时的基线 MGCNN 架构）。

4.6.4. 多重网格挑战 (Multigrid Challenges)

多重网格方法在传统上被认为是高效的，但在应用于高波数亥姆霍兹方程时面临挑战：

• 网格尺寸要求： 高波数问题要求网格必须足够精细，以准确捕捉波形。这使得即使是最细的网格也可能非常大。
• 粗网格问题特性： 在多重网格层次中，粗网格上的问题虽然网格点数减少，但波数保持不变。这意味着粗网格上的问题仍然是高波数问题，但其网格点数相对波长而言可能变得不足。这导致粗网格上的问题与细网格上的问题具有不同的性质，传统的粗网格校正可能不再有效。传统方法通常在高波数情况下保持固定的少数几个多重网格层级。

4.6.5. 架构技术 (Architecture Techniques)

为了应对上述挑战，除了开发 FNN 以更全局地传播波影响外，MGCFNN 还采用了以下架构技术：

• 固定多重网格层数： 在实验中，采用固定数量的多重网格层级，而不是动态调整。层数由每波长点数决定。
• 粗网格层计算复杂度增加： 当向更粗的层级移动时，网络会增加其计算复杂度。具体做法是，对于所有多重网格-分层求解器，粗网格层的 sweeps（网络层数或迭代次数）会加倍。这使得粗网格上的网络有更强的能力来处理问题。

4.6.6. FNN 使用策略 (Remark 3.3)

Remark 3.3 解释了 FNN 的最佳使用策略：

• 层级依赖性： FNN 被用于网格尺寸几乎不足以分辨高频波，但对于 CNN 来说仍然过大的层级。

• 不必要性： 在所有层级都使用 FNN 是不必要的。例如，对于低频波，更粗的网格仍然可以很好地分辨波形，此时使用 FNN 可能没有显著优势。

• 问题依赖性： FNN 的最佳使用位置是问题依赖的 (problem-dependent)，这对于迭代求解器来说是一个共同特点。

  总而言之，MGCFNN 通过结合 FNN 处理高频波传播的能力和多重网格层次处理多尺度问题的优势，以及针对高波数亥姆霍兹方程的特定挑战而采取的架构策略，构建了一个高效的求解器。

4.7. 迭代框架与混合精度策略 (Iterative Framework and Mixed Precision Strategy - Appendix C)

MGCFNN 旨在作为迭代求解器的一部分，以达到所需的精度。这部分详细描述了其所采用的迭代框架和为实现高精度而使用的混合精度策略。

4.7.1. 线性系统与迭代目标

对于一个线性系统 $A sol = rhs$，其中 $A$ 是方阵，sol 是解向量，rhs 是右端项向量。线性求解器的目标是找到满足特定容差 (tolerance) 的解 sol。这个过程通常通过迭代逐步提高解的精度来完成。

4.7.2. 平稳迭代法 (Stationary Iterative Method)

平稳迭代法通过迭代地修正误差来求解线性系统。其核心思想是，当前解的残差 $r^k = rhs - A sol^k$ 反映了当前解 $sol^k$ 与真实解之间的差距。求解器 $B$ 的任务是根据这个残差提供一个近似的误差修正。 迭代公式为： $$s o l ^ { k + 1 } = s o l ^ { k } + B r ^ { k } = s o l ^ { k } + B ( r h s - A s o l ^ { k } )$$ 其中：

• $sol^k$：第 $k$ 次迭代的解。

• $sol^{k+1}$：第 $k+1$ 次迭代的解。

• $B$：本文中的神经求解器 (neural solver)，它接收残差 $r^k$ 作为输入，并输出一个近似的误差修正。

• $r^k = rhs - A sol^k$：第 $k$ 次迭代的残差向量。

  在本文的实验中，MGCFNN (或其他神经求解器) 正是充当了这个求解器 $B$ 的角色。

4.7.3. Krylov 子空间方法 (Krylov Subspace Method)

Krylov 子空间方法 (Golub & Van Loan, 2013) 是另一类强大的迭代求解框架，它通常通过将求解器 $B$ 作为预处理器 (preconditioner) 来加速收敛。预处理器旨在改善系统矩阵 $A$ 的条件数，从而使迭代方法收敛更快。

• 广义最小残差法 (Generalized Minimal Residual, GMRES)： 本文使用了 GMRES 方法。GMRES 是一种用于求解非对称线性系统的高效迭代方法，它在 Krylov 子空间中寻找使得残差的 L2 范数最小的解。
• 重启技术 (Restart Technique)： 为了防止存储过大的子空间向量并减少正交化计算，GMRES 通常采用重启技术。论文将重启次数设置为10，但如果能更快收敛，则设置为5。

4.7.4. 混合精度策略 (Mixed Precision Strategy)

为了在保证计算效率的同时实现高精度求解，论文采用了一种直接的混合精度策略 (straightforward mixed precision strategy)：

• float32 精度： 计算密集的部分，包括平稳迭代中的神经求解器网络 $B$ 的内部计算，或者 GMRES 迭代中重启前的整个求解过程，都使用 float32 (单精度浮点数) 进行操作。这有助于提高计算速度和减少内存占用。

• float64 精度： 为了避免误差累积 (error accumulation)，残差项 (residual term) 的更新是在 float64 (双精度浮点数) 精度下进行的。这意味着 $r^k = rhs - A sol^k$ 的计算将使用更高的精度，以确保残差能够被准确计算，从而引导迭代过程达到更高的精度要求。

  这种混合精度策略结合了 float32 的速度优势和 float64 的精度优势，使得求解器能够在可接受的计算成本下达到 $rtol=1E-7$ 的高精度要求。

5. 实验设置

5.1. 数据集

实验中使用的系数场 ($\kappa$) 和源项 ($f$) 数据集配置如下：

• 源项 ($f$)：

  • 被生成为白噪声张量 (white noise tensor)。
  • 目的： 白噪声在所有频率范围内具有均匀的能量分布，这确保了训练数据能够覆盖亥姆霍兹方程可能遇到的所有频率分量，有助于网络学习到对各种波形都有效的解算能力。

• 系数场 ($\kappa$)：

  • 生成方式： 使用 CIFAR10 Krizhevsky et al. (2009) 数据集 中的图像。这些图像被插值 (interpolated) 到目标问题尺寸，并线性变换 (linearly transformed) 到指定的慢度范围 $[\kappa_{\mathrm{min}}, \kappa_{\mathrm{max}}]$。
  • 默认范围： 默认情况下，慢度范围设置为 $[\kappa_{\mathrm{min}}=0.25, \kappa_{\mathrm{max}}=1.0]$。
  • 实际应用场景： 论文指出，在实际应用中，$coef_i$（问题系数，包含 $\kappa$ 和 $\gamma$）应根据具体的应用场景生成。

• 其他数据集用于泛化测试：

  • 超声波 CT 场景 (ultrasonic CT scenario)： 来自 AI4S Cup 的超声波 CT 区域的速度数据。
  • STL-10 数据集 (Coates et al., 2011)： 具有更高图像分辨率 ($96 \times 96$) 的数据集，用于测试模型对不同数据分布的泛化能力。
  • Marmousi 数据 (Brougois et al., 1990)： 一个具有高分辨率 ($362 \times 1101$) 的基准地震学数据集，也用于泛化测试。

• 数据集样本示例： 论文中在 Figure 4b、Figure 9a 和 Figure 10b 展示了在不同慢度场下，单源波的传播效果。这些慢度场就是从 CIFAR-10、STL-10 或 Marmousi 等数据集中生成的。 以下是 Figure 4b 的示例，展示了在一个从 CIFAR-10 数据生成的慢度场中的单源波。

  该图像是图表，展示了不同层级（Level 1、Level 2、Level 3）下FNN权重在频域的分布情况。可以观察到随着层级的提升，权重分布的变化。

  Figure 4b: Single source wave with $\omega = 1 5 0 \pi$ , in a slowness field generated from a CIFAR-10 data.

  以下是 Figure 9a 的示例，展示了在一个从 STL-10 数据生成的慢度场中的单源波。

  该图像是（b）部分的示意图，展示了在一维慢度场中一个单源波的传播特征。左侧为慢度分布，右侧展示了结果的实部和频率实部，以及收敛历史，反映了在迭代过程中收敛的情况。

  Figure 9a: Single source wave with $\omega = 8 0 \pi$ , in a slowness field generated from a STL-10 data.

  以下是 Figure 10b 的示例，展示了在一个从 Marmousi 模型生成的慢度场中的单源波。

  该图像是一个结果展示图，左侧显示了‘Slowness’的热图，右侧是与高波数Helmholtz方程求解相关的不同结果，包括真实值和频域结果。最右侧是收敛历史图，显示了迭代过程中收敛的趋势和时间信息。

  Figure 10b: Single source wave with $\omega = 1 6 0 \pi$ , in a slowness field from Marmousi.

5.2. 评估指标

论文使用了两种主要的损失函数来评估模型性能，分别对应有监督学习和无监督学习：

5.2.1. 有监督学习损失函数 $L_{err}$

• 概念定义 (Conceptual Definition): L_err 量化了模型预测的解与真实解之间的 L2 范数平方误差的平均值。它直接衡量模型在拟合真实解方面的准确性，常用于传统机器学习或深度学习任务中，当有真实标注数据可用时。
• 数学公式 (Mathematical Formula): $$L _ { e r r } = \frac { 1 } { N } \sum _ { i = 1 } ^ { N } | | u _ { i } - s o l _ { i } | | _ { 2 } ^ { 2 }$$
• 符号解释 (Symbol Explanation):
  • $N$：训练数据集中数据点的总数。
  • $u_i$：第 $i$ 个数据点的真实解。
  • $sol_i$：模型对第 $i$ 个数据点的预测解。
  • $||\cdot||_2^2$：表示向量的 L2 范数平方。

5.2.2. 无监督学习损失函数 $L_{res}$

• 概念定义 (Conceptual Definition): L_res 量化了模型预测的解代入离散化后的线性算子 $A_i$ 后，与原始源项 $rhs_i$ 之间的残差的 L2 范数平方的平均值。它衡量了模型预测的解在多大程度上满足了偏微分方程的离散化形式。这种损失函数特别适用于物理问题，因为它可以利用 PDE 的结构而无需真实解的标签。
• 数学公式 (Mathematical Formula): $$L _ { r e s } = \frac { 1 } { N } \sum _ { i = 1 } ^ { N } | | r h s _ { i } - A _ { i } s o l _ { i } | | _ { 2 } ^ { 2 }$$
• 符号解释 (Symbol Explanation):
  • $N$：训练数据集中数据点的总数。
  • $rhs_i$：第 $i$ 个数据点的输入源项。
  • $A_i$：由第 $i$ 个数据点的系数张量 $coef_i$ 确定的离散化线性算子。
  • $sol_i$：模型对第 $i$ 个数据点的预测解。
  • $||\cdot||_2^2$：表示向量的 L2 范数平方。

5.2.3. 迭代求解收敛标准

• 相对残差容差 (Relative Residual Tolerance): 论文中进行迭代求解时，收敛标准设置为 $rtol=1E-7$。这意味着迭代过程会持续进行，直到当前残差的范数与初始残差的范数之比小于或等于 $10^{-7}$。

5.2.4. 波数 ($k$)

• 波数 (Wavenumber) $k$： 尽管不是一个直接的损失函数，但波数 $k$ 是衡量亥姆霍兹方程难度和模型性能的关键参数。实验中通过改变角频率 $\omega$ 或波速 c(x) 来调整 $k$，并评估模型在不同 $k$ 值下的收敛性（迭代次数）和求解时间。论文关注的是 $O(k)$ 的最优收敛性。

5.3. 对比基线

论文将 MGCFNN 与多种现有方法进行了比较，包括神经算子学习方法、专门的 AI 求解器以及传统的稀疏直接求解器。

• 神经算子学习方法 (Neural Operator Learning Methods)： 这些方法主要用于有监督学习场景，进行单次推理比较。

  • MgNO (He et al., 2024)： 一种基于多重网格的神经算子，用于高效参数化线性算子。
  • FNO2d (Li et al., 2021)： 二维傅里叶神经算子，利用傅里叶变换在频域处理数据。
  • U-NO (Rahman et al., 2023)： U 型神经算子，结合了 U-Net 结构和神经算子思想。
  • Dil-ResNet (Stachenfeld et al., 2021)： 膨胀残差网络，一种用于学习模拟器的方法。
  • LSM (Wu et al., 2023)： 潜在谱模型，用于求解高维 PDE。
  • MWT2d (Gupta et al., 2021)： 基于多小波的算子学习方法。
  • U-Net (Ronneberger et al., 2015)： 经典的编码-解码结构卷积神经网络，常用于图像分割任务，也被用作通用的图像到图像映射模型。

• 专门的 AI 求解器 (Specialized AI Solvers for High Wavenumber Helmholtz Equations)： 这些方法主要用于无监督迭代求解场景的可扩展性测试。

  • Encoder-solver (Lerer et al., 2024)： 一种纯 AI 求解器，利用编码器-求解器架构处理亥姆霍兹方程。
  • Wave-ADR-NS (Cui et al., 2024)： 一种 AI 增强的传统多重网格求解器框架，专门为高波数亥姆霍兹方程设计。

• 稀疏直接求解器 (Sparse Direct Solver)： 用于评估传统高性能数值方法的基准。

  • CHOLMOD (Davis & Hager, 2009; Chen et al., 2008; Davis et al., 2004; Amestoy et al., 1996; 2004)： SuiteSparse (Davis, 2024) 软件包中的一个组件，用于稀疏矩阵的 Cholesky 分解。它是一种直接法，通常在精确性方面具有优势，但可扩展性（尤其是在 3D 问题中）可能不如迭代方法。实验中在 CPU 上以单精度运行。

5.4. 训练设置 (Training Settings)

论文中实验的默认设置和训练超参数如下：

5.4.1. 默认设置 (Default Settings)

• 慢度范围 (Slowness bounds)： 默认 $\kappa_{\mathrm{min}}=0.25$ 和 $\kappa_{\mathrm{max}}=1.0$。
• 测试结果： 报告的是50个未见数据的中位数 (median)。
• 训练策略： 推荐使用无监督学习 (unsupervised learning)，因为它消除了对标签数据生成的需求。有监督学习仅在与算子学习方法比较的 Subsection 4.2 中使用。
• 硬件： 在 RTX 4090 GPU 上使用 PyTorch 和 CUDA 12.4 执行。
• 精度： 训练和推理使用 float32 (单精度浮点数)。求解器采用混合精度策略 (mixed precision strategy)，其中残差更新使用 float64 (双精度浮点数) 以达到 $rtol=1E-7$ 的收敛容差。
• 求解器类型：
  • 独立求解器 (standalone solver)： 指在平稳迭代框架中运行的求解器。
  • 预处理器 (preconditioner)： 指在 GMRES 等 Krylov 子空间方法中作为预处理器使用的求解器。
• 可扩展性测试： 模型在 $511 \times 511$ 网格上训练，但测试网格尺寸高达 $4095 \times 4095$。
• 模型尺寸： 为了充分利用 GPU 资源，小尺寸问题使用较大的模型。在可扩展性测试中，则使用较小的模型以适应 GPU 内存限制。

5.4.2. 训练超参数 (Training Settings - Appendix I)

以下是原文 Table 9 的内容，总结了训练设置：

以下是原文 Table 9 的结果：

• 训练轮次 (epochs)： 120。
• 数据量 (num_data)： 用于训练的数据点数量为 10000。
• 学习率 (lr)： 初始学习率为 0.001。
• 优化器 (optimizer)： Adam 优化器，学习率调度器 (scheduler) 设置为 step_size=6 和 $gamma=0.8$（表示每隔6个 epoch，学习率乘以0.8）。
• 批次大小 (batch_size)： 10。

5.4.3. 模型架构设置 (Model Architecture Settings - Appendix H)

模型架构的设置与每波长点数 (number of points per wavelength) 密切相关。

• 每波长点数：
  • 对于小于 $511 \times 511$ 的问题，大约有6个点每波长。
  • 对于可扩展性测试中的较大问题，大约有12个点每波长。
• 多重网格层数： 多重网格的层数设置使得最粗的层级大约有3个点每波长。在此基础上，会增加更多的层级以优化结果。
• FNN 的使用位置： 对于 MGCFNN，FNN 从每波长约3个点的层级开始在求解阶段网络中使用。实验发现，在最粗的两个层级使用 FNN 是有益的。
• 通道数与 sweeps：

  • 小问题为了充分利用 GPU 资源，使用更多的通道数。

  • 粗网格层级的 sweeps (网络层数或迭代次数) 会加倍，以增加其计算复杂度。

    以下是原文 Table 7，展示了每波长约6个点情况下的求解阶段设置：

    Model	Settings
    MGCFNN, MGFNN	32 channels, 1, 2, 4 sweeps for level 1, 2, 3
    FNN	32 channels, 8 sweeps for one level

以下是原文 Table 7 的结果：

• MGCFNN, MGFNN： 32个通道，对于 Level 1, 2, 3 分别有1, 2, 4个 sweeps。

• FNN (单层)： 32个通道，对于一个层级有8个 sweeps。

  以下是原文 Table 8，展示了每波长约12个点情况下的求解阶段设置：

  Model	Settings
  Model	Settings
  MGCFNN MGCNN	12 channels, 1, 2, 4, 8 sweeps for level 1, 2, 3, 4 12 channels, 1, 2, 4, 8, 16 sweeps for level 1, 2, 3, 4, 5

以下是原文 Table 8 的结果：

• MGCFNN, MGCNN (用于可扩展性测试的变体)： 12个通道，对于 Level 1, 2, 3, 4 分别有1, 2, 4, 8个 sweeps。
• MGCNN (更深的变体)： 12个通道，对于 Level 1, 2, 3, 4, 5 分别有1, 2, 4, 8, 16个 sweeps。

5.4.4. 核尺寸 (Kernel Sizes)

• ResNets 内的 CNNs： 使用核尺寸为5。
• 限制 (restriction) 和延长 (prolongation) CNNs： 使用核尺寸为3。
• 跳跃连接 (skip add operations)： 核尺寸为1。
• 设置阶段 (setup phase)： 每个层级设置2个 sweeps，通道数与求解阶段一致以确保网络兼容性。

6. 实验结果与分析

6.1. 学习能力比较 (Comparison of Different Solvers)

这部分实验通过有监督学习 (supervised learning) 评估了 MGCFNN 和 MGFNN 与其他神经算子学习方法在单次网络推理下的学习能力。实验在 $256 \times 256$ 网格上进行，角频率 $\omega = 80\pi$，并通过调整 $\kappa_{\mathrm{min}}$ 的值来增加介质的异构性（从 0.75 降低到 0.50 和 0.25）。

以下是原文 Table 1 的结果，比较了 $\kappa_{\mathrm{min}} = 0.75$ 的情况：

以下是原文 Table 2 的结果，比较了 $\kappa_{\mathrm{min}} = 0.50$ 和 $\kappa_{\mathrm{min}} = 0.25$ 的情况：

分析：

• MGCFNN 和 MGFNN 的优越性： 在所有 $\kappa_{\mathrm{min}}$ 设置下，MGCFNN 和 MGFNN 都表现出最低的测试误差和训练误差，并且通常在相对较少的参数量下达到。这表明它们具有卓越的学习能力和泛化能力。

• 对异构性的鲁棒性： 随着 $\kappa_{\mathrm{min}}$ 从 0.75 降低到 0.25（介质异构性增加，问题难度增大），所有模型的误差普遍上升，但 MGCFNN 和 MGFNN 仍然保持了相对最佳的性能。

• 其他方法的局限性： 许多其他算子学习方法（如 FNO2D、MWT2D、U-NO）虽然可能在早期 epoch 达到较低的训练误差，但很快就会出现过拟合 (overfitting)，导致测试误差显著升高。例如，FNO2D 在 $\kappa_{\mathrm{min}}=0.75$ 时训练误差为 0.085，但测试误差高达 0.561，且在第4个 epoch 就达到了最佳测试误差。这突显了这些方法在处理高波数亥姆霍兹方程时的泛化性问题。

• 时间和参数效率： MGCFNN (5.3MB 参数) 比 MGFNN (8.9MB 参数) 和其他一些方法在参数量上更少，同时在训练时间上保持竞争力，这对于实际应用具有重要意义。

  结论： 这些结果强烈表明，在有监督学习场景下，MGCFNN 和 MGFNN 在学习高波数异构亥姆霍兹方程解方面达到了最先进水平 (state-of-the-art)，表现出优越的泛化能力和鲁棒性。然而，论文也指出，即使是最好的模型，在一次推理后也可能难以达到高精度，这促使后续实验集中在迭代求解上。

6.2. 可扩展性比较 (Scalability Comparison)

这部分实验评估了 MGCFNN 与其他最先进的迭代求解器以及稀疏直接求解器在不同网格尺寸和高角频率（高波数）下的可扩展性。目标是验证 MGCFNN 在迭代求解框架中达到所需精度 ($rtol=1E-7$) 的能力和效率。

以下是原文 Table 3 的结果：

分析：

• MGCFNN 与 encoder-solver (Lerer et al., 2024) 的比较（$\gamma = 0.01$）：
  • MGCFNN 在所有测试规模下都显著优于 encoder-solver。
  • 在 $511 \times 511$ 网格上，MGCFNN (9次迭代, 0.12s) 比 encoder-solver (43次迭代, 0.65s) 快 5.5倍。
  • 在最大的 $4095 \times 4095$ 网格上，MGCFNN (18次迭代, 2.77s) 比 encoder-solver (117次迭代, 13.34s) 快 4.8倍。
  • MGCFNN 的迭代次数随着问题规模（和波数）的增加而缓慢增长，显示出良好的可扩展性。
• MGCFNN 与 Wave-ADR-NS (Cui et al., 2024) 的比较（$\gamma = 0.0$）：
  • MGCFNN 在无阻尼 ($\gamma=0.0$) 这一更具挑战性的情况下，也表现出压倒性优势。
  • 在 $511 \times 511$ 网格上，MGCFNN (14次迭代, 0.16s) 比 Wave-ADR-NS (28次迭代, 15.07s) 快 94.8倍。
  • 在最大的 $4095 \times 4095$ 网格上，MGCFNN (83次迭代, 8.55s) 比 Wave-ADR-NS (247次迭代, 286.14s) 快 33.5倍。
  • Wave-ADR-NS 的求解时间显著更长，这凸显了 MGCFNN 在处理复杂异构介质中的高效性。
• MGCFNN 与 CHOLMOD (稀疏直接求解器) 的比较（$\gamma = 0.0$）：

  • MGCFNN 在 GPU 上运行，而 CHOLMOD 在 CPU 上运行，这本身就存在硬件差异。

  • 尽管如此，MGCFNN 仍然在求解时间上显著优于 CHOLMOD。

  • 在 $511 \times 511$ 网格上，MGCFNN (0.16s) 比 CHOLMOD (0.49s) 快 3.1倍。

  • 在最大的 $4095 \times 4095$ 网格上，MGCFNN (8.55s) 比 CHOLMOD (183.61s) 快 21.5倍。直接求解器在网格尺寸增加时，其计算复杂度（通常是 $N^{1.5}$ 到 $N^2$）和内存需求会迅速增加，导致其可扩展性受限。

    结论： MGCFNN 在迭代次数和求解时间方面均显著优于现有最先进的 AI 求解器和 AI 增强传统求解器，并且在效率上远超传统的稀疏直接求解器。这有力证明了 MGCFNN 在处理高波数亥姆霍兹方程方面的卓越可扩展性和高效性，在高达 $k \approx 2000$ 的波数下仍能保持高效收敛。

6.3. 消融研究 (Ablation Study)

消融研究旨在评估 MGCFNN 各个组件（特别是多重网格层次和 FNN 的引入）的有效性。

6.3.1. FNN, MGFNN, MGCFNN 架构比较

这项研究比较了纯 FNN（单层网络）、MGFNN（所有层级使用 FNN）和 MGCFNN（仅在粗网格层级使用 FNN）的性能。实验在两个数据集上进行：

1. 网格尺寸 $256 \times 256$，$\omega = 80\pi$。

2. 网格尺寸 $480 \times 480$（来自超声波 CT 竞赛），$\omega = 150\pi$。

   以下是原文 Table 4 的结果：

   rtol=1E-7	grid size 256 × 256, ω = 80π						grid size 480 × 480, ω = 150π
   	standalone			GMRES			standalone			GMRES
   	MGCFNN	MGFNN	FNN	MGCFNN	MGFNN	FNN	MGCFNN	MGFNN	FNN	MGCFNN	MGFNN	FNN
   iters	22	19	55	15	13	24	12	9	54	11	10	22
   time(s)	0.136	0.135	0.270	0.111	0.116	0.151	0.093	0.101	0.724	0.105	0.124	0.365

分析：

• 多重网格层次的有效性：

  • 与纯 FNN 相比，MGFNN (所有层级使用 FNN 的多重网格结构) 在迭代次数和求解时间上都有显著提升。例如，在 $256 \times 256$ 网格和 standalone 模式下，纯 FNN 需要55次迭代和0.270秒，而 MGFNN 仅需19次迭代和0.135秒。这证明了多重网格层次对于加速收敛是至关重要的。

• MGCFNN 和 MGFNN 的比较：

  • MGFNN 通常比 MGCFNN 具有更少的迭代次数（例如，在 $256 \times 256$ 网格下 standalone 模式，MGFNN 为19次，MGCFNN 为22次）。这表明在所有层级都使用 FNN 确实可以略微减少迭代次数。
  • 然而，从时间上看，MGCFNN 和 MGFNN 的求解时间非常接近，甚至 MGCFNN 更快（例如，在 $480 \times 480$ 网格下 standalone 模式，MGCFNN 0.093s，MGFNN 0.101s）。论文解释说，MGFNN 在所有层级使用 FNN 会消耗更多内存，且在粗网格层 FNN 的计算效率问题 (Appendix E) 可能抵消了迭代次数上的优势。因此，MGCFNN（混合使用 CNN 和 FNN）在内存效率和整体求解时间上更优，特别适用于大规模问题。

• GMRES 的加速作用： 无论是 MGCFNN 还是 MGFNN，当作为 GMRES 的预处理器时，迭代次数和求解时间都能进一步减少，这表明 GMRES 能有效加速收敛。

  结论： 多重网格层次对于加速求解高波数亥姆霍兹方程是必不可少的。而 MGCFNN 这种混合模型模式，通过在粗网格层有选择性地引入 FNN，在保持甚至超越 MGFNN 时间效率的同时，提供了更好的内存效率，是更实用的选择。

6.3.2. MGCFNN 与 MGCNN 的可扩展性比较

此研究评估了 MGCFNN 和 MGCNN（所有层级都使用 CNN）在不同网格尺寸和角频率下的可扩展性，以突出 FNN 引入的益处。

以下是原文 Table 5 的结果：

分析：

• MGCFNN 的优越性：

  • 在所有网格尺寸和角频率下，MGCFNN 的迭代次数和求解时间均显著低于 MGCNN。
  • 在 standalone 模式下，MGCNN 通常需要 MGCFNN 2到3倍的迭代次数。例如，在 $4095 \times 4095$ 网格下，MGCFNN 仅需83次迭代，而 MGCNN 需要231次。
  • 相应的，MGCFNN 的求解时间也远低于 MGCNN。在 $4095 \times 4095$ 网格下，MGCFNN 仅需8.18秒，而 MGCNN 需要18.66秒。

• $O(k)$ 最优收敛性： 两种模型都展示了在高波数 $k$ 下 $O(k)$ 的最优收敛特性。随着角频率（和波数 $k$）加倍，迭代次数也大致加倍。

• MGCFNN 作为独立求解器的能力： MGCFNN 作为独立求解器 (standalone solver) 表现出色，其迭代次数和时间效率已经非常高。

• MGCNN 对 GMRES 的依赖： MGCNN 更加依赖 GMRES 来显著减少迭代次数和求解时间。这表明 MGCNN 自身作为平滑器或预处理器的能力不如 MGCFNN。

• MGCFNN 学习亥姆霍兹方程逆算子的有效性： MGCFNN 在作为独立求解器时表现出卓越的性能，这证实了它有效地学习了亥姆霍兹方程的逆算子，能够直接提供高质量的修正。

  结论： 引入 FNN 的 MGCFNN 在高波数亥姆霍兹方程求解中具有显著优势，能够以更少的迭代次数和更短的求解时间实现最优收敛，相比纯 CNN 的 MGCNN 具有更高的效率。这进一步验证了 FNN 在处理波传播方面的独特优势。

Remark 4.1： 论文指出，对于最大的问题 ($4095 \times 4095$ 网格，$\omega=640\pi$)，MGCFNN 的求解时间大约为8.2秒。这比近年来先进的并行传统求解器（如源传输法 (source transfer) (Leng & Ju, 2019) 和迹传输法 (trace transfer) (Leng & Ju, 2022)）显著缩短，这些传统方法通常需要超过50秒才能处理类似问题。这强调了 MGCFNN 在实际应用中的巨大潜力。

6.4. 泛化能力 (Generalization to Other Distributions - Appendix G)

本节探究了 MGCFNN 在训练数据分布之外的泛化能力。模型在 CIFAR-10 数据集上进行训练，然后应用于具有不同特性和分辨率的 STL-10 数据集和 Marmousi 基准数据集。

以下是原文 Table 6 的结果：

分析：

• 良好的泛化性能： 尽管 MGCFNN 在 CIFAR-10 上训练，但在 STL-10 和 Marmousi 数据集上仍然表现出良好的泛化性能。它能够有效地收敛到所需的精度 ($rtol=1E-7$)。

• 迭代次数略有增加： 与在 CIFAR-10 上的性能相比，模型在 STL-10 和 Marmousi 上的迭代次数略有增加。例如，在 $4095 \times 4095$ 网格和 $\omega=640\pi$ 下，CIFAR-10 需要83次迭代，而 STL-10 需要109次，Marmousi 需要92次。

• 原因分析： 论文解释说，这种迭代次数的增加是预期的，因为更复杂的介质（例如，STL-10 和 Marmousi 可能具有更复杂的慢度场分布）会导致更多的光学射线 (optic rays)，这会影响迭代求解器的收敛性 (Galkowski et al., 2024)。

• GMRES 的加速作用： 即使在泛化测试中，GMRES 作为预处理器也能有效减少迭代次数，提升收敛速度。

  结论： MGCFNN 具备将训练所得知识泛化到不同数据分布的能力，这对于其在实际应用中的鲁棒性至关重要。虽然在更复杂的未见数据上迭代次数略有增加，但仍能有效求解，这表明其学习到的物理驱动的求解策略具有一定的通用性。

6.5. 数据呈现 (Figures of Single Source Waves)

以下是原文 Figure 4 的一部分，展示了 CIFAR-10 数据生成的慢度场中的单源波结果，以及迭代求解历史。

该图像是图表，展示了不同层级（Level 1、Level 2、Level 3）下FNN权重在频域的分布情况。可以观察到随着层级的提升，权重分布的变化。

Figure 4b: Single source wave with $\omega = 1 5 0 \pi$ , in a slowness field generated from a CIFAR-10 data.

以下是原文 Figure 9 的一部分，展示了 STL-10 数据生成的慢度场中的单源波结果，以及迭代求解历史。

该图像是（b）部分的示意图，展示了在一维慢度场中一个单源波的传播特征。左侧为慢度分布，右侧展示了结果的实部和频率实部，以及收敛历史，反映了在迭代过程中收敛的情况。

Figure 9a: Single source wave with $\omega = 8 0 \pi$ , in a slowness field generated from a STL-10 data.

以下是原文 Figure 10 的一部分，展示了 Marmousi 模型生成的慢度场中的单源波结果，以及迭代求解历史。

该图像是一个结果展示图，左侧显示了‘Slowness’的热图，右侧是与高波数Helmholtz方程求解相关的不同结果，包括真实值和频域结果。最右侧是收敛历史图，显示了迭代过程中收敛的趋势和时间信息。

Figure 10b: Single source wave with $\omega = 1 6 0 \pi$ , in a slowness field from Marmousi.

这些图展示了在不同慢度场下，MGCFNN 求解得到的波场（实部），以及迭代求解的收敛历史。可以看出，MGCFNN 能够捕捉复杂的波传播模式，并且随着迭代的进行，残差（res_norm）逐渐降低，直至满足收敛标准。

6.6. 可扩展性测试中的迭代历史 (Figure 8)

Appendix F 详细描述了可扩展性测试的细节，并提供了50个未见数据在不同网格尺寸和角频率下的迭代历史。

以下是原文 Figure 8 的结果：

该图像是图表，展示了MGCFNN和MGCNN在50组未见数据上的可扩展性测试结果。上方的两个图显示了不同分辨率下的迭代次数和计算时间，分别呈现为柱状图。下方的两个图则展示了收敛标准和混合精度对迭代次数与时间的影响，包含多个数据组的比较。图中使用不同颜色区分不同分辨率。

Figure 8: Scalability test over 50 unseen data. The upper row is the results of MGCFNN, and the lower row is the results of MGCNN.

Figure 8 展示了 MGCFNN 和 MGCNN 在50个未见数据上的可扩展性测试结果。每条曲线代表一个数据点的迭代历史。

• MGCFNN 的上排图： 显示了 MGCFNN 在不同分辨率下（从 $511 \times 511$ 到 $4095 \times 4095$）的迭代次数和求解时间。可以看出，即使在最高分辨率下，大多数数据点也能在相对较少的迭代次数内收敛。
• MGCNN 的下排图： 显示了 MGCNN 的类似结果。可以明显看到，对于相同的问题，MGCNN 通常需要更多的迭代次数才能收敛，这与 Table 5 的定量结果一致。

分析： 这些图表直观地展示了：

• 数据依赖性： 亥姆霍兹方程的收敛行为具有数据依赖性。有些慢度分布（或介质配置）会加剧方程的病态性，导致波陷阱效应 (trapping phenomena) (Graham et al., 2019; Ralston, 1971)，使得求解器需要更多迭代才能收敛。
• MGCFNN 的鲁棒性： 尽管存在数据依赖性，MGCFNN 在绝大多数情况下都能稳定且高效地收敛，其迭代次数分布相对集中在较低的范围。
• MGCFNN 的优越性： MGCFNN 在处理不同难度的亥姆霍兹方程实例时，整体迭代次数和收敛速度都优于 MGCNN。

7. 总结与思考

7.1. 结论总结

本文提出了一种创新的多重网格-分层AI求解器 (multigrid-hierarchical AI solver) MGCFNN，旨在高效求解高波数亥姆霍兹方程。通过对 MGCNN 架构的改进和引入新颖的傅里叶神经网络 (FNN)，MGCFNN 在该领域取得了显著进展：

• FNN 的核心作用： FNN 能够处理全模式信息，并可扩展到更大的问题尺寸和更高的波数。其数学特性使其能够在求解阶段高效传播波源影响，这对于高波数亥姆霍兹方程至关重要。

• 卓越的学习能力： 在有监督学习场景下，MGCFNN 在误差、训练时间和参数效率方面均超越了多种主流的神经算子学习方法，展现出优异的泛化性能。

• 高性能与可扩展性： 在无监督迭代求解框架中，MGCFNN 相比最新的专用 AI 求解器和 AI 增强传统求解器实现了显著的加速（例如，至少 $4.8 \times$ 到上百倍），并远超稀疏直接求解器 CHOLMOD。

• 最优收敛性： MGCFNN 和其修改后的 MGCNN 在高达 $k \approx 2000$ 的高波数下，都展现了 $O(k)$ 的最优收敛特性。但 MGCFNN 在迭代次数和求解时间上更胜一筹。

• 多重网格与 FNN 的互补性： 消融研究明确证明了多重网格层次的有效性，以及在粗网格层引入 FNN 的益处，证实了这种混合模型模式的优越性。

• 媲美传统求解器： MGCFNN 将高波数求解的范围扩展到与先进的并行传统求解器相媲美，同时显著缩短了求解时间。

  综上所述，MGCFNN 被确立为目前解决高波数亥姆霍兹方程的最先进 AI 求解器 (state-of-the-art AI solver)。

7.2. 局限性与未来工作

论文作者也坦诚指出了当前工作的局限性，并提出了未来的研究方向：

• FNN 插值操作的简化： 目前 FNN 中的插值操作相对简单。FNN 的特性和最佳实践（例如，如何更优地设置频域权重、插值策略）尚未得到充分探索。这可能意味着在 FNN 的设计和优化方面仍有很大的提升空间。
• 边界条件的多样性： 论文主要关注吸收边界条件。对于其他各种边界条件，例如反射边界条件 (reflection boundary conditions)，MGCFNN 可能存在挑战。这是因为傅里叶变换本身具有周期性边界效应，或者填充 (padding) 技术在处理非周期性边界条件时可能引入不期望的伪影或冲突。未来的工作需要探索如何更鲁棒地处理多样化的边界条件。

7.3. 个人启发与批判

7.3.1. 个人启发

• AI 与传统数值方法的深度融合： MGCFNN 成功地将深度学习（特别是 CNN 和 FNN）与传统的多重网格数值方法相结合。这种“物理信息”与“数据驱动”的深度融合，为解决传统方法难以处理的复杂 PDE 问题提供了一条高效且有前景的路径。它不再是简单地用 AI 替代传统方法，而是利用 AI 学习复杂模式的能力来增强传统方法的瓶颈。
• 频域操作的巨大潜力： FNN 利用傅里叶变换在频域中进行操作，实现等效于“大核卷积”的全局波传播。这对于处理长程相互作用和高度振荡的波场（如高波数亥姆霍兹方程）具有天然的优势。这一思路不仅限于亥姆霍兹方程，可能在其他涉及波传播、扩散或远距离依赖的物理 PDE 求解中具有广泛应用。
• 无监督学习的重要性： 论文强调无监督学习策略，通过残差最小化来训练模型，这大大降低了对昂贵标签数据（即真实解）的需求。在许多科学计算领域，获取高精度真实解本身就是一大挑战，无监督训练策略使其更具实用性。
• 可扩展性与效率： MGCFNN 在处理大规模、高波数问题上的卓越可扩展性和显著加速，展示了 AI 求解器在打破传统数值方法计算瓶颈方面的巨大潜力。这有望加速科学发现和工程设计。

7.3.2. 批判

• FNN 线性映射的计算效率问题： 论文在 Appendix E 中明确指出，FNN 内部频域线性映射操作的计算效率出乎意料地低，甚至慢于 FFT2d。这表明，尽管 FNN 在理论设计上是优雅的，但在实际实现和硬件优化方面可能仍有较大的挑战和提升空间。如果这个问题得不到有效解决，可能会限制 FNN 在某些极端大规模问题上的实际性能。
• 边界条件处理的通用性： 论文指出的边界条件局限性是一个重要问题。傅里叶变换的周期性假设与实际物理问题中常见的非周期性或反射边界条件存在内在冲突。如何设计更通用的 FNN 或结合其他技术来处理各种边界条件，是其在更广泛物理场景中应用的关键。
• 模型解释性与可信赖性： 尽管论文通过与 Born 级数方法和阻尼亥姆霍兹算子逆的联系来解释 FNN 的功能，但作为深度学习模型，其内部决策过程和权重学习的具体机制仍然是“黑箱”。在科学计算中，模型的解释性和可信赖性至关重要，进一步的理论分析或可解释 AI 技术可能有助于增强其在关键应用中的接受度。
• 超参数调优的复杂性： 模型架构设置（如多重网格层数、FNN 使用的层级、sweeps 数量）是根据每波长点数进行经验性调整的。这种经验性调优可能在面对全新问题或参数范围时，需要大量专业知识和计算资源进行重新探索。如何使模型架构的自适应性更强，减少手动调优的工作量，是一个潜在的研究方向。
• 训练数据分布的影响： 尽管泛化测试显示了模型对 STL-10 和 Marmousi 的良好泛化能力，但其训练数据（CIFAR-10 图像）与真实的物理介质分布可能存在差异。未来工作可以探讨如何使用更多样化、更具物理代表性的数据集进行训练，以进一步提高模型的鲁棒性和通用性。