1. 论文基本信息

1.1. 标题

HyPINO: Multi-Physics Neural Operators via HyperPINNs and the Method of Manufactured Solutions

1.2. 作者

• Rafael Bischof (通讯作者, Computational Design Lab, ETH Zurich, Switzerland)
• Michal Piovari (Computational Design Lab, ETH Zurich, Switzerland)
• Michael A. Kraus (Institute of Structural Mechanics and Design, TU Darmstadt, Germany)
• Siddhartha Mishra (Seminar for Applied Mathematics, ETH Zurich, Switzerland)
• Bernd Bickel (Computational Design Lab, ETH Zurich, Switzerland)

1.3. 发表期刊/会议

预印本 (Preprint)，发布在 arXiv。该论文在 2025-09-05T13:59:25.000Z 发布，表明其可能还在同行评审阶段，尚未正式发表于期刊或会议。

1.4. 发表年份

2025年

1.5. 摘要

本文提出了 HyPINO，一种多物理场神经网络算子 (multi-physics neural operator)，旨在无需任务特定微调 (task-specific fine-tuning) 即可在广泛的偏微分方程 (PDE) 类别中实现零-shot 泛化 (zero-shot generalization)。该方法结合了基于 Swin Transformer 的超网络 (hypernetwork) 和混合监督机制：(i) 来自通过制造解法 (Method of Manufactured Solutions, MMS) 生成的解析解的标注数据，以及 (ii) 使用物理信息目标 (physics-informed objectives) 优化的无标注样本。

该模型将 PDE 参数化映射到目标物理信息神经网络 (PINN)，能够处理二维线性椭圆、双曲和抛物线方程，涵盖不同源项、几何形状以及混合 Dirichlet/Neumann 边界条件（包括内部边界）。HyPINO 在七个来自 PINN 文献的基准问题上实现了强大的零-shot 精度，超越了 U-Nets、Poseidon 和 Physics-Informed Neural Operators (PINO)。

此外，本文引入了一种迭代精炼过程 (iterative refinement procedure)，将生成的 PINN 的残差 (residual) 视为“delta PDE”，并执行另一次前向传递以生成一个修正 PINN。通过叠加它们的贡献并重复该过程，形成一个集成 (ensemble)，其组合解在六个基准上逐步降低误差，在最佳情况下实现了超过 100 倍的 $L_2$ 损失降低，同时保持了前向推理 (forward-only inference)。

最后，本文评估了 HyPINO 初始化的 PINN 的微调 (fine-tuning) 行为，结果显示它们比随机初始化和 Reptile-meta-learned PINN 在五个基准上收敛更快且最终误差更低，在其余两个基准上表现相当。研究结果强调了这种可扩展方法作为未来扩展神经网络算子以解决日益复杂、非线性和高维 PDE 问题的基础潜力。代码和模型权重已公开可用。

1.6. 原文链接

https://arxiv.org/abs/2509.05117v4

1.7. PDF 链接

https://arxiv.org/pdf/2509.05117v4.pdf

2. 整体概括

2.1. 研究背景与动机

2.1.1. 论文试图解决的核心问题

当前求解偏微分方程 (PDE) 的神经网络算子 (Neural Operators) 虽然展现出巨大潜力，但仍面临几个关键挑战：

1. 样本效率低下 (Sample Inefficiency): 大多数现有方法需要大量标注数据，这些数据通常通过昂贵的高精度求解器生成，导致数据获取成为瓶颈。
2. 泛化能力受限 (Limited Generalization): 现有神经网络算子通常只能在狭窄的 PDE 家族内泛化，变异性仅限于特定参数、边界条件或域形状，难以同时处理多物理场（即不同类型的 PDE 算子、几何形状、边界条件等）的复杂变化。
3. 物理信息方法的稳定性问题 (Stability Issues of Physics-Informed Methods): 虽然物理信息损失 (physics-informed losses) 可以提供自监督，减少对标注数据的依赖，但纯粹基于物理的训练常常存在谱偏差 (spectral bias) 和模式崩溃 (mode collapse) 问题，且在实践中不稳定。

2.1.2. 为什么这个问题在当前领域是重要的？

解决上述问题对于推动科学计算和工程领域的进步至关重要。神经网络算子作为“世界模型预测器”的基础构建模块，能够实现对物理世界的通用、多物理场模拟，具有快速推理和完全可微 (fully differentiable) 的优点。克服其数据依赖和泛化局限性，将使其能更广泛应用于：

• 通用模拟器 (General-purpose Simulators): 为复杂的科学和工程问题提供快速、准确的解决方案。
• 基础模型 (Foundation Models): 作为大规模预训练模型的基石，通过学习物理定律，实现跨任务迁移。
• 设计优化 (Design Optimization): 加速设计迭代周期，尤其是在需要快速评估不同设计参数对物理系统影响的场景。

2.1.3. 论文的切入点或创新思路

HyPINO 提出的创新思路在于：

1. 混合监督策略 (Hybrid Supervision Strategy): 结合了 MMS 生成的有监督数据（提供精确的解析解）和无监督数据（仅使用物理信息损失进行优化）。这种混合方式旨在解决数据稀缺问题，并利用物理定律的内在约束。
2. 超网络架构 (Hypernetwork Architecture): 采用基于 Swin Transformer 的超网络，直接从 PDE 的参数化中预测目标 PINN 的权重。这使得模型能够零-shot 泛化到未见的 PDE 实例，而无需针对每个新任务进行微调。
3. 迭代精炼机制 (Iterative Refinement Mechanism): 引入了一种轻量级的迭代精炼过程，通过将当前 PINN 解的残差视为“delta PDE”，生成一个修正 PINN 来逐步改进解决方案。这相当于在推理时构建一个集成模型，以提高精度。

2.2. 核心贡献/主要发现

本文的核心贡献和主要发现可以总结为以下几点：

• 提出 HyPINO 混合学习框架 (Hybrid Learning Framework):

  • HyPINO 是一个多物理场神经网络算子，结合了物理信息学习和有监督学习，能够零-shot 泛化到广泛的 PDE 实例。
  • 它通过一个 Swin Transformer 超网络，将 PDE 参数化映射到目标 PINN 的权重。

• 可扩展的合成数据生成管道 (Scalable Synthetic Data Generation Pipeline):

  • 设计了一种结合随机物理采样和 MMS 的数据生成方法，能够产生多样化的二维线性椭圆、双曲和抛物线 PDE 实例，包括复杂的域几何和混合边界条件。
  • 通过 MMS 提供精确的解析解作为监督信号，同时通过随机物理采样生成无监督数据，利用物理信息损失进行自监督。

• 新颖的迭代精炼机制 (Novel Iterative Refinement Mechanism):

  • 引入了一种残差驱动的迭代精炼过程，通过连续生成修正 PINN 来逐步降低解决方案误差。
  • 该机制在推理时形成一个模型集成，无需额外训练，显著提高了预测精度（在最佳情况下 $L_2$ 损失降低超过 100 倍），并且可以推广到其他物理信息神经网络算子框架。

• 卓越的零-shot 泛化能力 (Strong Zero-Shot Generalization):

  • 在七个经典的 PINN 基准问题上，HyPINO 的零-shot 精度优于 U-Nets、Poseidon 和 PINO 等现有基线模型。
  • 这表明 HyPINO 能够有效地从多样化的合成数据中学习，并将知识迁移到未见的 PDE 实例。

• 高效的 PINN 初始化策略 (Efficient PINN Initialization Strategy):

  • HyPINO 生成的 PINN 参数作为微调的初始值，使得 PINN 在特定 PDE 实例上的收敛速度更快，并能达到更低的最终误差。
  • 相比随机初始化和 Reptile 元学习 (meta-learning) 初始化的 PINN，HyPINO 初始化的模型表现出显著优势。

3. 预备知识与相关工作

本节旨在为读者提供理解 HyPINO 方法所需的基础概念，并将其置于现有研究的背景下。

3.1. 基础概念

3.1.1. 偏微分方程 (Partial Differential Equations, PDE)

PDE 是包含一个或多个自变量的未知函数的偏导数的数学方程。它们广泛用于描述自然界和工程中的各种现象，如热传导、流体力学、电磁学、量子力学等。本文主要关注线性二阶 PDE。

3.1.2. 神经网络算子 (Neural Operators)

神经网络算子是一类新兴的深度学习模型，旨在学习算子 (operator) 而非函数。传统神经网络学习从有限维输入空间到有限维输出空间的映射，而神经网络算子则学习从一个函数空间到另一个函数空间的映射。这意味着它们可以泛化到不同离散化 (discretization) 程度的输入函数，并输出连续的解场，而非特定网格上的离散解。其优势在于：

• 泛化到不同离散化 (Generalization to different discretizations): 一旦训练完成，可以在任何网格分辨率上评估。
• 快速推理 (Fast Inference): 一旦学习了算子，对新问题实例的求解速度远快于传统数值求解器。
• 完全可微 (Fully Differentiable): 可以进行反向传播，用于优化和控制问题。

3.1.3. 物理信息神经网络 (Physics-Informed Neural Networks, PINNs)

PINN 是一种深度学习模型，通过将物理定律（通常以 PDE 的形式）编码到神经网络的损失函数中来求解 PDE。PINN 的核心思想是，除了传统的数据拟合损失外，还包括一个“物理损失”项，该项强制神经网络的输出满足 PDE 的残差以及边界条件和初始条件。

• 物理损失 (Physics Loss): 通常通过自动微分 (automatic differentiation) 计算神经网络输出对输入变量的导数，然后将这些导数代入 PDE 方程，计算方程残差的 $L_2$ 范数。
• 边界/初始条件损失 (Boundary/Initial Condition Loss): 强制神经网络在边界或初始时刻满足预设的条件。 PINN 可以在没有标注数据（解析解）的情况下进行训练，仅依靠物理定律，这在许多科学和工程应用中具有巨大优势。然而，它们也可能面临训练不稳定、收敛慢、难以处理高频信息（谱偏差）等挑战。

3.1.4. 超网络 (Hypernetworks)

超网络是一种神经网络，其输出是另一个神经网络的权重或参数。在 PDE 求解的背景下，超网络可以根据 PDE 的特定参数（如系数、边界条件、几何形状）来生成一个针对该 PDE 实例的 PINN 的权重。

• 参数生成 (Parameter Generation): 而不是直接学习 PDE 的解，超网络学习生成一个“专家” PINN 的权重，这个“专家” PINN 能够解决特定的 PDE。
• 泛化能力 (Generalization): 通过在不同 PDE 参数配置上训练超网络，可以使其学习到如何根据 PDE 描述生成相应的求解器，从而实现对未见 PDE 的泛化。

3.1.5. 制造解法 (Method of Manufactured Solutions, MMS)

MMS 是一种验证数值求解器正确性的技术。其核心思想是：

1. 选择一个任意的解析解 (Choose an analytical solution): 首先选择一个已知其导数的、易于计算的函数作为“制造解”。
2. 推导相应的 PDE (Derive the corresponding PDE): 将这个制造解代入一个通用的 PDE 形式中，通过符号微分 (symbolic differentiation) 倒推出对应的源项 (source term) 和边界条件 (boundary conditions)。
3. 验证求解器 (Verify the solver): 使用数值求解器求解这个推导出的 PDE，并将其结果与最初选择的制造解进行比较。 MMS 的优点在于它能够生成具有精确解析解的 PDE 问题，这为 PINN 等数据驱动模型提供了高质量的监督数据。

3.1.6. Swin Transformer

Swin Transformer 是一种分层式的视觉 Transformer 模型，通过引入“移动窗口”机制 (shifted window mechanism) 来有效地处理图像数据。它结合了 Transformer 在全局建模方面的优势和卷积神经网络 (CNN) 在局部特征提取方面的效率。在 HyPINO 中，Swin Transformer 用于编码 PDE 的网格化输入（如源项和边界掩码），提取空间特征。

3.1.7. 傅里叶特征映射 (Fourier Feature Mapping)

傅里叶特征映射是一种将低维输入（如空间坐标 (x, y) 或 PDE 系数 $\mathbf{c}$）映射到高维傅里叶特征空间的技术。其目的是帮助神经网络更好地学习高频信息，解决传统 PINN 中常见的谱偏差问题，即神经网络倾向于学习低频信息而难以捕捉高频变化。通常通过正弦和余弦函数来引入周期性特征。

3.1.8. 多头注意力池化 (Multi-Head Attention Pooling)

多头注意力池化是一种在 Transformer 架构中聚合信息的技术。它允许模型从序列数据（如 Swin Transformer 输出的特征图展平后的 token 序列）中提取关键信息，并将其整合为固定大小的表示。通过多个“头”并行处理，模型可以从不同的表示子空间中学习信息，增强聚合的鲁棒性。

3.1.9. Huber 函数 (Huber Function)

Huber 函数是一种在统计学和机器学习中常用的损失函数，它结合了 $L_1$ 损失（在误差较大时）和 $L_2$ 损失（在误差较小时）的优点。当残差较小时，它表现为 $L_2$ 损失（平方误差），提供平滑的梯度；当残差较大时，它表现为 $L_1$ 损失（绝对误差），减少异常值的影响。这使得 Huber 损失比纯粹的 $L_2$ 损失对异常值更鲁棒，比纯粹的 $L_1$ 损失在零点附近更平滑可微。 其定义为： $$\rho(x) = \begin{cases} \frac{1}{2}x^2 & \text{if } |x| \le \delta \\ \delta(|x| - \frac{1}{2}\delta) & \text{if } |x| > \delta \end{cases}$$ 其中，$\delta$ 是一个超参数，定义了 $L_1$ 和 $L_2$ 行为之间的切换点。

3.1.10. Sobolev 损失 (Sobolev Loss)

Sobolev 损失是一种衡量函数及其导数之间差异的损失函数。在 PINN 的背景下，Sobolev 损失不仅惩罚预测函数与真实函数之间的差异，还惩罚它们的梯度和高阶导数之间的差异。这有助于确保神经网络的输出不仅在函数值上接近真实解，而且在物理行为（如速度、加速度等）上也保持一致。它通过加权求和的方式考虑不同阶导数的误差。

3.2. 前人工作

3.2.1. 神经网络算子 (Neural Operators)

• 发展历程: 神经网络算子，如 DeepONet [31] 和傅里叶神经网络算子 (FNO) [28]，通过学习算子映射而非点对点函数映射，实现了对不同离散化输入的泛化能力。
• 挑战: 尽管进步迅速，大多数现有算子仍然针对狭窄的 PDE 家族（例如，固定方程但系数变化），并且高度依赖昂贵的高保真求解器生成监督数据 [52]。

3.2.2. 物理信息学习 (Physics-Informed Learning)

• 自监督: 物理信息损失（如 PINN [40, 47]）通过将 PDE 编码到损失函数中，提供了无需标注模拟数据的自监督机制，并提高了物理保真度。
• 融合算子: 这种残差损失最近也被整合到算子架构中，产生了物理信息神经网络算子 (PINO) [3, 12, 29]，可以通过无标注残差样本进行训练。
• 挑战: 现有的物理信息方法通常需要仔细平衡监督项的权重，并且对于复杂的 PDE 往往存在稳定性问题、谱偏差 [48] 和模式崩溃 [51]。

3.2.3. 超网络在 PDE 求解中的应用 (Hypernetworks in PDE Solving)

• 早期工作: HyperPINN [8] 首次提出超网络来预测 PINN 权重，以适应变化的系数。
• 扩展应用: 随后的工作将这一思想扩展到边界条件 [10]、域变化 [5] 和低秩权重调制 [14, 36]。
• 挑战: 现有模型很少能同时支持多种算子、几何形状和边界类型的变化，而无需任务特定的微调。

3.2.4. 制造解法 (MMS) 在 PINN 和算子训练中的应用 (MMS in PINN and Operator Training)

• 验证工具: MMS [38] 长期以来被用作数值求解器验证的工具。
• PINN 评估和训练: 最近被用于 PINN 评估 [23] 和算子训练 [18]。
• 挑战: 之前的研究主要集中在单一方程（如 Poisson 方程），利用 MMS 进行多物理场算子预训练仍是未充分探索的领域。

3.3. 技术演进

该领域的技术演进经历了从传统数值方法到数据驱动方法，再到物理信息增强的数据驱动方法的几个阶段：

1. 传统数值方法: 长期以来，PDE 求解依赖于有限元、有限差分、有限体积等数值方法。这些方法精确但计算成本高昂，且难以泛化到不同 PDE 参数或几何形状。

2. 早期神经网络方法: 起初，神经网络被用作 PDE 的万能函数逼近器，直接拟合输入空间坐标到解的映射。但这种方法通常需要大量高保真模拟数据。

3. 神经网络算子 (Neural Operators): 随着 DeepONet 和 FNO 等模型的出现，神经网络从学习函数转变为学习算子，显著提升了泛化能力和推理速度，但仍依赖大量数据。

4. 物理信息神经网络 (PINNs): PINN 将物理定律融入损失函数，减少了对标注数据的依赖，但自身存在训练稳定性、谱偏差等问题。

5. 物理信息神经网络算子 (PINO): 试图将物理信息损失引入神经网络算子中，但平衡监督项权重和解决稳定性问题仍是挑战。

6. 超网络 (Hypernetworks) 的引入: 超网络通过根据 PDE 参数生成特定 PINN 权重，为处理 PDE 变体提供了一种新颖的元学习机制。

   HyPINO 正是站在这些技术演进的交叉点上：它结合了 Swin Transformer 形式的超网络、MMS 提供的解析解作为监督信号，以及物理信息损失的自监督能力，旨在克服现有方法的局限性，实现更通用、数据效率更高的多物理场 PDE 求解。

3.4. 差异化分析

HyPINO 相较于相关工作，其核心区别和创新点在于：

• 多物理场和复杂条件下的零-shot 泛化:

  • 现有问题: 大多数神经网络算子和 HyperPINN 变体专注于狭窄的 PDE 家族，例如仅在扩散系数变化 [6]、边界条件变化 [10] 或域形状变化 [55] 的单一维度上泛化。同时处理多种算子、复杂几何形状（包括内部边界）和混合边界条件的能力仍然有限 [52]。
  • HyPINO 创新: HyPINO 能够零-shot 泛化到多样化的线性椭圆、双曲和抛物线 PDE，同时处理变化的源项、复杂的几何形状（包括内部边界）和混合 Dirichlet/Neumann 边界条件。这是现有方法难以企及的灵活性。

• 混合监督训练策略的有效结合:

  • 现有问题: PINN 纯粹依赖物理信息损失训练时存在稳定性、谱偏差和模式崩溃 [48, 51] 问题。而纯数据驱动的神经网络算子则面临样本效率低下和数据获取困难 [19] 的挑战。MMS 虽然能生成解析解，但之前主要用于单一方程或评估。
  • HyPINO 创新: 首次大规模地将 MMS 生成的有监督数据与无监督的物理信息目标进行混合训练。MMS 数据提供精确的“真值”监督，解决谱偏差和稳定性；无监督数据则扩展了模型的泛化范围，使其能处理更广泛的物理现象。这种混合策略有效利用了物理定律的先验知识，同时借助高质量监督数据进行引导。

• 集成精炼机制的引入:

  • 现有问题: 提高神经网络算子精度通常需要增加模型复杂度或进行任务特定微调，这会牺牲推理速度或泛化性。
  • HyPINO 创新: 提出了一种新颖的残差驱动迭代精炼过程。它在推理时将 PINN 的残差视为“delta PDE”来生成修正 PINN，并将其叠加，形成一个轻量级集成。这种方法无需额外训练，显著提高了精度，并且具有通用性，可应用于其他物理信息神经网络算子。

• 优越的 PINN 初始化能力:

  • 现有问题: PINN 的训练通常对初始化敏感，随机初始化或一般的元学习方法可能导致收敛慢或陷入局部最优。

  • HyPINO 创新: HyPINO 生成的 PINN 权重提供了高质量的初始化，使得后续微调能够更快地收敛到更低的最终误差，优于随机初始化和 Reptile 元学习初始化。

    通过这些创新点，HyPINO 在多物理场 PDE 求解、数据效率和模型精度方面取得了显著进展，为构建更通用、可扩展的物理模拟基础模型奠定了基础。

4. 方法论

本文提出的 HyPINO 模型旨在学习一个解决方案算子，该算子将 PDE 的参数化映射到其连续的解场 $u$。它通过一个超网络 (hypernetwork) 来实现这一目标，该超网络根据给定的 PDE 实例生成一个目标物理信息神经网络 (PINN) 的权重。

我们考虑一个定义在有界域 $\Omega \subset \mathbb{R}^2$ 上的二阶线性 PDE 家族，其边界为 $\partial \Omega = \partial \Omega_D \cup \partial \Omega_N$，其中 $\partial \Omega_D$ 和 $\partial \Omega_N$ 分别表示 Dirichlet 边界和 Neumann 边界。目标是找到一个函数 $u: \Omega \to \mathbb{R}^m$ 满足：

$$\mathcal { L } [ u ] ( { \mathbf x } ) = f ( { \mathbf x } ) \quad \mathrm { i n ~ } \Omega , \quad u ( { \mathbf x } ) = g ( { \mathbf x } ) \quad \mathrm { o n ~ } \partial \Omega _ { D } , \quad \frac { \partial u } { \partial n } ( { \mathbf x } ) = h ( { \mathbf x } ) \quad \mathrm { o n ~ } \partial \Omega _ { N } ,$$

其中 $\mathcal{L}$ 是一个涉及最高二阶导数的线性微分算子，$f: \Omega \to \mathbb{R}^m$ 是已知的源项 (source term)，g, h 是预设的边界函数。我们的目标是学习将元组 $(\mathcal{L}, f, g, h)$ 映射到解 $u$ 的解决方案算子。

4.1. PDE 参数化

为了支持广泛的线性 PDE 并与现代机器学习模型兼容，HyPINO 采用了一种灵活、用户友好且可高效处理的参数化方法。

• 源项 (Source Term) $f$: 源项 $f(\mathbf{x})$ 被离散化为在 $\Omega$ 上的均匀网格，生成一个二维数组 $F$，表示其在网格点处的值。
• 边界条件 (Boundary Conditions) g, h: 边界条件通过为每种边界类型创建两个二维网格来参数化：
  1. 二值掩码 (Binary Mask) $M$: 指示在每个网格点处边界的存在。具体来说，对于每个边界点，将其最近的四个网格单元赋值为 1，其余为 0。因此，有 Dirichlet 边界掩码 $M_g$ 和 Neumann 边界掩码 $M_h$。
  2. 值网格 (Value Grid) $V$: 存储在标记单元格中对应的边界值。对于 Dirichlet 条件，存储 $g(\mathbf{x})$；对于 Neumann 条件，存储 $h(\mathbf{x})$。其余单元格为 0。因此，有 Dirichlet 值网格 $V_g$ 和 Neumann 值网格 $V_h$。
• 微分算子 (Differential Operator) $\mathcal{L}$: 参照 [21] 的方法，$\mathcal{L}$ 被参数化为： $$\mathcal { L } [ u ] ( \mathbf { \bar { x } } ) = c _ { 1 } u + c _ { 2 } u _ { x } + c _ { 3 } u _ { y } + c _ { 4 } u _ { x x } + c _ { 5 } u _ { y y }$$ 其中，$\mathbf{c} = (c_1, c_2, c_3, c_4, c_5) \in \mathbb{R}^5$ 是一个五维向量，编码了算子的系数。

下图（原文 Figure 2）展示了一个通过 MMS 生成的 PDE 实例及其完整的参数化：

该图像是图表，展示了通过制造解法生成的样本。具体包括：(a) Dirichlet 边界 $\partial \Omega_D$，(b) 函数 g(x, y)，(c) Neumann 边界 $\partial \Omega_N$，(d) 函数 h(x, y)，(e) 源项 f(x, y)，以及 (f) 解析解 u(x, y)。这些部分分别体现了不同的物理边界条件和源项对解的影响。

Figure 2: Sample generated via MMS with sampled operator $\\mathcal { L } [ u ] = - 0 . 3 1 u _ { x x } - 0 . 1 5 u _ { y }$ and sampled boundaries $\\partial \\Omega$ : (a) Dirichlet boundary, (b) Dirichlet condition, (c) Neumann boundary, (d) Neumann condition, (e) source term, and (f) analytical solution.

4.2. 神经网络算子架构

HyPINO 基于 HyperPINN [8] 框架，设计了一个超网络 (hypernetwork) 神经网络算子，它将参数化的 PDE 实例映射到目标 PINN $u_\theta$ 的权重 $\theta^\star$。形式上，该超网络实现了以下映射：

$$\left( \mathbf { c } , \ F , \ M _ { g } , \ M _ { h } , \ V _ { g } , \ V _ { h } \right) \ \longmapsto \ \theta ^ { \star } \quad { \mathrm { s u c h ~ t h a t } } \quad u _ { \theta ^ { \star } } \approx u ,$$

其中 $\mathbf{c}$ 是 PDE 系数向量，$F$ 是离散化的源函数，$M_g$ 和 $M_h$ 是 Dirichlet 和 Neumann 边界条件的位置网格，$V_g$ 和 $V_h$ 是 Dirichlet 和 Neumann 边界条件的值网格，而 $u$ 是参考解。

4.2.1. 编码器 (Encoder)

编码器负责将 PDE 的参数化信息转化为超网络能够处理的特征表示。

1. 网格嵌入 (Grid Embeddings): 每个网格值输入（即 $F, M_g, M_h, V_g, V_h$）首先通过傅里叶特征映射 (Fourier feature mapping) [44]。该映射通过正弦编码增强输入，使用五个指数递增的频率带（frequencies $= 0.1 \cdot 2^i, i \in \{0, 1, 2, 3, 4\}$）。这有助于网络表示高频内容并减少谱偏差 (spectral bias) [46]。傅里叶映射层之后是两个带有大小为三、步长为二的卷积层。 对于边界位置网格 $M_g$ 和 $M_h$，我们计算嵌入 $z_D^1, z_D^2$ 和 $z_N^1, z_N^2$。对于边界值网格 $V_g$ 和 $V_h$，我们计算 $z_g$ (Dirichlet 值) 和 $z_h$ (Neumann 值) 的嵌入。源项 $F$ 产生嵌入 $z_f$。 最终的空间嵌入 $z_G$ 通过以下方式定义： $$z _ { G } = \left[ z _ { D } ^ { 1 } \odot z _ { g } + z _ { D } ^ { 2 } \parallel z _ { N } ^ { 1 } \odot z _ { h } + z _ { N } ^ { 2 } \parallel z _ { f } \right] ,$$ 其中 $\odot$ 表示元素级乘法 (element-wise multiplication)，$[ \cdot \| \cdot \| \cdot ]$ 表示沿通道维度进行拼接 (concatenation)。这种组合自然地使用边界位置掩码对边界值嵌入进行空间掩码 (spatial masking)，确保信息只注入到语义上有意义的位置。

2. 系数嵌入 (Coefficient Embedding): 算子系数向量 $\mathbf{c} \in \mathbb{R}^5$ 通过傅里叶特征编码器 (Fourier feature encoder) 映射到一个固定长度的表示 $z_C \in \mathbb{R}^{d_C}$，之后再经过一个全连接层 (fully connected layer)。

3. Swin Transformer 编码 (Swin Transformer Encoding): 空间嵌入 $z_G$ 随后由 $K$ 个 Swin Transformer 块 $\{ \mathcal{SW}_i \}_{i=1}^K$ 序列处理 [30]。在每个块之后，引入一个 FiLM 层 [39]，该层根据系数嵌入 $z_C$ 调制 Swin 块的输出。具体来说，我们定义： $$\gamma _ { i } ( z ) , \beta _ { i } ( z ) : \mathbb { R } ^ { d _ { C } } \to \mathbb { R } ^ { C _ { i } }$$ 通过小型多层感知机 (MLPs)，并写成： $$z ^ { ( i + 1 ) } = \gamma _ { i } ( z _ { C } ) \odot \mathcal { S } { \mathcal W } _ { i } ( z _ { G } ^ { ( i ) } ) + \beta _ { i } ( z _ { C } ) ,$$ 其中 $z^{(i)} \in \mathbb{R}^{H_i \times W_i \times C_i}$ 是 $i$-th Swin 块的输出，$z^{(0)} = z_G$。$\odot$ 表示通道级缩放 (channel-wise scaling)，并广播到空间维度。这种设计确保了在每个阶段，潜在的网格特征都通过全局算子系数 $z_C$ 进行自适应调制。 借鉴 Swin Transformer U-Net 架构 [4, 11]，我们保留所有中间潜在表示 $\{z^{(i)}\}_{i=1}^K$ 以保持信息的多尺度性。

4.2.2. 池化与参数生成 (Pooling and Parameter Generation)

为了将空间信息聚合成紧凑的潜在表示，以参数化目标 PINN，我们对展平后的 Swin Transformer 块输出执行多头注意力池化 (Multi-Head Attention Pooling) [25, 54]。

1. 特征图展平 (Feature Map Flattening): 令 $z_i \in \mathbb{R}^{H_i \times W_i \times C_i}$ 表示第 $i$ 个 FiLM 调制后的 Swin 块的输出。我们将其重塑为 token 序列 $kv_i \in \mathbb{R}^{H_i W_i \times C_i}$，作为注意力机制中的键 (keys) 和值 (values)。

2. 多头注意力池化 (Multi-Head Attention Pooling): 对于每个层 $i \in \{1, \ldots, K\}$，我们定义一组 $T$ 个可训练的查询向量 (trainable query vectors) $q_i \in \mathbb{R}^{T \times C_i}$，其中 $T$ 对应于目标 PINN 中的权重和偏置张量 (weight and bias tensors) 的数量。然后，通过多头注意力计算池化表示： $$p _ { i } = \mathrm { M u l t i H eadAttention } _ { i } ( q _ { i } , k v _ { i } , k v _ { i } ) , \quad p _ { i } \in \mathbb { R } ^ { T \times C _ { i } } .$$ 这些池化输出 $\{p_i\}_{i=1}^K$ 沿通道维度拼接，生成一个统一的潜在矩阵： $$p = \left[ p _ { 1 } \parallel p _ { 2 } \parallel \cdots \parallel p _ { K } \right] \in \mathbb { R } ^ { T \times \left( \sum _ { i = 1 } ^ { K } C _ { i } \right) } .$$ 矩阵 $p$ 的每一行包含一个针对目标 PINN 中每个权重或偏置张量的潜在向量，每个向量都嵌入了跨 Swin 层次结构聚合的多尺度信息。

3. 最终参数投影 (Final Parameter Projection): 为了获得实际的 PINN 参数，对 $p$ 的每一行应用一个专门的 MLP，将其映射到对应权重矩阵或偏置向量所需的形状和维度。

4.2.3. 目标 PINN (Target PINN)

目标 PINN 的架构被定义为一个带有傅里叶特征映射 (Fourier feature mapping) [44] 和乘法跳跃连接 (multiplicative skip connections) [45] 的多层感知机 (MLP)。傅里叶编码提供频谱表达能力，以建模高频分量 [46]，而跳跃连接增强梯度传播。在超网络背景下，跳跃连接的额外好处是可以通过允许超网络掩盖某些层来实现基于 PDE 复杂度的动态深度调制。

1. 傅里叶特征编码 (Fourier Feature Encoding): 给定空间输入 $\mathbf{x} \in \mathbb{R}^2$，（非训练的）编码定义为： $$\xi ( \mathbf { x } ) = \left[ \sin \left( 2 \pi \mathbf { B } \mathbf { x } \right) , \cos \left( 2 \pi \mathbf { B } \mathbf { x } \right) , \mathbf { x } \right] \in \mathbb { R } ^ { 2 N + 2 } ,$$ 其中 $\mathbf{B} \in \mathbb{R}^{N \times 2}$ 包含指数等间距的频率带 (exponentially spaced frequency bands)。

2. 网络层计算 (Network Layer Computation): 按照 Wang 等人 [45] 的方法，编码输入通过三个并行变换进行投影： $$z _ { 0 } = \operatorname { t a n h } ( W _ { \mathrm { in } } \xi + b _ { 0 } ) , \quad z _ { u } = \operatorname { t a n h } ( U \xi + b _ { u } ) , \quad z _ { v } = \operatorname { t a n h } ( V \xi + b _ { v } ) ,$$ 其中 $W_{\mathrm{in}}, U, V \in \mathbb{R}^{d \times (2N+2)}$ 和 $b_0, b_u, b_v \in \mathbb{R}^d$，$d$ 表示潜在层的宽度。 随后的层使用乘法跳跃连接进行计算： $$z _ { i + 1 } = z _ { u } \odot \operatorname { t a n h } ( W _ { i } z _ { i } + b _ { i } ) + z _ { v } \odot ( 1 - \operatorname { t a n h } ( W _ { i } z _ { i } + b _ { i } ) ) , \quad i = 0 , \dots , T - 2 ,$$ 其中权重矩阵 $W_i \in \mathbb{R}^{d \times d}$ 和偏置 $b_i \in \mathbb{R}^d$。这里使用 tanh 激活函数是由于其有界输出范围，可以防止超网络训练期间出现爆炸值。

3. 最终预测 (Final Prediction): 最终预测通过线性变换获得： $$u _ { \theta } ( \mathbf { x } ) = W _ { \mathrm { out } } z _ { T - 1 } + b _ { \mathrm { out } } , \quad W _ { \mathrm { out } } \in \mathbb { R } ^ { 1 \times d } , \ b _ { \mathrm { out } } \in \mathbb { R } .$$

对于每个 PDE 实例，超网络因此生成以下参数集 $\theta^\star$： $$\left\{ W _ { 0 } , U , V , b _ { 0 } , b _ { u } , b _ { v } \right\} , \quad \left\{ W _ { i } , b _ { i } \right\} _ { i = 1 } ^ { T - 2 } , \quad W _ { \mathrm { o u t } } , b _ { \mathrm { o u t } } ,$$

4.3. 数据采样

HyPINO 通过混合两种类型的样本构建合成 PDE 数据集：有监督样本和无监督样本。

4.3.1. PDE 类型 (Classes of PDEs)

1. I 类：有监督 PDE (Supervised PDEs): 通过 MMS 生成带有解析解的 PDE。

   • 步骤:
     1. 采样微分算子 $\mathcal{L}$。
     2. 采样域 $\Omega$ (以及其边界 $\partial \Omega$)。
     3. 采样一个解析解 $u(\mathbf{x})$。
     4. 通过将 $u$ 代入 $\mathcal{L}$ 来计算源项 $f(\mathbf{x}) = \mathcal{L}[u]$。
     5. 通过在 $\partial \Omega$ 上评估 $u(\mathbf{x})$ 及其法向导数 (normal derivative) 来推导边界条件 $g(\mathbf{x}) = u(\mathbf{x})$ 和/或 $h(\mathbf{x}) = \frac{\partial u}{\partial n}(\mathbf{x})$。
   • 监督信号: 这类样本除了物理信息损失外，还提供解析解 $u(\mathbf{x})$ 及其导数，可用于训练期间的额外监督损失。

2. II 类：无监督 PDE (Unsupervised PDEs): 这类样本没有先验的解析解 $u(\mathbf{x})$。

   • 步骤:

     1. 采样微分算子 $\mathcal{L}$。
     2. 采样域 $\Omega$ (以及 $\partial \Omega$)。
     3. 采样源项 $f(\mathbf{x})$。
     4. 采样边界条件，受限于旨在最大化适定性 (well-posedness) 的约束。

   • 监督信号: 由于没有真值解，这类样本仅依赖于物理信息损失进行训练。

     整个数据集混合了这两种类型的样本，损失函数会根据是否有解析解来选择是否计算监督损失。

4.3.2. 采样微分算子 (Sampling Differential Operators)

我们考虑所有可能出现在微分算子中的项集合 $\boldsymbol{B} = \{u, u_x, u_y, u_{xx}, u_{yy}\}$。

1. 项数采样: 从离散均匀分布中采样项数 $n \sim \mathrm{Uniform}(\{1, 2, 3\})$。
2. 项选择: 从 $\boldsymbol{B}$ 中无重复地随机选择 $n$ 项。
3. 系数采样: 为每个选定的项 $T_i$ 分配一个系数 $c_i \sim \mathrm{Uniform}([-2, 2])$。
4. 算子构建: 选定项与其系数的乘积之和构成最终的微分算子 $\mathcal{L}[u] = \sum_{i=1}^n c_i T_i[u]$。

4.3.3. 采样或推导源项 (Sampling or Deriving the Source Terms)

源项 $f(\mathbf{x})$ 的处理方式取决于样本是否有已知的解析解。

• 有解析解 (I 类样本): $u(\mathbf{x})$ 被采样（见 A.2.4 节），源项通过符号微分计算得到 ${ \bf { \bar { \Delta } } } f ( { \bf { x } } ) = \mathcal { L } [ { u } ] { \bf { \bar { ( } } x ) }$。
• 无解析解 (II 类样本): 源函数被设置为一个常数 $f(\mathbf{x}) = \mathcal{N}(0, 10^2)$，即从均值为零、方差为 $10^2$ 的高斯分布中抽取的一个空间常数随机源。

4.3.4. 通过 MMS 采样解析解 (Sampling Analytical Solutions via MMS)

我们通过迭代组合 $n$ 个随机构建的项来生成解析解 $u: \Omega \to \mathbb{R}$。详细过程如下：

$$Initialize u(x,y) ← 0 Sample n ~ Uniform({6, 7, ..., 10}) for i = 1 to n do Sample a ~ {0, Uniform([-10, 10])} Sample b ~ {0, Uniform([-10, 10])} Sample c, d, e ~ Uniform([-2π, 2π]) Randomly select ψ(x) ∈ {sin, cos, tanh, σ, x, φ(x)} (Note: σ is sigmoid (1+e^-x)^-1, φ(x) is (1+x^2)^-1) Compute term = d ⋅ ψ(ax + by + c) + e Randomly choose combination rule: if add then u(x,y) ← u(x,y) + term else if multiply then u(x,y) ← u(x,y) ⋅ term else if compose then u(x,y) ← d ⋅ ψ(a ⋅ u(x,y) + c) + e end end return u(x,y)$$ Algorithm 1: Sampling procedure for random, differentiable functions that can be used as analytical solutions with MMS.

• 初始解: u(x,y) 初始化为 0。
• 项数: $n$ 从离散均匀分布 $\mathrm{Uniform}(\{6, 7, \dots, 10\})$ 中抽取。
• 项的构成: 每个项由一个非线性函数 $\psi$（从 $\{x, \sin, \cos, \tanh, (1+e^{-x})^{-1}, (1+x^2)^{-1}\}$ 中随机选择）和系数 a, b, c, d, e 组成。其中 a, b 从 $\{0, \mathrm{Uniform}([-10, 10])\}$ 中采样，c, d, e 从 $\mathrm{Uniform}([-2\pi, 2\pi])$ 中采样。
• 组合规则: 新生成的项以三种随机选择的规则之一整合到当前解 u(x,y) 中：
  • 加法 (Addition): $u(x,y) \leftarrow u(x,y) + \text{term}$
  • 乘法 (Multiplication): $u(x,y) \leftarrow u(x,y) \cdot \text{term}$
  • 复合 (Composition): $u(x,y) \leftarrow d \cdot \psi(a \cdot u(x,y) + c) + e$

4.3.5. 采样物理域 (Sampling Physical Domains)

我们采用基于构造实体几何 (Constructive Solid Geometry, CSG) [32] 的随机采样过程来生成复杂多样的域。

• 外边界 (Outer Boundary): 域 $\Omega$ 最初定义为边界框 $[-1, 1]^2$，代表外边界 $\partial \Omega_{\mathrm{outer}}$。在某些 PDE 类型（如抛物线或双曲）中，$y$ 轴可能代表时间维度，其中 $y=-1$ 对应于初始时间。
• 内边界 (Inner Boundaries): 通过随机生成几何形状（例如三角形、多边形、圆形、矩形）并使用 CSG 操作将其从外部区域减去，来创建内边界 $\partial \Omega_{\mathrm{inner},i}$。一个采样域的例子在 Figure 2 中展示。

4.3.6. 采样边界条件 (Sampling Boundary Conditions)

我们考虑 Dirichlet 和 Neumann 两种边界条件。 为了最大化 PDE 的适定性 (well-posedness) 可能性，首先将 PDE 分类为椭圆、抛物线或双曲类型。基于此分类，在外边界 $\partial \Omega_{\mathrm{outer}}$ 上施加以下边界条件：

• 椭圆 PDE (Elliptic PDEs): 在 $\partial \Omega_{\mathrm{outer}}$ 上施加 Dirichlet 条件： $$u ( { \bf x } ) = g ( { \bf x } ) , \quad { \bf x } \in \partial \Omega _ { \mathrm { o u t e r } } .$$
• 抛物线 PDE (Parabolic PDEs): 将 $y$ 解释为时间，在 $y=-1$ 处施加初始条件。此外，在空间边界上施加 Dirichlet 条件： $$u ( { \bf x } ) = g ( { \bf x } ) , { \bf x } \in \partial \Omega _ { \mathrm { o u t e r } } \backslash \{ y = 1 \} .$$
• 双曲 PDE (Hyperbolic PDEs): 类似于抛物线设置，将 $y=-1$ 设置为初始时间，并施加： $$u ( { \bf x } ) = g ( { \bf x } ) , ~ { \bf x } \in \partial \Omega _ { \mathrm { o u t e r } } \backslash \{ y = 1 \} , \\ \frac { \partial u } { \partial n } ( { \bf x } ) = { h } ( { \bf x } ) , ~ { \bf x } \in \partial \Omega _ { \mathrm { o u t e r } } \cap \{ y = - 1 \} .$$

对于内边界（通过 CSG 减去几何形状创建的），每个组成部分 $\partial \Omega_{\mathrm{inner},i}$ ($i \in \{0, 1, \ldots, n\}$) 独立地被分配 Dirichlet 或 Neumann 条件，或者两者兼有： $$u ( { \bf x } ) = g _ { i } ( { \bf x } ) \quad \mathrm { o r } \quad \frac { \partial u } { \partial n } ( { \bf x } ) = h _ { i } ( { \bf x } ) , \quad { \bf x } \in \partial \Omega _ { \mathrm { i n n e r } , i } .$$

• I 类样本 (有解析解): 边界条件直接从已知解析解 $u(\mathbf{x})$ 导出： $$g ( { \bf x } ) = u ( { \bf x } ) , \quad { \bf x } \in \partial \Omega _ { D } \\ h ( { \bf x } ) = \frac { \partial u } { \partial n } ( { \bf x } ) , \quad { \bf x } \in \partial \Omega _ { N } .$$
• II 类样本 (无解析解): 源项 $f(\mathbf{x})$ 在边界上设置为零。边界值采样方式与算子 $\mathcal{L}[u]$ 保持一致，以确保方程和边界条件兼容：
  • 如果 $u$ 以独立项形式出现在 $\mathcal{L}[u]$ 中，则在 $\partial \Omega$ 上设置 $u(\mathbf{x})=0$。
  • 如果一阶项（如 $u_x, u_y$）独立出现，则允许对应的 Dirichlet 边界值 $u(\mathbf{x})$ 为随机常数。
  • 在其他情况下，也允许线性剖面 (linear profiles) 作为边界值。

4.4. 目标函数

对于每个 PDE 实例 $(\mathcal{L}, f, g, h)$ 在 $\Omega \subset [-1, 1]^2$ 上，具有 Dirichlet ($\partial \Omega_D$) 和 Neumann ($\partial \Omega_N$) 边界，HyPINO $\Phi: (\mathcal{L}, f, g, h) \mapsto \theta^\star$ 生成目标 PINN $u_{\theta^\star}: \Omega \to \mathbb{R}$ 的权重 $\theta^\star$。

1. 残差损失 (Residual Loss) $\mathcal{I}_R$: 惩罚神经网络输出 $u_{\theta^\star}$ 在域 $\Omega$ 内部不满足 PDE 方程的程度。 $$\mathcal { I } _ { \mathrm { R } } = \frac { 1 } { | \Omega | } \sum _ { \mathbf { x } \in \Omega } \rho \left( \mathcal { L } [ u _ { \theta ^ { \star } } ] ( \mathbf { x } ) - f ( \mathbf { x } ) \right)$$ 其中 $|\Omega|$ 是域 $\Omega$ 的面积，$\rho(\cdot)$ 是 Huber 函数。

2. Dirichlet 损失 (Dirichlet Loss) $\mathcal{I}_D$ 和 Neumann 损失 (Neumann Loss) $\mathcal{I}_N$: 惩罚神经网络输出 $u_{\theta^\star}$ 在边界上不满足边界条件的程度。 $$\mathcal { I } _ { \mathrm { D } } = \frac { 1 } { | \partial \Omega _ { D } | } \sum _ { \mathbf { x } \in \partial \Omega _ { D } } \rho \left( u _ { \theta ^ { \star } } ( \mathbf { x } ) - g ( \mathbf { x } ) \right) ,$$ $$\mathcal { I } _ { \mathrm { N } } = \frac { 1 } { | \partial \Omega _ { N } | } \sum _ { \mathbf { x } \in \partial \Omega _ { N } } \rho \left( \nabla u _ { \theta ^ { \star } } ( \mathbf { x } ) \cdot \mathbf { n } ( \mathbf { x } ) - h ( \mathbf { x } ) \right) .$$ 其中 $|\partial \Omega_D|$ 和 $|\partial \Omega_N|$ 分别是 Dirichlet 和 Neumann 边界的长度（或面积），$\mathbf{n}(\mathbf{x})$ 是边界上的单位法向量。

3. Sobolev 损失 (Sobolev Loss) $\mathcal{I}_S$: 对于已知解析解 $u$ 的 PDE（I 类样本），添加一个二阶 Sobolev 损失 [7]，惩罚函数值、梯度和二阶导数中的误差。 $$\mathcal { I } _ { \mathrm { S } } = \frac { 1 } { | \Omega | } \sum _ { \mathbf { x } \in \Omega } \sum _ { k = 0 } ^ { 2 } \lambda _ { \mathrm { S } } ^ { ( k ) } \rho \left( \nabla ^ { k } u _ { \theta ^ { \star } } ( \mathbf { x } ) - \nabla ^ { k } u ( \mathbf { x } ) \right) .$$ 其中 $\nabla^k u$ 表示 $u$ 的 $k$ 阶导数，$\lambda_S^{(k)}$ 是权重系数。

4. 总损失 (Total Loss) $\mathcal{I}$: 总损失是所有激活项的加权和： $$\mathcal { I } = \lambda _ { \mathrm { R } } \mathcal { I } _ { \mathrm { R } } + \lambda _ { \mathrm { D } } \mathcal { I } _ { \mathrm { D } } + \lambda _ { \mathrm { N } } \mathcal { I } _ { \mathrm { N } } + \mathcal { I } _ { \mathrm { S } } ,$$ 其中 $\mathcal{I}_R$ 总是包含在内；当配置点落在 $\partial \Omega_D$ 或 $\partial \Omega_N$ 上时，分别应用 $\mathcal{I}_D$ 和 $\mathcal{I}_N$；$\mathcal{I}_S$ 仅在已知真值解 $u$ 时激活。

4.5. 残差驱动的迭代精炼 (Residual-Driven Iterative Refinement)

超网络生成固定架构的单个 PINN 可能在多物理场设置中显得受限。然而，超网络提供了一种在推理时生成 PINN 集成 (ensemble) 的自然机制。对于线性 PDE，HyPINO 提出了一种迭代精炼过程，类似于多阶段神经网络 (multi-stage neural networks) 逐步减少残差误差 [49]。

1. 初始解 (Initial Solution): 对于一个给定的 PDE 实例 (L, f, g, h)，首先通过超网络生成一个初始 PINN 解 $u^{(0)}$： $$u ^ { ( 0 ) } : = u _ { \Phi ( L , f , g , h ) }$$

2. 残差计算与“delta PDE” (Residual Calculation and "Delta PDE"): 计算 $u^{(0)}$ 对应的残差：

   • 域内残差 $r_f^{(0)} = f - \mathcal{L}[u^{(0)}]$
   • Dirichlet 边界残差 $r_D^{(0)} = g - u^{(0)}$
   • Neumann 边界残差 $r_N^{(0)} = h - \nabla u^{(0)} \cdot \mathbf{n}$ 这些残差被视为一个“delta PDE”的源项和边界条件，即一个需要额外求解的修正问题。

3. 生成修正 PINN (Generating a Corrective PINN): 将这些残差作为输入，再次通过超网络生成一个修正 PINN $\delta u^{(1)}$： $$\delta \boldsymbol { u } ^ { ( 1 ) } : = \boldsymbol { u } _ { \Phi ( L , r _ { f } ^ { ( 0 ) } , r _ { D } ^ { ( 0 ) } , r _ { N } ^ { ( 0 ) } ) } .$$

4. 更新解 (Updating the Solution): 将修正 PINN 的贡献添加到当前解中，得到更新后的解： $$u ^ { ( 1 ) } : = u ^ { ( 0 ) } + \delta u ^ { ( 1 ) }$$

5. 迭代过程 (Iterative Process): 重复此过程 $T$ 次迭代 (对于 $t = 0, \ldots, T-1$)： $$\boldsymbol { u } ^ { ( t + 1 ) } : = \boldsymbol { u } ^ { ( t ) } + \delta \boldsymbol { u } ^ { ( t + 1 ) } , \quad \mathrm { w i t h } \quad \delta \boldsymbol { u } ^ { ( t + 1 ) } : = \boldsymbol { u } _ { \Phi ( L , r _ { f } ^ { ( t ) } , r _ { D } ^ { ( t ) } , r _ { N } ^ { ( t ) } ) } .$$ 最终的集成解为： $$\boldsymbol { u } ^ { ( T ) } = \boldsymbol { u } ^ { ( 0 ) } + \sum _ { t = 1 } ^ { T } \delta \boldsymbol { u } ^ { ( t ) } .$$ 这个模型被称为 $HyPINO^i$，其中 $i$ 定义了精炼的轮次。

在迭代精炼过程中，只有小的 PINN 会被微分以计算残差，而超网络 $\Phi$ 保持在推理模式。文章使用均匀权重组合每个 $\delta u^{(t)}$。

5. 实验设置

本节详细描述了 HyPINO 及其基线模型的训练过程、评估方法和所使用的基准问题。

5.1. 训练

HyPINO 生成的目标 PINN 架构包含三个隐藏层，每层有 32 个隐藏单元。整个模型总共有 77M (Million) 个可训练参数。

• 优化器 (Optimizer): AdamW 优化器。

• 学习率调度 (Learning Rate Schedule): 学习率从 $10^{-4}$ 采用余弦调度 (cosine schedule) 衰减到 $10^{-6}$。

• 批次大小 (Batch Size): 128。

• 训练批次 (Training Batches): 30,000 批次。

• 硬件: 所有实验均在 4 块 NVIDIA RTX 4090 GPU 上进行。

  训练过程分为两个阶段：

1. 第一阶段 (10,000 批次): 所有样本均为有监督样本 (supervised samples)，使用解析解进行训练。
   • 损失权重：$\lambda_R = 0.01$, $\lambda_S^{(0)} = 1$, $\lambda_S^{(1)} = 0.1$, $\lambda_S^{(2)} = 0.01$, $\lambda_D = 10$, $\lambda_N = 1$。
2. 第二阶段 (剩余 20,000 批次): 每个批次包含 50% 的有监督样本和 50% 的无监督样本。
   • 损失权重：$\lambda_R = 0.1$, $\lambda_S^{(0)} = 1$, $\lambda_S^{(1)} = 1$, $\lambda_S^{(2)} = 0.1$, $\lambda_D = 10$, $\lambda_N = 1$。

5.2. 基线模型

本文将 HyPINO 与三个基线模型进行比较，每个模型都训练了 30,000 批次，批次大小为 128，初始学习率为 $10^{-4}$。

1. U-Net [41]:

   • 架构: 卷积编码器-解码器网络。它共享与 HyPINO 相同的编码器部分，但用一个直接输出 $224 \times 224$ 解决方案网格的卷积解码器取代了超网络。
   • 训练数据: 仅在有监督数据上训练。
   • 参数量: 62M (Million)。

2. Poseidon [19]:

   • 架构: 一个大型的预训练神经网络算子。使用了 Poseidon-B 检查点。
   • 输入适配: 改变了嵌入 (embedding) 和前导时间条件层归一化 (lead-time-conditioned layer normalization) 层的维度，以匹配本文的参数化大小（5 通道网格输入）。
   • 训练数据: 仅在有监督数据上进行微调。
   • 参数量: 158M。

3. PINO [29]:

   • 架构: 傅里叶神经网络算子 (Fourier Neural Operator, FNO) [28]。
   • 输入适配: 适配以接受 5 通道网格输入，并使用 FiLM 层对 PDE 算子进行条件化 (condition)。
   • 训练数据: 采用与 HyPINO 相同的混合监督和课程学习策略，包括物理信息损失。
   • 参数量: 3M。

5.3. 评估

我们在 PINN 文献中的七个标准 PDE 基准问题上评估了 HyPINO 和基线模型。所有问题都重新定义在规范域 $[-1, 1]^2$ 上。

1. HT - 1D 热方程 (1D Heat Equation) [32]:

   • 方程: $\frac { \partial u } { \partial t } = \alpha \frac { \partial ^ { 2 } u } { \partial x ^ { 2 } }$
   • 域: $x \in [0, 1], t \in [0, 1]$
   • 条件: Dirichlet 边界条件 $u(0, t) = u(1, t) = 0$，初始条件 $u(x, 0) = \sin(\frac{n\pi x}{L})$。
   • 解析解: $u(x, t) = \exp(-\frac{n^2\pi^2\alpha t}{L^2})\sin(\frac{n\pi x}{L})$。

2. HZ - 2D 亥姆霍兹方程 (2D Helmholtz Equation) [2]:

   • 方程: $\Delta u(x, y) + k^2 u(x, y) = f(x, y)$
   • 域: $(x, y) \in [-1, 1]^2$
   • 条件: 齐次 Dirichlet 边界条件 $u(-1, y) = u(1, y) = u(x, -1) = u(x, 1) = 0$。
   • 解析解实例: $u(x, y) = \sin(\pi x)\sin(4\pi y)$。

3. HZ-G - 复杂几何上的亥姆霍兹方程 (Helmholtz on an irregular geometry) [16]:

   • 方程: $-\Delta u(x, y) + k^2 u(x, y) = f(x, y)$
   • 域: $\Omega = [-1, 1]^2 \setminus \Omega_{\mathrm{circle}}$ (一个正方形区域减去四个圆形区域)。
   • 条件: 混合 Dirichlet 边界条件，外边界上为 0.2，内圆边界上为 1.0。

4. PS-C - 带四个圆形内边界的泊松方程 (Poisson with four circular interior boundaries) [16]:

   • 方程: $-\Delta u(x, y) = 0$
   • 域: $\Omega = \Omega_{\mathrm{rec}} \setminus \bigcup_{i=1}^4 R_i$ (一个矩形区域减去四个圆形区域)。
   • 条件: 混合 Dirichlet 边界条件，外矩形边界上为 1，内圆边界上为 0。

5. PS-L - L 形域上的泊松方程 (Poisson on an L-shaped domain) [32]:

   • 方程: $-u_{xx} - u_{yy} = 1$
   • 域: $\Omega = [-1, 1]^2 \setminus [0, 1]^2$ (一个 L 形区域)。
   • 条件: 齐次 Dirichlet 边界条件 $u(x, y) = 0$ 在 $\partial \Omega$ 上。

6. PS-G - 带有高斯涡度场的泊松方程 (Poisson with a Gaussian vorticity field) [19]:

   • 方程: $-\Delta u(x, y) = f(x, y)$
   • 域: $(x, y) \in (0, 1)^2$
   • 条件: 齐次 Dirichlet 边界条件 $u(x, y) = 0$ 在 $\partial \Omega$ 上。
   • 源项: $f(\mathbf{x}, \mathbf{y})$ 是 $N$ 个高斯函数的叠加。

7. WV - 1D 波动方程 (1D Wave Equation) [16]:

   • 方程: $\frac{\partial^2 u}{\partial t^2} - 4 \frac{\partial^2 u}{\partial x^2} = 0$
   • 域: $(x, t) \in [0, 1] \times [0, 1]$
   • 条件: Dirichlet 边界条件 $u(0, t) = u(1, t) = 0$，初始条件 $u(x, 0) = \sin(\pi x) + \frac{1}{2}\sin(4\pi x)$ 和 $\frac{\partial u}{\partial t}(x, 0) = 0$。
   • 解析解: $u(x, t) = \sin(\pi x)\cos(2\pi t) + \frac{1}{2}\sin(4\pi x)\cos(8\pi t)$。

5.3.1. 评估指标 (Evaluation Metrics)

本文使用两种指标来评估模型的性能：均方误差 (Mean Squared Error, MSE) 和对称平均绝对百分比误差 (Symmetric Mean Absolute Percentage Error, SMAPE)。

1. 均方误差 (Mean Squared Error, MSE):

   • 概念定义: MSE 衡量预测值与真实值之间的平均平方差。它是一个常用的回归损失函数，对较大的误差给予更高的惩罚。MSE 的值越小，表示模型的预测越接近真实值。
   • 数学公式: $$\mathrm{MSE} = \frac{1}{N} \sum_{i=1}^{N} (u_i - u_{\theta^\star, i})^2$$
   • 符号解释:
     • $N$: 样本点总数。
     • $u_i$: 第 $i$ 个样本点的真实解值。
     • $u_{\theta^\star, i}$: 第 $i$ 个样本点的模型预测解值。

2. 对称平均绝对百分比误差 (Symmetric Mean Absolute Percentage Error, SMAPE):

   • 概念定义: SMAPE 是 MAPE (平均绝对百分比误差) 的一种改进形式，解决了当真实值 $u_i$ 为零时 MAPE 未定义的问题，并通过将绝对误差除以真实值和预测值绝对值之和的平均值来保持对称性。它通常用于衡量预测的准确性，尤其是在时间序列预测中。SMAPE 的值越小，表示预测的相对误差越小。
   • 数学公式: $$\mathrm{SMAPE} = \frac{100\%}{N} \sum_{i=1}^{N} \frac{|u_i - u_{\theta^\star, i}|}{(|u_i| + |u_{\theta^\star, i}|)/2}$$
   • 符号解释:
     • $N$: 样本点总数。
     • $u_i$: 第 $i$ 个样本点的真实解值。
     • $u_{\theta^\star, i}$: 第 $i$ 个样本点的模型预测解值。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 零-shot 泛化性能

本文在七个 PDE 基准上评估了 HyPINO 和基线模型的性能，结果总结在 Table 1 中。

以下是原文 Table 1 的结果：

Table 1: Model performance across seven PDE benchmarks. Each cell shows mean squared error (MSE) / symmetric mean absolute percentage error (SMAPE) [33]. Lower is better.

分析：

• HyPINO 的表现: HyPINO 在零-shot 性能上表现出持续的优势，平均排名为 2.00，优于 U-Net (3.00)、Poseidon (2.86) 和 PINO (2.14)。这尤其值得注意，因为 HyPINO 生成的是 PINN 权重，其输出空间比基线模型直接输出网格解更复杂。
• 物理信息目标的优势: 总体而言，使用物理信息目标训练的模型（PINO, HyPINO）通常优于纯粹依赖监督数据的模型（U-Net, Poseidon）。这表明物理信息损失有助于弥合合成训练数据和评估任务之间的泛化差距。

6.1.2. 迭代精炼的效果

Table 1 还突出了所提出的迭代精炼方法的显著优势。

• HyPINO$^3$ (三次精炼): 经过三次精炼迭代后，$HyPINO^3$ 在除一个基准外所有任务上都实现了显著的误差降低。PS-C 和 PS-G 的 MSE 降低了超过一个数量级，HT 更是接近两个数量级。

• HyPINO$^{10}$ (十次精炼): 经过十次精炼迭代后，HyPINO^{10}$$ 在除两个基准外所有评估任务上都达到了最先进的性能，其表现优于最佳基线模型 2.1 倍（HZ 对比 Poseidon）到 173 倍（HT 对比 PINO）。

• 通用性: 迭代精炼的有效性并非 HyPINO 独有，它对其他物理信息神经网络算子也有效，如 $PINO^3$ 和 $PINO^10$ 的性能提升所示。这表明迭代精炼是一种通用的测试时间增强策略 (test-time enhancement)。

  下图（原文 Table 2）展示了 HyPINO 在零次、三次和十次精炼后在所有基准 PDE 上的预测和误差对比，以视觉方式呈现了精炼的显著效果。

  该图像是图表，展示了HyPINO在多个基准 PDE 上的预测结果和误差。每个子图分别表示不同场景下的参考值、预测值及其差异，最后一列为不同迭代轮次后的结果。整体上展示了模型在零、三、十次精炼后的效果。

Table 2: Comparison of predictions and errors of HyPINO after zero, three, and 10 refinement rounds across all benchmark PDEs.

下图（原文 Figure 3）进一步可视化了迭代精炼对 HyPINO 预测的影响，展示了 MSE 和相对误差随迭代次数的变化。

该图像是一个图表，展示了 HyPINO 在不同的精细化迭代下的均方误差（MSE）和相对误差。左图显示了不同方法在多个迭代轮次中的 MSE 变化，右图表现了相对误差 $E_i/E_0$ 随迭代轮次的变化。不同颜色的曲线代表不同的方法。

Figure 3: Effect of iterative refinement on HyPINO predictions across benchmarks. MSE (left) and relative error (right) as functions of refinement iterations. Relative error at iteration $i$ is the ratio of MSE at iteration $i$ to that at iteration 0.

分析：

• 误差持续降低: Figure 3 表明，随着精炼迭代次数的增加，MSE 和相对误差持续降低，验证了迭代精炼的有效性。

• 误差修正: 迭代精炼之所以有效，是由于它能够修正合成数据训练中引入的系统性偏差。即使合成数据多样且广泛，其基础函数相对简单。初始 HyPINO 生成的 PINN 所产生的误差往往是一致的，这使得后续迭代中的残差修正能够系统地进行。

• PS-L 性能下降: 在 PS-L 基准上，性能略有下降，这可能归因于初始误差已经非常低，且解值较小，导致修正项超出了训练时遇到的分布范围。

  下图（原文 Figure 12）展示了迭代精炼在不同样本上的视觉进展。

  该图像是插图，展示了迭代改进过程的视觉进展。每一行包括四个部分： (a) HyPINO 预测 $\bar { u ^ { ( 0 ) } }$，(b) 第一次改进 $\delta u ^ { ( 1 ) }$，(c) 第二次改进 $\bar { \delta } u ^ { ( 2 ) }$，(d) 最终预测 $u ^ { ( 0 ) } + \delta u ^ { ( 1 ) } + \delta u ^ { ( 2 ) }$，以及 (e) 真实值。图中展示了不同样本的逐步改进过程。

Figure 12: Visual progression of iterative refinement across different samples. Each row shows: (a) HyPINO prediction $\\bar { u ^ { ( 0 ) } }$ , (b) 1st Refinement $\\delta u ^ { ( 1 ) }$ , (c) 2nd Refinement $\\bar { \\delta } u ^ { ( 2 ) }$ , (d) Final prediction $u ^ { ( 0 ) } + \\delta u ^ { ( 1 ) } + \\delta u ^ { ( 2 ) }$ , and ground truth (e).

6.2. 微调 (Fine-tuning)

本文评估了 HyPINO 初始化的 PINN 在后续微调时的收敛行为，并与随机初始化和 Reptile 元学习 (meta-learning) 初始化的 PINN 进行了比较。Reptile 模型在本文的合成数据集上进行了 10,000 次外循环和 1,000 次内循环训练。

• 微调设置: PINN 微调进行 10,000 步，使用 Adam 优化器，初始学习率为 $10^{-4}$，通过余弦调度衰减到 $10^{-7}$。

  下图（原文 Figure 4）展示了在 1D 热方程 (HT) 基准上的收敛结果。

  该图像是一个图表，展示了在1D热方程（HT）中，随机初始化的PINNs（蓝色）、Reptile初始化的PINNs（橙色）和HyPINO初始化的PINNs（绿色）在不同迭代下的均方误差（MSE）收敛情况。该图表显示了HyPINO的收敛速度显著优于其他方法。

Figure 4: Convergence on the 1D Heat Equation (HT) for randomly initialized PINNs (blue), Reptile-initialized PINNs (orange), and HyPINOinitialized PINNs.

分析：

• HyPINO 初始化的优势: HyPINO 初始化的 PINN 在 4 个基准测试中始终以较低的损失开始，并收敛到较低的最终误差。

• 收敛速度: 随机初始化的 PINN 平均需要 1,068 步才能达到 HyPINO 初始化的模型的初始 MSE。对于集成模型，匹配 $HyPINO^3$ 和 $HyPINO^10$ 的 MSE 分别平均需要 1,617 和 1,772 步。

• Reptile 的表现: Reptile 初始化的 PINN 在前 1,000 步内收敛迅速，这与其元训练配置一致。然而，它们往往更早地进入平台期，并收敛到比 HyPINO 初始化更高的最终误差。

  这些结果表明，HyPINO 不仅具有强大的零-shot 性能，还为 PINN 训练提供了一种稳健的初始化策略。

下图（原文 Figure 13 和 Figure 14）展示了所有基准 PDE 问题上 PINN 在微调时的收敛情况，并比较了不同集成大小。

该图像是一个图表，展示了在不同基准 PDE 问题上，PINNs 在微调过程中的收敛情况。图中比较了不同的集成大小，包括单个 PINN、大小为 4 的集成和大小为 11 的集成，分别用不同的颜色表示，其中 HyPINO 初始化的 PINN 经过 $i - 1$ 次精炼轮次后的集合表现出更优的收敛特性。

Figure 13: Convergence of PINNs when fine-tuned on each of the benchmark PDE problems. We compare the convergence of different ensemble sizes: (a) single PINN, (b) ensemble of size 4 (c) ensemble of size 11, where an ensemble of size $i$ is an ensemble of $i$ randomly initialized PINNs (blue), $i$ PINNs initialized via Reptile (orange), or one PINN initialized via HyPINO followed by $i - 1$ refinement rounds (green).

该图像是图表，展示了不同初始化方法对PINNs收敛性的影响。共有六个子图，分别呈现了在各种基准问题（如二维泊松方程和一维波动方程）上，不同规模的PINN集成（单个PINN、4个PINN和11个PINN）的均方根误差（MSE）与迭代次数的关系。每个图中，蓝色线表示随机初始化的PINN，橙色线为通过Reptile初始化的PINN，绿色线为通过HyPINO初始化后的PINN。

Figure 14: Convergence of PINNs when fine-tuned on each of the benchmark PDE problems. We compare the convergence of different ensemble sizes: (a) single PINN, (b) ensemble of size 4 (c) ensemble of size 11, where an ensemble of size $i$ is an ensemble of $i$ randomly initialized PINNs (blue), $i$ PINNs initialized via Reptile (orange), or one PINN initialized via HyPINO followed by $i - 1$ refinement rounds (green).

6.2.1. L-BFGS 微调与不同初始化

为了测试 HyPINO 初始化是否也对二阶优化方法有益，作者使用 L-BFGS 进行了额外的微调实验。所有运行均使用标准 L-BFGS 超参数，未进行调优。

以下是原文 Table 4 的结果：

Table 4: Iterations required to match the initial MSE of a HyPINO-initialized PINN.

分析：

• HyPINO 初始化的 PINN 在 PS-C 和 PS-L 上，Reptile 分别需要 22 和 65 步 L-BFGS 才能达到 HyPINO 的初始误差，而随机初始化需要 36 和 34 步。在 HZ-G 上，Reptile 需要 211 步，而随机初始化未能达到 HyPINO 的初始精度。这再次证明了 HyPINO 初始化的优越性。

  以下是原文 Table 5 的结果：

  	HT	HZ	HZ-G	PS-C	PS-L	PS-G	WV
  Random Init	2.93e-9	1.15e-7	2.89e-1	3.18e-4	7.05e-5	5.69e-4	2.68e-2
  Reptile Init	2.69e-9	2.18e-7	3.55e-2	9.34e-4	8.66e-5	5.68e-4	3.80e-4
  HyPINO Init	1.62e-9	1.52e-7	1.74e-2	8.19e-5	6.87e-5	5.69e-4	1.94e-2

Table 5: Final MSE after L-BFGS fine-tuning.

分析：

• 最终 MSE: HyPINO 初始化在使用 L-BFGS 微调后依然有效，在四个基准（HT, PS-C, PS-L, HZ-G）上实现了最低的最终 MSE，并在 PS-G 上具有竞争力。只有在 WV 上 Reptile 表现最佳，而在 HZ 上随机初始化略优于 HyPINO。这些差异在考虑到 L-BFGS 迭代的高成本时尤为有意义。

6.3. 分辨率不变性消融实验 (Resolution Invariance Ablation)

神经网络算子的一项重要特性是其离散化不变性 (discretization-invariance)。尽管 HyPINO 的输出是一个可以在任意空间坐标上评估的连续 PINN，但输入 PDE 参数化（源函数和边界掩码/值）被离散化为固定大小的网格 ($224 \times 224$)，以匹配 Swin Transformer 的输入分辨率。参照先前的工作 [19]，这种限制可以通过在测试时改变输入网格分辨率并将其重新调整为 $224 \times 224$ 来展示分辨率不变性。

作者在 Helmholtz 基准 (HZ) 上进行了此消融实验，将源函数分辨率从 28 更改为 448。

以下是原文 Table 3 的结果：

Table 3: Resolution invariance ablation on the Helmholtz benchmark (HZ). Each cell reports SMAPE across different input grid sizes, resized to $2 2 4 \times 2 2 4$ .

分析：

• 在分辨率为 56 到 448 之间，SMAPE 的变化小于 0.3，这表明了近似的分辨率不变性。只有在非常粗糙的分辨率 ($28 \times 28$) 下，性能才开始下降。这证明了 HyPINO 在一定程度上能够处理不同输入分辨率的 PDE 参数化。

7. 总结与思考

7.1. 结论总结

本文提出了 HyPINO，一个基于超网络的多物理场神经网络算子，它在合成数据上进行训练，这些数据包括通过制造解法 (MMS) 构建的有监督样本和纯粹基于物理信息目标的无监督样本。HyPINO 框架在现有神经网络算子中提供了最高程度的输入空间灵活性，能够适应微分算子、源项、域几何形状（包括内部边界）以及边界/初始条件的变化。

主要发现和贡献包括：

1. 卓越的零-shot 泛化能力: 实验证明 HyPINO 在多样化的基准 PDE 集上实现了强大的零-shot 泛化，优于现有的 U-Nets、Poseidon 和 PINO 模型。这表明通过混合监督和物理信息学习，可以显著减少对高保真标注训练数据的依赖。

2. 有效的迭代精炼策略: 引入了一种轻量级且有效的迭代精炼机制，通过将 PINN 的残差视为“delta PDE”并生成修正 PINN，显著提高了预测精度。该机制具有通用性，可应用于其他物理信息神经网络算子框架。

3. 高效的 PINN 初始化: HyPINO 生成的参数为 PINN 的微调提供了出色的初始化，使得模型能够比随机初始化和 Reptile 初始化的基线更快地收敛到更低的最终误差。

   这些结果表明，HyPINO 为将神经网络算子扩展到解决日益复杂、非线性和高维的 PDE 问题奠定了可扩展的基础。

7.2. 局限性与未来工作

本文的作者指出了 HyPINO 当前的几个局限性，并提出了未来的研究方向：

• 当前限制:
  • 线性 2D PDE: 当前实现仅限于线性二维 (2D) 偏微分方程。
  • 空间均匀系数: 模型只能处理空间均匀的系数，这意味着系数在域内是常数，不能随空间位置变化。
• 未来工作:

  • 增加输入维度: 扩展模型以处理更高维度的 PDE 问题。

  • 空间变化系数: 引入对空间变化系数的支持，以模拟更复杂的物理现象。

  • 非线性 PDE: 扩展框架以解决非线性 PDE，这是现实世界许多复杂物理现象的特征。

  • 耦合系统: 建模相互耦合的物理系统，如流固耦合等。

    作者认为，其中一些扩展可以通过对数据生成过程、模型输入编码架构或训练过程进行适度修改来实现。而另一些则可能需要增加模型容量，这可以通过扩展架构或改进目标网络的参数生成过程来实现。

7.3. 个人启发与批判

7.3.1. 个人启发

这篇论文的创新点和实验结果为多物理场 PDE 求解带来了显著的启发：

1. 混合监督的强大潜力: 结合 MMS 生成的精确监督数据与物理信息损失的自监督能力，为数据稀缺的科学计算领域提供了一条有效途径。这在很大程度上解决了纯 PINN 的稳定性问题和纯数据驱动算子的数据依赖问题。这种混合策略能够更有效地利用物理定律这一强大的先验知识，同时通过高质量的解析解进行校准。
2. 超网络在元学习中的适应性: Swin Transformer 结合 FiLM 层的超网络设计，能够灵活地根据 PDE 参数动态生成 PINN 权重，实现了在广阔 PDE 空间上的零-shot 泛化。这种元学习方法避免了为每个新的 PDE 实例从头训练，极大地提高了效率。这表明超网络是构建通用求解器的关键组件。
3. 迭代精炼的优雅与高效: 将残差作为“delta PDE”并迭代生成修正 PINN 的策略，是一种非常优雅和计算高效的集成 (ensemble) 方法。它在推理时动态地提高了精度，而无需额外的训练或复杂的反向传播，为实时模拟和高精度需求提供了两全其美的解决方案。这种思想可以推广到其他数值方法和深度学习模型中，以提高鲁棒性和精度。
4. 构建“世界模型”的坚实一步: HyPINO 在处理多变算子、几何和边界条件方面的灵活性，使其成为迈向构建通用物理模拟器（即“世界模型”）的坚实一步。它展示了如何通过系统性的数据生成和模型设计，让 AI 模型真正理解并求解物理定律。

7.3.2. 批判与潜在改进

尽管 HyPINO 取得了显著进展，但仍存在一些潜在问题和可以改进的地方：

1. 合成数据与真实世界的差距: 尽管 MMS 提供了精确的真值，且随机采样增加了多样性，但合成数据与真实世界复杂 PDE 问题之间仍可能存在差距。真实世界的 PDE 往往涉及更复杂的非线性、多尺度现象以及随机性和不确定性。模型在合成数据上的表现，是否能直接迁移到实际工程问题，仍需更全面的验证。
2. “适定性”的挑战: 作者提到无监督样本的生成努力确保适定性，但仍可能存在病态 (ill-posed) 问题。训练数据中包含病态问题可能会影响模型的学习效率和最终泛化能力。未来可以探索更鲁棒的适定性检查机制，或设计对病态问题更具韧性的损失函数或训练策略。
3. 固定输入分辨率的局限性: 虽然消融实验显示了分辨率不变性，但 Swin Transformer 的输入仍需要将 PDE 参数化调整为固定分辨率 ($224 \times 224$)。这可能限制了模型处理极端高分辨率或低分辨率输入的能力，或者在某些场景下引入不必要的插值误差。未来可以探索更原生支持变分辨率输入的编码器架构，例如基于图神经网络 (GNN) 或点云 (Point Cloud) 的方法。
4. 模型复杂度与计算成本: 77M 参数的超网络在生成 32 单元、3 层 PINN 时已显复杂。随着未来目标 PDE 复杂度（非线性、高维、多场耦合）的增加，所需 PINN 架构会更深更宽，超网络生成如此庞大参数集的计算成本和内存消耗将是巨大挑战。可能需要更高效的超网络设计（例如，低秩分解、权重共享或稀疏化）。
5. 损失权重平衡的经验性: 损失函数的权重（如 $\lambda_R, \lambda_S^{(k)}, \lambda_D, \lambda_N$）是经验性设定的，并在训练的两阶段中进行了调整。这种权重平衡对于 PINN 的训练至关重要且通常难以调优。未来可以探索自适应损失加权 (adaptive loss weighting) 或元学习 (meta-learning) 策略来自动优化这些权重。
6. 迭代精炼的收敛性与鲁棒性: 尽管迭代精炼在大多数情况下表现良好，但在 PS-L 上的性能下降表明其在某些特定场景下（例如，初始误差极低或解的尺度极小）可能不够鲁棒。未来工作可以深入分析这种现象的深层原因，并设计更具鲁棒性的修正机制，例如自适应地调整修正步长或融合策略。