1. 论文基本信息

1.1. 标题

准确且可扩展的深度学习交换-相关泛函 (Accurate and scalable exchange-correlation with deep learning)

1.2. 作者

Giulia Luise, Chin-Wei Huang, Thijs Vogels, Derk P. Kooi, Sebastian Ehlert, Stephanie Lanius, Klaas J. H. Giesbertz, Amir Karton, Deniz Gunceler, Megan Stanley, Wessel P. Bruinsma, Lin Huang, Xinran Wei, José Garrido Torres, Abylay Katbashev, Rodrigo Chavez Zavaleta, Bálint Máté, Sékou-Oumar Kaba, Roberto Sordillo, Yingrong Chen, David B. Williams-Young, Christopher M. Bishop, Jan Hermann, Rianne van den Berg, Paola Gori-Giorgi

主要作者来自微软研究院 (Microsoft Research, AI for Science)，部分作者来自新英格兰大学 (University of New England, Australia) 和微软量子 (Microsoft Quantum)。Paola Gori-Giorgi、Rianne van den Berg 和 Jan Hermann 为通讯作者。

1.3. 发表期刊/会议

论文以预印本形式发表于 arXiv。在计算化学和材料科学领域，arXiv 是研究人员分享最新研究成果的重要平台，通常在正式同行评审期刊发表之前发布。

1.4. 发表年份

2025年6月 (Published at (UTC)：2025-06-17T15:56:56.000Z)

1.5. 摘要

密度泛函理论 (Density Functional Theory, DFT) 是预测分子和材料性质最广泛使用的电子结构方法。尽管 DFT 原则上是薛定谔方程的精确重构，但实际应用依赖于对未知交换-相关 (Exchange-Correlation, XC) 泛函的近似。大多数现有 XC 泛函使用有限且日益复杂的手工特征构建，以提高精度为代价牺牲了计算效率。然而，目前没有任何近似能达到化学精度（通常定义为误差低于 1 kcal/mol）的预测模型在实验室实验中的准确性和通用性。

本文提出 Skala，一种现代的基于深度学习 (Deep Learning, DL) 的 XC 泛函，它通过直接从数据中学习表示来避免昂贵的手工设计特征。Skala 在小分子原子化能 (Atomization Energies, TAE) 方面达到了化学精度，同时保持了半局部 DFT 典型的计算效率。这一性能得益于对空前数量的高精度波函数 (Wavefunction-based) 方法生成参考数据的训练。值得注意的是，Skala 随着涵盖多样化学的额外训练数据的加入而系统性地改进。通过结合少量针对原子化能以外化学领域量身定制的额外高精度数据，Skala 在通用主族化学领域实现了与表现最佳的混合泛函 (Hybrid Functionals) 相当的精度，而成本仅为半局部 DFT。随着训练数据集的不断扩展，Skala 有望进一步增强第一性原理 (First-Principles) 模拟的预测能力。

1.6. 原文链接

https://arxiv.org/abs/2506.14665 https://arxiv.org/pdf/2506.14665v3.pdf 发布状态：arXiv 预印本。

2. 整体概括

2.1. 研究背景与动机

2.1.1. 核心问题

论文试图解决的核心问题是：在密度泛函理论 (DFT) 框架下，如何开发一种既能达到化学精度 (chemical accuracy) (误差低于 1 kcal/mol)，又能在计算效率上保持可扩展性的交换-相关 (XC) 泛函。这是计算化学领域长期存在的“神圣泛函 (divine functional)”追求，对加速科学发现具有深远影响。

2.1.2. 问题重要性与现有挑战

• 预测能力受限： 尽管 DFT 是最广泛使用的电子结构方法，但由于 XC 泛函的近似性质，其预测结果仍无法在广泛的化学体系和性质上达到可靠的化学精度，从而限制了其在药物设计、材料发现等领域的应用。例如，在药物和材料发现的计算筛选过程中，过多的候选物会进入实验室，但大部分未能通过实验验证。
• 精度-效率权衡： 传统的 XC 泛函通常遵循“雅各布阶梯 (Jacob's ladder)”的层次结构，通过引入更多复杂的、手工设计的特征（如密度梯度、动能密度、部分精确交换等）来提高精度。然而，这种改进往往以计算成本显著增加为代价（从 $O(N^3)$ 扩展到 $O(N^4)$、 $O(N^5)$ 甚至更高），限制了其在较大分子和材料体系中的应用。
• 数据稀缺与模型局限： 机器学习 (Machine Learning, ML) 方法在 DFT 领域已被探索，但尚未带来实质性突破。主要原因在于：
  1. 高精度数据稀缺： 训练高精度 ML 泛函所需的高级参考数据必须通过计算成本极高的波函数 (wavefunction-based) 方法生成，且需要专业知识才能大规模使用。
  2. 手工特征依赖： 在数据稀缺的情况下，大多数 ML 泛函仍局限于将手工设计的特征输入到模型中，这类似于深度学习革命之前的 ML 策略，限制了模型的表达能力和泛化性。

2.1.3. 论文的切入点与创新思路

本文的创新点在于提出了 Skala，一个基于深度学习 (Deep Learning, DL) 的 XC 泛函，通过以下方式突破现有瓶颈：

1. 大规模高精度训练数据： 作者通过高效的波函数方法协议，生成了前所未有的大规模 (~80k)、多样化的原子化能 (TAE) 高精度参考数据集 (MSR-ACC/TAE)，其精度与实验结果相比在 1 kcal/mol 以内。这解决了数据稀缺的挑战。
2. 学习非局部表示： Skala 设计了一种新颖的神经网络架构，能够直接从简单的半局部输入特征中学习数据驱动的非局部 (data-driven non-local) 表示。这避免了昂贵的手工设计特征，并能以可控的计算成本捕获复杂的非局部相互作用。它通过引入一个“粗粒度 (coarse-grained)”网格作为细网格点之间信息交流的中间层，实现了可扩展的非局部学习。
3. 保持计算效率： 尽管学习了非局部效应，Skala 仍保持了与半局部 DFT (semi-local DFT) 相当的 $O(N^3)$ 渐近计算复杂度，并通过 GPU 加速进一步提升效率。
4. 系统性改进与泛化能力： Skala 的精度能随着更多多样化训练数据的加入而系统性提高。即使在训练数据中未见的重元素体系上，Skala 也能保持良好的泛化能力，优于或媲美现有的最佳泛函。

2.2. 核心贡献/主要发现

• 提出 Skala 泛函： 开发了一个现代的基于深度学习的 XC 泛函 Skala，通过学习数据驱动的非局部表示，绕过了昂贵的手工设计特征。
• 实现化学精度与计算效率的平衡： Skala 在小分子原子化能的基准测试中达到了化学精度（约 1 kcal/mol），同时保持了半局部 DFT 的 $O(N^3)$ 渐近计算复杂度。这打破了传统 XC 泛函发展中精度和计算成本之间的长期权衡。
• 构建大规模高精度训练数据集： 生成了一个包含约 80k 种不同原子化能的史无前例的大规模高精度参考数据集 MSR-ACC/TAE，其数据量比现有可比精度的数据集大至少两个数量级。
• 非局部学习与可扩展架构： Skala 的神经网络架构能够从简单的半局部输入特征中学习必要的非局部表示，并且通过引入粗粒度网格实现网格点间的可扩展非局部通信。
• 系统性改进与泛化： 证明 Skala 的精度随着训练数据多样性的增加而系统性提高。在通用主族化学中，Skala 的精度可与表现最佳的混合泛函 (hybrid functionals) 竞争，甚至在训练中未见的重元素体系上也能保持鲁棒性。
• 遵循精确约束： 尽管 Skala 只强制执行了最小的精确约束，但随着训练数据的增加，模型能够自发地学习并满足额外的精确约束，例如动能相关分量 $T_c$ 的非负性。
• 在超越能量的性质上表现良好： Skala 也能对平衡几何结构和偶极矩进行可靠预测，其性能优于或媲美 GGA 级别泛函。
• 高性能计算实现： Skala 的 GPU 实现展示了与半局部 meta-GGA 泛函相当的运行时间，比混合泛函快至少 10 倍。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 密度泛函理论 (Density Functional Theory, DFT)

DFT 是一种用于研究多电子体系电子结构的量子力学方法。与传统的波函数 (wavefunction-based) 方法（如薛定谔方程的直接求解）不同，DFT 的核心思想是，一个多电子体系的基态 (ground state) 性质（包括能量）可以完全由其电子密度 (electron density) $\rho(\mathbf{r})$ 决定，而不是由复杂的多电子波函数决定。电子密度是一个三维空间中的函数，远比多维波函数简单。

3.1.2. Kohn-Sham (KS) 形式 (Kohn-Sham Formalism)

DFT 的实际应用主要通过 Kohn-Sham 形式实现。它将一个相互作用的多电子体系的能量分解为几个部分： $$E_{\mathrm{tot}}[\rho] = T_s[\rho] + E_H[\rho] + E_{\mathrm{ext}}[\rho] + E_{\mathrm{xc}}[\rho]$$ 其中：

• $T_s[\rho]$：非相互作用电子的动能 (kinetic energy of non-interacting electrons)。这是假设电子之间没有相互作用时，具有密度 $\rho(\mathbf{r})$ 的体系的动能。

• $E_H[\rho]$：Hartree 能量 (Hartree energy)。表示电子之间以及电子与原子核之间的经典库仑相互作用能。

• $E_{\mathrm{ext}}[\rho]$：外势能 (external potential energy)。主要是电子与原子核之间的相互作用能。

• $E_{\mathrm{xc}}[\rho]$：交换-相关 (Exchange-Correlation, XC) 能量。这是 DFT 中最核心且未知的部分。它包含了电子间的非经典相互作用、量子力学交换效应以及相关效应。准确地近似 $E_{\mathrm{xc}}[\rho]$ 是 DFT 泛函开发的关键挑战。

  Kohn-Sham 方程是一个自洽场 (Self-Consistent Field, SCF) 迭代过程，通过求解一系列单电子方程来获得体系的基态电子密度和总能量。

3.1.3. 交换-相关 (XC) 泛函 (Exchange-Correlation Functional)

XC 泛函是 Kohn-Sham DFT 中对 $E_{\mathrm{xc}}[\rho]$ 的近似。它的作用是捕获电子之间复杂的量子多体相互作用，且其形式对所有分子和材料都是通用的。XC 泛函的准确性直接决定了 DFT 计算结果的精度。

3.1.4. 雅各布阶梯 (Jacob's Ladder)

这是 XC 泛函近似的一种分层框架，从下到上精度和复杂性逐渐增加：

1. 局部密度近似 (Local Density Approximation, LDA)：只依赖于电子密度 $\rho(\mathbf{r})$ 本身在每个空间点上的值。

2. 广义梯度近似 (Generalized Gradient Approximation, GGA)：除了密度，还考虑了密度的梯度 $\nabla\rho(\mathbf{r})$。

3. 元广义梯度近似 (meta-GGA)：在 GGA 的基础上，进一步引入了 Kohn-Sham 动能密度 $\tau(\mathbf{r})$ 或拉普拉斯密度 $\nabla^2\rho(\mathbf{r})$。

4. 混合泛函 (Hybrid Functionals)：混合了部分精确交换 (exact exchange) 能量（通常来自 Hartree-Fock 理论），提高了精度，但计算成本也显著增加（通常为 $O(N^4)$）。

5. 双混合泛函 (Double-Hybrid Functionals)：在混合泛函的基础上，进一步引入了基于微扰理论的二阶相关能量（如 MP2），提供更高的精度，但计算成本也最高（通常为 $O(N^5)$）。

   雅各布阶梯的每一层都通过增加手工设计的特征来提高精度，但代价是计算效率降低。

3.1.5. 化学精度 (Chemical Accuracy)

在计算化学中，化学精度 通常指对能量（如反应能、键解离能等）的预测误差低于约 1 kcal/mol（或 0.043 eV/mol）。达到这一精度对于可靠地预测实验结果和指导化学合成至关重要。

3.1.6. 原子化能 (Total Atomization Energy, TAE)

将一个分子完全解离成其组成的气态孤立原子所需的总能量。TAE 是评估电子结构方法热化学性能的基本和具有挑战性的指标。

3.1.7. 自洽场 (Self-Consistent Field, SCF) 循环 (Self-Consistent Field Cycle)

在 Kohn-Sham DFT 中，SCF 循环是一种迭代算法，用于寻找体系的基态电子密度和总能量。它从一个初始电子密度猜测开始，然后重复以下步骤直到能量和密度收敛：

1. 根据当前密度构建 Kohn-Sham 有效势。
2. 求解 Kohn-Sham 方程得到新的轨道和密度。
3. 检查新密度和旧密度之间的差异以及总能量的变化是否小于预设阈值。 SCF 循环的收敛性和稳定性是 DFT 实际应用中的重要考量。

3.1.8. D3 色散校正 (D3 Dispersion Correction)

DFT 泛函，特别是半局部泛函，通常难以准确描述长程范德华 (van der Waals, vdW) 相互作用或色散力 (dispersion forces)。Grimme 的 D3 校正是一种常用的经验校正方法，通过向 DFT 总能量中添加一个原子间距离的函数项来弥补这一缺陷。它有助于更准确地描述非共价相互作用，如分子间结合。

3.2. 前人工作

• 传统 XC 泛函的发展： 几十年来，研究人员主要遵循雅各布阶梯 (Jacob's Ladder) 的方法，通过手工设计并添加越来越复杂的输入特征来构建 XC 泛函，例如 LDA、GGA (如 PBE、B88)、meta-GGA (如 SCAN、TPSS)、混合泛函 (Hybrid Functionals) (如 B3LYP、PBE0) 和双混合泛函 (Double-Hybrid Functionals) (如 B2PLYP)。这些泛函在不同程度上提高了精度，但计算成本也随之增加。
• 基于机器学习的 XC 泛函： 近年来，机器学习 (Machine Learning, ML) 被探索用于构建 XC 泛函，以期突破传统泛函的精度-效率权衡。
  • 手工特征输入 ML 模型： 大多数早期工作受限于数据稀缺，将手工设计的特征（例如雅各布阶梯中的密度、梯度、动能密度，或新设计的描述符）输入到 ML 模型中 (如 18-26 参考文献)。这种方法本质上仍然依赖于人工特征工程，限制了模型的表达能力和泛化性。
  • 超越手工特征的尝试： 少数研究尝试超越手工特征，直接从密度数据中学习非局部效应，但往往局限于模型体系或狭窄的问题范围 (如 27-31 参考文献)。例如，DM21 (Kirkpatrick et al., 2021) 是一个重要的 ML 泛函，它通过解决分数电子问题来提高精度，但其基本实现计算成本较高。
  • 非局部模型： 一些方法在 DFT 网格上引入了手工的非局部性来模拟色散力 (如 51-53 参考文献)，但这些通常是长程校正，与本文关注的热化学（共价键的形成与断裂）的短程非局部性不同。
  • 神经网络算子 (Neural Operators)： 近期的 ML 文献中，神经网络算子 (Neural Operators) (如 50 参考文献) 被视为学习函数空间之间映射的强大工具，它们可以处理任意离散化的域。本文的非局部层与低秩核神经网络算子有相似之处。

3.3. 技术演进

XC 泛函的演进路线主要沿着两条路径：

1. 物理启发式设计： 遵循雅各布阶梯 (Jacob's Ladder)，从物理第一性原理和已知精确约束出发，逐步增加泛函的复杂性，引入更多密度信息（密度、梯度、动能密度、精确交换等）。这种方法虽然系统性强，但面临精度与计算效率的固有矛盾，且难以达到普遍的化学精度。

2. 数据驱动式学习： 近年来，随着 机器学习 (ML) 和 深度学习 (DL) 的兴起，研究者尝试利用大规模高精度参考数据来训练 XC 泛函。早期的 ML 泛函仍倾向于利用传统 DFT 的手工特征，效果有限。

   本文的工作代表了 数据驱动式学习 路径的一个重要里程碑，其创新性在于：

• 大规模数据： 通过生成前所未有的大规模高精度数据集，克服了 ML 泛函发展中的一个关键瓶颈——数据稀缺。
• 学习非局部性： Skala 摒弃了对昂贵手工设计非局部特征的依赖，而是通过一个新颖的神经网络架构直接从半局部输入中学习必要的非局部相互作用，同时保持计算效率。这标志着从“手工特征工程”到“数据驱动表示学习”的范式转变，类似于计算机视觉和语音识别领域的 DL 革命。
• 可扩展性： Skala 通过引入一个粗粒度网格作为中间层，巧妙地解决了在 DFT 积分网格上直接学习非局部相互作用计算成本过高的问题，实现了可扩展的非局部学习。

3.4. 差异化分析

Skala 与先前工作的主要区别和创新点体现在以下几个方面：

1. 非局部性处理方式：

   • 传统泛函和早期 ML 泛函： 通常通过在 Jacob's ladder 上升阶，引入手工设计 (hand-crafted) 的非局部信息（如精确交换、长程色散校正）来提高精度，这通常导致计算成本急剧增加。
   • Skala： 通过深度学习 (DL) 架构，直接从半局部输入特征 (semi-local input features) 中学习 (learns) 非局部相互作用的表示。它采用了一种可扩展的机制，通过引入一个“粗粒度网格 (coarse grid)”作为细网格点之间通信的桥梁，从而在保持计算效率的同时捕获非局部效应。这种方法避免了昂贵的手工特征工程。

2. 数据量级：

   • 先前 ML 泛函： 受限于高精度数据稀缺，大多在小规模数据集上训练。
   • Skala： 训练于一个前所未有的大规模 (unprecedented volume)、多样化的高精度参考数据集（例如，约 80k 个原子化能），比现有同类精度的数据集大至少两个数量级。这使得 DL 模型能够有效地学习复杂的非局部模式。

3. 精度与效率的权衡：

   • 传统泛函： 在精度和计算效率之间存在固有的权衡，高精度通常意味着高计算成本。
   • Skala： 实现了在化学精度（小于 1 kcal/mol）下，计算成本与半局部 DFT (semi-local DFT) 相当 ($O(N^3)$ 渐近复杂度)，打破了这一传统权衡。

4. 泛化能力：

   • 传统泛函： 难以普遍地达到跨越各种化学体系和性质的化学精度。
   • Skala： 显示出强大的组成泛化 (compositional generalization) 能力，即使在训练数据中未见的重元素体系上也能保持良好性能，这得益于 Kohn-Sham 框架对主导能量贡献的固有捕获以及 XC 泛函作为较小校正项的性质。

5. 对精确约束的满足：

   • 传统泛函： 许多精确约束通过其手工设计的形式强制满足。
   • Skala： 尽管模型设计中只施加了最小的精确约束，但随着训练数据的增加，模型能够自发地学习 (emerge) 并满足额外的物理约束（如动能相关分量 $T_c$ 的非负性），这表明其具有更强的数据驱动适应性。

4. 方法论

4.1. 方法原理

Skala 方法的核心思想是利用深度学习 (Deep Learning, DL) 来学习交换-相关 (XC) 泛函中的非局部相互作用，从而在保持计算效率的同时达到化学精度。传统 XC 泛函在 Jacob's Ladder 上通过引入复杂的手工特征来提升精度，但这通常以计算成本大幅增加为代价。Skala 则通过一个新颖的神经网络架构，直接从简单的半局部 (semi-local) 密度特征中学习数据驱动的非局部表示 (data-driven non-local representations)。

其背后的直觉是：

1. Kohn-Sham DFT 框架的优势： Kohn-Sham DFT 本身已经捕获了电子体系中主要的能量贡献（如动能、Hartree 相互作用、原子核势能）。XC 泛函只是一个对剩余量子多体效应的“较小但关键的”校正项。因此，即使 XC 泛函通过 ML 学习，只要能准确捕获这个校正项，就能在不同元素和更大体系上实现良好的泛化。
2. 非局部性的重要性： 电子之间的相互作用本质上是非局部的，即一个点的电子密度会影响到远处点的电子行为。传统的半局部泛函（LDA、GGA、meta-GGA）由于只考虑局部信息，难以精确描述这些效应。混合泛函通过引入精确交换来部分捕获非局部性，但计算昂贵。
3. 可扩展的非局部学习： 直接在整个 DFT 积分网格上建模所有网格点之间的非局部相互作用是计算不可行的。Skala 通过引入一个“粗粒度网格 (coarse grid)”作为中间层，允许细粒度网格点通过这些粗粒度点进行高效通信，从而以可控的成本实现非局部学习。

4.2. 核心方法详解

Skala 将 XC 泛函 $E_{\mathrm{xc}}[\rho]$ 近似为一个可学习的增强因子 (enhancement factor) $f_\theta$ 与 LDA 交换能量密度积分的形式。这种形式有助于强制执行 XC 泛函应满足的某些精确约束，如高密度均匀坐标缩放、尺寸一致性和 Lieb-Oxford 下限。

4.2.1. 交换-相关能量的理论形式

Kohn-Sham 框架下的总能量 $E$ 可以表示为： $$E = \min_{\rho} E_{\mathrm{tot}}[\rho], \quad E_{\mathrm{tot}}[\rho] = \int v(\mathbf{r}) \rho(\mathbf{r}) d\mathbf{r} + \frac{1}{2} \iint \frac{\rho(\mathbf{r})\rho(\mathbf{r}')}{|\mathbf{r}-\mathbf{r}'|} d\mathbf{r} d\mathbf{r}' + T_s[\rho] + E_{\mathrm{xc}}[\rho],$$ 其中：

• $v(\mathbf{r})$：原子核引起的外势 (external potential)。

• $\frac{1}{2} \iint \frac{\rho(\mathbf{r})\rho(\mathbf{r}')}{|\mathbf{r}-\mathbf{r}'|} d\mathbf{r} d\mathbf{r}'$：Hartree 静电能量 (Hartree electrostatic energy)。

• $T_s[\rho]$：非相互作用电子体系的动能 (kinetic energy of a system of non-interacting electrons)。

• $E_{\mathrm{xc}}[\rho]$：交换-相关能量 (exchange-correlation energy)。

  Skala 对 $E_{\mathrm{xc}}[\rho]$ 的具体形式化表示为： $$E_{\mathrm{xc}}^{\theta}[\rho] = - \frac{3}{4} \left( \frac{6}{\pi} \right)^{\frac{1}{3}} \int \left( \rho^{(\uparrow)}(\mathbf{r})^{4/3} + \rho^{(\downarrow)}(\mathbf{r})^{4/3} \right) f_{\theta}[\mathbf{x}[\rho]](\mathbf{r}) d\mathbf{r},$$ 其中：

• $\rho^{(\uparrow)}(\mathbf{r})$ 和 $\rho^{(\downarrow)}(\mathbf{r})$：两个自旋通道的电子密度 (densities of the two spin channels)。

• $f_{\theta}[\mathbf{x}[\rho]](\mathbf{r})$：一个有界的可学习增强因子 (bounded enhancement factor)，由深度神经网络参数化。

• $\mathbf{x}[\rho]$：输入特征集，由电子密度及其导数等半局部信息构成。

• 当 $f_{\theta} = 1$ 时，上式退化为局部密度近似 (LDA) 中的交换泛函。

4.2.2. 实践中的离散化

在实际计算中，电子密度是在一个离散的积分网格 (integration grid) $\{ \mathbf{r}_i \in \mathbb{R}^3, i=1, \ldots, G \}$ 上表示的，每个网格点 $\mathbf{r}_i$ 关联一个权重 $w_i$。因此，$E_{\mathrm{xc}}[\rho]$ 被近似为求和形式： $$E_{\mathrm{xc}}[\rho] \approx - \frac{3}{4} \left( \frac{6}{\pi} \right)^{\frac{1}{3}} \sum_{i=1}^{G} \left( \rho^{(\uparrow)}(\mathbf{r}_i)^{4/3} + \rho^{(\downarrow)}(\mathbf{r}_i)^{4/3} \right) f_{\theta}[\mathbf{x}[\rho]](\mathbf{r}_i) w_i.$$

Skala 使用的半局部输入特征 (semi-local input features) $\mathbf{x}[\rho](\mathbf{r}_i)$ 是标准的 meta-GGA 级别特征： $$\mathbf{x}[\rho](\mathbf{r}_i) = \left[ \rho^{(\uparrow)}(\mathbf{r}_i), \rho^{(\downarrow)}(\mathbf{r}_i), |\nabla \rho^{(\uparrow)}(\mathbf{r}_i)|^2, |\nabla \rho^{(\downarrow)}(\mathbf{r}_i)|^2, \tau^{(\uparrow)}(\mathbf{r}_i), \tau^{(\downarrow)}(\mathbf{r}_i), |\nabla \rho^{(\uparrow)}(\mathbf{r}_i) + \nabla \rho^{(\downarrow)}(\mathbf{r}_i)|^2 \right],$$ 其中：

• $\tau$：Kohn-Sham 动能密度 (Kohn-Sham kinetic energy density)。
• $\uparrow$ 和 $\downarrow$：两个自旋通道。 这些特征是“半局部”的，因为它们只收集每个给定网格点上的信息。

4.2.3. 神经网络架构 (Skala's Architecture)

Skala 的神经网络架构主要由三个部分组成，用于参数化增强因子 $f_{\theta}$。

第一部分：输入表示提取器 (Input Representation Extractor) 首先，7个半局部输入特征 $\mathbf{x}[\rho](\mathbf{r}_i)$ 经过对数变换，并添加一个小的常数 $\epsilon=10^{-5}$ 以确保数值稳定性： $$x_i^{(\uparrow, \downarrow)} = \log\left( \left[ \rho_i^{(\uparrow)}, \rho_i^{(\downarrow)}, |\nabla \rho_i^{(\uparrow)}|^2, |\nabla \rho_i^{(\downarrow)}|^2, \tau_i^{(\uparrow)}, \tau_i^{(\downarrow)}, |\nabla \rho_i^{(\uparrow)} + \nabla \rho_i^{(\downarrow)}|^2 \right] + \epsilon \right).$$ 然后，这些变换后的特征通过一个小型多层感知机 (Multilayer Perceptron, MLP) f_repr 进行局部处理，该 MLP 严格作用于每个网格点。为了确保自旋对称性并节省计算成本，MLP 对两种自旋排序（$\uparrow,\downarrow$ 和 $\downarrow,\uparrow$）都应用一次，然后取平均值，得到自旋对称的半局部隐藏表示 $h_i$： $$f_{\mathrm{repr}}(\mathbf{x}) = \sigma(W_2 \sigma(W_1 \mathbf{x} + \mathbf{b}_1) + \mathbf{b}_2),$$ 其中 $W_1, \mathbf{b}_1$ 将输入向量 $\mathbf{x}$ 投影到更高维空间 $\mathbb{R}^{D_{\mathrm{hid}}}$，接着是 Swish 激活函数 $\sigma$，再经过另一个全连接层 $W_2, \mathbf{b}_2$。 $$h_i = \frac{f_{\mathrm{repr}}(x_i^{(\uparrow \cdot, \downarrow)}) + f_{\mathrm{repr}}(x_i^{(\downarrow \cdot, \uparrow)})}{2}.$$ 其中 $D_{\mathrm{hid}} = 256$。

第二部分：非局部交互模型 (Non-local Interaction Model) 这一部分是 Skala 的核心创新，旨在学习非局部信息。它将自旋对称的隐藏特征 $h_i$ 投射到一个低维向量，然后通过引入一个粗粒度网格 (coarse grid) 来实现网格点之间的通信。粗粒度网格点的数量远少于细粒度积分网格点，从而实现可扩展的非局部学习。本文中，粗粒度点选在原子中心。 $$h_{\mathrm{nonl},i} = f_{\mathrm{nonl}}(h_i, \{R_j\}),$$ 其中 $\{R_j\}$ 是一组辅助坐标，代表粗粒度点（原子中心）。

• 预降采样变换 (Pre-downsampling transform): 为了降低非局部交互的计算成本，首先将局部特征 $h_i$ 投影到低维向量： $$h_{\mathrm{pre-down},i} = \sigma(W_{\mathrm{pre-down}} h_i + \mathbf{b}_{\mathrm{pre-down}}),$$ 其中 $W_{\mathrm{pre-down}}$ 是一个 $D_{\mathrm{nonl}} \times D_{\mathrm{hid}}$ 的矩阵，$D_{\mathrm{nonl}} = 16$。

• 降采样 (Downsampling): 对于每个粗粒度点 $R_j$ (原子中心)，它从所有细粒度积分网格点 $r_k$ 收集信息。降采样特征 $H_{j\ell c}$ 是一个 $2\ell+1$ 维的向量，通过将局部标量特征 $h_{\mathrm{pre-down},kc'}$ 投影到径向基函数 (radial basis function, RBF) $\phi_c(\|r_{jk}\|)$ 和球谐函数 (spherical harmonics) $Y_\ell(\widehat{r_{jk}})$ 的乘积基上，然后聚合所有网格点的信息得到： $$H_{j\ell c} = \sum_k \phi_c(\|r_{jk}\|) Y_\ell(\widehat{r_{jk}}) \sum_{c'} W_{\mathrm{down},\ell c c'} h_{\mathrm{pre-down},kc'} w_k,$$ 其中：

  • $r_{jk} = R_j - r_k$。
  • $\widehat{r} = r/\|r\|$。
  • $Y_\ell$：球谐函数，描述角度依赖性。
  • $\phi_c$：径向基函数，描述距离依赖性。
  • $W_{\mathrm{down},\ell c c'}$：可学习的权重，用于混合通道。
  • $w_k$：积分网格点 $r_k$ 的权重。
  • $\ell$：球张量阶 (spherical tensor order)，从 0 到 $\ell_{\mathrm{max}}=3$。

• 升采样 (Upsampling): 接下来，信息从粗粒度点 $R_j$ 传递回细粒度积分网格点 $r_i$： $$h_{ic}' = \sum_j \sum_\ell \phi_c(\|r_{ij}\|) Y_\ell(\widehat{r_{ij}}) \left( \sum_{c'} W_{\mathrm{up},\ell c c'} H_{j\ell c'} \right) \pi_{ij},$$ 其中：

  • $r_{ij} = r_i - R_j$。
  • $W_{\mathrm{up},\ell c c'}$：可学习的权重。
  • $\pi_{ij}$：一个软分区 (soft partitioning) 函数，根据网格点 $r_i$ 到粗粒度点 $R_j$ 的距离来加权信息，确保非局部交互的范围是有限的。 $$\pi_{ij} = \frac{\tilde{\pi}(r_{ij}, r_{\mathrm{max}})}{\sum_{j'} \tilde{\pi}(r_{ij'}, r_{\mathrm{max}}) + 0.1},$$ 其中 $\tilde{\pi}(\cdot, r_{\mathrm{max}})$ 是一个平滑衰减函数，当距离超出 $r_{\mathrm{max}}=5.0$ Bohrs 时平滑衰减到零。

• 径向基函数 (Radial Basis Function, RBF)： 在降采样和升采样中使用的 RBF 形式为： $$\phi_c(r) = \frac{2}{\mathrm{dim} \cdot (2\pi s_c^2)^{\frac{\mathrm{dim}}{2}}} \frac{r^2}{2s_c^2} \exp\left( - \frac{r^2}{2s_c^2} \right) \phi_{\mathrm{env}}(r),$$ 其中：

  • $\mathrm{dim}=3$。
  • $s_c$：16个不同的尺度系数，均匀分布在 $0.3023 a_0$ 和 $2.192 a_0$ 之间。
  • $r^2$ 项：用于抑制靠近原子核区域的非局部效应。
  • $\phi_{\mathrm{env}}(r)$：包络函数 (envelope function)，确保非局部相互作用的范围是有限的。 $$\phi_{\mathrm{env}}(r) = 1 - \frac{1}{2} \left( \frac{r}{r_{\mathrm{max}}} \right)^p \left( p(p+1) \left( \frac{r}{r_{\mathrm{max}}} - 1 \right)^2 - 2p \left( \frac{r}{r_{\mathrm{max}}} - 1 \right) + 2 \right),$$ 适用于 $0 \leq r \leq r_{\mathrm{max}}$，对于 $r > r_{\mathrm{max}}$ 平滑扩展到 0。本文使用多项式次数 $p=8$ 和截断半径 $r_{\mathrm{max}}=5.0$ Bohrs。

• 后升采样变换 (Post-upsampling transform): 在信息从粗粒度点传回后，通过另一个 MLP 进行后处理，并引入归纳偏置 (inductive bias) 来抑制高密度区域的非局部效应： $$h_{\mathrm{post-up},i} = \sigma(W_{\mathrm{post-up}} h_i' + \mathbf{b}_{\mathrm{post-up}}), \quad \text{and} \quad h_{\mathrm{nonl},i} = \exp(-\rho_i) h_{\mathrm{post-up},i}.$$ 其中 $W_{\mathrm{post-up}}$ 是 $D_{\mathrm{nonl}} \times D_{\mathrm{nonl}}$ 矩阵。$\exp(-\rho_i)$ 因子用于抑制原子核附近高密度区域的非局部效应。

第三部分：输出模型 (Output Model) 最后，非局部隐藏表示 $h_{\mathrm{nonl},i}$ 与原始的半局部隐藏特征 $h_i$ 拼接起来，通过另一个纯局部 MLP 映射成每个网格点上的标量值。这个标量值通过一个缩放 sigmoid 激活函数 (scaled sigmoid activation function) 转换为最终的增强因子 $h_{\mathrm{enh},i}$，其范围在 0 到 2 之间，以强制执行 Lieb-Oxford 下限： $$h_{\mathrm{enh},i} = \sigma_{\mathrm{out}}(W_6 \cdots \sigma(W_3 [h_i, h_{\mathrm{nonl},i}] + \mathbf{b}_3) \cdots + \mathbf{b}_6),$$ 其中 $W_3$ 是 $D_{\mathrm{hid}} \times (D_{\mathrm{hid}} + D_{\mathrm{nonl}})$ 矩阵，$W_4$ 和 $W_5$ 都是 $D_{\mathrm{hid}} \times D_{\mathrm{hid}}$，$W_6$ 是 $1 \times D_{\mathrm{hid}}$ 映射到标量。 最终的激活函数为 $\sigma_{\mathrm{out}}(x) = \frac{2}{1 + \exp(-x/2)}$。 这个增强因子 $h_{\mathrm{enh},i}$ 被代入离散化后的 $E_{\mathrm{xc}}$ 公式： $$E_{\mathrm{xc}}[\rho] = - \frac{3}{4} \left( \frac{6}{\pi} \right)^{\frac{1}{3}} \sum_{i=1}^{G} h_{\mathrm{enh},i} \left( \rho_i^{(\uparrow)4/3} + \rho_i^{(\downarrow)4/3} \right) w_i.$$ 整个架构的参数 $\theta$ 包括了所有可学习的权重和偏置。

Skala 架构示意图：

该图像是示意图 (a) Skala架构概述，展示了Skala深度学习模型的结构和信息流。图中包括密度、梯度和动能等输入，经过多个MLP和非线性交互模型处理，最终集成得到交换-关联功能。公式 $E_{XC} = ext{Integrate}( ext{Eq. (1)})$ 出现在图的最后部分。

5. 实验设置

5.1. 数据集

实验使用了多种高精度数据集，主要可分为内部生成的 MSR-ACC 数据集和第三方公开数据集。所有数据均采用 $CCSD(T)/CBS$ 或更高水平的理论计算。

5.1.1. 训练数据集概览 (Table 1)

以下是原文 Table 1 的结果：

5.1.2. 内部生成的 MSR-ACC 数据集

• MSR-ACC/TAE： 最大的子集，包含约 80k 种通用分子（最多 5 个非氢原子）的原子化能 (Total Atomization Energies, TAEs)。分子结构通过枚举共价图并进行多级几何优化得到。能量标签通过 W1-F12 协议计算，精度在 1 kcal/mol 内。排除了多参考特性显著的分子（%TAE[(T)] 大于 6%）。其中单分子片段（95.4%）作为 MSR-ACC/TAE25 发布。 下图（原文 Figure 5）展示了 MSR-ACC/TAE25 验证集中的分子示例和原子化能分布：

  该图像是一个示意图，展示了不同小分子的原子化能分布和相应的分子结构。横坐标为原子化能（kcal/mol），图中显示的直方图表示样本的能量分布。

• MSR-ACC/IP, /PA, /Conf, /Reactions：

  • IP (Ionization Potentials, 电离势) 和 PA (Proton Affinities, 质子亲和力)：通过从 MSR-ACC/TAE 中均匀采样分子，移除一个电子或一个质子得到。
  • Conf (Conformational Energies, 构象能量)：MSR-ACC/TAE 中分子在 10 kcal/mol 能量窗口内的所有构象。
  • Reactions (反应路径)：包含小有机分子（最多八个原子）的基本反应步骤，包括过渡态和反应路径的终点。 这些数据集的能量标签采用稍作修改的 W1w 协议计算。

5.1.3. 原子数据集 (Atomic Datasets)

• TOT (Total Energies, 总能量)：用于 H-He、B-Ar 元素的原子总能量。
• EA (Electron Affinities, 电子亲和力)：$H$、B-C、O-F、Na、Al-Cl 元素的原子电子亲和力。
• IP (Ionization Potentials, 电离势)：He、B-Ar 元素的原子电离势，包括双电离和三电离势。 这些数据采用 $CCSD(T)/CBS$ 协议计算。

5.1.4. 第三方公开数据集 (3rd-party Public Datasets)

• W4-CC： 线性及环状碳簇的原子化能数据集，通过 W4 计算协议标记，精度达到或优于实验精度。
• NCIAtlas (D442x10, SH250x10, R739x5, HB300SPXx10)： 非共价分子间结合能数据集，采用 $CCSD(T)/CBS$ 复合方案标记。

5.1.5. 数据集重叠处理

为了防止数据泄露，所有训练数据均移除了与测试集 GMTKN55 和 W4-17 的重叠。对于 W4-17，通过移除包含任何与其分子中任何共价连接子图相同的反应来处理。对于 GMTKN55，移除共享相同分子集和化学计量比的反应。

5.1.6. 训练时密度特征的计算

在预训练阶段，模型在固定密度下进行评估，这些密度使用 B3LYP 泛函在 def2-QZVP 基组 (basis set) (含阴离子体系使用 ma-def2-QZVP) 下计算。为了对网格上的数值变化进行正则化，采用了数据增强策略，在八个不同的积分网格（PySCF 的 level 2 和 level 3，配合四种不同的角积分方案）上计算密度。

5.2. 评估指标

5.2.1. 平均绝对误差 (Mean Absolute Error, MAE)

1. 概念定义： MAE 衡量预测值与真实值之间绝对误差的平均值。它提供了预测误差的平均大小，不区分误差的方向。所有误差都被同等对待，不会像均方误差那样对较大误差进行加权。
2. 数学公式： $$\mathrm{MAE} = \frac{1}{N} \sum_{i=1}^{N} |y_i - \hat{y}_i|$$
3. 符号解释：
   • $N$：样本总数。
   • $y_i$：第 $i$ 个样本的真实值。
   • $\hat{y}_i$：第 $i$ 个样本的预测值。

5.2.2. 均方根误差 (Root Mean Squared Error, RMSE)

1. 概念定义： RMSE 衡量预测值与真实值之间差异的平方的均值的平方根。它与 MAE 类似，但对较大的误差赋予了更高的权重，因为误差是平方的。RMSE 的单位与被预测变量的单位相同。
2. 数学公式： $$\mathrm{RMSE} = \sqrt{\frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2}$$
3. 符号解释：
   • $N$：样本总数。
   • $y_i$：第 $i$ 个样本的真实值。
   • $\hat{y}_i$：第 $i$ 个样本的预测值。

5.2.3. 加权总平均绝对偏差 (Weighted Total Mean Absolute Deviation-2, WTMAD-2)

1. 概念定义： WTMAD-2 是 GMTKN55 基准测试中用于衡量电子结构方法在通用主族热化学、动力学和非共价相互作用方面总体性能的综合指标。它通过对不同子数据集的 MAE 进行加权求和，反映了方法在广泛化学问题上的平均表现。权重通常根据子数据集的重要性和难度设定。
2. 数学公式： WTMAD-2 的具体加权公式在原文中未直接给出，但其定义来源于 GMTKN55 原始论文。通常它是一个加权平均值，其中每个子集的 MAE 乘以一个特定权重 $w_k$，然后求和。 $$\mathrm{WTMAD-2} = \sum_{k \in \text{subsets}} w_k \cdot \mathrm{MAE}_k$$
3. 符号解释：
   • $k$：GMTKN55 中的第 $k$ 个子数据集。
   • $w_k$：第 $k$ 个子数据集的权重。
   • $\mathrm{MAE}_k$：第 $k$ 个子数据集的平均绝对误差。

5.3. 对比基线

论文将 Skala 与 Jacob's ladder 中前三级（直到混合泛函或 $O(N^4)$ 级别）表现最佳的 XC 泛函进行了比较：

• GGA 泛函 (Generalized Gradient Approximation Functional)：
  • revPBE-D3(BJ) (Perdew et al., 1986; Becke, 1988; Grimme et al., 2010; Zhang & Yang, 1998)
• meta-GGA 泛函 (meta-Generalized Gradient Approximation Functional)：
  • r2SCAN-D3(BJ) (Sun et al., 2015; Furness et al., 2020)
  • B97M-V (Mardirossian & Head-Gordon, 2015)
• 混合泛函 (Hybrid Functionals)：

  • B3LYP-D3(BJ) (Becke, 1993; Stephens et al., 1994)

  • M06-2X-D3(0) (Zhao & Truhlar, 2008)

  • ωB97X-V (Mardirossian & Head-Gordon, 2014)

  • ωB97M-V (Mardirossian & Head-Gordon, 2016)

    这些基线泛函代表了 DFT 领域中广泛使用且性能优异的代表性方法，涵盖了不同精度和计算成本的级别。除了 M06-2X 使用 $D3(0)$ 校正外，所有泛函（包括 Skala）都使用 D3(BJ) 色散校正，标记为 -V 的泛函则使用 VV10 校正。

5.4. 评估协议细节

5.4.1. 反应能量评估

• 主要测试集：
  • W4-17 (Karton et al., 2017)： 包含 200 种多样化代表性小分子原子化能的高置信度数据集。能量通过 W4 协议计算，具有极高的精度（95% 置信区间 0.17 kcal/mol）。
  • GMTKN55 (Goerigk et al., 2017)： 包含 55 个子集，涵盖基本性质、热化学、动力学、分子间非共价相互作用和构象能量。
• 消融研究测试集： 为了降低计算成本，消融研究（模型架构和数据集组成）在 Diet GMTKN55 上进行，这是一个包含 100 个反应的代表性子集，旨在近似 GMTKN55 的 WTMAD-2 指标。
• MSR-ACC/TAE25 验证集： 评估 Skala 在与训练集相同分布但未用于训练的分子上的性能。
• 基组： 反应能量基准测试使用 def2-QZVP 基组，对于含硬阴离子体系使用 ma-def2-QZVP 基组。
• D3 色散校正： 所有泛函（除了使用 VV10 校正的泛函）都包含 D3 色散校正。

5.4.2. 偶极矩评估

• 测试集： Hait and Head-Gordon (2018) 的 200 个基准偶极矩数据库。
• 计算协议： 遵循推荐的计算协议，使用 aug-pc-3 基组。

5.4.3. 几何优化评估

• 测试集：
  • LMGB35 (Grimme et al., 2015)： 轻主族键长。
  • HMGB11 (Grimme et al., 2015)： 重主族键长。
  • CCse21 (Piccardo et al., 2015)： 21 种小分子的键长和键角。
• 基组： 使用较小的 def2-TZVP 基组。
• 比较对象： 除了其他 DFT 泛函，还与半经验方法 GFN2-xTB 进行比较。

5.4.4. SCF 收敛协议

由于 ML 泛函的 SCF 收敛通常比传统泛函更具挑战性，论文详细描述了严格的 SCF 重试协议：

1. 初始尝试： 从 MINAO 初始猜测开始，使用 PySCF 的 DIIS（窗口大小为 8），无阻尼或层次偏移。
2. 重试逻辑（按顺序）：
   • 阻尼设置为 0.5，DIIS 启动周期为 7。
   • 如果 HOMO-LUMO 间隙低于 $0.1 E_h$，层次偏移参数逐渐设置为 0.1、0.3 和 0.5。
   • 最后尝试 PySCF 的二阶求解器。
3. 梯度下降回退： 如果上述所有尝试在 60 步内未能收敛，则使用轨道梯度下降 (Orbital Gradient Descent) 算法进行手动收敛（详见补充信息 Sec. D.4）。

• 收敛标准： 能量变化低于 $5 \cdot 10^{-6} E_h$，梯度范数小于 $10^{-3} E_h$（几何优化时更严格）。

• 基组： 评估时使用 def2-QZVP 基组。

  以下是原文 Table 4 的结果：

  	First SCF	Damp+DIIS	Lev. shift 0.1	Lev. shift 0.3	Lev. shift 0.5	Newton	Manual
  revPBE	99.93%	0.04%	0.00%	0.00%	0.00%	0.03%	0.00%
  r2SCAN	99.93%	0.00%	0.04%	0.00%	0.00%	0.03%	0.00%
  B97M-V	99.89%	0.07%	0.00%	0.00%	000%	0.00%	0.04%
  B3LYP	100.00%	0.00%	0.00%	0.00%	0.00%	0.00%	0.00%
  M06-2X	99.89%	0.00%	0.00%	0.00%	0.00%	0.00%	0.11%
  ωB97X-V	100.00%	0.00%	0.00%	0.00%	0.00%	0.00%	0.00%
  ωB97M-V	99.93%	000%	0.00%	0.0%	0.00%	0.0%	0.07%
  Skala	98.83%	0.15%	0.51%	0.18%	0.00%	0.29%	0.04%

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 精度与效率的突破

Skala 在原子化能 (TAE) 和通用主族化学 (general main group chemistry) 基准测试中展现出卓越的精度，同时保持了高效的计算成本。

下图（原文 Figure 3）展示了 Skala 在 W4-17 和 GMTKN55 测试集上的性能：

该图像是子图(a)展示了Skala在W4-17和GMTKN55测试集上的平均绝对误差(MAE)与加权总平均绝对偏差(WTMAD-2)的关系。Skala在化学精度(1 kcal/mol)附近表现出色，图中功能类和复杂性以不同符号表示。

• 原子化能 (W4-17)： 在 W4-17 数据集上，Skala 实现了化学精度 (chemical accuracy)（误差接近 1 kcal/mol），平均绝对误差 (MAE) 为 1.06 kcal/mol (单参考结构子集为 0.85 kcal/mol)。这超越了最先进的范围分离混合泛函 ωB97M-V，将误差减半。
• 通用主族化学 (GMTKN55)： 在更广泛的 GMTKN55 基准测试中，Skala 的加权总平均绝对偏差 (WTMAD-2) 为 3.89 kcal/mol，与表现最佳的混合泛函（如 ωB97M-V 的 3.23 kcal/mol 和 ωB97X-V 的 3.96 kcal/mol）具有竞争力。这一性能得益于训练数据中包含了除原子化能之外的多种化学性质数据。
• 计算成本： Skala 的计算成本与半局部 DFT 泛函（如 meta-GGA r2SCAN）相当，远低于混合泛函。GPU 实现显示其成本比混合泛函低至少 10 倍。

6.1.2. GMTKN55 子集性能分析

Skala 在 GMTKN55 的不同子集上表现出强大的鲁棒性，在某些热化学子集中超越了最佳混合泛函。

下图（原文 Figure 4）展示了 GMTKN55 所有子集上的平均绝对误差 (MAE)：

该图像是表格，展示了在小系统、反应能量及反应障碍高度下的基本性质与反应能量，包含多个数据集的结果。这些数据集根据性能指标相较于 eta B97M-V 进行了排序，颜色表示至 eta B97M-V 的误差值。

• 热化学子集： 在多个热化学子集中，Skala 优于最佳混合泛函。
• 分布外 (Out-of-distribution) 泛化： 即使在训练中未见的重元素（如 Sn, Sb, Te, Pb）体系 (HEAVYSB11 数据集) 上，Skala 也能保持显著的鲁棒性，通常超越最佳 meta-GGA 泛函，在最差情况下也能保持 GGA 级别的精度。这突显了训练 XC 泛函而非力场 (force field) 的关键优势：Kohn-Sham DFT 框架本身已描述了主导能量贡献，有助于泛化到不同元素和更大体系。

6.1.3. MSR-ACC/TAE25 验证集性能

Skala 在 MSR-ACC/TAE25 验证集（与训练集分布相同但未用于训练）上实现了高精度预测，表现优于其他泛函。

下图（原文 Figure 6）展示了 MSR-ACC/TAE25 验证集上的 MAE 结果：

该图像是一个图表，展示了在 MSR-ACC/TAE25 验证集上各个功能泛化的平均绝对误差（MAE）。Skala 功能的 MAE 为 0.37 kcal/mol，明显优于其他常用功能。图中还列出每个功能的标签质量，以及不同功能的 MAE 条形表示和误差范围。

• 高精度预测： Skala 在 MSR-ACC/TAE25 验证集上的 MAE 为 0.37 kcal/mol，远低于其他泛函。
• 标签质量： 训练数据 MSR-ACC/TAE 使用 W1-F12 协议标记，估计其对 W4 协议的 MAE 为 0.49 kcal/mol。Skala 在单参考 W4-17 子集上的表现 (0.85 kcal/mol) 进一步证实了其对高精度数据的有效学习。

6.2. 消融实验/参数分析

6.2.1. 非局部交互的重要性

为了验证 Skala 非局部架构的有效性，作者进行了消融实验，比较了仅使用局部分支的模型与包含非局部模块的完整模型。

下图（原文 Figure 7a）展示了 Skala 非局部架构与仅局部分支的精度对比：

该图像是图表，展示了Skala模型与Local MLP架构在Diet GMTKN55上的性能对比。(a)显现模型消融结果，(b)展示训练数据消融的效果，表现不同数据组合对MAE的影响。

• 性能增益： 图 (a) 显示，包含非局部模块的完整 Skala 模型显著优于仅使用局部分支的模型。仅局部模型的性能接近于参数化的 meta-GGA B97M-V。这证明了学习到的非局部性对于实现化学精度的关键作用。

6.2.2. 训练数据组成对精度的影响

作者通过改变训练数据的组成，研究了数据多样性对 Skala 性能的系统性影响。

下图（原文 Figure 7b）展示了不同数据组成下 Skala 精度的系统性改进：

该图像是图表，展示了Skala模型与Local MLP架构在Diet GMTKN55上的性能对比。(a)显现模型消融结果，(b)展示训练数据消融的效果，表现不同数据组合对MAE的影响。

• 仅 MSR-ACC/TAE (A)： 当仅在 MSR-ACC/TAE（主要为原子化能）上训练时，Skala 可以在 W4-17 上达到化学精度，但在 GMTKN55 上的表现仅为低级别 GGA 水平。
• 仅公共数据集 (B)： 仅在公共数据集（NCIAtlas、W4-CC 和原子数据集）上训练时，模型表现非常差，且不同随机种子之间的方差很大。
• $A + B$ 组合： 当将公共数据集 $B$ 添加到 MSR-ACC/TAE $A$ 中时，Skala 在 W4-17 上的精度保持不变，但在 GMTKN55 上的表现显著改善。
• $A + B + C$ 组合： 进一步添加所有其他 MSR-ACC 数据（构象、反应、IP 和 PA），Skala 的性能继续系统性地提高。 这些结果强有力地证明了 Skala 能够从多样化的训练数据中学习并系统性地改进其精度和通用性。

6.2.3. 自洽微调 (SCF Fine-tuning) 对密度和能量的影响

为了弥合模型在预训练阶段（使用 B3LYP 密度）与实际 SCF 评估阶段（使用 Skala 自身生成的密度）之间的性能差距，作者引入了自洽微调策略。

下图（原文 Figure 8a）展示了 SCF 微调对偶极误差和反应误差的影响：

该图像是一个示意图，展示了在MSR-ACC/TAE25验证集上，随着SCF的精细调整步骤增加，偶极误差和反应误差的变化趋势。上部分显示了偶极误差的均方根值（RMSE），下部分则展示了反应误差的平均绝对误差（MAE），具有自洽密度的评估表现出显著的准确性提升。

• 能量和密度同步改善： 图 (a) 显示，在微调的初始阶段，模型的能量预测（原子化能的平均绝对误差 MAE）和密度质量（偶极误差的均方根误差 RMSE）都在改善。
• 防止误差补偿： 微调过程在 SCF 密度质量开始恶化时终止，这表明模型开始利用泛函误差和密度驱动误差之间的补偿，此时停止微调可以防止模型过拟合，保持泛化能力。
• 偶极矩精度： 最终的 Skala 偶极误差低于 B3LYP，并接近最佳混合泛函的误差。

6.2.4. 几何优化结果

Skala 在几何优化方面也展现出良好的性能，至少达到了标准半局部 DFT 的基线质量。

以下是原文 Table 2 的结果：

• 性能与 GGA 相当： Skala 尽管未专门针对几何优化精度进行训练，但在大多数基准测试中达到了 GGA 质量或更好。
• 鲁棒性： 最差的异常值是 HMGB11 数据集中的 Pb-Pb 键长，这是一个显著超出分布的体系，但整体表现仍可接受。

6.2.5. 训练数据促使精确约束的涌现 (Emergence of Exact Constraints)

论文还探讨了 Skala 如何通过数据学习来满足物理精确约束，特别是动能相关分量 (kinetic correlation component) $T_c$ 的非负性。

$T_c[\rho]$ 的定义为： $$T_c[\rho] = T[\rho] - T_s[\rho]$$ 其中 $T[\rho]$ 是相互作用体系的动能，$T_s[\rho]$ 是非相互作用 Kohn-Sham 体系的动能。由于相互作用体系的电子为了避免库仑排斥会移动得更快，所以 $T[\rho]$ 总是高于 $T_s[\rho]$，从而 $T_c[\rho]$ 应该总是非负 (non-negative) 的。 $T_c$ 与 XC 能量在均匀缩放密度 $\rho_\gamma(\mathbf{r}) = \gamma^3 \rho(\gamma\mathbf{r})$ 下的关系为： $$T_c[\rho_\gamma] = \gamma^2 \frac{d}{d\gamma} \frac{E_{\mathrm{xc}}[\rho_\gamma]}{\gamma}.$$ 通过将 Skala 泛函 $E_{\mathrm{xc}}^{\theta}$ 代入上式，可以得到模型计算的 $T_c^{\theta}$。

下图（原文 Figure 15）展示了不同训练数据组成下 Skala 模型的 $T_c$ 行为：

该图像是图表，展示了不同数据组成下训练的功能，特别是最终的 Skala 功能。图中包含了模型 T _ { ext{c} } 的结果，左侧四列分别显示了在数据 A、B、A+B 和 A+B+C 条件下的训练结果，右侧为最终的 Skala 功能。每行代表不同的随机种子。

• 数据稀缺时的违反： 当仅在 MSR-ACC/TAE (A) 上训练时，Skala 明显违反了 $T_c$ 非负性约束（图中的红色阴影区域）。
• 公共数据的影响： 仅在公共 NCIAtlas、W4-CC 和原子数据集 (B) 上训练时，模型违反约束的频率较低。这可能是因为 NCIAtlas 中的解离曲线样本提供了类似于方程 (36) 中导数项的训练信号。
• 数据组合的复杂性： 在 (A + B) 组合上训练时，模型表现出混合性能，且跨种子和原子类型之间方差增加，这可能是因为 TAE 数据集（A）的规模（约 6 倍大）稀释了 (B) 中数据集的益处。
• 约束的涌现： 当所有 MSR-ACC 数据（A + B + C，包括构象、反应、IP 和 PA）都被添加到训练集中时，模型能够一致地满足 (consistently satisfied) $T_c$ 的非负性约束，这在最终的 Skala 模型中也得到了体现。这表明，当训练数据包含足够多具有相对较小密度变化的样本（如 MSR-ACC 构象和反应数据集）时，物理约束可以作为涌现行为 (emergent behavior) 从数据中学习到。

6.3. 计算成本

Skala 的计算成本对其在实际应用中的推广至关重要。作者评估了 Skala 的 GPU 和 CPU 实现。

下图（原文 Figure 9）展示了 Skala 与其他泛函的计算运行时间：

该图像是一个运行时间与轨道数的比较图，左侧显示GPU（NC24ADS A100 V4）和右侧显示CPU（E32ADS V5）的运行时间。不同的计算功能，包括Skala的运行时间随轨道数量的变化，并通过拟合线 $a { N _ { ext{orbitals} } } ^ { n }$ 表示性能。同时右侧展示了用于评估Skala的不同分子的示意图。

• GPU 实现 (Accelerated DFT)： 在 GPU（Azure NC24ADS V4 A100）上，经过适度的预因子后，Skala 的计算成本与半局部 meta-GGA r2SCAN 相同，比混合泛函成本低至少 10 倍。这表明其在实践中具有高度可扩展性。

• CPU 实现 (PySCF)： 在 CPU（Azure E32ADS V5）上，Skala 相对于 r2SCAN 表现出约 3-4 倍的预因子。这种开销部分归因于与 PySCF 的次优接口，未能充分利用基函数筛选。因此，CPU 结果提供的是 Skala 成本的一个宽松上限。

• 与 DM21 的对比： 相比之下，DM21 泛函在 PySCF 中的基本实现计算成本比标准泛函高 100 多倍，突显了 Skala 在效率方面的优势。

  这些结果表明，即使是未经优化的 Skala 实现，其成本也与实际应用中常用的泛函相当，为其广泛采用奠定了基础。

6.4. 其他结果

• 自旋对称性破缺： 对于高多参考特性体系，Kohn-Sham DFT 通常倾向于打破自旋对称性以获得更低的能量解。Skala 允许对多参考体系（如 C2, B2, 1BN）进行自旋对称性破缺，从而进一步提高精度，并获得更接近真实值的能量。这与传统泛函行为一致。 下图（原文 Figure 11）展示了 C2 分子在 Skala 泛函下的自旋密度差异：

  该图像是图示，展示了在 $R_{C-C} = 2.34326 a_0$ 下的 ext{C}_2 分子的自旋密度差异。左侧为 xy 平面视图，右侧为 yz 平面视图。碳原子的位置用黑色小圆点标示。

• 网格尺寸收敛性： Skala 在不同 PySCF 网格级别下的收敛行为与传统泛函相似，在 W4-17 和 Diet GMTKN55 上均表现出良好的稳定性，只有在 W4-17 上网格级别 5 处略有波动。 下图（原文 Figure 12）展示了 Skala 在不同 PySCF 网格级别下的性能：

  该图像是一个图表，展示了不同pyscf网格级别下Diet GMTKN55和W4-17基准的评估结果。riangle代表Diet GMTKN55的WTMAD-2差异以及W4-17的MAE，标签显示了使用的不同功能。

7. 总结与思考

7.1. 结论总结

本文提出了 Skala，一个基于深度学习 (Deep Learning, DL) 的交换-相关 (XC) 泛函，在长期寻求通用、化学精确且计算高效的密度泛函 (Density Functional Functional) 方面迈出了重要一步。通过解决数据稀缺和模型设计两大挑战，Skala 证明了从简单半局部输入 (semi-local inputs) 中学习非局部量子力学效应 (non-local quantum mechanical effects) 是可行的，且不牺牲半局部 DFT 的 $O(N^3)$ 有利渐近标度 (asymptotic scaling)。

Skala 利用了大规模、多样化的高精度数据集，并采用了一种能够以可扩展方式捕获非局部性的神经网络架构。最终的泛函在小分子原子化能基准数据集上实现了化学精度 (chemical accuracy)，并在广泛的主族化学 (main group chemistry) 范围内，以仅半局部 DFT (semi-local DFT) 的成本，达到了与最先进混合泛函 (hybrid functionals) 相当的精度。这些结果表明，深度学习能够打破几十年来限制 XC 泛函发展的传统精度-计算成本权衡。

Skala 的关键优势在于，Kohn-Sham (KS) 框架本身能够捕获泛化到未见元素和更大体系所需的主导能量贡献，而 XC 泛函仅代表一个较小的校正项。通过在设计中嵌入基本属性，Skala 保持了鲁棒性：它以高精度泛化到大多数其他热化学基准测试，在最坏情况下也能退化到（可能更低级别的）半局部 DFT 性能。这使得学习精确 XC 泛函成为将波函数方法精度从小型体系转移到 DFT 可及的中大型体系的有力策略。反过来，学习到的泛函可以用于生成更大体系的高质量数据，从而训练力场 (force fields) 和其他模型。这将在不同尺度上创建一个精度传递的级联效应，有望改变计算化学的预测能力。

7.2. 局限性与未来工作

作者指出了 Skala 的主要局限性和未来的研究方向：

• 多参考和强关联体系： 当前 Skala 主要关注单参考体系。将其覆盖范围扩展到多参考 (multi-reference) 和强关联体系 (strongly correlated systems) 是一个关键挑战，因为生成这些体系的准确参考数据在大规模上仍然是一个障碍，需要新的科学和计算进展来克服。
• 色散效应的学习： 目前 Skala 使用固定的 D3 色散校正来处理长程相互作用。未来的工作将包括利用 Skala 的架构来学习色散效应本身。
• 代码发布： 推理代码和模型权重仍在准备中，尚未发布。

7.3. 个人启发与批判

7.3.1. 个人启发

• 数据驱动的范式转变： Skala 的成功证明，通过大规模、高质量的数据集训练深度学习模型，可以有效突破传统物理模型在精度与效率上的固有矛盾。这对于其他复杂的科学领域（如材料科学、生物物理学）中，物理先验知识丰富但精确计算成本高昂的问题，提供了通用的解决思路——用数据驱动的表示学习取代繁重的手工特征工程。
• 框架设计的巧妙性： Skala 通过“粗粒度网格”实现可扩展的非局部学习，避免了在巨大计算网格上直接建模全连接图的成本，这是一个非常巧妙的设计。这种“分层通信”的思想在处理大规模空间数据或图结构时具有普遍借鉴意义。
• 精确约束的涌现： 模型在训练数据足够丰富时能够自发满足物理精确约束，这非常令人鼓舞。它表明，即便在模型设计中仅加入最小的物理先验，只要数据能够充分反映物理规律，模型也能“学会”这些深层规律。这为深度学习在科学领域的可解释性和可信赖性提供了新的视角。
• 跨尺度精度传递的潜力： 论文提出的“精度级联”概念，即高精度 ML 泛函可以用于生成更高质量的训练数据，从而训练更低成本的模型（如力场），将高精度信息从量子化学尺度传递到分子动力学甚至宏观尺度，具有巨大的应用前景。

7.3.2. 潜在问题与批判

• 黑盒性质： 尽管 Skala 取得了显著的精度提升，但深度学习模型的黑盒性质 (black-box nature) 仍然存在。它学习到的非局部表示和物理规律可能难以直观解释，这在需要深入理解物理机制的理论研究中可能是一个挑战。相比之下，传统 DFT 泛函的每个项通常都有明确的物理含义。
• 训练数据的成本和偏差： Skala 的成功高度依赖于“前所未有的大规模高精度参考数据”。生成这些数据本身就是一项巨大的计算工程，需要特定的专业知识和高性能计算资源。此外，即使是“大规模”，也可能存在未被充分覆盖的化学空间或极端条件，导致模型在这些“分布外 (out-of-distribution)”场景下的性能下降。例如，在几何优化中，Pb-Pb 键长作为“显著超出分布”的异常值，提示模型在处理稀有元素或键合类型时可能存在局限。
• 收敛稳定性： 论文也承认，Skala 的 SCF 收敛比传统泛函更具挑战性，需要复杂的重试协议甚至梯度下降回退。这虽然通过技术手段解决了，但在实际应用中可能会增加计算的复杂性和不确定性，尤其是在探索新的化学空间时。
• 可移植性与基组依赖性： DFT 泛函通常在特定的基组和网格设置下进行参数化和评估。尽管 Skala 的设计旨在与基组无关，但在不同基组或不同 DFT 软件实现之间，其性能和收敛稳定性可能仍需进一步验证。
• 对现有 DFT 软件生态的冲击与集成： Skala 的推理代码和模型权重尚未发布，其与现有主流 DFT 软件（如 Gaussian、ORCA、VASP 等）的集成将是其能否广泛应用的关键。新的泛函需要稳定的接口、易用的工作流以及良好的社区支持才能被广泛采纳。