1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention (原生稀疏注意力：硬件对齐且可原生训练的稀疏注意力)
• 作者 (Authors): Jingyang Yuan, Huazuo Gao, Damai Dai, Junyu Luo, Liang Zhao, Zhengyan Zhang, Zhenda Xie, Y. X. Wei, Lean Wang, Zhiping Xiao, Yuqing Wang, Chong Ruan, Ming Zhang, Wenfeng Liang, Wangding Zeng
• 隶属机构 (Affiliations): DeepSeek-AI, 北京大学 (Peking University), 华盛顿大学 (University of Washington)
• 发表期刊/会议 (Journal/Conference): 本文目前发布在 arXiv 上，属于预印本 (Preprint)，尚未在同行评审的会议或期刊上正式发表。
• 发表年份 (Publication Year): 2025 (根据 arXiv 提交版本)
• 摘要 (Abstract): 长上下文建模对下一代语言模型至关重要，但标准注意力机制的高计算成本带来了巨大的挑战。稀疏注意力为提高效率同时保持模型能力提供了一个有前景的方向。本文提出了 NSA (Natively trainable Sparse Attention)，一种集算法创新与硬件对齐优化于一体的原生可训练稀疏注意力机制，以实现高效的长上下文建模。NSA 采用动态分层稀疏策略，结合粗粒度的 Token 压缩和细粒度的 Token 选择，以同时保留全局上下文感知和局部精度。该方法通过两项关键创新推动了稀疏注意力的设计：(1) 通过平衡计算强度的算法设计及针对现代硬件的实现优化，实现了显著的加速；(2) 实现了端到端的训练，在不牺牲模型性能的情况下减少了预训练计算量。实验表明，使用 NSA 预训练的模型在通用基准、长上下文任务和指令推理方面保持或超过了全注意力 (Full Attention) 模型。同时，NSA 在处理 64k 长度序列时，在解码、前向传播和后向传播等模型生命周期的各个阶段都比全注意力实现了大幅加速。
• 原文链接 (Source Link):

  • arXiv 链接: https://arxiv.org/abs/2502.11089

  • PDF 链接: https://arxiv.org/pdf/2502.11089.pdf

  • 发布状态: 预印本 (Preprint)

    ---

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):

  • 核心问题: 标准自注意力 (Self-Attention) 机制的计算和内存复杂性是二次方级别的 ($O(N^2)$)，其中 N 是序列长度。随着大语言模型 (LLM) 的上下文长度从几千扩展到数十万甚至上百万，这种二次方复杂性成为制约模型训练和推理效率的核心瓶颈。
  • 重要性与挑战: 长上下文能力是下一代 LLM 的关键，它能支持更复杂的任务，如处理长文档、进行多轮对话和编写大型代码库。现有研究提出了多种稀疏注意力方法来降低复杂性，但它们普遍存在两大核心空白 (Gap)：
    1. 理论快，实际慢 (The Illusion of Efficient Inference): 许多方法虽然在理论上减少了计算量，但由于算法设计与现代 GPU 硬件特性（如内存访问模式）不匹配，未能在实际推理中获得相应的延迟降低。此外，部分方法仅在推理的某个阶段（如仅解码或仅预填充）实现稀疏，无法覆盖模型全生命周期。
    2. 无法有效训练 (The Myth of Trainable Sparsity): 大多数稀疏注意力方法是为推理阶段设计的，直接应用于预训练好的全注意力模型上，这会导致性能下降。同时，这些方法往往包含不可微分的操作（如聚类、哈希），使得模型无法在训练阶段学习到最优的稀疏模式，也无法享受稀疏带来的训练加速。
  • 切入点/创新思路: 本文的切入点是原生稀疏 (Native Sparsity)，即从模型设计之初就将稀疏性、可训练性和硬件效率融为一体。其核心思路是设计一个既能在算法层面有效保留关键信息，又能在系统层面与硬件（特别是 GPU 的 Tensor Cores）高效协同的稀疏注意力架构，并使其能够端到端 (end-to-end) 地进行训练。

• 核心贡献/主要发现 (Main Contribution/Findings - What):

  • 提出 NSA 架构: 提出了一种名为 NSA (Natively trainable Sparse Attention) 的新型稀疏注意力机制。该架构采用动态分层稀疏策略，通过三个并行分支处理信息：

    1. 压缩注意力 (Compressed Attention): 对历史 Token 进行粗粒度压缩，以低成本捕获全局上下文。
    2. 选择注意力 (Selected Attention): 基于压缩分支的中间结果，动态选择最重要的细粒度 Token 块，保留关键信息。
    3. 滑动窗口注意力 (Sliding Window Attention): 专注于处理局部上下文，确保局部信息的精确性。

  • 实现硬件对齐的性能加速: 设计并实现了专门的 Triton 内核，通过以 GQA 组为中心的数据加载和共享 KV 块获取等策略，优化了内存访问模式，平衡了计算强度 (Arithmetic Intensity)，从而将理论上的计算量减少有效转化为实际的延迟降低。实验显示，在 64k 序列长度下，NSA 在解码、前向和后向传播中分别取得了 11.6x, 9.0x, 6.0x 的显著加速。

  • 实现原生可训练且性能不下降: NSA 的所有组件都是可微分的，支持端到端训练。实验证明，从头开始使用 NSA 预训练的模型，其性能不仅没有下降，反而在多个通用、长上下文和推理基准测试上持平甚至超越了传统的全注意力模型。这证明了原生稀疏训练的可行性和优越性。

    ---

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

• 基础概念 (Foundational Concepts):

  • 自注意力机制 (Self-Attention Mechanism): Transformer 模型的核心组件。对于序列中的每一个 Token，它会计算该 Token 与序列中所有其他 Token 的相关性得分（注意力权重），然后基于这些权重对所有 Token 的表示进行加权求和。其计算复杂度为 $O(N^2)$，其中 N 是序列长度，这是长上下文处理的主要瓶颈。
  • KV 缓存 (KV Cache): 在大语言模型进行自回归生成（解码）时，为了避免重复计算历史 Token 的键 (Key) 和值 (Value) 向量，通常会将它们缓存起来。随着序列变长，KV 缓存会占用大量 GPU 显存。
  • 稀疏注意力 (Sparse Attention): 一类旨在降低注意力计算复杂度的近似方法。其核心思想是，对于每个查询 (Query)，只计算它与一小部分关键的键 (Key) 之间的注意力，而不是全部的键。
  • 计算强度 (Arithmetic Intensity): 指的是计算操作次数与内存访问字节数之比。这个比率决定了一个计算任务是计算密集型 (Compute-Bound) 还是内存密集型 (Memory-Bound)。GPU 的计算速度远快于访存速度，因此提升计算强度（即减少不必要的内存访问）是性能优化的关键。解码过程通常是内存密集型的，而训练和预填充过程是计算密集型的。
  • 分组查询注意力 (Grouped-Query Attention, GQA): 一种介于多头注意力 (MHA) 和多查询注意力 (MQA) 之间的折中方案。它将多个查询头编为一组，共享同一组键和值头。这在保持较高模型质量的同时，显著减少了解码时 KV 缓存的加载量和显存占用。NSA 的硬件优化正是基于 GQA 架构展开的。
  • FlashAttention: 一种利用 GPU 硬件特性（如 SRAM 的高速读写）来优化标准注意力计算的算法。它通过分块计算、避免向全局内存（HBM）读写中间注意力矩阵等技术，实现了极高的计算效率。NSA 的目标是让其稀疏注意力内核达到 FlashAttention 级别的速度。

• 前人工作 (Previous Works):

  • 固定模式稀疏 (Fixed Sparse Pattern): 如 Longformer 和 StreamingLLM。这类方法预先定义好稀疏模式，例如只关注局部窗口内的 Token 和少数几个全局 Token。局限性： 模式是固定的，无法动态适应输入内容，可能错过重要的远距离依赖。
  • 动态 Token 剪枝 (Dynamic Token Pruning): 如 H2O。这类方法在推理过程中动态地丢弃那些被认为不重要的历史 Token 的 KV 缓存。局限性： 主要用于推理加速，无法在训练中应用；且通常只关注解码阶段，对预填充阶段无加速效果。
  • 查询感知选择 (Query-Aware Selection): 如 Quest 和 ClusterKV。这类方法根据当前的查询 q 动态地选择一部分 k 和 v 进行计算。局限性：
    • Quest 等启发式方法在 GQA 架构下可能导致密集的内存访问，因为一个 GQA 组内的不同查询头可能选择不同的 KV 块，导致需要加载所有选择块的并集。
    • ClusterKV 等基于聚类的方法引入了不可微分的操作，难以进行端到端训练，并且聚类本身带来了额外的计算开销。

• 技术演进 (Technological Evolution): 注意力机制的效率优化经历了从固定模式到动态、数据驱动的稀疏模式的演进。早期的工作侧重于理论复杂度的降低，而近期的工作越来越关注实际的硬件效率和与现代 LLM 架构（如 GQA）的兼容性。然而，将训练和推理、算法和硬件系统进行一体化考虑的工作仍然较少，本文正处于这一技术脉络的前沿。

• 差异化分析 (Differentiation): 与上述工作相比，NSA 的核心差异化在于其“原生”和“硬件对齐”的特性：

  1. 全生命周期加速: NSA 的设计同时优化了训练、预填充和解码三个阶段，而许多先前工作只关注其中一两个阶段。

  2. 端到端可训练: NSA 的所有模块（包括 Token 选择）都是可微分的，允许模型在预训练阶段就学习到最优的稀疏注意力模式，避免了后处理稀疏化带来的性能损失。

  3. 硬件协同设计: NSA 的内核设计是为现代 GPU 架构（特别是 GQA）量身定制的，通过优化数据加载和计算流程，确保了理论计算量的减少能够转化为实实在在的速度提升。

  4. 分层稀疏策略: 结合了粗粒度的全局压缩和细粒度的局部选择，实现了信息保留和计算效率的平衡。

     ---

4. 方法论 (Methodology - Core Technology & Implementation Details)

NSA 的核心思想是用一个紧凑且信息密集的新键值对集合 $(\tilde{K}_t, \tilde{V}_t)$ 来替代原始的、完整的历史键值对 $(\mathbf{k}_{:t}, \mathbf{v}_{:t})$。这个过程是动态的，依赖于当前的查询 $\mathbf{q}_t$。

• 方法原理 (Methodology Principles): NSA 的架构基于一个分而治之的直觉：不同的信息类型（全局概览、局部细节、关键节点）可以用不同粒度的注意力机制来高效处理。它将完整的注意力计算分解为三个并行的、计算量更小的分支，最后通过一个可学习的门控机制将它们的输出融合起来，从而在保持模型表达能力的同时大幅降低计算成本。

  上图（图像 1）展示了 NSA 的整体架构。左侧描绘了输入序列如何被分割成块，并分别进入压缩、选择和滑动窗口三个分支。右侧则可视化了这三个分支对应的不同注意力模式（绿色区域为需要计算注意力的部分）。

• 方法步骤与流程 (Steps & Procedures): 对于每一个查询 $\mathbf{q}_t$，NSA 通过以下三个并行分支来构建稀疏的键值对集合：

  1. Token 压缩 (Token Compression):

  • 目的: 以低成本捕获长距离的全局上下文信息。
  • 流程: 将历史的键/值序列 $(\mathbf{k}_{:t}, \mathbf{v}_{:t})$ 分割成连续的、有重叠的块。每个块内的所有 Token 通过一个可学习的多层感知机 (MLP) $\varphi$ 压缩成一个单一的“摘要”向量。
  • 数学公式: $$\tilde { K } _ { t } ^ { \mathrm { c m p } } = f _ { K } ^ { \mathrm { c m p } } ( \mathbf { k } _ { : t } ) = \{ \varphi ( \mathbf { k } _ { i d + 1 : i d + l } ) \mid 0 \leqslant i \leqslant \lfloor \frac { t - l } { d } \rfloor \}$$
    • l: 压缩块的长度 (block length)。
    • d: 相邻块之间的滑动步长 (sliding stride)。通常 $d < l$ 以确保块之间有重叠，减少信息丢失。
    • $\varphi$: 一个可学习的 MLP，用于将一个块内的多个 key 向量映射为一个压缩后的 key 向量。
    • $\tilde{K}_t^{\mathrm{cmp}}$: 由所有压缩后的 key 向量组成的张量。
  • 对值 v 的处理方式完全相同，得到 $\tilde{V}_t^{\mathrm{cmp}}$。

  2. Token 选择 (Token Selection):

  • 目的: 在保留全局概览的同时，精确地捕获对当前查询最重要的细粒度信息。
  • 流程:
    • 块级选择 (Blockwise Selection): 出于硬件效率的考虑（连续内存访问远快于随机访问），NSA 选择整个 Token 块，而不是单个 Token。
    • 重要性分数计算: 这是一个非常巧妙的设计。NSA 复用了压缩分支计算出的中间注意力分数来作为块的重要性分数，避免了额外的计算开销。压缩 key $\tilde{K}_t^{\mathrm{cmp}}$ 与当前 query $\mathbf{q}_t$ 计算出的注意力分数 $\mathbf{p}_t^{\mathrm{cmp}}$，直接或经过简单变换后，作为对应原始 Token 块的重要性分数 $\mathbf{p}_t^{\mathrm{slc}}$。
    • GQA 组内分数聚合: 对于 GQA 架构，同一组内的所有查询头共享 KV。为了保证选择的 KV 块是一致的，将组内所有头计算出的重要性分数相加，得到一个统一的分数向量 ${\mathbf{p}_t^{\mathrm{slc}}}'$。
    • Top-n 选择: 根据聚合后的重要性分数，选择得分最高的 n 个块。这些被选中块内的所有原始 Token 的键和值 $(\tilde{K}_t^{\mathrm{slc}}, \tilde{V}_t^{\mathrm{slc}})$ 将参与后续的注意力计算。

  3. 滑动窗口 (Sliding Window):

  • 目的: 显式地处理最近的局部上下文。这可以防止模型在学习时走捷径，即只依赖局部信息而忽略了压缩和选择分支提供的长距离信息。
  • 流程: 简单地保留最近的 w 个 Token 的键和值 $(\tilde{K}_t^{\mathrm{win}}, \tilde{V}_t^{\mathrm{win}})$。

  最终输出: 三个分支分别计算注意力输出后，通过一个从输入特征学习到的门控分数 $g_t^c$ 进行加权求和，得到最终的输出 $\mathbf{o}_t^*$。 $$\mathbf { o } _ { t } ^ { * } = \sum _ { c \in C } g _ { t } ^ { c } \cdot \mathrm { Attn } ( \mathbf{q} _ { t } , \tilde { K } _ { t } ^ { c } , \tilde { V } _ { t } ^ { c } )$$ 其中 $C = \{\mathrm{cmp}, \mathrm{slc}, \mathrm{win}\}$。

• 硬件优化内核设计 (Hardware-Optimized Kernel Design): 为了将算法优势转化为实际速度，论文为选择注意力分支设计了专门的 Triton 内核。

  上图（图像 2）展示了 NSA 内核的计算流程。其核心优化在于数据加载策略。

  1. 以 GQA 组为中心加载 (Group-Centric Data Loading): 传统 FlashAttention 按 query 的位置分块加载。但对于稀疏注意力，同一个 query 块内的不同 query 可能需要完全不同的 key 块，导致内存访问不连续。NSA 的内核改变了循环顺序，外层循环遍历 query 的位置，在内层一次性加载同一个 GQA 组的所有 query 头。
  2. 共享 KV 获取 (Shared KV Fetching): 因为同一 GQA 组的 query 头共享相同的稀疏 KV 块索引，内核可以一次性将这些被选中的、连续的 KV 块加载到 SRAM 中，供组内所有 query 头使用，从而消除了冗余的内存传输。 这种设计最大化了内存访问的连续性，平衡了计算负载，从而实现了接近 FlashAttention 的硬件利用率。

---

5. 实验设置 (Experimental Setup)

• 模型与训练设置 (Model & Training Setup):

  • 骨干网络: 采用一个 27B 参数的 Transformer 模型，该模型结合了 GQA 和专家混合 (Mixture-of-Experts, MoE) 架构。
  • NSA 超参数: 压缩块大小 $l=32$，步长 $d=16$，选择块大小 $l'=64$，选择块数量 $n=16$，滑动窗口大小 $w=512$。
  • 训练数据: 在 270B Token 的 8k 长度文本上进行预训练，之后在 32k 长度的文本上进行持续训练和微调以适应长上下文。
  • 对比模型:
    • **Full Attention: 使用标准全注意力机制的同等规模模型作为基线。
    • 其他稀疏方法: H2O, infLLM, Quest, Exact-Top 等，这些方法仅在推理阶段应用稀疏策略。

• 数据集 (Datasets):

  • 通用能力评估: MMLU (知识), BBH, GSM8K, MATH (推理), MBPP, HumanEval (代码)。这些数据集覆盖了语言模型的多种核心能力。
  • 长上下文评估:
    • Needle-in-a-Haystack (大海捞针测试): 检验模型在极长文本中精确定位和检索信息的能力。
    • LongBench: 一个综合性的长上下文评测基准，包含单文档问答、多文档问答、代码等多种任务。
  • 推理能力评估 (SFT后):
    • AIME (美国数学邀请赛): 一个高难度的数学推理基准，用于评估模型在经过长序列指令微调后的复杂推理能力。

• 评估指标 (Evaluation Metrics):

  • 准确率 (Accuracy): 用于 MMLU, BBH, GSM8K 等分类或选择题任务。
  • F1 分数 (F1 Score): 用于 DROP 等阅读理解任务。
  • Pass@k: 用于 MBPP, HumanEval 等代码生成任务，衡量生成代码一次通过测试用例的比例。
  • 具体任务得分: LongBench 和 AIME 使用其自带的评分标准。
  • 计算效率: 训练和推理的速度 (吞吐量) 或延迟 (ms)，以及加速比 (Speedup Ratio)。

• 对比基线 (Baselines):**

  • Full Attention: 这是最重要的基线，用于证明 NSA 在性能不下降的前提下实现了加速。

  • H2O, infLLM, Quest: 代表了当前主流的、仅在推理阶段应用的稀疏注意力方法，用于证明 NSA 在长上下文任务上的性能优势。

  • Exact-Top: 一个理论上的“最优”稀疏基线，它先计算完整的注意力矩阵，再选择得分最高的 top-n 个 key，用于衡量 NSA 选择策略的有效性。

    ---

6. 实验结果与分析 (Results & Analysis)

• 核心结果分析 (Core Results Analysis):

  上图（图像 3）直观地总结了 NSA 的核心优势：左图显示其在多个基准上性能与 Full Attention 相当甚至更优；右图显示其在模型生命周期的各个阶段都带来了巨大的速度提升。

  1. 预训练稳定性与性能:

     

     • 如上图（图像 4）所示，NSA 的训练过程稳定，损失曲线平滑下降，并且最终的损失值略低于 Full Attention 基线。这证明了原生稀疏训练的可行性。
     • 在通用基准测试中（见论文 Table 1），NSA 的平均分（0.456）高于 Full Attention（0.443），尤其在推理任务 DROP 和 GSM8K 上提升明显。这表明原生稀疏训练可能迫使模型更关注重要信息，从而过滤掉噪声，提升了特定任务的性能。

  2. 长上下文能力:

     

     • 如上图（图像 5）所示，在 64k 长度的“大海捞针”测试中，NSA 在所有位置和深度上都实现了100%的完美检索。这得益于其分层设计：压缩分支负责全局扫描定位，选择分支负责精确提取。
     • 在 LongBench 测试中（见论文 Table 2），NSA 的平均分（0.469）显著高于所有基线，包括 Full Attention（0.437）和理论上限 Exact-Top（0.423）。这再次证明了端到端学习稀疏模式的优越性，模型可以根据任务微调其注意力模式。

  3. 复杂推理能力:

     • 在经过数学推理指令微调后，NSA-R 模型在 AIME 基准上的表现远超 Full Attention-R（见论文 Table 3），在 8k 和 16k 生成长度下分别高出 0.075 和 0.054 分。这说明 NSA 的稀疏结构能够有效捕捉对复杂数学推导至关重要的长距离逻辑依赖。

  4. 计算效率:

     

     • 训练速度: 如上图（图像 6）所示，与基于 Triton 的 FlashAttention-2 相比，NSA 的专用内核在长序列上实现了巨大加速。在 64k 序列长度下，前向传播加速 9.0 倍，后向传播加速 6.0 倍。
     • 解码速度: 解码是内存密集型的，其速度主要取决于加载的 KV 缓存量。NSA 大幅减少了需要加载的 Token 数量（见论文 Table 4），在 64k 上下文长度下，理论加速比可达 11.6 倍。

• 消融实验/参数分析 (Ablation Studies / Parameter Analysis):

  • 论文在第 6.1 节中探讨了替代选择策略的挑战，这可以看作是一种设计过程中的消融分析。

    

    • 如上图（图像 7）所示，与基于辅助损失的可学习选择方法和基于启发式的无参数选择方法相比，NSA 的训练损失最低。这证明了 NSA 巧妙地复用压缩分支注意力分数作为选择依据的策略是高效且有效的。

  • 论文还通过可视化注意力图谱来解释其设计的直觉。

    

    • 上图（图像 8）显示，在全注意力模型中，高注意力分值的区域呈现出块状聚集的特性。这个观察启发并验证了 NSA 采用块级选择策略的合理性，因为它既符合注意力分布的内在模式，又对硬件友好。

      ---

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary): 本文成功地提出了 NSA，一个原生可训练且硬件对齐的稀疏注意力架构。它通过创新的分层稀疏策略（压缩、选择、滑动窗口）和专门优化的计算内核，解决了现有稀疏注意力方法中普遍存在的“理论快、实际慢”和“难以训练”两大痛点。实验结果有力地证明，NSA 不仅在模型生命周期的所有阶段（训练、预填充、解码）实现了对长序列处理的显著加速，而且其模型性能在各类任务上与全注意力模型持平甚至更优。这标志着稀疏注意力从一个主要用于推理优化的“补丁”技术，演进为了一个可以原生集成到模型预训练中的、兼具性能和效率的核心架构。

• 局限性与未来工作 (Limitations & Future Work): 尽管论文作者未在正文中明确列出局限性，但我们可以从研究助理的批判性角度思考以下几点：

  • 超参数敏感性: NSA 引入了多个超参数，如块大小 (l, l'), 步长 (d), 选择数量 (n) 等。这些参数的最优值可能依赖于具体任务和模型架构，论文没有深入探讨其敏感性以及如何系统地设置这些参数。
  • 硬件普适性: NSA 的内核是基于 Triton 并在 A100 GPU 上进行优化的。其性能优势在其他类型的硬件（如不同厂商的 GPU 或专用 AI 芯片）上的可移植性和表现尚待验证。
  • 信息压缩的潜在瓶颈: 压缩分支使用一个简单的 MLP 来聚合块信息。对于极度复杂的上下文，这种压缩方式是否可能成为信息瓶颈，导致关键信息的丢失，值得进一步研究。
  • 未来工作可以探索更自适应的稀疏策略（例如，让模型自己学习块大小和数量），以及将此架构推广到多模态模型中。

• 个人启发与批判 (Personal Insights & Critique):

  • 算法-系统协同设计的典范: 这篇论文最令人印象深刻的是其算法与硬件系统协同设计 (Co-design) 的思想。它没有停留在算法的理论层面，而是深入到硬件执行的细节，通过优化内存访问模式来解决性能瓶颈。这为未来 AI 算法的研究提供了重要启示：高效的算法必须是“硬件感知”的。
  • 计算复用的巧思: NSA 复用压缩分支的中间计算结果来指导选择分支，这是一个非常优雅和高效的设计，体现了在设计复杂系统时对计算成本的精打细算。
  • “原生稀疏”的价值: 本文雄辩地证明了“原生稀疏训练”的巨大价值。它打破了“稀疏必然导致性能下降”的传统观念，表明如果稀疏模式是可学习且与模型其他部分协同优化的，完全可以达到甚至超越密集模型的性能。这可能会引领一波新的、从头开始设计和训练高效模型的研究浪潮。
  • 批判性思考: 尽管 NSA 表现出色，但其分层结构仍然是一种启发式设计。是否存在一个更统一的框架，能够以更端到端的方式学习出任意的、硬件友好的稀疏模式？此外，对于需要token级别极高精度的任务，NSA 的块级选择是否会成为限制，也是一个值得探讨的问题。总的来说，NSA 是迈向实用化高效长上下文模型的重要一步，但通往终极解决方案的道路依然漫长。