1. 论文基本信息

1.1. 标题

SeedVR: Seeding Infinity in Diffusion Transformer Towards Generic Video Restoration

1.2. 作者

Jianyi Wang, Zhijie Lin, Meng Wei, Yang Zhao, Ceyuan Yang, Fei Xiao, Chen Change Loy, Lu Jiang。 主要隶属于南洋理工大学 (Nanyang Technological University) 和字节跳动 (ByteDance)。

1.3. 发表期刊/会议

预印本 (arXiv)，旨在发布于相关顶级会议或期刊。

1.4. 发表年份

2025年

1.5. 摘要

视频恢复 (Video Restoration, VR) 旨在从野外未知降级的视频中恢复高质量、时间一致的细节，同时保持保真度，这带来了非平凡的挑战。尽管基于扩散 (diffusion-based) 的恢复方法最近取得了进展，但它们在生成能力和采样效率方面常常面临限制。在这项工作中，我们提出了 SeedVR，一个扩散转换器 (diffusion transformer) 模型，专门设计用于处理任意长度和分辨率的真实世界视频恢复任务。SeedVR 的核心设计在于其移位窗口注意力 (shifted window attention) 机制，该机制有助于对长视频序列进行有效的恢复。SeedVR 进一步支持在空间和时间维度边界附近的变大小窗口 (variable-sized windows)，克服了传统窗口注意力 (window attention) 的分辨率限制。SeedVR 结合了当代实践，包括因果视频自编码器 (causal video autoencoder)、图像和视频混合训练 (mixed image and video training) 以及渐进式训练 (progressive training)，在合成和真实世界基准以及 AI 生成视频上均取得了极具竞争力的性能。广泛的实验证明了 SeedVR 在通用视频恢复方面优于现有方法。

1.6. 原文链接

原文链接: https://arxiv.org/abs/2501.01320 PDF 链接: https://arxiv.org/pdf/2501.01320v4.pdf 发布状态：预印本 (arXiv)。

2. 整体概括

2.1. 研究背景与动机

通用视频恢复 (Generic Video Restoration, VR) 是一项经典的计算机视觉任务，其目标是从低质量 (low-quality, LQ) 输入视频中重建高质量 (high-quality, HQ) 输出。这项任务面临多重挑战：

• 复杂且未知的降级 (Complex and Unknown Degradations): 真实世界的视频往往受到各种复杂的、预先未知的降级（如模糊、噪声、压缩伪影等）影响，这使得恢复任务极具挑战性。
• 时间一致性 (Temporal Consistency): 视频恢复不仅要提升单帧图像质量，更要确保帧与帧之间的内容和运动是时间一致的，避免闪烁或不连贯的视觉效果。
• 现有扩散方法的局限性 (Limitations of Existing Diffusion Methods): 尽管基于扩散 (diffusion-based) 的方法在生成高质量图像和视频方面显示出巨大潜力，但它们通常存在以下问题：

  • 生成能力与采样效率 (Generation Capability and Sampling Efficiency): 传统的扩散模型在生成高质量细节和保持效率之间难以平衡。

  • 分辨率和长度限制 (Resolution and Length Constraints): 许多扩散模型，特别是基于全注意力 (full-attention) 的模型，计算成本高昂，并且在处理与训练时不同分辨率的视频时，性能会显著下降。这限制了它们在长持续时间、高分辨率视频恢复中的应用。

  • 补丁式采样 (Patch-based Sampling) 的低效性: 为了应对分辨率限制，现有方法常采用将视频分割成重叠补丁 (overlapping patches) 的方式进行处理，然后通过高斯核 (Gaussian kernel) 融合。这种方式需要大面积的重叠以确保输出连贯，导致推理速度极慢，不适用于实际应用。例如，VEhancer处理31帧视频需要387秒，Upscale-A-Video需要414秒。

    这篇论文的切入点在于解决现有扩散模型在通用视频恢复中面临的这些效率和分辨率限制，特别是通过引入一种新的扩散转换器架构来高效处理任意长度和分辨率的视频。

2.2. 核心贡献/主要发现

SeedVR 的主要贡献体现在以下三个方面：

1. 提出基于移位窗口注意力机制的扩散转换器块 (Diffusion Transformer Block): 针对基于扩散的视频恢复中处理任意分辨率输入的核心挑战，SeedVR 提出了一种简单而有效的基于移位窗口注意力机制的扩散转换器块。这一设计，即 Swin-MMDiT，通过使用更大的窗口和支持边界处可变大小窗口，有效地克服了传统窗口注意力在分辨率上的限制，并能够处理任意长度和分辨率的视频。
2. 开发高效的因果视频自编码器 (Causal Video Autoencoder): SeedVR 开发了一种因果视频自编码器 (CVVAE)，它在时空维度上进行压缩（时间压缩因子为4，空间压缩因子为8），显著提高了训练和推理效率，同时保持了良好的视频重建质量。这使得 SeedVR 在参数量更大的情况下，速度比现有基于扩散的视频恢复方法快两倍以上。
3. 利用大规模联合训练和多阶段渐进训练策略 (Large-scale Joint Training and Multi-scale Progressive Training): 通过在图像和视频上进行大规模联合训练，并辅以多阶段渐进式训练策略，SeedVR 在各种基准测试中取得了最先进的性能，大幅超越了现有方法。作为迄今为止最大的通用视频恢复扩散转换器模型，SeedVR 为未来的高级视频恢复研究提供了新的方向和强大的基线。

3. 预备知识与相关工作

3.1. 基础概念

• 视频恢复 (Video Restoration, VR): 指的是从质量受损（如模糊、噪声、低分辨率、压缩伪影等）的视频中重建出高质量、清晰且时间一致的视频内容。

• 扩散模型 (Diffusion Models): 一类生成模型，通过逐步向数据添加噪声，然后学习逆向去噪过程来生成新数据。它们在图像和视频生成方面表现出色，特别是在生成细节和多样性方面。

• 扩散转换器 (Diffusion Transformer, DiT): 结合了扩散模型和 Transformer 架构的模型。它用 Transformer 替换了扩散模型中常用的 U-Net 骨干网络，以更好地处理长距离依赖和提高可扩展性。

• Transformer: 一种基于自注意力 (self-attention) 机制的神经网络架构，最初用于自然语言处理，后来被广泛应用于计算机视觉任务。它能够有效地捕捉序列数据中的长距离依赖关系。

  • 注意力机制 (Attention Mechanism): Transformer 的核心组件，允许模型在处理序列数据时，动态地权衡不同部分的重要性。
    • 自注意力 (Self-Attention): 在一个序列内部计算注意力，每个元素都与其他所有元素计算相关性，以生成该元素的加权表示。
    • 多头自注意力 (Multi-Head Self-Attention): 通过并行运行多个自注意力机制（“头”），并将它们的输出拼接起来，以捕捉不同的关系模式。
    • 注意力计算公式: 设查询 (Query) 为 $Q \in \mathbb{R}^{N \times d_k}$，键 (Key) 为 $K \in \mathbb{R}^{M \times d_k}$，值 (Value) 为 $V \in \mathbb{R}^{M \times d_v}$。注意力输出的计算公式如下： $$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 其中，$N$ 是查询的数量，$M$ 是键和值的数量，$d_k$ 是键和查询的维度，$d_v$ 是值的维度。$\sqrt{d_k}$ 用于缩放点积，防止梯度过小。

• 窗口注意力 (Window Attention): 为了降低 Transformer 中自注意力的计算复杂度（通常是序列长度的平方），窗口注意力将输入特征图分割成不重叠或重叠的局部窗口，并在每个窗口内独立计算自注意力。这有效地限制了感受野，但降低了计算量。

• 移位窗口注意力 (Shifted Window Attention): 在标准的窗口注意力基础上引入了窗口的周期性移位。通过在相邻层之间交替使用常规窗口和移位窗口，模型可以实现跨窗口的信息交互，从而扩大有效感受野，同时保持计算效率。这是 Swin Transformer 的核心创新。

• MMDiT (Multi-Modal Diffusion Transformer): 一种用于多模态数据（如图像和文本）的扩散转换器，它使用单独的权重处理不同模态，并实现它们之间的双向信息流。SD3 模型中使用了这种设计。

• NaViT (Native Resolution Vision Transformer): 一种针对任意长宽比和分辨率图像设计的 Vision Transformer。它通过展平 (flattening) 图像特征并使用特定的位置编码来处理可变大小的输入，而无需进行图像尺寸调整或裁剪。

• FlashAttention: 一种高度优化的注意力机制实现，通过减少内存访问次数和利用 GPU 硬件特性，显著提高了注意力计算的速度和效率。

• 3D 旋转位置嵌入 (3D Rotary Position Embedding, RoPE): 一种用于 Transformer 的位置编码方式，它通过在查询和键向量中引入旋转矩阵来编码相对位置信息。对于 3D 数据（如视频中的时空维度），它能更好地建模不同维度上的相对位置关系，并且可以处理可变长度的序列。

• 变分自编码器 (Variational Autoencoder, VAE): 一种生成模型，由编码器和解码器组成。编码器将输入数据压缩成潜在空间中的概率分布，解码器从该分布中采样并重建数据。在扩散模型中，VAE 通常用于将高维图像/视频数据压缩到低维潜在空间，以减少扩散模型的计算量。

• 因果视频自编码器 (Causal Video Variational Autoencoder, CVVAE): 专为视频数据设计的 VAE，其“因果”特性可能指的是在处理视频帧时，模型的编码或解码过程只依赖于当前帧及之前的帧，而不依赖未来的帧，从而更适合长视频序列的顺序处理。论文中强调了其因果 3D 残差块。

• 损失函数 (Loss Functions):

  • $\ell_1$ 损失 (L1 Loss): 像素级误差的绝对值之和，常用于鼓励输出与目标图像在像素层面接近。
  • LPIPS 损失 (Learned Perceptual Image Patch Similarity, LPIPS Loss): 一种感知损失，通过预训练的深度网络提取的特征来衡量图像之间的感知距离，更符合人类对图像相似度的判断。
  • GAN 损失 (Generative Adversarial Network, GAN Loss): 用于训练生成对抗网络。通过一个生成器和一个判别器之间的对抗过程，使生成器能够生成逼真的数据。

3.2. 前人工作

• 早期恢复方法 (Early Restoration Approaches): 主要基于卷积神经网络 (CNNs)，但由于感受野有限，难以捕捉长距离像素依赖，导致在复杂降级情况下性能受限，容易产生过平滑 (over-smoothing) 的结果。
• 基于 Transformer 的恢复方法 (Transformer-based Restoration):
  • 将注意力机制引入恢复网络，提高了性能。
  • 为缓解自注意力二次复杂度问题，许多方法采用窗口注意力 (e.g., SwinIR [31], SRFormer [83])。例如，SwinIR 使用 $8 \times 8$ 窗口注意力，SRFormer 增加到 $24 \times 24$ 或 $40 \times 40$。
  • 局限性: 即使是较大的窗口，其有限的感受野仍不足以在扩散模型中有效整合文本嵌入和图像嵌入，导致现有扩散恢复方法（如 [20, 45, 54, 60, 70, 82]）仍依赖全注意力 (full attention) 来实现有效的文本引导恢复。
• 扩散转换器 (Diffusion Transformer, DiT):
  • DiT [40] 确立了 DiT 作为扩散模型的主流架构。
  • 为降低高分辨率图像/视频生成的计算成本，常见方法包括：独立的时空注意力 [78]、令牌压缩 [8]、多阶段生成 [25]。
  • FIT [10] 结合了窗口注意力和全局注意力，但未能很好地处理可变大小输入。
  • Inf-DiT [65] 通过自回归的局部注意力实现变分辨率图像的上采样，但感受野有限。
  • VideoPoet [27] 使用三种 2D 窗口注意力进行视频超分，但仍需沿某个轴进行全注意力操作，难以处理任意形状输入。
• 视频恢复 (Video Restoration, VR):
  • 早期工作多关注合成数据 [4, 5, 12, 29, 32, 33, 55, 69]，真实世界效果有限。
  • 后期转向真实世界 VR [6, 61, 77]，但生成逼真纹理的能力不足。
  • 基于扩散的 VR 方法 [20, 64, 82] 展现出良好性能，但通常通过微调预训练的图像扩散模型 [45, 57] 实现。
  • 局限性: 它们沿袭了扩散先验 (diffusion priors) 的局限性，如使用无时间压缩的基础自编码器，导致训练和推理效率低下；依赖全注意力带来的分辨率限制，进一步增加推理成本。

3.3. 技术演进

视频恢复领域从早期的基于图像处理技术、传统机器学习方法，逐步发展到基于深度学习的 CNN 架构。CNN 带来了显著的性能提升，但其局部感受野限制了其捕捉长距离依赖的能力。Transformer 架构的引入，特别是自注意力机制，解决了这一问题，使得模型能够更好地理解全局上下文。然而，自注意力的二次复杂度在高分辨率视频上带来了巨大的计算负担。为了缓解这一问题，研究者提出了窗口注意力及其变体（如移位窗口注意力），试图在效率和感受野之间取得平衡。

同时，扩散模型作为一种强大的生成模型，在图像生成领域取得了突破。将其应用于视频恢复，能够生成更逼真、细节更丰富的纹理，克服了传统方法容易过平滑的问题。将扩散模型与 Transformer 结合，形成了扩散转换器 (DiT) 架构，进一步提升了模型的表示能力和可扩展性。

SeedVR 正是处于这一技术演进的前沿，它通过结合 DiT 的强大能力、创新的移位窗口注意力机制以及高效的视频自编码器，来解决现有方法在处理任意分辨率和长度视频时的效率和性能瓶颈，推动通用视频恢复技术向更实用、更强大的方向发展。

3.4. 差异化分析

SeedVR 与相关工作的主要区别和创新点在于：

• 针对任意分辨率和长度的视频恢复: 现有扩散模型在处理高分辨率和长视频时，因全注意力计算成本高昂，常依赖低效的补丁式采样。SeedVR 采用大尺寸非重叠窗口注意力，结合支持变大小窗口的机制，直接处理任意分辨率和长度的输入，避免了补丁式采样的低效性。

• 高效的 Swin-MMDiT 架构:

  • 大窗口注意力: 在 $8 \times$ 压缩的潜在空间中使用 $64 \times 64$ 的大注意力窗口，相比传统低级视觉任务中 $8 \times 8$ 的窗口大得多，能够捕捉更长的依赖关系，同时通过窗口机制降低计算成本。
  • 变大小窗口和 3D RoPE: 解决了传统窗口注意力在处理任意分辨率输入时，边界窗口尺寸不均匀的问题，通过 3D 旋转位置嵌入 (RoPE) 建模这些可变大小窗口的相对位置。
  • 简化多模态注意力: 在 MMDiT 基础上，为视频和文本特征使用单独的注意力机制，通过键和值的拼接计算，实现了多模态交互而不显著增加计算成本。

• 因果视频自编码器 (CVVAE): 现有扩散 VR 方法常微调图像自编码器，缺乏时间压缩。SeedVR 训练了一个从头开始的 CVVAE，具有因果 3D 残差块、更多潜在通道 (16个) 和时间压缩因子 4，显著提升了训练和推理效率及重建质量。

• 大规模和渐进式训练策略: 利用大规模图像和视频混合数据集进行训练，并采用预计算潜在特征和渐进式分辨率/持续时间增长的训练策略，确保模型在多样化真实世界场景中的泛化能力和高性能。

  这些创新共同使得 SeedVR 成为一个更高效、更灵活、性能更强的通用视频恢复模型，尤其在处理真实世界复杂场景和 AI 生成视频方面。

4. 方法论

4.1. 方法原理

SeedVR 旨在解决通用视频恢复中处理任意长度和分辨率视频的效率和性能挑战。其核心思想是构建一个高效的扩散转换器 (DiT)，该转换器能够通过局部窗口注意力机制有效处理视频数据的时空维度，同时通过一个专门设计的因果视频自编码器 (Causal Video Autoencoder, CVVAE) 来高效地压缩和重建视频数据。整体架构遵循 SD3 [17] 的范式，即使用预训练的自编码器将输入视频压缩到潜在空间，并使用预训练的文本编码器对文本提示进行编码。然后，一个改良的 Diffusion Transformer 在潜在空间中执行去噪任务，最终通过自编码器解码回像素空间。

4.2. 核心方法详解 (逐层深入)

4.2.1. 整体架构概览

SeedVR 的整体架构如 Figure 1a 所示，它是一个多模态扩散转换器。

该图像是一个示意图，展示了SeedVR在AI生成视频中的还原效果对比，包括一只穿宇航服的猫和一位红发女子的图像细节恢复。图中还有性能对比图表，显示SeedVR在视频恢复任务中的优越性。

图 1: SeedVR在AI生成视频中的还原效果对比，包括一只穿宇航服的猫和一位红发女子的图像细节恢复。图中还有性能对比图表，显示SeedVR在视频恢复任务中的优越性。

• 输入:
  • 低质量 (LQ) 视频 $X_{LQ}$。
  • 文本提示 $C_{text}$。
• 编码阶段:
  • LQ 视频 $X_{LQ}$ 首先通过预训练的因果视频自编码器 (CVVAE) 编码成低维的潜在特征 $Z_{LQ}$。
  • 文本提示 $C_{text}$ 通过三个预训练且冻结的文本编码器（如 CLIP [42] 和 T5 [43]）编码成文本嵌入 $C_{embed}$。
• 扩散转换器 (Diffusion Transformer):
  • SeedVR 的核心是一个 Swin-MMDiT 模型，它以潜在特征 $Z_{LQ}$ 和文本嵌入 $C_{embed}$ 为输入。
  • Swin-MMDiT 在潜在空间中执行去噪操作，将带噪声的潜在特征 $Z_t$ 逐步去噪，预测出噪声 $\epsilon_\theta$ 或干净的潜在特征 $Z_0$。
• 解码阶段:
  • 去噪后的潜在特征通过 CVVAE 的解码器，重建出高质量 (HQ) 视频 $X_{HQ}$。

4.2.2. 基于移位窗口的 MM-DiT (Swin-MMDiT)

MMDiT [17] 是一种有效的转换器块，它通过为视觉输入和文本这两种模态应用独立的权重，实现了视觉特征和文本令牌之间的双向信息流。然而，MMDiT 的全注意力 (full attention) 特性使其不适用于需要处理任意长度和分辨率的视频恢复任务。为了克服这一点，SeedVR 引入了移位窗口注意力机制到 MMDiT 中，称之为 Swin-MMDiT。

给定一个视频特征 $X \in \mathbb{R}^{T \times H \times W \times d}$（其中 $T$ 是时间步长，$H$ 是高度，$W$ 是宽度，$d$ 是特征维度）和一个文本嵌入 $C_{text} \in \mathbb{R}^{L \times d}$（其中 $L$ 是文本序列长度），处理过程如下：

1. 特征展平: 视频特征 $X$ 首先被展平为 $X' \in \mathbb{R}^{THW \times d}$，这遵循了 NaViT [15] 的方案，允许模型灵活处理任意分辨率。
2. 窗口划分: Swin-MMDiT 并没有直接对展平后的 $X'$ 应用全注意力，而是将其划分为三维的时空窗口。
   • 如图 2b 所示，视频特征 $X$ 被划分为 $t \times h \times w$ 大小的窗口。
   • 第一个转换器块使用常规窗口注意力 (regular window attention)，从 $X$ 的左上角开始划分窗口。
   • 随后的转换器块应用移位窗口注意力 (shifted window attention)，窗口在每个维度上偏移了窗口大小的一半，即 $(\frac{t}{2}, \frac{h}{2}, \frac{w}{2})$。
   • 处理边界窗口: 当输入分辨率不是窗口大小的倍数时，边界附近的窗口可能会小于标准大小。Swin-MMDiT 利用 NaViT 和 Flash attention [14] 的灵活性，将分区后的窗口特征展平为连接的二维张量，并在每个窗口内计算注意力，从而避免了 Swin Transformer [35, 36] 中复杂的循环移位和掩码机制。
3. 3D 旋转位置嵌入 (RoPE): 为了解决位置编码引入的分辨率偏差，并在可变大小的窗口中建模相对位置，SeedVR 使用3D 相对旋转位置嵌入 (RoPE) [48] 替代了 SD3 中使用的绝对 2D 位置频率嵌入。RoPE 在每个窗口内部应用。
4. 多模态注意力计算:

   • 为了简化，Swin-MMDiT 使用了独立的注意力机制来处理视频和文本特征，而不是 MMDiT 中的单一多模态注意力。

   • 具体地，视频窗口特征和文本特征的键 (Key) 和值 (Value) 被连接起来。

   • 然后，通过计算连接后的键和值与视频窗口的查询 (Query) 以及文本特征的查询之间的相似度，分别计算注意力。

   • 这种方法在实践中没有显著的性能下降，并且没有增加计算成本。

     以下是 Swin-MMDiT 块的示意图：

     该图像是论文SeedVR中的图2，包括(a)整体架构和(b)Swin-MMDiT细节。左图展示了Diffusion Transformer的结构及多模态输入融合，右图展示了基于位移窗口的视频和文本多模态注意力机制。

图 2: SeedVR 中的 Swin-MMDiT 模块。 (a) 整体架构，展示了 DiT 如何与多模态输入（视觉和文本）交互。 (b) Swin-MMDiT 细节，展示了基于位移窗口的视频和文本多模态注意力机制。

4.2.3. 因果视频 VAE (Causal Video VAE, CVVAE)

现有基于扩散的视频恢复方法 [20, 64, 82] 通常通过插入 3D 卷积层来微调预训练的图像自编码器。这种方式：

• 效率低下: 缺乏时间压缩，导致训练和推理效率低下。

• 重建质量受限: 潜在通道数量有限 (通常为 4)，限制了高视频质量的重建能力。

  SeedVR 从头开始训练了一个新的视频自编码器，并进行了以下改进：

1. 因果 3D 残差块 (Causal 3D Residual Block): 使用因果 3D 残差块代替普通的 3D 块来捕获时空表示。这使得 CVVAE 能够通过将长视频切割成片段来处理它们，确保了因果性（即处理当前帧时只考虑过去和当前的信息）。

2. 增加潜在通道 (Increased Latent Channels): 将潜在通道数量增加到 16，与 SD3 [17] 保持一致，以提高模型容量，从而实现更好的重建质量。

3. 时间压缩因子 (Temporal Compression Factor): 应用时间压缩因子 4，进一步提高视频编码效率。

4. 空间压缩因子 (Spatial Compression Factor): 空间压缩因子为 8。

   CVVAE 的整体架构如图 3 所示，它包括编码器（用于将视频压缩到潜在空间）和解码器（用于从潜在空间重建视频）。

   该图像是一个结构示意图，展示了用于SeedVR视频恢复的3D残差块和因果卷积模块的具体网络结构及其排列方式，强调了空间下采样和上采样的操作。

图 3: 因果视频 VAE (CVVAE) 结构。该图展示了具有时空压缩能力的 CVVAE 的架构，以实现强大的重建能力。它采用 3D 残差块和因果卷积模块，通过下采样和上采样操作在时空维度上进行处理。

CVVAE 训练: 遵循通用实践 [17]，CVVAE 在大规模数据集上使用以下损失函数进行训练：

• $\ell_1$ 损失: 确保重建图像在像素级别与原始图像接近。
• LPIPS 损失 [75]: 衡量感知相似度，确保重建图像在视觉上与原始图像相似。
• GAN 损失 [18]: 通过对抗训练，使生成器（解码器）生成的视频更具真实感。

4.2.4. 大规模训练策略

为了有效训练 SeedVR 模型并使其具备强大的泛化能力，论文采用了多种大规模训练策略：

1. 图像和视频的混合大规模数据 (Large-scale Mixed Data of Images and Videos):

   • 模型在包含约 1000 万张图像和 500 万个视频的大规模混合数据集上进行训练。
   • 图像分辨率多样，多数超过 $1024 \times 1024$ 像素。
   • 视频是从高分辨率视频中随机裁剪的 $720\mathrm{p}$ 片段，以提高训练效率（裁剪比直接缩放表现更好）。
   • 通过多种评估指标 [1, 26, 53, 58] 过滤低质量样本，确保数据质量。

2. 预计算潜在特征和文本嵌入 (Precomputing Latents and Text Embeddings):

   • 将 HQ 和 LQ 视频的潜在特征以及文本嵌入预先计算并存储。
   • 优势:
     • 将视频编码成潜在空间是一个耗时过程（例如，编码 21 帧 $720\mathrm{p}$ 视频约需 2.9 秒），预计算可实现 $4 \times$ 的训练加速。
     • 省去了在训练过程中加载预训练 VAE 和文本模型所需的 GPU 内存，从而允许更大的批次大小 (batch size) 进行训练。
   • 降级多样性: 在大规模数据上应用多种随机降级来生成 LQ 条件，这对于训练真实世界视频恢复模型至关重要。

3. 分辨率和持续时间的渐进式增长 (Progressively Growing Up of Resolution and Duration):

   • 模型初始化自 SD3-Medium [17]，拥有 2.2B 参数。
   • 训练过程分阶段进行：
     • 阶段一: 从短、低分辨率视频（5 帧 $256 \times 256$）开始微调。
     • 阶段二: 逐步增加视频长度和分辨率至 9 帧 $512 \times 512$。
     • 阶段三: 最终训练在 21 帧 $768 \times 768$ 的数据上。
   • 优势: 这种渐进式调整策略实现了快速收敛。

4. 向条件注入噪声 (Injecting Noise to Condition):

   • 遵循现有方法 [6, 56, 82] 生成合成 LQ-HQ 图像和视频对用于训练。
   • 挑战: 合成 LQ 视频与真实世界视频之间存在降级差距（合成视频降级通常更严重）。
   • 解决方案: 不仅仅降低合成训练数据的降级水平，而是向潜在的 LQ 条件中注入随机噪声，以弥合降级差距并增强模型的生成能力。
   • 噪声注入公式： $$C_{\mathrm{LQ}}^\tau = \alpha_\tau C_{\mathrm{LQ}} + \sigma_\tau \epsilon$$ 其中，$\epsilon \sim \mathcal{N}(0, I)$ 是标准高斯噪声，$\tau$ 是与噪声调度 (noise schedule) 中早期步骤相关的噪声水平，由 $\alpha_\tau$ 和 $\sigma_\tau$ 定义。
   • 文本编码器灵活性: 随机用空提示 (null prompts) 替换三个文本编码器中的文本输入，类似于 SD3 [17]。虽然类似方法可应用于 LQ 条件以增强生成能力，但作者发现过强的生成能力会降低输出保真度，因此最终模型中未包含此项。

5. 实验设置

5.1. 数据集

实验使用了多种合成、真实世界和 AI 生成的视频数据集来全面评估 SeedVR 的性能：

• 合成基准 (Synthetic Benchmarks): 这些数据集提供了低质量 (LQ) 和高质量 (HQ) 视频对，允许使用全参考指标进行评估。
  • SPMCS [68]
  • UDM10 [49]
  • REDS30 [38]
  • YouHQ40 [82]
  • 特点: 这些数据集上的测试视频采用与训练过程中相同的降级方式生成。
• 真实世界数据集 (Real-world Dataset):
  • VideoLQ [6]: 专门用于评估模型在真实世界降级视频上的表现。由于缺乏真实标注数据 (Ground Truth)，使用无参考指标进行评估。
• AI 生成视频数据集 (AI-generated Videos Dataset):
  • AIGC38: 包含 38 个 AI 生成视频的集合。同样使用无参考指标进行评估。
• 训练数据:
  • SeedVR 在一个大规模混合数据集上训练，该数据集包含约 1000 万张图像和 500 万个视频。
  • 图像分辨率多样，多数超过 $1024 \times 1024$ 像素。
  • 视频是从高分辨率视频中随机裁剪的 $720\mathrm{p}$ 片段。

5.2. 评估指标

论文针对不同类型的数据集使用了多种全参考和无参考评估指标来衡量帧质量和整体视频质量。

5.2.1. 全参考指标 (Full-Reference Metrics)

这些指标需要高质量的真实标注数据 (Ground Truth) 作为参考，通常用于合成数据集。

1. 峰值信噪比 (Peak Signal-to-Noise Ratio, PSNR)

   • 概念定义: PSNR 是一种衡量图像或视频重建质量的客观标准，它通过计算重建图像与原始图像之间的均方误差 (Mean Squared Error, MSE) 来量化误差。PSNR 值越高表示图像质量越好，失真越小。它主要关注像素级的数值差异。
   • 数学公式: $$\mathrm{MSE} = \frac{1}{mn} \sum_{i=0}^{m-1} \sum_{j=0}^{n-1} [I(i,j) - K(i,j)]^2$$ $$\mathrm{PSNR} = 10 \cdot \log_{10} \left( \frac{\mathrm{MAX}_I^2}{\mathrm{MSE}} \right)$$
   • 符号解释:
     • I(i,j): 原始图像中像素点 (i,j) 的值。
     • K(i,j): 经过处理后的图像中像素点 (i,j) 的值。
     • m, n: 图像的行数和列数。
     • $\mathrm{MAX}_I$: 图像中像素的最大可能值（例如，对于 8 位图像，通常是 255）。

2. 结构相似性指数 (Structural Similarity Index Measure, SSIM)

   • 概念定义: SSIM 是一种感知指标，旨在更好地模拟人眼对图像质量的判断。它从亮度、对比度和结构三个方面来衡量两幅图像的相似性。SSIM 值越接近 1，表示两幅图像越相似，重建质量越高。
   • 数学公式: $$\mathrm{SSIM}(x, y) = \frac{(2\mu_x\mu_y + C_1)(2\sigma_{xy} + C_2)}{(\mu_x^2 + \mu_y^2 + C_1)(\sigma_x^2 + \sigma_y^2 + C_2)}$$
   • 符号解释:
     • x, y: 两幅待比较的图像块。
     • $\mu_x, \mu_y$: 图像块 $x$ 和 $y$ 的平均值。
     • $\sigma_x, \sigma_y$: 图像块 $x$ 和 $y$ 的标准差。
     • $\sigma_{xy}$: 图像块 $x$ 和 $y$ 的协方差。
     • $C_1 = (K_1L)^2, C_2 = (K_2L)^2$: 为避免分母为零的常数，其中 $L$ 是像素值的动态范围（例如 255），$K_1 = 0.01, K_2 = 0.03$ 是默认参数。

3. LPIPS (Learned Perceptual Image Patch Similarity)

   • 概念定义: LPIPS 是一种感知损失或度量，它使用预训练的深度卷积神经网络（如 AlexNet、VGG 等）提取的特征来衡量两幅图像之间的感知距离。与像素级差异相比，LPIPS 更能反映人眼对图像相似度的判断，LPIPS 值越低表示两幅图像在感知上越相似。
   • 数学公式: $$\mathrm{LPIPS}(x, x_0) = \sum_l \frac{1}{H_lW_l} \sum_{h,w} \| w_l \odot (\phi_l(x)_{h,w} - \phi_l(x_0)_{h,w}) \|_2^2$$
   • 符号解释:
     • $x$: 原始图像。
     • $x_0$: 重建图像。
     • $\phi_l$: 预训练网络中第 $l$ 层的特征提取器。
     • $w_l$: 在第 $l$ 层特征图上学习到的权重。
     • $H_l, W_l$: 第 $l$ 层特征图的高度和宽度。
     • $\odot$: 元素乘法。
     • $\|\cdot\|_2^2$: L2 范数平方。

4. DISTS (Deep Image Structure and Texture Similarity)

   • 概念定义: DISTS 是一种基于深度学习的图像质量评估指标，它同时考虑了图像的结构和纹理相似性。它通过在不同尺度上提取特征并计算它们之间的相似度来评估图像质量，DISTS 值越低表示两幅图像越相似。
   • 数学公式: DISTS 的计算基于多尺度分解和深度特征比较，其完整公式较为复杂，涉及到图像分解为结构和纹理分量，并在每个分量上计算深度特征相似度。一般表示为对不同尺度和组件的加权和： $$\mathrm{DISTS}(I, \hat{I}) = \sum_{s=1}^S \left( \alpha_s \cdot \mathrm{DISTS}_{\text{struct}}(I_s, \hat{I}_s) + \beta_s \cdot \mathrm{DISTS}_{\text{texture}}(I_s, \hat{I}_s) \right)$$
   • 符号解释:
     • $I, \hat{I}$: 原始图像和重建图像。
     • $S$: 尺度数量。
     • $I_s, \hat{I}_s$: 图像在尺度 $s$ 上的表示。
     • $\mathrm{DISTS}_{\text{struct}}$: 结构相似度分量。
     • $\mathrm{DISTS}_{\text{texture}}$: 纹理相似度分量。
     • $\alpha_s, \beta_s$: 不同尺度上结构和纹理分量的权重。

5.2.2. 无参考指标 (No-Reference Metrics)

这些指标不需要高质量的真实标注数据作为参考，适用于真实世界视频和 AI 生成视频。

1. NIQE (Natural Image Quality Evaluator)

   • 概念定义: NIQE 是一种基于统计模型预测图像自然度的无参考图像质量评估指标。它通过提取图像的局部空间自然场景统计特征，并与在大量高质量自然图像上学习到的模型进行比较。NIQE 值越低，表示图像质量越好，越接近自然图像。
   • 数学公式: NIQE 的计算基于广义高斯分布 (Generalized Gaussian Distribution, GGD) 或多元高斯模型 (Multivariate Gaussian Model, MGM) 对图像局部特征进行建模，并计算模型参数与预训练自然图像模型参数之间的距离。其核心是评估图像特征与自然图像统计模型之间的拟合优度。 $$\mathrm{NIQE} = \sqrt{(\mathbf{v}_1 - \mathbf{v}_2)^T (\Sigma_1 + \Sigma_2)^{-1} (\mathbf{v}_1 - \mathbf{v}_2)}$$
   • 符号解释:
     • $\mathbf{v}_1, \Sigma_1$: 待评估图像的特征向量和协方差矩阵。
     • $\mathbf{v}_2, \Sigma_2$: 预训练的自然图像模型（通常在高质量图像上训练）的特征向量和协方差矩阵。

2. CLIP-IQA (CLIP-based Image Quality Assessment)

   • 概念定义: CLIP-IQA 利用 CLIP (Contrastive Language-Image Pre-training) 模型强大的图像-文本匹配能力来评估图像质量。它通过衡量图像与“高质量”文本描述的相似度，或图像本身在 CLIP 潜在空间中的分布特征来判断质量。CLIP-IQA 值越高，表示图像质量越好。
   • 数学公式: 通常，CLIP-IQA 涉及计算图像特征与高质量描述性文本特征之间的余弦相似度，或者通过 CLIP 编码器获得的图像特征在预定义质量空间中的位置。 $$\mathrm{CLIP-IQA}(I, T_{\text{good}}) = \mathrm{CosineSimilarity}(\mathrm{CLIP}_{\text{image}}(I), \mathrm{CLIP}_{\text{text}}(T_{\text{good}}))$$
   • 符号解释:
     • $I$: 待评估图像。
     • $T_{\text{good}}$: 代表高质量图像的文本描述（例如“a high-quality photo”）。
     • $\mathrm{CLIP}_{\text{image}}(\cdot), \mathrm{CLIP}_{\text{text}}(\cdot)$: CLIP 模型的图像编码器和文本编码器。
     • $\mathrm{CosineSimilarity}(\cdot, \cdot)$: 余弦相似度。

3. MUSIQ (Multi-Scale Image Quality Transformer)

   • 概念定义: MUSIQ 是一种基于 Transformer 架构的多尺度图像质量评估模型。它通过在多个尺度上分析图像，并结合 Transformer 的长距离建模能力来预测图像的质量得分。MUSIQ 值越高，表示图像质量越好。
   • 数学公式: MUSIQ 的核心是 Transformer 架构，它接收多尺度图像特征作为输入，并通过自注意力机制进行信息聚合，最终输出一个质量得分。没有一个简单的数学公式来表示其整体计算，而是基于神经网络的复杂前向传播。

4. DOVER (Deformable Vison Transformer for Video Quality Assessment)

   • 概念定义: DOVER 是一种用于视频质量评估的无参考指标，它可能利用了可变形注意力 (deformable attention) 或 Vision Transformer 来更好地捕捉视频中的时空质量特征。DOVER 值越高，表示视频质量越好。
   • 数学公式: DOVER 同样基于深度学习模型，其内部计算是复杂的神经网络前向传播，没有一个简单的解析公式。

5.2.3. 视频质量指标 (Video Quality Metric)

• rFVD (re-evaluated Fréchet Video Distance)
  • 概念定义: rFVD 是 Fréchet Inception Distance (FID) 在视频领域的扩展，用于衡量生成视频的真实性和多样性。它通过比较真实视频和生成视频在预训练特征空间中的分布来评估视频质量。rFVD 值越低，表示生成视频的质量越好，越接近真实视频。
  • 数学公式: $$\mathrm{rFVD}(\mathbb{P}_r, \mathbb{P}_g) = \|\mu_r - \mu_g\|_2^2 + \mathrm{Tr}(\Sigma_r + \Sigma_g - 2(\Sigma_r \Sigma_g)^{1/2})$$
  • 符号解释:
    • $\mathbb{P}_r$: 真实视频的特征分布。
    • $\mathbb{P}_g$: 生成视频的特征分布。
    • $\mu_r, \mu_g$: 真实视频和生成视频特征分布的均值向量。
    • $\Sigma_r, \Sigma_g$: 真实视频和生成视频特征分布的协方差矩阵。
    • $\mathrm{Tr}(\cdot)$: 矩阵的迹。

5.3. 对比基线

论文将 SeedVR 的性能与多种现有的视频恢复和超分辨率方法进行了比较，包括基于传统 CNN、Transformer 和扩散模型的方法：

• Real-ESRGAN [56]: 一种基于 GAN 的真实世界图像超分辨率方法。
• SD ×4 Upscaler [2]: 基于 Stable Diffusion 的图像放大器。
• ResShift [74]: 一种高效的基于残差移位 (residual shifting) 的图像超分辨率扩散模型。
• RealViFormer [77]: 一种针对真实世界视频超分辨率的 Transformer 模型。
• MGLD-VSR [64]: 针对时间一致性真实世界视频超分辨率的运动引导潜在扩散模型。
• Upscale-A-Video [82]: 一种用于真实世界视频超分辨率的时间一致扩散模型。
• VEhancer [20]: 一种用于视频生成的生成式时空增强模型。

6. 实验结果与分析

6.1. 核心结果分析

SeedVR 在多个基准测试中表现出强大的性能，特别是在感知质量指标上显著优于现有方法。

6.1.1. 定量比较

以下是原文 Table 1 的结果：

分析:

• 整体优势: SeedVR 在 6 个基准测试中的 4 个 (SPMCS, UDM10, YouHQ40, AIGC38) 上取得了显著的领先性能。
• 感知质量指标 (Perceptual Quality Metrics): SeedVR 在 LPIPS、DISTS、NIQE、DOVER、MUSIQ 和 CLIP-IQA 等感知质量指标上表现出色，这表明其生成的视频在视觉上更逼真、更符合人类感知。例如，在 SPMCS 数据集上，SeedVR 在 LPIPS、DISTS 和 NIQE 上均取得最佳成绩。在 UDM10、YouHQ40 和 AIGC38 上，DOVER 指标也显示出 SeedVR 的优越性。
• 像素级指标 (Pixel-level Metrics) 限制: 论文指出，与 MGLD-VSR 和 RealViFormer 等方法相比，SeedVR 在 PSNR 和 SSIM 等像素级保真度指标上可能不总是最优。这是因为 PSNR 和 SSIM 主要衡量像素级的精确匹配和结构相似性，而扩散模型（包括 SeedVR）更侧重于生成高质量的感知真实感和丰富细节，这在像素层面可能与原始图像存在微小差异，但从视觉上看却是更优的。
• REDS30 数据集: MGLD-VSR 和 RealViFormer 在 REDS30 上表现强劲，这可能归因于它们在 REDS 数据集上进行了训练。即便如此，SeedVR 在 REDS30 上也取得了具有竞争力的性能，特别是在 DOVER 分数上取得了最佳或次优。
• 泛化能力: SeedVR 在来自不同来源的多个数据集上保持了持续的优越性，包括合成数据、真实世界数据和 AI 生成数据，证明了其强大的泛化能力和对通用视频恢复的有效性。

6.1.2. 定性比较

以下是原文 Figure 4 的结果：

该图像是视频恢复方法对比图，展示了四个不同场景下多种超分辨率方法的视觉效果。图中重点比较了SeedVR与其他六种方法在细节恢复和清晰度方面的差异，SeedVR在多个细节区域表现出更优的还原质量。

图 4: 视频恢复方法定性比较。该图展示了在真实世界（VideoLQ）和 AI 生成（AIGC）视频上，SeedVR 与其他方法相比的视觉效果。SeedVR 在降级去除和纹理生成方面表现出更好的细节恢复和清晰度，例如在建筑物结构、熊猫鼻子和兵马俑面部等区域。

分析:

• 细节恢复和清晰度: 从 Figure 4 的视觉结果来看，SeedVR 在去除降级和生成纹理方面明显优于现有 VR 方法。

• 真实世界视频 (VideoLQ): SeedVR 有效地恢复了建筑物结构等细节，即使输入视频严重降级。

• AI 生成视频 (AIGC): SeedVR 忠实地还原了精细细节，例如熊猫的鼻子和兵马俑的面部。相比之下，其他方法往往会产生模糊的细节或未能有效去除降级。

  这些定性结果进一步印证了 SeedVR 在提供视觉真实感和细节一致性方面的优越性。

6.2. 消融实验/参数分析

6.2.1. 因果视频 VAE (CVVAE) 的有效性

以下是原文 Table 2 的结果：

分析:

• rFVD 表现卓越: SeedVR 的 CVVAE 在 rFVD (re-evaluated Fréchet Video Distance) 指标上取得了最低分 1.85，远低于次优结果 CV-VAE (SD3) 的 6.50，下降了 69.5%。这表明 SeedVR 的 CVVAE 在生成视频的真实性和多样性方面具有显著优势。
• 感知质量领先: SeedVR 的 CVVAE 在 LPIPS 指标上获得最低分 0.0517，表明其在感知重建质量方面表现最佳。
• 像素级指标竞争力: 尽管 CogVideoX 在 PSNR 和 SSIM 上略高于 SeedVR 的 CVVAE，但 SeedVR 在 LPIPS 和 rFVD 上的领先优势证明了其在视频重建和生成方面的综合性能更优。这突显了 CVVAE 在保持高重建质量的同时，有效进行时空压缩的能力。

6.2.2. 窗口注意力的窗口大小

论文探讨了不同窗口大小对训练效率和性能的影响。

训练效率: 以下是原文 Table 3 的结果：

分析:

• 窗口大小与训练时间: 结果显示，窗口大小显著影响训练时间。例如，使用 $1 \times 8 \times 8$ 的窗口时，每迭代训练时间为 455.49 秒，是使用 $1 \times 64 \times 64$ 窗口的 19.24 倍。
• 原因: 由于注意力计算中每个窗口都会被分配一个文本提示，较大的窗口大小会减少注意力计算所需的文本令牌数量，从而提高训练和推理效率。

性能表现: 以下是原文 Table 4 的结果：

分析 (基于 YouHQ40 数据集的 DOVER 指标):

1. 全空间注意力 (Full Spatial Attention) 的局限: 随着时间窗口长度的增加，全空间注意力的性能下降。这可能是由于全注意力涉及的令牌数量过高，需要更长的训练周期才能充分收敛，而更大的时间窗口会放大这种需求。
2. 小空间窗口的权衡: 较小的空间窗口（例如 $32 \times 32$）在某些情况下可能优于全注意力，但随着时间长度的增加，性能仍可能下降。较小的时空窗口（例如 $1 \times 32 \times 32$）可能收敛更快，但在捕捉长距离时间依赖方面可能遇到困难，需要额外训练来弥补。
3. 大空间窗口的优势 ($64 \times 64$):

   • 在较短的时间长度（$t=1$ 和 $t=3$）下， $64 \times 64$ 空间窗口的性能与全注意力相当。

   • 当时间窗口长度增加到 $t=5$ 时，其性能显著提升（DOVER 达到 11.595），这表明更大的窗口尺寸能够更好地捕捉长距离依赖关系，并增强文本提示与视频恢复之间的语义对齐。

     结论: 这些观察结果验证了 SeedVR 使用 $5 \times 64 \times 64$ 注意力窗口的设计选择，它在效率和捕获长距离时空依赖之间取得了良好的平衡，从而实现了优异的性能。

7. 总结与思考

7.1. 结论总结

SeedVR 提出了一种新颖的扩散转换器模型，旨在实现高质量、通用且高效的视频恢复，尤其能处理任意长度和分辨率的视频。其核心创新包括：

1. Swin-MMDiT 架构: 引入了基于移位窗口注意力机制的 Swin-MMDiT，通过使用大尺寸窗口（潜在空间 $64 \times 64$）和支持时空边界可变大小窗口的 3D 旋转位置嵌入 (RoPE)，有效解决了传统扩散模型在处理任意分辨率视频时的效率和分辨率限制。

2. 因果视频自编码器 (CVVAE): 开发了一个高效的 CVVAE，通过因果 3D 残差块、增加潜在通道和时间压缩，显著提升了视频的编码解码效率和重建质量。

3. 大规模渐进式训练: 结合了大规模图像和视频混合数据集训练、潜在特征和文本嵌入预计算以及渐进式分辨率/持续时间训练策略，确保了模型的强大泛化能力和最先进的性能。

   实验结果表明，SeedVR 在合成、真实世界和 AI 生成视频基准测试中均取得了卓越的性能，尤其是在感知质量指标上显著优于现有方法，并且在参数量更大的情况下，其推理速度比现有扩散基视频恢复方法快两倍以上。

7.2. 局限性与未来工作

论文作者指出了 SeedVR 的潜在局限性，并提出了未来研究方向：

1. 采样效率 (Sampling Efficiency): 尽管 SeedVR 在推理速度上比现有扩散基方法快，但扩散模型的本质决定了其采样过程仍需多个步骤，相比非扩散模型可能仍有提升空间。
2. 鲁棒性 (Robustness): 未来可以进一步提升 SeedVR 在面对更多样化、更复杂的真实世界降级情况时的鲁棒性。

7.3. 个人启发与批判

7.3.1. 个人启发

• Transformer 在扩散模型中的潜力: SeedVR 再次证明了 Transformer 架构在视觉生成任务中的强大潜力，特别是当与扩散模型结合时。它通过解决 U-Net 在长距离依赖和可扩展性上的不足，为高质量生成模型提供了新的范式。
• 效率与质量的平衡: 该论文在解决计算效率（通过窗口注意力、FlashAttention、CVVAE）和生成质量（通过扩散模型、大规模训练、感知损失）之间的矛盾上提供了优秀范例。这对于将先进模型落地到实际应用至关重要。
• 多模态训练的价值: 结合图像和视频数据进行大规模预训练，能够显著提升模型对多样化视觉内容的理解和泛化能力，这在未来通用视觉模型的发展中将是不可或缺的一环。
• 渐进式训练策略的重要性: 渐进式增加训练数据的分辨率和长度，是一种非常有效的训练大型生成模型的方法，可以加速收敛并提高模型稳定性。
• 因果 VAE 的设计: CVVAE 的“因果”设计及其在时空维度上的压缩能力，对于处理任意长度的视频流具有重要意义，这为实时或流式视频处理奠定了基础。

7.3.2. 批判与潜在改进

• PSNR/SSIM 相对弱势的解释: 论文中提到 SeedVR 在 PSNR 和 SSIM 等指标上不如某些方法，并归因于扩散模型更注重感知质量。虽然这在一定程度上是合理的，但未来工作可以探索如何在保持感知优势的同时，也尽可能提升像素级保真度，以满足不同应用场景的需求。例如，可以引入更精细的损失权重调整或多目标优化策略。
• 计算资源的消耗: 尽管 SeedVR 提高了效率，但其训练仍然需要巨大的计算资源（30K H100-80G GPU 小时），这对于小型研究团队或个人来说是难以承受的。未来研究可以探索更高效的训练方法，例如知识蒸馏 (knowledge distillation) 或更轻量级的模型结构，以降低训练门槛。
• 3D RoPE 的细节: 论文提到了 3D 旋转位置嵌入 (RoPE) 来处理可变大小窗口，但其具体实现细节和与传统位置编码的详细对比（例如在不同窗口大小下的性能变化）可以进一步深入探究。
• “因果”定义的明确性: 论文中提到了“因果 3D 残差块”，但并未详细阐述其“因果”的具体实现方式和优势。在视频处理中，“因果”通常指避免使用未来帧信息，这对于实时系统至关重要。更明确的解释可以帮助读者理解其深层意义。
• 长视频的时间一致性评估: 论文强调了处理长视频的能力。尽管 DOVER 等指标可以评估视频质量，但对于特别长的视频，如何更严格地量化和保证长时间范围内的内容和运动一致性，仍然是一个挑战。例如，可以引入更长时间维度的指标或用户研究来进一步验证。
• 特定降级类型的鲁棒性: 论文强调了处理“未知降级”的能力。尽管通过噪声注入和大规模训练可以增强泛化能力，但对于某些极端或特定的降级类型（如运动模糊、光照变化等），SeedVR 的表现是否一致优异，以及如何进一步针对性优化，可以作为未来的研究方向。