1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): UniVideo: Unified Understanding, Generation, and Editing for Videos (UniVideo：面向视频的统一理解、生成与编辑)
• 作者 (Authors): Cong Wei, Quande Liu, Zixuan Ye, Qiulin Wang, Xintao Wang, Pengfei Wan, Kun Gai, Wenhu Chen。
  • 作者主要来自快手科技 (Kuaishou Technology) 的可灵 (Kling) 团队以及滑铁卢大学 (University of Waterloo)。这是一个产学研结合的研究团队，在视频生成领域有深厚积累。
• 发表期刊/会议 (Journal/Conference): 本文目前发布在 arXiv 上，是一个预印本 (Preprint)。arXiv 是一个发布未经同行评审的学术论文的平台，通常用于快速分享最新的研究成果。
• 发表年份 (Publication Year): 2025 (根据论文元数据)。
• 摘要 (Abstract): 统一多模态模型在内容生成和编辑方面取得了显著进展，但主要局限于图像领域。本文提出了 UniVideo，一个将统一建模扩展到视频领域的多功能框架。UniVideo 采用双流设计，结合了用于指令理解的多模态大语言模型 (MLLM) 和用于视频生成的多模态 DiT (MMDiT)，从而能够准确解释复杂的多模态指令并保持视觉一致性。基于此架构，UniVideo 在单一的多模态指令范式下统一了多样的视频生成和编辑任务，并进行了联合训练。实验表明，UniVideo 在文/图生视频、上下文视频生成和上下文视频编辑方面，达到或超过了当前最先进的特定任务基线模型。值得注意的是，UniVideo 的统一设计带来了两种泛化能力：一是通过单条指令集成多种能力实现任务组合（如编辑与风格迁移结合）；二是在未经过自由格式视频编辑数据训练的情况下，将大规模图像编辑数据的能力迁移到视频场景，处理了如绿幕抠图或改变材质等未见过的指令。此外，UniVideo 还支持基于视觉提示的视频生成。
• 原文链接 (Source Link):
  • 官方链接: https://arxiv.org/abs/2510.08377
  • PDF 链接: http://arxiv.org/pdf/2510.08377v1
  • 发布状态: 预印本 (Preprint)。

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):

  • 核心问题: 当前先进的多模态AI模型虽然在图像的理解、生成和编辑方面实现了统一，但在更复杂、更具挑战的视频领域，这种统一模型仍然是一个空白。
  • 重要性与挑战: 视频是信息传递的核心媒介，构建能够理解并操作视频的AI助手是人机交互的长期目标。然而，现有的视频模型存在两大挑战 (Gap)：
    1. 生成模型局限性: 大多数视频生成模型仅支持单一的“文本到视频”任务，且依赖简单的文本编码器，无法理解复杂的、包含图像或视频的多模态指令。
    2. 编辑模型碎片化: 视频编辑方法通常是任务特定的，例如一个模型专门做风格迁移，另一个专门做物体替换，这使得它们难以扩展到多样化的编辑需求，也无法处理组合任务。
  • 切入点: 本文的创新思路是设计一个统一的框架 (Unified Framework)，将视频领域的理解、生成、编辑等多个任务整合到单一模型中，通过统一的多模态指令进行驱动。

• 核心贡献/主要发现 (Main Contribution/Findings - What):

  • 提出了 UniVideo 框架: 这是一个功能强大的多模态生成模型，首次在视频领域内统一了理解、生成和编辑三大核心能力。
  • 创新的双流架构: 提出了一个由 多模态大语言模型 (MLLM) 和 多模态扩散 Transformer (MMDiT) 组成的双流架构。MLLM 负责深度理解用户指令（包括文本、图像、视频），MMDiT 负责高质量地生成或编辑视频内容。这种设计兼顾了强大的语义推理能力和精细的视觉保真度。
  • 实现了强大的任务泛化能力: 实验证明，UniVideo 不仅在各项已知任务上表现出色，还展现出两种重要的泛化能力：
    1. 任务组合 (Task Composition): 能够执行训练中未见过的复合指令，例如在一条指令中同时完成“替换一个角色”和“应用一种新风格”。
    2. 零样本自由格式视频编辑 (Zero-shot Free-form Video Editing): 尽管没有在通用的视频编辑数据上训练，但模型能将从图像编辑数据中学到的能力迁移到视频上，完成如“给视频中的角色抠绿幕”或“将物体的材质变成玻璃”等全新任务。
  • 支持视觉提示理解 (Visual Prompt Understanding): UniVideo 能够理解用户在图像上绘制的图表或注释，并将其转化为具体的视频生成指令，极大地增强了交互的灵活性。

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

• 基础概念 (Foundational Concepts):

  • 多模态大语言模型 (Multimodal Large Language Model, MLLM): 指的是能够同时处理和理解多种信息类型（如文本、图像、视频）的大语言模型。它们不仅能生成文本，还能理解视觉内容，是实现复杂多模态指令理解的基础。例如，Qwen-VL 就是一个 MLLM。
  • 扩散模型 (Diffusion Models): 一类强大的生成模型，其基本原理是从一张纯噪声图像开始，通过一个训练好的神经网络逐步去噪，最终生成一张清晰的图像或视频。因其生成质量高、可控性强而被广泛应用。
  • DiT (Diffusion Transformer): 将扩散模型中的传统 U-Net 骨干网络替换为 Transformer 架构。Transformer 强大的建模能力使得 DiT 在生成质量和可扩展性上表现优异。MMDiT 则是指能够处理多模态输入的 DiT。
  • VAE (Variational Autoencoder): 变分自编码器。在生成模型中，它通常被用作一个图像/视频编码器和解码器。它能将高维的像素数据压缩到一个低维的、紧凑的潜空间 (Latent Space) 表示，并在潜空间中进行去噪操作，从而大幅降低计算成本。
  • 上下文学习 (In-context Learning): 模型根据当前输入（上下文）中提供的示例或参考信息来执行任务，而无需针对该任务进行额外的模型微调。例如，In-context video generation 指的是根据提供的参考图像（如一个特定的人物）来生成包含该人物的新视频。
  • 自由格式编辑 (Free-form Editing): 指的是用户可以用自然语言描述任何想做的编辑操作，而不仅限于预设的几种编辑类型（如替换、删除）。这要求模型具有更强的指令理解和泛化能力。

• 前人工作 (Previous Works):

  • 统一多模态模型 (Unified Multimodal Models): 此前的统一模型如 Emu3、Show-o2、OmniGen2 等，在统一图像的理解和生成方面取得了很大成功。但它们局限于图像领域，无法处理视频。
  • 视频生成模型 (Video Generation Models): 模型如 HunyuanVideo、Sora 等专注于高质量的文本到视频生成。它们的局限性在于通常只接受文本输入，无法理解包含图像或视频的复杂指令，也不支持上下文生成。
  • 视频编辑模型 (Video Editing Models): 模型如 AnyV2V、VACE、UNIC 等专注于视频编辑。它们的局限性在于通常是为特定任务设计的（例如，UNIC 统一了替换、删除等几种编辑，但依赖任务特定的偏置，扩展性差），并且大多需要用户提供掩码 (Mask) 来指定编辑区域，交互不便。

• 技术演进 (Technological Evolution): 该领域的技术演进路线清晰可见：从单一任务、单一模态输入（如纯文本到视频）的模型，逐步发展到多任务、但仍需特定设计（如需要掩码的编辑模型）的框架，最终走向本文所提出的统一框架、统一多模态指令驱动的模式。UniVideo 正是这一演进趋势在视频领域的体现。

• 差异化分析 (Differentiation): 与相关工作相比，UniVideo 的核心区别在于：

  1. 领域扩展: 将统一建模的思想从图像成功扩展到了视频。
  2. 架构创新: 采用双流设计，既保留了 MLLM 强大的语义理解能力，又通过独立的视觉流输入到 MMDiT 来确保视觉细节的保真度，解决了先前统一模型中存在的视觉信息瓶颈问题。
  3. 真正的统一: 不依赖任何任务特定的模块或适配器，使用统一的指令范式和模型架构处理所有任务，从而获得了强大的泛化能力（任务组合和零样本编辑）。
  4. 交互方式: 实现了无掩码 (Mask-free) 的编辑和对视觉提示 (Visual Prompt) 的理解，交互方式更自然、更灵活。

4. 方法论 (Methodology - Core Technology & Implementation Details)

UniVideo 的核心是一种精巧的“分工协作”机制，通过双流架构将复杂的任务分解为“理解”和“生成”两个部分。

• 方法原理 (Methodology Principles): 其核心思想是解耦 (Decouple) 多模态指令的高级语义理解和视频内容的低级像素生成。

  • MLLM (理解者): 负责“读懂”用户的复杂意图。无论是文本描述“生成一个穿着宇航服的猫在月球上跳舞的视频”，还是给出一张猫的图片、一张宇航服的图片和一段月球的视频，MLLM 都能将其统一理解成一个结构化的、富含语义的指令。
  • MMDiT (创作者): 负责“画出”这个场景。它接收来自 MLLM 的高级语义指导，同时直接获取原始图像/视频的精细视觉特征，以确保生成视频的视觉质量和一致性。

• 方法步骤与流程 (Steps & Procedures): 如下图所示，UniVideo 的工作流程如下：

  该图像是论文中模型结构的示意图，展示了UniVideo的双流设计。包含MLLM用于理解指令，和MMDiT用于视频生成，MMDiT内部细分为理解流块和生成流块，支持图像和视频的编码与解码。

  上图展示了 UniVideo 的双流模型架构。

  1. 输入处理: 用户提供多模态指令，例如 “生成一个视频，让<图像1>中的女人拿着<图像2>中的花，出现在<视频1>的场景里”。
  2. 双流并行输入:
     • 理解流 (Understanding Stream): 整个多模态指令（文本、所有图像、所有视频）被送入 MLLM。MLLM 输出包含了对整个指令深度理解的隐藏状态 (hidden states)，这可以看作是高级的“任务纲要”。
     • 生成流 (Generation Stream): 所有的视觉输入（图像、视频）首先经过一个 VAE 编码器，被压缩成低维的潜空间表示 (latents)。这些 latents 保留了丰富的视觉细节，如人物的相貌、物体的纹理等。
  3. 信息融合与生成:
     • MMDiT 内部也设计为两个分支：一个分支接收来自 MLLM 的语义特征（通过一个可训练的 Connector 连接器对齐维度），另一个分支接收来自 VAE 的视觉特征以及目标视频的噪声潜变量 (noisy latents)。
     • MMDiT 在扩散过程中，同时利用 MLLM 提供的语义指导和 VAE 提供的视觉细节，逐步对噪声潜变量进行去噪，最终生成符合指令的目标视频。
  4. 多任务的统一处理:
     • 为了让模型区分不同的视觉输入（如哪个是参考图像，哪个是待编辑的视频），模型为每个视觉输入分配一个ID标签，并在 MMDiT 中使用 3D 位置编码 来区分它们在时空上的位置。这种设计避免了为不同任务添加额外模块，保持了架构的统一性。

• 视觉提示的理解流程 (Understanding Visual Prompt):

  该图像是示意图，展示了UniVideo中多模态DiT（MMDiT）的双流设计，其中理解流借助MLLM解析复杂多模态指令以生成视频内容，生成流通过VAE模块逐帧合成视频，实现图像到视频的连贯转换。

  上图展示了 MLLM 如何将用户的视觉手稿（左侧）转化为结构化的文本指令，并指导 MMDiT 进行视频生成。

  当用户提供一个带有手绘箭头或注释的图像作为提示时，这个复杂的视觉提示首先被送入 MLLM。MLLM 发挥其强大的图文理解能力，将其“翻译”成一段密集的文本描述，例如：“首先，一个摩托车手向前倾斜... 突然，一辆跑车出现...”。这段由 MLLM 生成的文本随后作为强有力的引导，指导 MMDiT 生成相应的视频。

• 训练策略 (Training Strategy): UniVideo 的训练分为三个精心设计的阶段，逐步激活和优化模型的能力。

  • 阶段 1: 连接器对齐 (Connector Alignment): 此阶段的目标是让 MMDiT 能“听懂” MLLM 的话。训练时，冻结 MLLM 和 MMDiT 的主体参数，只训练它们之间的 MLP Connector。训练数据主要包含文本到图像 (T2I) 和文本到视频 (T2V) 任务。
  • 阶段 2: MMDiT 微调 (Fine-tuning MMDiT): 在连接器对齐后，保持 MLLM 冻结，对 MMDiT 和连接器进行微调。此阶段使用少量高质量的 T2I 和 T2V 数据，旨在提升生成视频的整体质量，使其达到专用视频生成模型（如其主干网络 HunyuanVideo）的水平。
  • 阶段 3: 多任务联合训练 (Multi-task Training): 这是最关键的阶段。在 T2I 和 T2V 的基础上，引入更多样的任务进行联合训练，包括：上下文视频生成、上下文视频编辑、图像编辑、图生视频等。此阶段同样冻结 MLLM，只训练 MMDiT 和连接器。通过在海量、多样的任务数据上进行联合训练，UniVideo 学会了区分不同任务并获得了强大的泛化能力。

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets): UniVideo 在一个大规模、多任务的数据集上进行训练，具体构成如下表所示（转录自原文 Table 1）：

  任务	输入	#样本数
  文本到图像 (Text to Image)	txt	O(40)M
  文本到图像 (高质量)	txt	O(10)K
  图像重建 (Image Reconstruction)	image	O(40)M
  文本到视频 (Text to Video)	txt	O(10)M
  文本到视频 (高质量)	txt	O(10)K
  图像到视频 (Image to Video)	img+txt	O(10)K
  图像编辑 (Image Editing)	img+txt	O(1)M
  图像风格迁移 (Image Style Transfer)	img+txt	O(10)K
  上下文视频编辑 (In-Context Video Editing)	ref-img × n + video + txt	O(10)K
  上下文视频生成 (In-Context Video Generation)	ref-img × n + txt	O(10)K
  上下文图像风格迁移 (In-Context Image Style Transfer)	ref-img × n + img + txt	O(10)K

  • 选择理由: 这个数据集组合覆盖了从基础的生成任务到复杂的上下文编辑任务，多样化的数据是训练统一模型的关键。特别是大规模的图像编辑数据（O(1)M），为模型向视频领域迁移编辑能力奠定了基础。

• 评估指标 (Evaluation Metrics): 论文使用了多维度的评估指标来全面衡量模型的性能。

  • 视觉理解能力指标:
    • MMBench, MMMU, MM-Vet: 这些是评估 MLLM 综合能力（如推理、知识、OCR 等）的基准测试集。分数越高，表示模型的视觉理解和推理能力越强。
  • 视频生成质量指标 (来自 VBench):
    • Smoothness (平滑度):
      1. 概念定义: 衡量视频帧之间过渡的流畅性，低分表示视频存在卡顿或闪烁。
      2. 计算方式: 通常通过计算连续帧之间的光流或像素差异来量化。
    • Dynamics (动态性):
      1. 概念定义: 衡量视频中运动的强度和幅度。分数越高表示视频画面的运动感越强，而不是静止的。
      2. 计算方式: 通常通过计算帧间光流的大小来评估。
    • Aesthetics (美学得分):
      1. 概念定义: 通过一个预训练的美学评分模型来评估视频画面的美观程度。分数越高，表示视频在构图、色彩等方面越符合人类审美。
      2. 计算方式: 将视频帧输入一个美学评分模型（如 LAION Aesthetics Predictor）得到分数。
  • 上下文任务人工评估指标:
    • SC (Subject Consistency, 主体一致性):
      1. 概念定义: 评估生成的视频是否准确地保持了参考图像中主体（如人物、物体）的身份和外观特征。
    • PF (Prompt Following, 提示跟随度):
      1. 概念定义: 评估生成的视频内容是否严格遵循了文本指令的要求。
    • Overall (综合质量):
      1. 概念定义: 对视频的整体质量进行主观评分，综合考虑了以上所有因素。
  • 上下文编辑任务自动评估指标:
    • CLIP-I / DINO-I (身份一致性):
      1. 概念定义: 使用 CLIP 和 DINO 模型的特征提取能力来衡量生成视频中的主体与参考图像主体的特征相似度。分数越高，表示身份保持得越好。
      2. 数学公式: 通常计算两个图像特征向量的余弦相似度。 $$\text{Similarity} = \frac{f(I_{\text{ref}}) \cdot f(I_{\text{gen}})}{\|f(I_{\text{ref}})\| \|f(I_{\text{gen}})\|}$$
      3. 符号解释: $f(\cdot)$ 表示特征提取器（CLIP 或 DINO），$I_{\text{ref}}$ 是参考图像，$I_{\text{gen}}$ 是生成视频中的一帧。
    • CLIP-Score (文本-视频对齐度):
      1. 概念定义: 衡量生成的视频内容与文本指令的语义匹配程度。分数越高，表示视频越符合文本描述。
      2. 计算方式: 与 CLIP-I 类似，但计算的是视频帧的图像特征与文本提示的文本特征之间的余弦相似度。

• 对比基线 (Baselines):

  • 理解与生成任务: 对比了专用的理解模型 (LLaVA-NeXT)、专用的生成模型 (HunyuanVideo, Wan2.1) 以及其他统一模型 (Emu3, Show-o2)。
  • 上下文生成与编辑任务: 对比了开源模型 (VACE, UNIC, AnyV2V) 和强大的商业闭源模型 (Pika2.2, Kling1.6)。选择这些基线是因为它们是各自领域的 SOTA (State-of-the-Art) 或代表性工作。

6. 实验结果与分析

• 核心结果分析 (Core Results Analysis):

  • 统一理解与生成 (Table 3): 以下是 Table 3 的转录数据：

    Model	Understanding			Video Generation
    	MMB	MMMU	MM-Vet	Vbench T2V
    Video Understanding Model
    LLaVA-1.5	36.4	67.8	36.3	×
    LLaVA-NeXT	79.3	51.1	57.4	×
    Video Generation Model
    CogVideoX(T2V/I2V)	×	×	×	81.61
    HunyuanVideo(T2V/I2V)	×	×	×	83.24
    Wan2.1(T2V/I2V)	×	×	×	84.70
    Unified Understanding & Generation Model
    Emu3	58.5	31.6	37.2	80.96
    Show-o2	79.3	48.9	56.6	81.34
    UniVideo *	83.5	58.6	66.6	82.58

    分析: UniVideo 在保持了其 MLLM 主干 (Qwen-2.5VL-7B) 顶级的理解能力的同时，其视频生成能力 (Vbench T2V 得分 82.58) 也与专用的视频生成模型 (HunyuanVideo 得分 83.24) 相当。这证明了其双流架构在不牺牲任何一端性能的情况下成功地统一了两种能力。

  • 上下文视频生成 (Table 4): 以下是 Table 4 的转录数据：

    Model	Single Reference Generation
    	Human Eval Score			Automatic Video Quality Score
    	SC↑	PF↑	Overall↑	Smoothness↑	Dynamic↑	Aesthetic↑
    VACE	0.31	0.65	0.42	0.922	40.341	5.426
    Kling1.6	0.68	0.95	0.88	0.938	86.641	5.896
    Pika2.2	0.45	0.43	0.15	0.928	104.768	5.125
    UniVideo	0.88	0.93	0.95	0.943	56.336	5.740
    Model	Multi Reference (≥ 2) Generation
    	SC↑	PF↑	Overall↑	Smoothness↑	Dynamic↑	Aesthetic↑
    Kling.6	0.73	0.45	0.95	0.916	61.856	6.034
    Pika2.2	0.71	0.48	0.43	0.898	76.796	5.176
    UniVideo	0.81	0.75	0.85	0.942	59.393	6.128

    分析: UniVideo 在主体一致性 (SC) 上取得了最高分 (单参考 0.88，多参考 0.81)，这说明其双流架构能有效保留参考图像的视觉细节。在处理包含多个参考对象的复杂场景（Multi Reference）时，其提示跟随度 (PF) 远超其他模型，展现了 MLLM 在理解复杂关系上的优势。

  • 上下文视频编辑 (Table 5): UniVideo 在插入、替换、重建和风格化四类编辑任务中，与需要提供掩码的专用编辑模型相比，在无掩码的更具挑战性的设定下，仍然取得了相当甚至更好的性能。这突显了其统一指令理解和生成能力的强大。

• 零样本泛化能力分析 (Figure 5):

  该图像是示意图，展示了UniVideo在零-shot泛化能力上的表现。上半部分为“未见任务”，展示了诸如绿幕抠像、环境切换、冰火转换等视频编辑效果，下半部分为“任务组合”，展示了多任务融合的风格替换和背景替换效果，体现模型在未训练过的任务和组合任务上的通用性。

  上图展示了 UniVideo 的两种零样本泛化能力。

  • 自由格式视频编辑: 左侧示例展示了模型在没有见过此类任务的情况下，成功地将视频中的人物抠到绿幕背景上，并将另一个视频中的女性材质变为玻璃。这证明模型能将从图像编辑中学到的概念（如“绿幕”、“玻璃材质”）泛化到视频领域。
  • 任务组合: 右侧示例展示了模型执行了一个复合指令：“删除视频中的一个角色，同时将另一个角色替换成参考图像中的宇航员，并应用赛博朋克风格”。这证明了统一训练使得模型能够灵活地组合不同的原子能力。

• 消融实验/参数分析 (Ablation Studies / Parameter Analysis):

  • 多任务学习 vs. 单任务学习 (Table 6): 结果显示，经过多任务联合训练的 UniVideo 在所有上下文生成和编辑任务上的平均性能（PF, SC, Overall）都显著优于只在各自任务数据上训练的单任务模型。这证明了多任务学习带来的知识迁移效应，特别是大规模图像编辑数据对提升视频编辑能力有巨大帮助。
  • 双流视觉输入的重要性 (Table 7): 实验对比了一个变体，该变体只将视觉输入送给 MLLM，而不直接送给 MMDiT。结果显示，该变体在主体一致性 (SC) 上的得分急剧下降（平均分从 0.78 降至 0.18）。这强有力地证明了将视觉细节直接输入生成模块 (MMDiT) 对于保持身份一致性至关重要，验证了双流设计的必要性。

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary): 本文成功地提出了 UniVideo，一个在视频领域统一了理解、生成和编辑的强大模型。其核心的双流架构有效地结合了 MLLM 的语义推理能力和 MMDiT 的高质量生成能力。实验证明，UniVideo 不仅在多个基准测试上达到了 SOTA 水平，更重要的是，它展现了通过统一训练获得的强大的任务组合和零样本泛化能力，为构建更通用、更智能的多模态 AI 助手迈出了重要一步。

• 局限性与未来工作 (Limitations & Future Work): 作者在附录中坦诚地指出了模型的局限性：

  1. 指令跟随的精确性: 有时模型会“过度编辑”，影响到指令未提及的区域。
  2. 运动保真度: 由于主干网络的限制，在编辑视频时，有时难以完全保留原始视频的运动模式。
  3. 泛化能力的稳定性: 尽管能够零样本泛化到自由格式视频编辑，但其成功率仍低于图像编辑，表明视频编辑的固有难度更高。
  4. 模型架构: UniVideo 是一个“组装”系统（基于预训练的 MLLM 和 MMDiT），未来的方向是开发一个端到端训练的、原生的多模态视频模型。

• 个人启发与批判 (Personal Insights & Critique):

  1. 启发:
     • 架构设计的智慧: UniVideo 的双流架构是一个非常实用且高效的设计范式。它没有试图用一个“万能”模块解决所有问题，而是通过解耦和分工，让最擅长的模块做最擅长的事，最后再有机地结合起来。这种“分而治之”的思想对于构建复杂AI系统具有普遍的指导意义。
     • 统一的力量: 这篇论文最令人印象深刻的是它展示了“统一”不仅仅是功能的叠加，而是能催生出“1+1 > 2”的化学反应——即泛化能力。通过在多样化的任务上联合训练，模型学到了更抽象、更通用的能力，并能将其迁移到未见过的新任务和新组合上。这是专用模型无法企及的。
     • 交互的未来: UniVideo 展示了更自然的AI交互方式，如无掩码编辑和视觉提示。这预示着未来的AI工具将不再需要用户学习复杂的操作，而是能通过直观的、多模态的自然交流来完成任务。
  2. 批判性思考:
     • 创新的“深度”: 正如作者所承认的，UniVideo 更像一个巧妙的系统集成工作，它站在了 Qwen-VL 和 HunyuanVideo 这两个巨人的肩膀上。其核心创新在于“如何连接和协同训练”，而非提出一个全新的底层网络结构。但这并不减损其价值，因为在工程和应用层面，如何高效地组合现有SOTA模块本身就是一项重要的研究课题。
     • 数据依赖性: 模型的强大泛化能力在很大程度上归功于其庞大且多样化的训练数据集。对于数据资源有限的研究者来说，复现或超越这样的模型将非常困难。未来的一个研究方向可能是如何用更少的数据实现同样强大的泛化。
     • “可控性”的挑战: 尽管模型在很多任务上表现出色，但“过度编辑”等问题的存在表明，在复杂场景下实现对生成过程的精确控制仍然是一个巨大的挑战。如何让模型“只做我让它做的，不多也不少”是所有生成式AI面临的共同难题。