论文状态:已完成

Mitty: Diffusion-based Human-to-Robot Video Generation

发表:2025/12/19
原文链接PDF 下载
价格:0.100000
价格:0.100000
价格:0.100000
已有 11 人读过
本分析由 AI 生成,可能不完全准确,请以原文为准。

TL;DR 精炼摘要

论文提出了Mitty,一个基于扩散Transformer的人类到机器人视频生成框架,通过从人类演示视频中直接学习,实现端到端生成,克服了依赖中间表示法带来的信息损失和误差累积问题。Mitty利用预训练扩散模型的视觉-时间先验,无需动作标签,生成高质量的人机配对数据,表现出优越的泛化能力。

摘要

Learning directly from human demonstration videos is a key milestone toward scalable and generalizable robot learning. Yet existing methods rely on intermediate representations such as keypoints or trajectories, introducing information loss and cumulative errors that harm temporal and visual consistency. We present Mitty, a Diffusion Transformer that enables video In-Context Learning for end-to-end Human2Robot video generation. Built on a pretrained video diffusion model, Mitty leverages strong visual-temporal priors to translate human demonstrations into robot-execution videos without action labels or intermediate abstractions. Demonstration videos are compressed into condition tokens and fused with robot denoising tokens through bidirectional attention during diffusion. To mitigate paired-data scarcity, we also develop an automatic synthesis pipeline that produces high-quality human-robot pairs from large egocentric datasets. Experiments on Human2Robot and EPIC-Kitchens show that Mitty delivers state-of-the-art results, strong generalization to unseen environments, and new insights for scalable robot learning from human observations.

思维导图

论文精读

中文精读

1. 论文基本信息

1.1. 标题

Mitty: Diffusion-based Human-to-Robot Video Generation (Mitty: 基于扩散模型的人类到机器人视频生成)

1.2. 作者

Yiren Song, Cheng Liu, Weijia Mao, Mike Zheng Shou†。 他们的研究背景和隶属机构:1Show Lab, National University of Singapore (新加坡国立大学)。

1.3. 发表期刊/会议

预印本 (arXiv)。 该论文作为预印本发表在 arXiv 上,表明其尚未经过同行评审,但已公开发布供学术界交流和讨论。

1.4. 发表年份

2025年。

1.5. 摘要

从人类演示视频中直接学习是实现可扩展、通用机器人学习的关键里程碑。然而,现有方法依赖于关键点或轨迹等中间表示,这会引入信息损失和累积误差,损害时间(temporal)和视觉(visual)一致性。本文提出了 Mitty,一个扩散 Transformer (Diffusion Transformer),它通过视频上下文学习 (Video In-Context Learning) 实现端到端的人类到机器人(Human2Robot)视频生成。Mitty 基于一个预训练的视频扩散模型构建,利用强大的视觉-时间先验 (visual-temporal priors),无需动作标签或中间抽象,将人类演示转换为机器人执行视频。演示视频被压缩成条件词元 (condition tokens),并通过扩散过程中的双向注意力 (bidirectional attention) 与机器人去噪词元 (denoising tokens) 融合。为了缓解配对数据稀缺问题,我们还开发了一个自动合成流水线 (automatic synthesis pipeline),从大型自我中心数据集 (egocentric datasets) 生成高质量的人机配对数据。在 Human2Robot 和 EPIC-Kitchens 数据集上的实验表明,Mitty 取得了最先进的结果,对未见环境展现出强大的泛化能力,并为从人类观察中进行可扩展机器人学习提供了新见解。

1.6. 原文链接

2. 整体概括

2.1. 研究背景与动机

核心问题: 机器人学习如何从人类演示中直接、高效地获取可泛化的操作策略,并生成对应的机器人执行视频,以实现跨任务和跨环境的泛化。 重要性与现有挑战:

  • 可扩展性与通用性: 现有机器人学习方法通常需要大量耗时且昂贵的机器人数据收集,或者依赖于特定硬件(如 VR、手部追踪设备),这限制了其规模化和泛化能力。
  • 中间表示的局限性: 大多数方法通过提取人类演示视频中的关键点 (keypoints)、轨迹 (trajectories) 或深度图 (depth maps) 等中间表示来指导机器人动作。这种多阶段方法会导致:
    • 信息损失 (Information Loss): 丢失了原始视频中丰富的细粒度时空动态信息。
    • 累积误差 (Cumulative Errors): 在中间估计阶段产生的误差会逐级累积,最终影响机器人视频的生成质量和动作准确性。
    • 一致性问题: 损害了生成视频的时间一致性(temporal consistency)和视觉一致性(visual consistency)。
  • 数据稀缺: 尽管人类视频和机器人视频各自数据量庞大,但高质量、精确对齐的人机配对视频(human-robot paired videos)却极其稀缺,难以支持模型学习通用技能。

本文的切入点/创新思路: 本文旨在绕过中间表示,直接实现端到端 (end-to-end) 的人类到机器人视频生成。通过利用预训练的视频扩散模型和上下文学习的能力,Mitty 试图直接从人类演示视频中提取高级的视觉-时间先验,并将其“翻译”成机器人执行视频,从而解决上述挑战。

2.2. 核心贡献/主要发现

本文的贡献主要体现在以下三个方面:

  1. 提出端到端的人类到机器人视频生成框架 Mitty: Mitty 是第一个基于视频扩散 Transformer (Video Diffusion Transformer) 的端到端人类到机器人视频生成框架,它直接将人类演示视频转换为机器人执行视频,无需中间表示如关键点或轨迹。
  2. 利用上下文学习 (In-Context Learning) 增强泛化能力: 技术上,Mitty 通过上下文学习实现了视觉和场景一致性以及动作一致性,显著提高了跨任务泛化能力。它将人类演示视频压缩为条件词元,并与机器人去噪词元通过双向注意力机制融合,从而进行跨域动作翻译。
  3. 设计高效的数据合成策略: 论文开发了一个自动化的配对数据合成流水线,结合现有数据集进行混合训练。这一策略显著增强了模型在未见任务和环境中的泛化能力。实验证明了该方法在生成质量和跨任务一致性方面的有效性和优越性。

主要发现:

  • Mitty 在 Human2RobotEPIC-Kitchens 数据集上显著优于现有基线方法,在视频质量和任务成功率方面均达到了最先进的 (state-of-the-art) 水平。
  • 模型对未见环境展现出强大的泛化能力,能够保持较强的视觉一致性、动作一致性和背景稳定性。
  • 消融研究表明,人类参考视频作为上下文条件对生成质量至关重要,而任务描述的文本提示影响较小。
  • 虽然 Mitty 尚未实现完整的视频到策略 (Video-to-Policy) 控制循环,但其生成的高保真、时序对齐且语义准确的人机视频,为未来视频到策略的反演提供了关键基础和丰富的监督信号。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 扩散模型 (Diffusion Models)

概念定义: 扩散模型是一类生成模型,其灵感来源于非平衡热力学。它们通过一个迭代的扩散过程 (diffusion process) 将数据逐步转换为噪声(例如,高斯噪声),然后学习一个逆向去噪过程 (reverse denoising process),将纯噪声逐渐恢复为目标数据样本。 工作原理:

  1. 前向扩散(Forward Diffusion): 在这个过程中,通过一系列预定义的步骤,逐渐向原始数据(例如图像或视频)中添加少量高斯噪声,直到数据完全变成随机噪声。这个过程是马尔可夫链式的,即每一步的噪声添加只依赖于上一步的状态。
  2. 逆向去噪(Reverse Denoising): 这是学习过程的核心。模型(通常是一个神经网络,如 UNetTransformer)被训练来预测在每个时间步添加的噪声,从而能够逆转前向过程。通过从纯噪声开始,并迭代地减去模型预测的噪声,模型可以逐步地将噪声样本转换回清晰的数据样本。 本文中的应用: 在 Mitty 中,扩散模型被用于将带有噪声的机器人视频潜在表示逐渐去噪,以生成清晰的机器人执行视频,并通过人类演示视频作为条件来指导去噪过程。

3.1.2. Transformer (变换器)

概念定义: Transformer 是一种基于自注意力 (self-attention) 机制的神经网络架构,最初用于自然语言处理,现已广泛应用于计算机视觉等领域。它能够有效地处理序列数据,并捕捉序列中元素之间的长距离依赖关系。 核心机制:

  • 自注意力 (Self-Attention): 允许模型在处理序列的某个元素时,同时关注序列中的所有其他元素,并根据它们的相关性为当前元素分配不同的权重。这使得模型能够捕捉到全局信息。
    • 数学公式: Attention(Q,K,V)=softmax(QKTdk)V \mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
    • 符号解释:
      • QQ (Query, 查询):当前需要关注的词元的表示。
      • KK (Key, 键):序列中所有词元的表示,用于与查询进行匹配。
      • VV (Value, 值):序列中所有词元的表示,包含实际信息,用于加权求和。
      • QKTQ K^T:查询和键的点积,计算每个查询与所有键的相似度。
      • dk\sqrt{d_k}:缩放因子,其中 dkd_k 是键向量的维度,用于防止点积过大,导致 softmax 函数梯度过小。
      • softmax\mathrm{softmax}:将相似度分数转换为权重分布。
      • VV:加权求和的值向量,得到注意力机制的输出。 本文中的应用: Mitty 采用 Diffusion Transformer 架构,将视频帧或其潜在表示转换为词元序列,然后利用 Transformer 的自注意力和交叉注意力机制处理这些词元,以实现视频的生成和条件控制。

3.1.3. 视频扩散 Transformer (Video Diffusion Transformer)

概念定义: 结合了扩散模型和 Transformer 架构的视频生成模型。它利用 Transformer 的强大建模能力来处理视频的时空信息,并在扩散模型的框架下生成高质量、时间连贯的视频。 本文中的应用: Mitty 的核心是一个 Diffusion Transformer,它能够理解人类演示视频的潜在特征,并指导生成机器人视频的去噪过程。Wan 2.2 是一个预训练的视频扩散 Transformer,Mitty 在其基础上进行构建。

3.1.4. 上下文学习 (In-Context Learning, ICL)

概念定义: 指大型模型在推理时,通过在输入中提供少量示例(即“上下文”),而无需进行模型参数更新(微调),就能学会执行新任务或适应新情境的能力。模型利用其在预训练阶段学到的广泛知识和模式识别能力,从上下文示例中推断出任务的模式。 本文中的应用: Mitty 利用 In-Context Learning 机制,通过直接将人类演示视频作为条件输入,模型能够理解人类的动作意图和场景上下文,并生成对应的机器人执行视频,从而在测试时快速适应新任务,无需昂贵的模型重训练。

3.1.5. VAE (Variational Autoencoder, 变分自编码器)

概念定义: VAE 是一种生成模型,它学习数据的潜在表示(latent representation)。它由一个编码器(encoder)和一个解码器(decoder)组成。编码器将输入数据映射到一个潜在空间中的概率分布(通常是高斯分布的均值和方差),解码器则从这个潜在空间中采样并重构数据。VAE 的目标是学习一个有意义且连续的潜在空间,使得相似的数据点在潜在空间中也彼此接近。 本文中的应用: Mitty 使用 VAE 将原始视频(无论是人类演示视频还是机器人视频)编码成低维的潜在词元 (latent tokens),从而降低模型的计算复杂度,并提高处理效率。在去噪过程中,模型在潜在空间中操作,最后通过 VAE 的解码器将去噪后的潜在表示转换回像素空间中的视频。

3.1.6. 双向注意力 (Bidirectional Attention)

概念定义: 双向注意力机制允许两个不同的序列(或模态)之间进行信息交换。与单向注意力(如编码器-解码器架构中的交叉注意力)不同,双向注意力允许信息在两个方向上流动,即序列 A 可以关注序列 B,同时序列 B 也可以关注序列 A。 本文中的应用: 在 Mitty 中,人类演示视频被编码为条件词元 (condition tokens),机器人去噪视频被编码为去噪词元 (denoising tokens)。双向注意力机制使得这两种模态的词元能够相互作用、相互参考,从而在扩散过程中动态地对齐人类动作的时间线索、运动模式和物体交互与机器人动作。

3.2. 前人工作

3.2.1. 视频生成模型 (Video Generation Models)

  • 早期方法: 从基于 GAN (Generative Adversarial Networks) 的方法 [33] 发展而来,其通过对抗训练生成视频。
  • UNet 基方法: 随后出现了基于 UNet 架构的方法 [13, 41, 53],它们通过编码器-解码器结构处理视频,常用于图像到视频或文本到视频生成。
  • 扩散 Transformer 架构: 现代视频生成模型已发展到 Diffusion Transformer 架构 [18, 34, 47, 59],能够生成高质量、时间连贯的视频,并支持文本、图像或多模态输入条件。这些模型在可控视频生成 [18, 26, 29-31] 和世界建模 [8] 等应用中展现出强大潜力。
  • 与本文的关系: Mitty 基于 Wan 2.2 [47],一个大型预训练视频生成模型,继承了其强大的视觉和时间先验。这表明 Mitty 站在了视频生成领域最先进技术的基础上。

3.2.2. 从人类视频学习 (Learning from Human Videos)

  • 背景: 利用大规模以人为中心的视频数据集 [6, 10, 11] 改进机器人策略学习是一个活跃的研究方向,因为人类视频相比机器人遥操作 (teleoperation) 更具可扩展性和多样性 [2, 19, 22, 24, 27, 32, 38, 39, 45, 51, 54]。
  • 早期研究: 侧重于从人类视频中提取视觉表示 [4]、推导奖励函数 [14] 或直接估计运动先验 [35, 48]。
  • 局限性: 许多方法仍依赖额外的机器人数据或专用硬件,限制了可扩展性。跨实体 (cross-embodiment) 迁移仍然困难,尽管 3D 手部姿态估计 [5] 的进展有所帮助。类人机器人 (humanoid robots) 由于运动学相似性在一定程度上缓解了这一差距。
  • 与本文的关系: Mitty 的创新在于它无需提取姿态、轨迹或深度等中间表示,直接从人类演示端到端生成机器人视频,从而更好地利用原始人类演示视频中的细粒度细节。

3.2.3. 上下文学习 (In-Context Learning)

  • 背景: ICL [1, 3] 在推理时适应新任务方面展现出卓越能力。
  • 视觉生成领域: 近年来,ICL 已被用于高质量图像生成 [9, 12, 15-17, 28, 40, 42-44, 49, 57, 58] 和视频生成 [20, 55, 56]。
  • 机器人领域: 初步研究 [38] 已探索将 ICL 应用于视觉运动策略 (visuomotor policies),但受限于数据收集成本和任务多样性。
  • 与本文的关系: Mitty 采用 In-Context Learning 框架,基于 Wan 2.2 视频扩散模型,将人类演示视频转化为机器人手臂执行视频,确保生成过程中的视觉和动作一致性。

3.3. 技术演进

该领域的技术演进经历了从依赖中间表示端到端生成的范式转变:

  1. 早期方法(基于中间表示): 最初,研究者尝试通过将人类视频分解为更易于机器人理解的抽象形式来桥接人类和机器人领域。例如,提取人类手部的 3D 关键点、运动轨迹、深度图或物体姿态。这些中间表示随后被用于控制机器人或渲染机器人动作。
  2. 局限性浮现: 随着研究深入,这种多阶段方法的弊端逐渐显现。信息在抽象过程中丢失,导致机器人无法捕捉人类动作的细微之处;同时,每个中间步骤的估计误差会累积,严重影响最终生成机器人动作的准确性和连贯性。
  3. 视频生成模型发展: 随着 GANUNet 和特别是 Diffusion Transformer 等视频生成模型的快速发展,生成高质量、时间连贯视频的能力大幅提升。这为直接从像素层面处理视频提供了技术基础。
  4. 上下文学习兴起: In-Context Learning 在大型模型中的成功,展示了模型无需显式微调即可从少量示例中泛化到新任务的能力,为直接从人类演示视频学习提供了新的思路。
  5. Mitty 的位置: Mitty 正是站在 Diffusion TransformerIn-Context Learning 的交叉点上。它通过一个预训练的强大视频生成模型作为骨干,并结合双向注意力机制,实现了绕过中间表示的端到端 Human2Robot 视频生成,从而避免了传统方法的局限性。

3.4. 差异化分析

Mitty 与相关工作的主要区别和创新点在于:

  • 端到端生成,绕过中间表示: 传统方法严重依赖关键点、轨迹或深度图等中间抽象。Mitty 直接从人类演示视频(像素级别)生成机器人执行视频,避免了信息损失和累积误差。这是其最核心的差异化特点。
  • 利用预训练的视频扩散 Transformer: Mitty 构建在 Wan 2.2 这一强大的预训练视频生成模型之上。这使得模型能够继承大规模自然视频中学习到的强大视觉和时间先验知识,从而提高生成视频的质量和连贯性,并有助于泛化到新环境和新任务。
  • 双向注意力实现视频上下文学习: 通过将人类演示视频压缩为条件词元,并与机器人去噪词元通过双向注意力机制进行融合,Mitty 实现了跨模态的 In-Context Learning。这使得模型能够动态对齐人类和机器人的动作,同时保持视觉和场景的一致性。
  • 解决数据稀缺的自动化合成流水线: 面对高质量人机配对视频稀缺的挑战,Mitty 引入了一个基于 Masquerade [23] 的自动化数据合成流水线,将大规模自我中心人类视频转换为机器人手臂渲染视频。这显著增加了可用的训练数据量,并改善了数据的细粒度时间一致性,为模型训练和泛化提供了更强的基础。
  • 更强的泛化能力: 实验结果表明,Mitty 在未见任务和环境中的泛化能力优于现有基线,这得益于其端到端学习和强大的预训练骨干。

4. 方法论

4.1. 方法原理

Mitty 将人类到机器人视频生成 (Human2Robot video generation) 视为一个条件去噪问题 (conditional denoising problem)。给定一个人类演示视频 VH={v1H,...,vNH}V^H = \{v_1^H, ..., v_N^H\} 和对应的机器人执行视频 VR={v1R,...,vNR}V^R = \{v_1^R, ..., v_N^R\},模型的目标是建模条件分布 pθ(VRVH)p_{\theta}(V^R | V^H),捕捉人类动作和机器人执行之间细粒度的时空对应关系。 Mitty 支持两种设置:

  1. H2R (Human2Robot Video Generation, 人类到机器人视频生成): 模型直接从人类演示视频生成机器人执行视频,不提供任何初始机器人帧。

  2. HI2R (Human-and-Initial-Image-to-Robot Video Generation, 人类和初始图像到机器人视频生成):H2R 的基础上,额外提供一个初始机器人帧,以定义机器人的初始状态并指导其形态和运动规划。

    该方法基于 Wan 2.2 [47],一个最先进的、预训练在大量自然视频上的扩散视频生成模型。人类和机器人视频都被编码成潜在词元 (latent tokens)。人类潜在词元充当无噪声的条件词元 (clean conditioning tokens),而机器人潜在词元充当去噪目标 (denoising targets)。这些词元在时间维度上被连接起来,并输入到经过双向注意力机制增强的扩散 Transformer 中,使得信息在每个去噪步骤中能够在模态间流动。这种统一设计允许模型在两种设置(H2RHI2R)中共享参数和先验知识,同时提供对机器人初始状态的细粒度控制和跨任务的稳定运动规划。

4.2. 核心方法详解

4.2.1. 整体架构

Mitty 的整体架构围绕一个扩散 Transformer 展开,并利用 VAE 进行视频的编码和解码。 首先,无论是人类视频 VHV^H 还是机器人视频 VRV^R,都会通过一个共享的 VAE 视频编码器 VAEenc\mathrm{VAE_{enc}} 被编码成低维的潜在表示。

  • 人类视频的潜在表示 z0H=VAEenc(VH)z_0^H = \mathrm{VAE_{enc}}(V^H) 将作为条件词元 (condition tokens),在整个去噪过程中保持无噪声。

  • 机器人视频的潜在表示 z0R=VAEenc(VR)z_0^R = \mathrm{VAE_{enc}}(V^R) 将作为去噪目标 (denoising targets),在训练过程中逐步被添加噪声。

    这些潜在词元,连同时间嵌入 (temporal embeddings) 和模态嵌入 (modality embeddings),将被送入一个经过双向注意力机制增强的扩散 Transformer。该 Transformer 负责在人类视频条件的指导下,迭代地从噪声中恢复机器人视频的潜在表示。最后,通过 VAE 解码器 VAEdec\mathrm{VAE_{dec}} 将去噪后的潜在表示转换回像素空间中的机器人视频。

下图(原文 Figure 2)展示了 Mitty 模型的架构,以及如何通过双向注意力机制实现端到端的人类到机器人视频生成:

该图像是示意图,展示了Mitty模型在视频生成中的架构。左侧为源视频 \(V_{src}\) 和目标视频 \(V_{tar}\),右侧则描述了模型的结构,包括变分自编码器(VAE)、自注意力机制及其各组件(如学习的文本标记、噪声潜在标记和视频条件标记)。图中展示了不同类型标记的映射和注意力机制的关键部分。整体上,图像阐明了无须中间表示的端到端视频生成流程。
该图像是示意图,展示了Mitty模型在视频生成中的架构。左侧为源视频 VsrcV_{src} 和目标视频 VtarV_{tar},右侧则描述了模型的结构,包括变分自编码器(VAE)、自注意力机制及其各组件(如学习的文本标记、噪声潜在标记和视频条件标记)。图中展示了不同类型标记的映射和注意力机制的关键部分。整体上,图像阐明了无须中间表示的端到端视频生成流程。

VLM 描述: 该图像是示意图,展示了Mitty模型在视频生成中的架构。左侧为源视频 VsrcV_{src} 和目标视频 VtarV_{tar},右侧则描述了模型的结构,包括变分自编码器(VAE)、自注意力机制及其各组件(如学习的文本标记、噪声潜在标记和视频条件标记)。图中展示了不同类型标记的映射和注意力机制的关键部分。整体上,图像阐明了无须中间表示的端到端视频生成流程。

4.2.2. 通过双向注意力实现视频上下文学习

为了在人类和机器人模态之间实现跨域视频上下文学习 (cross-domain video in-context learning),Mitty 通过双向注意力机制增强了扩散 Transformer,将人类条件词元和机器人去噪词元连接起来。这使得模型能够动态地对齐跨模态的时间线索、运动模式和物体交互,同时利用预训练视频骨干网络的强大视觉-时间先验。

4.2.2.1. 扩散过程与噪声注入 (Diffusion Process and Noise Injection)

首先,将机器人视频 VRV^R 通过 VAE 编码器 VAEenc\mathrm{VAE_{enc}} 编码成潜在表示 z0R=VAEenc(VR)\mathbf{z}_0^R = \mathrm{VAE_{enc}}(\mathbf{V}^R)。 在训练过程中,噪声只会逐步添加到机器人潜在表示中,而人类潜在表示则保持无噪声(clean):

xtR=αˉtz0R+1αˉtϵ,ϵN(0,I). \begin{array} { r } { { \mathbf { x } } _ { t } ^ { R } = \sqrt { \bar { \alpha } _ { t } } { \mathbf { z } } _ { 0 } ^ { R } + \sqrt { 1 - \bar { \alpha } _ { t } } \epsilon , \quad \epsilon \sim \mathcal { N } ( \mathbf { 0 } , \mathbf { I } ) . } \end{array} 这里,xtR\mathbf{x}_t^R 表示在时间步 tt 时被添加了噪声的机器人潜在表示。

  • z0R\mathbf{z}_0^R: 原始的无噪声机器人视频潜在表示。

  • ϵ\epsilon: 从标准正态分布 N(0,I)\mathcal{N}(\mathbf{0}, \mathbf{I}) 中采样的噪声,其中 0\mathbf{0} 是零向量,I\mathbf{I} 是单位矩阵。

  • αˉt\sqrt{\bar{\alpha}_t}: 控制原始信号在时间步 tt 时的保留程度。

  • 1αˉt\sqrt{1 - \bar{\alpha}_t}: 控制在时间步 tt 时添加到信号中的噪声量。

    累积噪声调度 (cumulative noise schedule) 由以下公式给出: αˉt=s=1tαs,t{1,,T}. \bar { \alpha } _ { t } = \prod _ { s = 1 } ^ { t } \alpha _ { s } , \quad t \in \{ 1 , \ldots , T \} .

  • αˉt\bar{\alpha}_t: 从时间步 1tt 的噪声调度因子 αs\alpha_s 的累积乘积。

  • αs\alpha_s: 在时间步 ss 的噪声调度因子,通常是小于 1 的值,表示在每一步中保留原始信息的分数。随着 tt 增大,αˉt\bar{\alpha}_t 逐渐减小,表示添加的噪声越来越多。

  • TT: 扩散过程的总时间步数。

    这种设置允许模型在不显式需要动作或轨迹标签的情况下,建模条件分布 pθ(VRVH)p_{\theta}(\mathbf{V}^R | \mathbf{V}^H)

4.2.2.2. 词元表示与嵌入 (Token Representation and Embeddings)

人类视频 VHV^H 通过 VAE 编码器 VAEenc\mathrm{VAE_{enc}} 编码成潜在表示 z0H=VAEenc(VH)\mathbf{z}_0^H = \mathrm{VAE_{enc}}(V^H)。 词元通过添加时间嵌入 (temporal embeddings) 和模态嵌入 (modality embeddings) 来形成:

C=z0H+Etime+Emod(h),D=xtR+Etime+Emod(r). \begin{array} { r } { \mathbf { C } = \mathbf { z } _ { 0 } ^ { H } + \mathbf { E } _ { \mathrm { t i m e } } + \mathbf { E } _ { \mathrm { m o d ( h ) } } , } \\ { \mathbf { D } = \mathbf { x } _ { t } ^ { R } + \mathbf { E } _ { \mathrm { t i m e } } + \mathbf { E } _ { \mathrm { m o d ( r ) } } . } \end{array}

  • C\mathbf{C}: 条件词元 (Condition Tokens),由无噪声的人类视频潜在表示 z0H\mathbf{z}_0^H 加上时间嵌入 Etime\mathbf{E}_{\mathrm{time}} 和人类模态嵌入 Emod(h)\mathbf{E}_{\mathrm{mod(h)}} 构成。
  • D\mathbf{D}: 去噪词元 (Denoise Tokens),由带噪声的机器人视频潜在表示 xtR\mathbf{x}_t^R 加上时间嵌入 Etime\mathbf{E}_{\mathrm{time}} 和机器人模态嵌入 Emod(r)\mathbf{E}_{\mathrm{mod(r)}} 构成。
  • dd: 词元/通道维度 (token/channel dimension)。
  • Etime\mathbf{E}_{\mathrm{time}}: 时间嵌入,用于编码视频帧的时间顺序信息。
  • Emod()\mathbf{E}_{\mathrm{mod(\cdot)}}: 模态嵌入,用于区分人类模态和机器人模态。

4.2.2.3. 双向注意力耦合 (Bidirectional Attention Coupling)

在 Transformer 的每个层中,信息通过双向注意力机制在两个方向上进行交换(row-wise softmax):

C~=Softmax(CDd)D,D~=Softmax(DCd)C. \begin{array} { r } { \tilde { \mathbf { C } } = \mathrm { S o f t m a x } \Big ( \frac { \mathbf { C D } ^ { \top } } { \sqrt { d } } \Big ) \mathbf { D } , } \\ { \tilde { \mathbf { D } } = \mathrm { S o f t m a x } \Big ( \frac { \mathbf { D C } ^ { \top } } { \sqrt { d } } \Big ) \mathbf { C } . } \end{array}

  • C~\tilde{\mathbf{C}}: 经过注意力更新的条件词元。

  • D~\tilde{\mathbf{D}}: 经过注意力更新的去噪词元。

  • CDT\mathbf{C D}^T: 条件词元 CC 与去噪词元 DD 的转置的点积,计算 CCDD 的关注度。

  • DCT\mathbf{D C}^T: 去噪词元 DD 与条件词元 CC 的转置的点积,计算 DDCC 的关注度。

  • d\sqrt{d}: 缩放因子,其中 dd 是词元维度。

  • Softmax()\mathrm{Softmax}(\cdot): softmax 函数,将注意力分数归一化为权重。

    更新后的词元 [C~;D~][\tilde{\mathbf{C}}; \tilde{\mathbf{D}}] 在词元维度上被连接起来,并输入到后续的 Transformer 块中。这确保了人类演示视频的上下文信息能够有效地指导机器人视频的生成,同时机器人视频的当前状态也反过来影响对人类动作的解释。

4.2.2.4. 去噪与逆向更新 (Denoising and Reverse Update)

网络在机器人分支上预测噪声 ϵθ(xtR,C,t)\epsilon_{\theta}(\mathbf{x}_t^R, \mathbf{C}, t),并执行以下逆向更新步骤:

xt1R=1αt(xtR1αt1αˉtϵθ(xtR,C,t))+σtz,zN(0,I), \begin{array} { c } { { \displaystyle { \bf x } _ { t - 1 } ^ { R } = \frac { 1 } { \sqrt { \alpha _ { t } } } \bigg ( { \bf x } _ { t } ^ { R } - \frac { 1 - \alpha _ { t } } { \sqrt { 1 - \bar { \alpha } _ { t } } } \epsilon _ { \theta } ( { \bf x } _ { t } ^ { R } , { \bf C } , t ) \bigg ) + \sigma _ { t } { \bf z } , } } \\ { { { \bf z } \sim \mathcal { N } ( { \bf 0 } , { \bf I } ) , } } \end{array}

  • xt1R\mathbf{x}_{t-1}^R: 经过一步去噪后,在时间步 t-1 的机器人潜在表示。

  • αt\alpha_t: 在时间步 tt 的噪声调度因子。

  • αˉt\bar{\alpha}_t: 累积噪声调度因子。

  • ϵθ(xtR,C,t)\epsilon_{\theta}(\mathbf{x}_t^R, \mathbf{C}, t): 神经网络预测的噪声,基于当前的带噪声机器人潜在表示 xtR\mathbf{x}_t^R、条件词元 C\mathbf{C} 和时间步 tt

  • σt\sigma_t: 由方差调度 (variance schedule) 确定的标准差。

  • zN(0,I)\mathbf{z} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}): 从标准正态分布中采样的随机噪声,用于引入随机性并确保生成多样性。

    这个过程迭代进行 TT 次,直到达到时间步 t=0t=0,得到最终的无噪声机器人潜在表示 z0R\mathbf{z}_0^R。 最终的视频通过 VAE 解码器 VAEdec\mathrm{VAE_{dec}} 得到:

V^R=VAEdec(z0R). \begin{array} { r } { \hat { \mathbf { V } } ^ { R } = \mathrm { V A E } _ { \mathrm { d e c } } ( \mathbf { z } _ { 0 } ^ { R } ) . } \end{array}

  • V^R\hat{\mathbf{V}}^R: 生成的机器人执行视频。

    这种模型条件生成方式无需动作标签,并支持 H2R(零帧生成)和 HI2R(第一帧条件生成)两种模式,从而能够从人类演示中生成视频或在给定初始机器人帧的情况下进行受控执行。

4.3. 数据集构建

机器人学习的一个主要瓶颈在于数据获取:收集真实世界的机器人操作数据成本高昂且耗时,限制了跨大规模任务的泛化。然而,EPIC-Kitchens [6]、Ego4D [10] 和 EgoExo4D [11] 等自我中心 (ego-centric) 人类活动数据集已积累了数百万高质量的演示视频,涵盖了各种动作和环境。有效地将这些大规模人类视频转化为机器人学习数据,对于克服当前数据瓶颈至关重要。

为了缓解人机配对视频的稀缺性,Mitty 借鉴了 Masquerade [23] 论文中提出的数据渲染方法,并引入了一个自动化流水线。该流水线以自我中心的人类视频为输入,通过以下步骤生成机器人手臂渲染结果:

  1. 手部姿态估计 (Hand Pose Estimation): 使用 HaMeR 等模型从自我中心视频中提取 3D 手部关键点 (3D hand keypoints) 和运动轨迹 (motion trajectories)。

  2. 手部分割与移除 (Hand Segmentation and Removal):

    • 首先使用 Detectron2 [50] 检测人类手部。
    • 然后应用 Segment Anything 2 (SAM2) [36] 进行细粒度分割,从视频中移除手部和前臂区域。
  3. 视频修复 (Video Inpainting): 应用视频修复模型 E2FGVI [25] 来填充被移除区域,生成没有手部的干净背景视频。

  4. 姿态映射 (Pose Mapping): 将预测的手部关键点映射到机器人末端执行器 (end-effector) 的姿态,包括:

    • 目标位置:拇指和食指的中间点。
    • 目标方向:平面法线加上拟合向量。
    • 夹持器开口:根据拇指和食指的距离进行阈值处理。
  5. 机器人手臂渲染 (Robot Arm Rendering): 使用 RobotSuite [60] 将对应于映射姿态的机器人手臂渲染到修复后的视频中。通过对姿态进行微调以及数据清洗/过滤,进一步提高了生成配对视频的保真度。

    鉴于自动化数据生成流水线的多步骤性质,可能会在不同环节出现累积误差和不一致性。为了缓解这些问题,Mitty 采用了人机协作过滤机制 (human-in-the-loop filtering mechanism),严格审核并移除低质量样本,从而提高数据保真度和内部一致性。过滤后,每个视频会被进一步分割成固定长度的视频片段,并以等间隔采样,形成最终的训练和测试集。这一过程生成了高质量的人机配对数据集,为 In-Context Diffusion Transformer 模型(如 Mitty)提供了强大的监督,并为可靠的跨任务和跨环境泛化奠定了坚实基础。

下图(原文 Figure 3)展示了用于支持 Mitty 模型训练的自动化人机配对数据构建流水线:

该图像是一个示意图,展示了从人类演示视频生成机器人视频的过程,共有六个步骤,包括输入人类演示视频、使用 Detectron 2 检测手部、使用 SAM 2 对手和手臂进行分割、检测手部关键点、修复移除的手部区域,以及渲染机器人手臂。
该图像是一个示意图,展示了从人类演示视频生成机器人视频的过程,共有六个步骤,包括输入人类演示视频、使用 Detectron 2 检测手部、使用 SAM 2 对手和手臂进行分割、检测手部关键点、修复移除的手部区域,以及渲染机器人手臂。

VLM 描述: 该图像是一个示意图,展示了从人类演示视频生成机器人视频的过程,共有六个步骤,包括输入人类演示视频、使用 Detectron 2 检测手部、使用 SAM 2 对手和手臂进行分割、检测手部关键点、修复移除的手部区域,以及渲染机器人手臂。

5. 实验设置

5.1. 数据集

Mitty 在两个标准化数据集上进行了评估,所有视频都重采样到 8 FPS,并分割成 41 帧的片段,以保持一致的时间分辨率。

  1. Human2Robot (H2R) 数据集:

    • 来源: 论文中未明确指出,但通常指专门收集的人类到机器人演示配对数据。
    • 规模与特点: 经过筛选去除短视频或低质量序列后,得到 11,788 个配对片段。
    • 测试集: 500 个片段用于测试。
    • 领域: 专注于机器人操作任务。
  2. EPIC-Kitchens 数据集:

    • 来源: EPIC-Kitchens [6] 是一个大规模的自我中心 (egocentric) 人类活动数据集,包含厨房环境中的各种日常活动。
    • 规模与特点: 论文应用第 3.3 节所述的合成流水线,将机器人手臂渲染到自我中心视频中,生成了 34,820 个配对片段。该数据集场景多样、环境复杂,且存在移动的摄像机视角。
    • 测试集: 200 个片段用于测试,均匀分为 100 个“已见场景 (Seen)”和 100 个“未见场景 (Unseen)”,用于评估跨环境泛化能力。
    • 领域: 厨房环境中的人类日常操作,转换为机器人操作。

共同设置:

  • 所有视频都重采样到 8 帧每秒 (FPS)。
  • 所有视频都被分割成 41 帧的片段,以保持时间分辨率的一致性。 所有定量结果都在这些保留的测试集上报告,以确保公平和一致的基准测试。

5.2. 评估指标

论文使用多项标准来评估模型。对每个指标,以下是其概念定义、数学公式和符号解释:

5.2.1. Fréchet Video Distance (FVD)

概念定义: FVD 是衡量生成视频与真实视频分布之间相似性的指标。它将视频表示为特征向量序列,并计算这些特征向量在 Fréchet 空间中的距离。FVD 综合考虑了视频的视觉质量和时间连贯性,值越低表示生成视频的质量和真实感越高。 数学公式: Fréchet Video Distance (FVD) 是 Fréchet Inception Distance (FID) 在视频领域的扩展。它的计算通常涉及以下步骤:

  1. 使用一个预训练的深度神经网络(通常是 Inception 或类似的视频特征提取器)提取真实视频数据集 XX 和生成视频数据集 GG 中每个视频的特征向量。

  2. 对每个数据集的特征向量集合,计算其均值向量和协方差矩阵。

  3. 计算这两个多变量高斯分布之间的 Fréchet 距离。

    FVD=μXμG2+Tr(ΣX+ΣG2(ΣXΣG)1/2) \mathrm{FVD} = ||\mu_X - \mu_G||^2 + \mathrm{Tr}(\Sigma_X + \Sigma_G - 2(\Sigma_X \Sigma_G)^{1/2}) 符号解释:

  • μX\mu_X: 真实视频特征向量的均值。
  • μG\mu_G: 生成视频特征向量的均值。
  • 2||\cdot||^2: 两个均值向量之间欧几里得距离的平方。
  • ΣX\Sigma_X: 真实视频特征向量的协方差矩阵。
  • ΣG\Sigma_G: 生成视频特征向量的协方差矩阵。
  • Tr()\mathrm{Tr}(\cdot): 矩阵的迹(对角线元素之和)。
  • (ΣXΣG)1/2(\Sigma_X \Sigma_G)^{1/2}: 矩阵乘积 ΣXΣG\Sigma_X \Sigma_G 的矩阵平方根。

5.2.2. Peak Signal-to-Noise Ratio (PSNR)

概念定义: PSNR 是衡量图像或视频质量的客观标准,表示信号的最大可能功率与噪声功率的比值。它通常用于评估压缩或重建图像的失真程度。PSNR 值越高表示图像质量越好,噪声或失真越少。 数学公式: PSNR 的计算基于均方误差 (MSE)。 首先计算 MSEMSE=1WHi=1Wj=1H[I(i,j)K(i,j)]2 \mathrm{MSE} = \frac{1}{WH} \sum_{i=1}^{W} \sum_{j=1}^{H} [I(i,j) - K(i,j)]^2 然后计算 PSNRPSNR=10log10(MAXI2MSE) \mathrm{PSNR} = 10 \cdot \log_{10} \left( \frac{\mathrm{MAX}_I^2}{\mathrm{MSE}} \right) 符号解释:

  • I(i,j): 原始图像中像素 (i,j) 的灰度值。
  • K(i,j): 噪声图像或压缩图像中像素 (i,j) 的灰度值。
  • WW: 图像宽度。
  • HH: 图像高度。
  • MAXI\mathrm{MAX}_I: 图像中像素可能的最大值(例如,对于 8 位图像,通常是 255)。
  • MSE\mathrm{MSE}: 均方误差。

5.2.3. Structural Similarity Index Measure (SSIM)

概念定义: SSIM 是一种感知指标,用于衡量两幅图像(通常是原始图像和压缩/处理后的图像)之间的结构相似性。它基于人类视觉系统对结构信息(如亮度、对比度和结构)的感知,而不是像素值的绝对误差。SSIM 值范围通常为 0 到 1,值越接近 1 表示两幅图像越相似,感知质量越好。 数学公式: SSIM 的计算考虑了亮度、对比度和结构三个方面: SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ \mathrm{SSIM}(x, y) = [l(x, y)]^{\alpha} \cdot [c(x, y)]^{\beta} \cdot [s(x, y)]^{\gamma} 其中:

  • 亮度比较函数 l(x,y)=2μxμy+C1μx2+μy2+C1l(x, y) = \frac{2\mu_x\mu_y + C_1}{\mu_x^2 + \mu_y^2 + C_1}

  • 对比度比较函数 c(x,y)=2σxσy+C2σx2+σy2+C2c(x, y) = \frac{2\sigma_x\sigma_y + C_2}{\sigma_x^2 + \sigma_y^2 + C_2}

  • 结构比较函数 s(x,y)=σxy+C3σxσy+C3s(x, y) = \frac{\sigma_{xy} + C_3}{\sigma_x\sigma_y + C_3}

    在常见的实现中,通常取 α=β=γ=1\alpha = \beta = \gamma = 1,且 C3=C2/2C_3 = C_2 / 2,则公式简化为: SSIM(x,y)=(2μxμy+C1)(2σxy+C2)(μx2+μy2+C1)(σx2+σy2+C2) \mathrm{SSIM}(x, y) = \frac{(2\mu_x\mu_y + C_1)(2\sigma_{xy} + C_2)}{(\mu_x^2 + \mu_y^2 + C_1)(\sigma_x^2 + \sigma_y^2 + C_2)} 符号解释:

  • x, y: 分别表示原始图像和参考图像的对应图像块(通常是滑动窗口)。

  • μx,μy\mu_x, \mu_y: 图像块 xxyy 的平均值。

  • σx,σy\sigma_x, \sigma_y: 图像块 xxyy 的标准差。

  • σxy\sigma_{xy}: 图像块 xxyy 的协方差。

  • C1,C2,C3C_1, C_2, C_3: 为避免分母为零或数值不稳定而引入的常数,通常取 (K1L)2(K_1 L)^2(K2L)2(K_2 L)^2,其中 LL 是像素值的动态范围(例如 255),K1,K2K_1, K_2 是小常数(例如 0.01, 0.03)。

5.2.4. Mean Squared Error (MSE)

概念定义: MSE 是一种衡量预测值与真实值之间差异的常用指标。它计算预测误差的平方的平均值。MSE 值越低表示模型预测的准确性越高,误差越小。 数学公式: MSE=1Ni=1N(yiy^i)2 \mathrm{MSE} = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y}_i)^2 符号解释:

  • NN: 样本数量(在图像中可以是像素总数)。
  • yiy_i: 真实值(例如,原始图像的像素值)。
  • y^i\hat{y}_i: 预测值(例如,生成图像的像素值)。

5.2.5. Task Success Rate (SR)

概念定义: SR 是衡量模型生成视频中机器人是否成功完成指定任务的比例。这是通过人类专家评估来确定的。当机器人能够正确跟随人类参考视频并完成预期任务时,该片段被认为是成功的。 评估标准:

  • 成功: 机器人正确遵循人类参考视频并完成预期任务。允许存在轻微的视觉伪影 (visual artifacts)、时间不连续性 (temporal discontinuities) 或失真 (distortions),只要它们不影响任务执行。
  • 失败: 存在明显的行动不匹配 (action mismatches)、不合理的交互 (implausible interactions)、悬浮或漂移行为 (hovering or drifting behavior),或任何形式的任务未完成。 评估方式: 三位领域专家独立审查所有生成视频,并对每个片段进行二元判断(成功或失败)。对于判断不一致的情况,专家们通过讨论达成共识。

5.2.6. Embodiment Consistency (肢体一致性)

概念定义: Embodiment Consistency 评估生成视频中的机器人手臂在视觉外观和结构上与参考机器人手臂的匹配程度。高一致性意味着机器人手臂在整个视频序列中保持了稳定的外观和正确的机械结构。 评估方式: 使用 CLIP 图像分数、DreamSim 和人类评估的归一化平均分数来计算。

5.2.7. Human Preference (人类偏好)

概念定义: Human Preference 衡量用户对不同方法生成的视频的整体质量的偏好程度。 评估方式: 所有生成的视频都被匿名化,并随机呈现给用户。对于每个输入,同时展示来自不同方法的输出,用户被要求选择整体质量最高的视频。论文收到了 20 份有效的用户调查反馈。

5.3. 对比基线

论文将 Mitty 与两组基线方法进行了比较。

第一组:基于 Wan 2.2 系列模型和上下文学习设置的配置 这一组主要用于评估 Mitty 架构在不同规模和条件下的表现,以及其关键组件的有效性。

  • TI2V 5B (w/o 1st f): Wan 2.2 TI2V-5B 模型,在没有第一帧条件(即零帧生成,H2R 模式)的情况下,仅使用人类参考视频进行生成。
  • TI2V 5B (w 1st f): Wan 2.2 TI2V-5B 模型,在有第一帧条件(HI2R 模式)和人类参考视频的情况下进行生成。这是 Mitty 的默认配置(5B 模型)。
  • T2V 14B: Wan 2.2 TI2V-14B MoE (Mixture-of-Experts) 模型,作为更大规模的模型来研究性能扩展性。
  • TI2V 5B (w/o ref vid.): TI2V 5B 模型,移除了人类参考视频,仅使用初始机器人帧和任务描述来预测后续帧。用于评估人类参考视频的重要性。
  • TI2V 5B (w/o task desc.): TI2V 5B 模型,移除了任务描述文本提示。用于评估文本提示对生成质量的影响。
  • Full (Mixed train.): 完整模型(TI2V 5B),在 Human2RobotEPIC-Kitchens 数据集上进行混合训练 (joint training)
  • Full (Sep. train.): 完整模型(TI2V 5B),在每个数据集上单独训练 (one model per dataset)。用于评估混合训练的有效性。

第二组:通用视频编辑方法 这一组基线旨在比较 Mitty 作为专用的人机视频生成方法与通用视频编辑模型的能力差异。

  • Aleph [37]: Runway 公司开发的 Runway Aleph,一种通用视频编辑方法,通过图像条件进行编辑。
  • Kling [21]: Kuaishou 公司开发的 Kling,也是一种通用视频编辑模型,通过图像条件进行编辑,并且需要 SAM (Segment Anything Model) 生成的掩码来指定要替换的手臂区域。
  • MoCha [46]: Orange Team 开发的 Mocha,一种端到端视频角色替换方法,同样需要 SAM 生成的掩码来指定手臂区域。

训练细节:

  • Mitty 基于预训练的 Wan 2.2 TI2V-5B dense 模型和 Wan2.2TI2V14BMoEWan 2.2 TI2V-14B MoE 模型进行训练。
  • 采用 LoRA (Low-Rank Adaptation) 微调策略,同时适应高噪声和低噪声分支。
  • TI2V-5B 模型训练 20k 步,TI2V-14B 模型训练 10k 步(因计算成本较高)。
  • LoRA 秩设置为 96,学习率固定为 1×1041 \times 10^{-4}
  • 所有实验在两块 H200 GPU 上进行。
  • 训练和推理分辨率均为 416×224416 \times 224,有效批次大小为 4。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 定性评估 (Qualitative Evaluation)

下图(原文 Figure 4)展示了 Mitty 在 Human2RobotEPIC-Kitchens 数据集上的定性结果。每组包含三行:第一行是人类演示 (Human Demonstration),第二行是 Mitty 的零帧生成 (Zero-frame Generation) 结果(没有第一帧条件),第三行是机器人执行的真值 (Ground Truth Robot-execution Video)。

该图像是一个示意图,展示了人类手势输入、机器人处理结果及其对应的真实目标(GT)。从左到右,第一行显示输入手势,第二行是机器人生成的结果,第三行是真实目标的对比,体现了Mitty模型在视频生成中的应用效果。
该图像是一个示意图,展示了人类手势输入、机器人处理结果及其对应的真实目标(GT)。从左到右,第一行显示输入手势,第二行是机器人生成的结果,第三行是真实目标的对比,体现了Mitty模型在视频生成中的应用效果。

VLM 描述: 该图像是一个示意图,展示了人类手势输入、机器人处理结果及其对应的真实目标(GT)。从左到右,第一行显示输入手势,第二行是机器人生成的结果,第三行是真实目标的对比,体现了Mitty模型在视频生成中的应用效果。

我们观察到 Mitty 能够准确地保留场景布局和物体交互,同时生成平滑、时间连贯的机器人运动。Mitty 还能够鲁棒地泛化到未见任务和环境,保持强大的视觉一致性、动作一致性和背景稳定性。

下图(原文 Figure 5)展示了机器人手臂执行多种任务的过程。

该图像是一个示意图,展示了机器人手臂执行多种任务的过程,包括折叠抹布、使用刷子书写、拾取方块、翻炒食物及切割材料等。每个任务均包含输入、结果和真实标签(GT),用于对比所生成的视频效果与实际视频之间的差异。
该图像是一个示意图,展示了机器人手臂执行多种任务的过程,包括折叠抹布、使用刷子书写、拾取方块、翻炒食物及切割材料等。每个任务均包含输入、结果和真实标签(GT),用于对比所生成的视频效果与实际视频之间的差异。

VLM 描述: 该图像是一个示意图,展示了机器人手臂执行多种任务的过程,包括折叠抹布、使用刷子书写、拾取方块、翻炒食物及切割材料等。每个任务均包含输入、结果和真实标签(GT),用于对比所生成的视频效果与实际视频之间的差异。

6.1.2. 定量结果 (Quantitative Results)

以下是原文 Table 1 总结的 MittyHuman2RobotEPIC-Kitchens 数据集上的结果。

以下是原文 Table 1 的结果:

DatasetMeth./Set.FVD↓PSNR↑SSIM↑MSE↓SR↑
HumanTI2V 5B (w/o 1st f)7.9621.50.8350.008485
2RobotTI2V 5B (w 1st f)7.4021.70.8370.008191
T2V 14B6.4822.70.8510.006993
EPIC-TI2V 5B (w/o 1st f)7.6513.400.6300.050884
KitchensTI2V 5B (w 1st f)7.2313.460.6170.049488
(Seen)T2V 14B6.9013.690.6340.046690
EPIC-TI2V 5B (w/o 1st f)9.7413.300.6700.049579
KitchensTI2V 5B (w 1st f)9.4813.290.6270.049386
(Unseen)T2V 14B9.3513.320.6730.047989

分析:

  • 第一帧条件 (w 1st f) 的影响: 在两个数据集上,添加第一帧条件 (w 1st f) 始终能降低 FVDMSE,同时略微提高 PSNRSSIMSR,这表明第一帧条件有助于生成更稳定、更忠实的视频。

  • 模型规模 (5B vs. 14B) 的影响:Human2Robot 数据集上,更大的 T2V 14B 模型取得了最佳的整体性能,FVDMSE 最低,而 PSNRSSIMSR 最高。这表明模型规模的扩大能带来性能提升。

  • 数据集难度: EPIC-Kitchens 数据集比 Human2Robot 数据集更具挑战性,因为它包含更多样化的场景、更复杂的环境和移动的摄像机视角。因此,在 EPIC-Kitchens 上的各项指标普遍低于 Human2Robot,这反映了在这种复杂条件下实现高保真生成的难度增加。值得注意的是,即使在未见 (Unseen) 的 EPIC-Kitchens 场景中,Mitty 的性能下降也相对有限,这突出了其强大的泛化能力。

    以下是原文 Table 3 比较了 Mitty 与基线方法在任务成功率 (SR)、人类偏好 (Human Preference) 和肢体一致性 (Embodiment Consistency) 方面的结果。

以下是原文 Table 3 的结果:

MethodTask-level SR(%)Human Preference (%)Embodiment Consistency
Masquerade31.520.096.5
Kling70.04.877.4
Mocha69.04.060.2
Aleph78.03.273.9
Ours84.568.092.6

分析:

  • Masquerade: 作为一个渲染 (rendering-based) 流水线,Masquerade 的肢体一致性最高(96.5),因为机器人手臂是直接合成到场景中的。然而,由于多阶段误差累积严重,其任务成功率 (31.5) 显著低于其他方法。
  • 通用视频编辑方法 (Kling, Mocha, Aleph): 这些方法在肢体一致性方面表现不佳(60.2 - 77.4),这表明单个参考图像不足以在整个序列中保持稳定的机器人外观和结构。它们在任务成功率(69.0 - 78.0)和人类偏好(3.2 - 4.8)方面也远不如 Mitty
  • Mitty (Ours): Mitty 取得了最佳的任务成功率 (84.5) 和人类偏好 (68.0),并且肢体一致性位居第二 (92.6),仅次于 Masquerade。这表明 Mitty 在正确性、视觉保真度和结构稳定性之间取得了强大的平衡。

6.2. 消融实验/参数分析

以下是原文 Table 2 总结的 MittyHuman2RobotEPIC-Kitchens 数据集上的消融研究结果。

以下是原文 Table 2 的结果:

DatasetMeth./Set.FVD↓PSNR↑SSIM↑MSE↓SR↑
w/o ref vid.9.4320.050.8180.009165
Humanw/o task desc.8.4221.420.8370.009188
2RobotFull (Mixed train.)9.5416.630.7420.013872
Full (Sep. train.)7.4021.70.8370.008191
EPICw/o ref vid.12.2512.220.5340.072875
Kitchensw/o task desc.9.4313.050.6020.050883
(Seen)Full (Mixed train.)8.3113.390.6170.049981
Full (Sep. train.)7.2313.460.6170.049488
EPICw/o ref vid.10.3112.650.5310.073471
Kitchensw/o task desc.9.8212.920.5970.052682
Full (Mixed train.)9.7313.750.6130.046386
(Unseen)Full (Sep. train.)9.4813.290.6270.049381

分析:

  • 移除参考视频 (w/o ref vid.): 当移除人类参考视频时,模型仅使用初始机器人帧和任务描述来预测后续帧,这导致在两个数据集上 FVDPSNRSSIMSR 均明显下降。这表明人类参考视频作为视觉上下文对 Mitty 至关重要,尤其是在 EPIC-Kitchens 这种场景多样、摄像机移动的环境中,其影响更为严重。
  • 移除任务描述 (w/o task desc.): 移除任务描述提示只导致了轻微的性能变化。这表明 Mitty 更多地依赖于视觉演示(人类参考视频)而非文本提示。
  • 混合训练 (Full (Mixed train.)) vs. 单独训练 (Full (Sep. train.)): 由于两个数据集在任务和环境上存在显著差异(例如,单臂与双臂操作,场景复杂度不同),在每个数据集上单独训练的完整模型表现优于混合训练的模型。这可能暗示了在存在较大领域差异时,进行更精细的领域适应或更复杂的混合策略是必要的。

6.3. 与 Masquerade 数据流水线的比较

下图(原文 Figure 6)提供了 Mitty 方法与 Masquerade 的定性比较。

Figure 5. Masquerade's multi-stage pipeline is prone to compounded errors (e.g., joint detection, inpainting, and rendering failures), as highlighted in red. In contrast, our curated training data enables a robust end-to-end model that produces more reliable Human2Robot mappings.
该图像是一个示意图,展示了输入视频及其在不同模型下的生成结果。上方展示了输入与两种模型(Masquerade 和 Ours)的输出对比,标注了潜在的错误,如 joint detection 和 abnormal behavior。下方是另一组输入与生成结果的对比,显示了不同模型在机器人动作执行中的可靠性差异。

VLM 描述: 该图像是一个示意图,展示了输入视频及其在不同模型下的生成结果。上方展示了输入与两种模型(Masquerade 和 Ours)的输出对比,标注了潜在的错误,如 joint detection 和 abnormal behavior。下方是另一组输入与生成结果的对比,显示了不同模型在机器人动作执行中的可靠性差异。 原始论文描述: Figure 5. Masquerade's multi-stage pipeline is prone to compounded errors (e.g., joint detection, inpainting, and rendering failures), as highlighted in red. In contrast, our curated training data enables a robust end-to-end model that produces more reliable Human2Robot mappings.

Masquerade 采用多阶段渲染流水线,包括手部分割、关键点估计、背景修复和机器人手臂渲染。这种流水线容易出现误差累积,并经常产生明显的伪影 (artifacts)。常见的错误包括:

  • 不稳定的手部掩码 (unstable hand masks)。
  • 漂移或丢失的关键点 (drifting or missing keypoints)。
  • 不完整修复的残留伪影 (residual artifacts from incomplete inpainting)。
  • 未对齐或物理上不合理的机器人手臂渲染 (misaligned or physically implausible robot-arm renderings),如穿透 (penetration) 或悬浮 (floating)。 这些误差常常在不同阶段复合,从而降低视觉质量和物理真实感。

Mitty 的优势: 相比之下,Mitty 的训练数据经过精心策划和过滤,能够训练出一个鲁棒的端到端模型,产生更可靠的人机映射。尽管 Masquerade 代表的多阶段渲染方法存在结构性限制和可用数据率较低的问题,但通过利用 Masquerade 生成大规模原始数据并应用人机协作过滤,Mitty 能够策展出高质量的配对数据集,足以训练出强大且泛化能力强的端到端 Human2Robot 视频生成模型。

6.4. 与视频编辑方法的比较

下图(原文 Figure 7)比较了 Mitty 与三种最先进的视频编辑方法(KlingMochaAleph)。

Figure 6. Compared with state-of-the-art video editing models, the baseline methods take a robot reference image and a human demonstration video as input. However, even the most advanced baselines still struggle to maintain appearance and structural consistency of the robotic arm throughout the sequence.
该图像是一个对比示意图,展示了不同方法(Kling、MoCha、Aleph 和 Ours)在机器人执行任务中的表现。图中展示了人类输入和机器人参考图像,上下显示各个方法生成的视频结果,对比展示了机器人手臂在任务中结构和外观一致性的保持情况。

VLM 描述: 该图像是一个对比示意图,展示了不同方法(Kling、MoCha、Aleph 和 Ours)在机器人执行任务中的表现。图中展示了人类输入和机器人参考图像,上下显示各个方法生成的视频结果,对比展示了机器人手臂在任务中结构和外观一致性的保持情况。 原始论文描述: Figure 6. Compared with state-of-the-art video editing models, the baseline methods take a robot reference image and a human demonstration video as input. However, even the most advanced baselines still struggle to maintain appearance and structural consistency of the robotic arm throughout the sequence.

这些基线方法以输入视频和单个机器人手臂参考图像为输入,并使用提示词将人类手臂替换为机器人手臂。然而,结果表明,单个参考图像不足以定义机器人手臂的外观和结构,即使最先进的模型也会产生变形、结构错误和扭曲。 Mitty 的优势: 相比之下,Mitty 经过配对数据训练,能够始终保持机器人手臂的正确外观和结构。这突出表明,Human2Robot 仍然是一个具有挑战性的任务,无法通过通用视频编辑模型解决,需要持续的专门研究。

6.5. Mitty 失败案例分析

下图(原文 Figure 10)展示了 Mitty 方法的几种代表性失败案例。

该图像是一个示意图,展示了输入视频和生成结果的对比。每组三列分别为输入、Masquerade 方法的输出和我们的模型输出。这些图像展示了不同示例中的“重新绘制失败”和“不合理的交互”等问题,并强调了我们的方法在视频生成中的优势。
该图像是一个示意图,展示了输入视频和生成结果的对比。每组三列分别为输入、Masquerade 方法的输出和我们的模型输出。这些图像展示了不同示例中的“重新绘制失败”和“不合理的交互”等问题,并强调了我们的方法在视频生成中的优势。

VLM 描述: 该图像是一个示意图,展示了输入视频和生成结果的对比。每组三列分别为输入、Masquerade 方法的输出和我们的模型输出。这些图像展示了不同示例中的“重新绘制失败”和“不合理的交互”等问题,并强调了我们的方法在视频生成中的优势。

下图(原文 Figure 11)也展示了 Mitty 的失败案例分析。

该图像是一个比较示意图,展示了输入与生成结果的对比,左侧为原始输入图像,右侧为我们的生成结果,其中标注了三种情况的不同:消除失败、机器人臂结构扭曲和不合理交互。
该图像是一个比较示意图,展示了输入与生成结果的对比,左侧为原始输入图像,右侧为我们的生成结果,其中标注了三种情况的不同:消除失败、机器人臂结构扭曲和不合理交互。

VLM 描述: 该图像是一个比较示意图,展示了输入与生成结果的对比,左侧为原始输入图像,右侧为我们的生成结果,其中标注了三种情况的不同:消除失败、机器人臂结构扭曲和不合理交互。

这些失败案例主要分为三类:

  1. 消除失败 (Erasing Failures): 应该被替换或移除的区域未能完全消除,导致不完整的过渡或源视频中的视觉残余。
  2. 机器人手臂结构扭曲 (Robot Arm Structural Distortion): 生成的机器人手臂出现几何不一致、不自然的关节角度或解剖学上不可能的形状。在 EPIC-Kitchens 数据集上,这是最常见的失败模式,可能由于复杂的手-物体交互和具有挑战性的第一人称运动模式所致。
  3. 不合理的交互 (Unreasonable Interaction): 机器人手臂的运动不遵循物理上合理的轨迹,或未能与操作对象保持正确的接触。例如,未击中目标、漂过对象或与不存在的物品进行交互。

7. 总结与思考

7.1. 结论总结

本文提出了 Mitty,一个基于扩散 Transformer 的端到端 Human2Robot 视频生成框架。Mitty 通过利用上下文学习 (In-Context Learning) 和一个可扩展的配对数据合成流水线,成功地绕过了传统方法对关键点和轨迹等中间表示的依赖,直接将人类演示视频转化为时间对齐的机器人执行视频。

实验在 Human2RobotEPIC-Kitchens 数据集上展现出 Mitty 的强大性能和泛化能力,明显优于多阶段渲染流水线和通用视频编辑系统。消融研究进一步证实了上下文条件(特别是人类参考视频)和在独立数据集上训练的有效性。Mitty 为未来的视频到策略 (Video-to-Policy) 研究和真实世界机器人学习提供了一个有意义的起点,并为探索更复杂的任务和更紧密的人机映射开辟了新机遇。

7.2. 局限性与未来工作

  • 非完整视频策略流水线: 尽管 Mitty 在视频级动作生成和跨任务泛化方面表现出色,但它并非一个完整的视频策略 (Video Policy) 流水线。目前的模型可以生成机器人手臂执行视频,但不能明确输出可供控制的动作序列,因此尚未在真实机器人上进行完整的闭环 (closed-loop) 评估。
  • 任务成功率评估: 当前的任务成功率仍基于专家对生成视频的评估,而非物理机器人执行的实际结果。
  • 未来工作方向:
    • 将动作或策略预测 (action or policy prediction) 整合到框架中。
    • 在仿真和真实硬件上进行闭环实验。
    • 开发更自动化和物理基础的评估指标。
    • 最终目标是推动 Human2Robot 任务发展成为完整的视频策略解决方案。

7.3. 个人启发与批判

7.3.1. 个人启发

  1. 端到端方法的强大潜力: Mitty 再次证明了在复杂多模态任务中,端到端学习能够有效避免中间表示带来的信息损失和误差累积,从而实现更强大的性能和泛化能力。这种思路在其他需要跨域映射的任务中也具有广泛的应用前景。
  2. 预训练大模型的价值: 借鉴 Wan 2.2 等预训练视频扩散模型,利用其强大的视觉-时间先验,是实现高质量视频生成的关键。这强调了在大模型时代,如何高效利用和适应 (adapt) 现有的大规模预训练模型,而非从头训练,成为加速研究和应用的重要策略。
  3. 数据合成与人机协作: 面对高质量配对数据稀缺的挑战,Mitty 提出的自动化数据合成流水线结合人机协作过滤,提供了一个实用且可扩展的解决方案。这对于数据收集成本高昂的机器人领域尤为重要,能够大规模生成用于训练的“虚拟现实”数据。
  4. 上下文学习的普适性: In-Context Learning 不仅在大型语言模型中表现出色,在视觉和机器人领域也展现出巨大的潜力。通过提供人类演示视频作为上下文,模型能够快速适应新任务,这为机器人快速学习和泛化提供了新范式。

7.3.2. 批判与潜在改进

  1. “视频到策略”的鸿沟: 论文明确指出 Mitty 尚未实现完整的视频到策略控制循环,这是其最大的局限。生成高质量视频与将其转化为可执行的机器人控制信号之间仍存在巨大鸿沟。未来的研究需要关注如何从生成视频中提取鲁棒的、可部署的策略,并解决真实世界中的感知-动作循环问题。
  2. 合成数据的真实性与领域鸿沟: 尽管数据合成流水线缓解了数据稀缺问题,但合成数据与真实世界数据之间仍可能存在领域鸿沟 (domain gap)。即使经过人机过滤,合成数据的物理真实感、光照、纹理、动力学等细节可能仍无法完全模拟真实世界。这可能影响模型在真实机器人上的泛化能力。
  3. 复杂手部/物体交互的挑战: 在失败案例中,机器人手臂结构扭曲和不合理交互是一个常见问题,尤其是在 EPIC-Kitchens 这种复杂场景中。这表明模型在处理精细的、多接触点的、动态的物体交互时仍有提升空间。这可能需要更强大的 3D 几何和物理约束融入到生成模型中。
  4. 计算资源需求: 基于 Diffusion Transformer 的大型模型(如 TI2V-14B)需要巨大的计算资源进行训练和推理。这可能限制了其在资源受限环境中的部署和进一步的实验探索。未来可以探索更高效的模型架构或蒸馏技术。
  5. 评估的客观性: 尽管任务成功率通过专家共识评估,但仍带有一定主观性。未来应开发更客观、自动化的物理 grounded (physically grounded) 评估指标,尤其是在仿真或真实机器人上进行闭环测试。
  6. 泛化能力边界: 虽然 Mitty 在“未见环境”中表现良好,但这些“未见”的定义可能仍局限于与训练数据相似的风格和物体分布。对于完全新颖、与训练数据分布差异巨大的任务或环境,其泛化能力仍需更严格的测试。

相似论文推荐

基于向量语义检索推荐的相关论文。

暂时没有找到相似论文。