1. 论文基本信息

1.1. 标题

GaussGym: 一个用于从像素学习运动的开源真实到模拟框架 (GaussGym: An open-source real-to-sim framework for learning locomotion from pixels)

1.2. 作者

Alejandro Escontrela, Justin Kerr, Arthur Allshire, Jonas Frey, Rocky Duan, Carmelo Sferrazza, Pieter Abbeel。 主要隶属于加州大学伯克利分校 (UC Berkeley)、苏黎世联邦理工学院 (ETH Zurich) 和亚马逊前沿人工智能与机器人 (Amazon FAR)。其中 Carmelo Sferrazza 和 Pieter Abbeel 的工作是在加州大学伯克利分校完成的。

1.3. 发表期刊/会议

该论文作为预印本 (preprint) 发布于 arXiv。根据提供的信息，发布时间为 2025 年 10 月 17 日。arXiv 是一个开放获取的预印本服务器，在计算机科学、物理学、数学等领域有广泛影响力，但论文未经同行评审。

1.4. 发表年份

2025年

1.5. 摘要

本文提出了一种新颖的方法，通过将 3D 高斯泼溅 (3D Gaussian Splatting) 作为即插即用渲染器集成到像 IsaacGym 这样的向量化物理模拟器中，实现照片级真实的机器人模拟。这种方法实现了前所未有的速度——在消费级 GPU 上每秒超过 100,000 步——同时保持了高视觉保真度，并在多种任务中得到展示。论文还证明了其在真实到模拟 (sim-to-real) 机器人设置中的适用性。除了基于深度的感知之外，结果还强调了丰富的视觉语义如何改善导航和决策，例如避免不良区域。此外，论文展示了轻松整合来自 iPhone 扫描、大型场景数据集（例如 GrandTour, ARKit）和生成视频模型（如 Veo）的数千个环境，从而能够快速创建真实的训练世界。这项工作弥合了高吞吐量模拟和高保真感知之间的鸿沟，推动了可扩展和通用机器人学习的进步。所有代码和数据都将开源，供社区在此基础上进行开发。

1.6. 原文链接

原文链接: https://arxiv.org/abs/2510.15352 PDF 链接: https://arxiv.org/pdf/2510.15352v1.pdf 状态：预印本 (Preprint)。

2. 整体概括

2.1. 研究背景与动机

核心问题: 移动机器人需要在非结构化的真实世界环境中行动，这要求它们能够准确感知周围环境。现有用于机器人运动学习的真实到模拟 (sim-to-real) 强化学习 (RL) 方法，在充分利用真实世界环境的视觉特性方面面临巨大挑战。尽管现有的物理模拟器在物理保真度上足以实现策略迁移，但它们在视觉信息的处理上往往过慢或不准确，限制了策略学习和迁移的有效性。因此，大多数感知运动框架依赖于激光雷达 (LiDAR) 或深度 (depth) 输入，这限制了策略利用环境中的语义线索，并缩小了在模拟中可实际追求的任务范围。

重要性: 对于机器人而言，许多障碍和环境可用性 (affordances) 只能通过视觉观测来检测，例如人行横道、水坑或彩色特征。如果机器人不能从视觉信息中学习，就无法在复杂、视觉丰富的真实世界中进行鲁棒的导航和交互。

挑战或空白 (Gap):

1. 视觉真实到模拟鸿沟 (Visual Sim-to-Real Gap): 模拟器生成的视觉效果与真实世界差异显著，导致在模拟中训练的视觉策略难以直接迁移到真实机器人。

2. 吞吐量与视觉保真度的权衡: 现有模拟器要么具有高吞吐量但视觉保真度低（通常依赖几何信息），要么视觉保真度高但吞吐量低（不适用于大规模强化学习）。

3. 场景多样性不足: 缺乏足够多样化的真实世界资产和高效的场景生成方法，来训练通用且鲁棒的视觉策略。

   创新思路: GaussGym 通过将 3D 高斯泼溅 (3D Gaussian Splatting) 这种新兴的高保真渲染技术与高速、向量化的物理模拟器 (如 IsaacGym) 相结合，来弥合视觉真实到模拟鸿沟，并提供大规模、高视觉保真度的训练环境。同时，它还支持从多种数据源（包括生成模型）快速创建大量真实感环境。

2.2. 核心贡献/主要发现

本文的主要贡献总结如下：

1. GaussGym 框架: 提出了一个快速、开源的照片级真实模拟器 GaussGym，其中包含 2,500 个场景。它支持从多种来源创建多样化的场景，包括手动扫描、开源数据集和生成视频模型。
2. 解决视觉真实到模拟鸿沟的发现: 论文分享了在解决视觉真实到模拟鸿沟方面的发现，表明将几何重建作为辅助任务 (auxiliary task) 显著提高了爬楼梯任务的性能。
3. RGB 导航策略的语义推理: 论文通过一个目标达成任务，展示了 RGB 导航策略的语义推理能力。在这种任务中，通过像素训练的策略能够成功避开深度感知策略无法察觉的不良区域。

关键结论或发现:

• GaussGym 能够以前所未有的速度（在消费级 GPU 上每秒超过 100,000 步）提供高视觉保真度的模拟，从而实现大规模的视觉策略训练。
• 通过整合辅助几何重建损失，可以显著提高视觉策略的学习速度和性能。
• RGB 输入能够提供比深度信息更丰富的语义线索，从而使策略能够进行更复杂的决策，如避开特定颜色的地面区域。
• GaussGym 支持从多种真实世界数据（如 iPhone 扫描、大型数据集）和生成模型（如 Veo）轻松创建大量逼真的训练环境，大大提高了场景的多样性和创建效率。
• 在 GaussGym 中训练的视觉运动策略能够实现到真实世界的初步零样本迁移 (zero-shot transfer)，例如爬楼梯。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 强化学习 (Reinforcement Learning, RL)

强化学习 (RL) 是一种机器学习范式，其中智能体 (agent) 通过与环境的交互来学习如何做出决策以最大化累积奖励。智能体在每个时间步观察环境状态，执行一个动作，然后环境会给出新的状态和奖励。RL 的目标是学习一个策略 (policy)，将状态映射到动作，使智能体能够长期获得最大的奖励。

3.1.2. 真实到模拟 (Sim-to-Real)

真实到模拟 (Sim-to-Real) 是机器人学中的一个关键概念，指的是在模拟环境中训练机器人控制策略，然后将其直接部署到真实世界机器人上，而无需或仅需少量真实世界微调。这种方法可以大大加速机器人学习过程，因为它避免了昂贵的、耗时的和潜在危险的真实世界数据收集和训练。然而，模拟器与真实世界的差异（即“真实到模拟鸿沟”）是其主要挑战。

3.1.3. 向量化物理模拟器 (Vectorized Physics Simulators)

向量化物理模拟器 (Vectorized Physics Simulators)，如 IsaacGym，是专门设计用于以高并行度模拟大量机器人或环境实例的物理引擎。它们通常利用图形处理器 (GPU) 的并行计算能力，同时运行数千甚至数万个独立的模拟环境，从而大幅提高训练强化学习策略的数据吞吐量。这对于需要大量交互才能学习的复杂机器人任务至关重要。

3.1.4. 神经辐射场 (Neural Radiance Fields, NeRF)

神经辐射场 (NeRF) 是一种用于从一组 2D 图像重建 3D 场景的新颖表示方法。它使用一个神经网络来表示场景中的每个点，输出该点的颜色和密度。通过查询三维空间中的大量点，并使用体积渲染 (volumetric rendering) 技术，NeRF 能够生成高质量、多视点一致的场景新视图。NeRF 以其卓越的视觉质量而闻名，但训练和渲染速度较慢。

3.1.5. 3D 高斯泼溅 (3D Gaussian Splatting, 3DGS)

3D 高斯泼溅 (3DGS) 是一种比 NeRF 更高效的 3D 场景表示和渲染方法。它将场景表示为一组由三维高斯函数定义的点云。每个高斯函数都有位置、协方差矩阵（决定形状和方向）和不透明度，以及球谐函数 (spherical harmonics) 来编码视图相关的颜色。3DGS 的核心优势在于其快速且可微分的栅格化 (rasterization) 过程，这使得它能够在现代 GPU 上以实时帧率渲染高质量的新视图，并支持高效的优化。

3.1.6. DINOv2

DINOv2 (Self-supervised Vision Transformers) 是一种自监督的视觉特征学习方法，它通过对比学习训练视觉变换器 (Vision Transformer) 模型，以在没有人工标注的情况下学习强大的图像特征表示。这些特征在各种下游视觉任务（如图像分类、目标检测、语义分割）中表现出色，并且通常具有很强的泛化能力。在本文中，DINOv2 被用作特征提取器，将原始 RGB 图像转换为高维、语义丰富的特征嵌入 (embedding)，供策略网络使用。

3.2. 前人工作

3.2.1. 运动控制的真实到模拟强化学习 (Sim-To-Real RL for Locomotion)

• 早期 CPU 模拟器: MuJoCo (Todorov et al., 2012), PyBullet (Coumans & Bai, 2016-2021), RaiSim (Hwangbo et al., 2018) 使得 RL 运动策略可以在模拟中训练并迁移到真实世界 (Tan et al., 2018)。
• GPU 加速模拟器: Isaac Gym (Makoviychuk et al., 2021a), Isaac Sim (Makoviychuk et al., 2021b) 等平台通过利用消费级硬件的 GPU 加速，极大地推动了 RL 训练，并促成了腿足运动 (Rudin et al., 2021) 和导航 (Lee et al., 2024) 的快速发展。
• 现有挑战: 尽管 IsaacLab (Makoviychuk et al., 2021b) 和 Genesis (Genesis, 2024) 等框架支持并行硬件加速渲染，但大多数部署在真实世界的运动策略仍受限于几何（如深度、高程图）和本体感知 (proprioceptive) 输入。这是由于视觉真实到模拟鸿沟、缺乏捕捉真实世界的多样化资产以及训练 RL 策略所需的高吞吐量。

3.2.2. 场景生成 (Scene Generation)

• 启发式和手工规则: 常用于生成运动和导航策略的训练环境，例如程序化地形生成 (Lee et al., 2024)。但这些方法难以指定有意义的视觉外观。
• 纹理资产: 一些工作尝试从视频中导入资产，但通常不进行 RGB 重渲染 (Allshire et al., 2025)。
• 资产库: ReplicaCAD (Szot et al., 2021), LeVerb (Xue et al., 2025), AI2-THOR (Kolve et al., 2017) 等平台提供了用于真实场景模拟的资产库。
• 3D 扫描: 可以使用专业 3D 扫描仪捕捉真实场景 (Chang et al., 2017; Xia et al., 2018)，然后集成到 Habitat (Ramakrishnan et al., 2021) 等模拟框架中。
• 渲染管线限制: 大多数渲染管线依赖于纹理网格资产 (textured-mesh assets)，通常导致视觉保真度较低。
• NeRF2Real (Byravan et al., 2023): 通过 NeRF 捕捉场景以提高视觉保真度，然后提取网格并进行手动后处理来训练运动策略。但其计算成本高昂，且缺乏向量化支持。
• 3DGS 在场景构建中的应用: Zhu et al. (2025) 构建了多个环境的 3D 高斯函数，并训练视觉高层导航策略。Torne et al. (2024) 和 Chen et al. (2024b) 在机器人操作中也采用 3DGS 来创建关节场景。
• LucidSim (Yu et al., 2024): 贡献包括：使用 ControlNet 扩散模型从深度图和语义掩码生成视觉训练数据；引入真实到模拟框架，通过训练 3DGS 并手动对齐参考帧与 Polycam 创建的网格。
• 生成视频模型: 现代世界模型和视频模型（如 DeepMind, 2025; Bruce et al., 2024; Google DeepMind, 2025; Wan et al., 2025）能够生成多秒钟的照片级真实、多视点一致的视频。尽管推理速度慢，但它们为从文本提示创建 3D 资产和环境提供了新机会。

3.2.3. 机器人学中的辐射场 (Radiance Fields in Robotics)

• NeRF 的进展: 在视觉质量 (Adamkiewicz et al., 2022; Barron et al., 2021; 2022; Ma et al., 2022; Huang et al., 2022; Sabour et al., 2023; Philip & Deschaintre, 2023)、大规模场景 (Tancik et al., 2023; Wang et al., 2023; Barron et al., 2023)、优化速度 (Müller et al., 2022; Chen et al., 2022; Fridovich-Keil et al., 2023; Yu et al., 2021) 和动态场景 (Park et al., 2021; Li et al., 2023; Pumarola et al., 2020) 等方面取得了显著进展。
• NeRF 在机器人操作中的应用: 用作抓取任务的高质量视觉重建 (Kerr et al., 2022; Ichnowski* et al., 2020)，以及用于语言引导操作 (Rashid et al., 2023; Shen et al., 2023) 的高维特征嵌入。
• 3DGS 缓解 NeRF 局限性: 3DGS (Kerbl et al., 2023) 通过将辐射场表示为一系列定向 3D 高斯函数来解决 NeRF 训练速度慢的局限性，可在现代 GPU 硬件上快速可微分地栅格化。
• 3DGS 在机器人学中的应用: 许多工作将高维特征场 (feature fields) 转移到 3DGS 以进行快速训练和渲染，以及语言引导的机器人抓取、持久高斯表示 (persistent Gaussian representations) 用于操作和视觉模仿 (Zheng et al., 2024; Qin et al., 2023; Qiu et al., 2024; Yu et al., 2025a;b; Kerr et al., 2024)。
• 辐射场作为大规模场景表示: 用于导航的场景表示，例如可微分碰撞表示 (Adamkiewicz et al., 022)，用于学习无人机飞行或自动驾驶的视觉模拟器 (Khan et al., 2024; Chen et al., 2025)，或用于训练具有视点增强 (view augmentation) 的运动可用性模型 (Escontrela et al., 2025)。
• 与 LucidSim 的关系: GaussGym 从这些工作中汲取灵感，但它将高保真环境视觉模拟与 IsaacSim 的接触物理结合起来以实现运动。最相关的现有工作是 LucidSim (Yu et al., 2024)，它开发了一个类似的泼溅集成模拟器用于评估运动策略。GaussGym 采取了类似的真实到模拟方法，但实现了一个可以轻松扩展到数千个扫描场景的框架，与大规模并行物理模拟紧密集成，并为未来的研究奠定了灵活的基础。

3.3. 技术演进

该领域的技术演进经历了从早期的基于 CPU 的物理模拟器（如 MuJoCo）到基于 GPU 的向量化物理模拟器（如 IsaacGym），极大地提高了训练吞吐量。在视觉渲染方面，则从依赖纹理网格资产的低保真渲染，逐步发展到使用神经辐射场（NeRF）和 3D 高斯泼溅（3DGS）实现照片级真实的渲染效果。同时，场景生成也从手工设计、程序化生成，发展到利用大规模数据集和生成视频模型来创建多样化、逼真的环境。GaussGym 正是这一演进路径上的最新成果，它将最先进的物理模拟（IsaacGym）与最先进的渲染技术（3DGS）以及多样化的场景生成能力（包括生成模型）相结合，旨在克服当前视觉真实到模拟的瓶颈。

3.4. 差异化分析

以下是原文 Table 1 提供的 GaussGym 与其他模拟器的对比，展示了其主要差异和创新点：

以下是原文 Table 1 的结果：

†：在 RTX4090 上，4096 个环境的向量化吞吐量。 ‡：在 RTX4090 上，768 个环境的向量化吞吐量。

GaussGym 与其他方法的关键区别和创新点:

1. 渲染器: GaussGym 使用 3D Gaussian Splatting 进行渲染，这使其能够实现照片级真实感和高吞吐量。而 LucidSim 使用 ControlNet 进行视觉生成（但渲染速度受限），LeVerb 和 IsaacLab 则使用传统的 Raytracing（光线追踪），通常在兼顾并行化时难以达到高视觉保真度。
2. 吞吐量 (Throughput): GaussGym 在向量化模拟中展现出前所未有的高吞吐量，每秒可达 100,000 步，远超 IsaacLab 的 800 步和 LucidSim 的单环境模拟限制。这对于大规模强化学习至关重要。
3. 场景创建多样性: GaussGym 支持从智能手机扫描、现有数据集和视频模型输出（如 Veo）等多种来源创建场景，实现了前所未有的场景多样性和生成效率。LucidSim 和 LeVerb 主要依赖手工设计场景，IsaacLab 则通过基本图元的随机化来创建场景，这些方法在真实感和多样性上均不及 GaussGym。
4. 时间一致性 (Temporally consistent): GaussGym 实现了时间一致的渲染，这对于学习动态行为和视觉策略至关重要。
5. 集成度: GaussGym 紧密集成了高保真渲染与大规模并行物理模拟，弥合了高吞吐量模拟和高保真感知之间的鸿沟，这是其核心优势。虽然 LucidSim 也尝试真实到模拟，但其渲染不向量化，且场景注册需要手动，而 GaussGym 在这些方面提供了更灵活和自动化的解决方案。

4. 方法论

4.1. 方法原理

GaussGym 的核心思想是将 3D 高斯泼溅 (3DGS) 作为即插即用渲染器集成到像 IsaacGym 这样的向量化物理模拟器中。这使得它能够：

1. 结合高吞吐量物理模拟: 利用现有向量化物理模拟器（如 IsaacGym）的 GPU 加速能力，实现每秒数万甚至数十万个模拟步骤。

2. 实现照片级真实感渲染: 3DGS 提供了卓越的视觉保真度，能够将真实世界或生成模型创建的环境以极高的真实感呈现在模拟中。

3. 支持大规模、多样化场景: 轻松整合来自真实世界扫描和生成模型的数千个环境，为机器人学习提供前所未有的场景多样性。

4. 弥合视觉真实到模拟鸿沟: 通过提供高保真的视觉输入，使在模拟中训练的视觉感知策略更容易迁移到真实世界。

   通过这种集成，GaussGym 旨在解决传统模拟器在视觉保真度、吞吐量和场景多样性之间存在的长期权衡问题，从而推动可扩展和通用机器人学习的发展。

4.2. 核心方法详解

GaussGym 的整体流程如原文 Figure 2 所示。

该图像是示意图，展示了GaussGym如何从各种数据源（如RGB、内外参、点云等）中获取信息，并通过VGGT处理，最终实现高效的图形渲染和物理模拟。图中说明了数据流的各个环节，强调了高效性与视觉表现的结合。

图 2：数据收集概述：GaussGym 从各种数据源获取数据，并使用 VGGT (Wang et al., 2025) 进行处理，以获得外参、内参和带法线的点云。前两种数据产品用于训练 3D 高斯泼溅进行渲染，而后两种数据产品用于估计场景碰撞网格。

4.2.1. GaussGym 管道总览

GaussGym 管道能够处理来自多种来源的数据，包括姿态数据集 (posed datasets)、智能手机扫描，甚至是视频生成模型生成的原始 RGB 序列。所有输入数据首先通过 Visually Grounded Geometry Transformer (VGGT) (Wang et al., 2025) 进行标准化处理。VGGT 负责提取相机内参 (camera intrinsics)、外参 (extrinsics) 以及包括点云和表面法线 (surface normals) 在内的密集场景表示。这些中间表示随后被用于两个主要目的：

1. 网格生成: 将 VGGT 输出传递给神经核曲面重建 (Neural Kernel Surface Reconstruction, NKSR) 模块以生成高质量的碰撞网格 (collision mesh)。

2. 高斯泼溅初始化: 3D 高斯泼溅 (3DGS) 直接从 VGGT 生成的点云进行初始化，以提供准确的几何形状和快速收敛。

   最终生成的资产会在一个共享的全局坐标系中自动对齐。在模拟过程中，3D 高斯泼溅作为即插即用渲染器使用，以大规模生成照片级真实感视觉效果，同时与物理引擎保持完全同步以进行碰撞处理。这种设计使得 GaussGym 能够将多样化的真实世界和合成数据源与高速渲染相结合，从而实现大规模机器人学习。

4.2.2. 数据收集与处理

GaussGym 被设计为能够灵活地接收来自广泛来源的数据。这些来源包括：

• 姿态数据集 (Posed datasets): 例如 ARKitScenes (Baruch et al., 2021) 和 GrandTour (Frey et al., 2025)。

• 智能手机捕获 (Smartphone captures): 带有内参校准。

• 未姿态 RGB 序列 (Unposed RGB sequences): 由现代视频模型生成，如 Veo (Google DeepMind, 2025)。

  所有数据在处理前都被格式化到一个通用的重力对齐参考系 (gravity-aligned reference frame) 中。

Visually Grounded Geometry Transformer (VGGT) 处理: VGGT (Wang et al., 2025) 用于提取以下信息：

• 相机内参 (Camera intrinsics): 描述相机光学特性和投影行为的参数（如焦距、主点、畸变系数）。
• 相机外参 (Camera extrinsics): 描述相机在 3D 世界中位置和姿态的参数（如旋转矩阵、平移向量）。
• 密集点云 (Dense point clouds): 场景中大量点的三维坐标集合。
• 表面法线 (Surface normals): 每个点或表面元素的朝向信息。

神经核曲面重建 (NKSR) (Huang et al., 2023): 从 VGGT 的输出中，使用 NKSR 来生成高质量的网格 (meshes)，这些网格随后用于物理模拟中的碰撞检测。

3D 高斯泼溅初始化: 高斯泼溅直接从 VGGT 生成的点云进行初始化。这种点云初始化方法极大地提高了几何保真度，并加速了 3DGS 的收敛过程。

自动对齐: GaussGym 的方法实现了精确的视觉-几何对齐 (visual-geometric alignment)，这一点扩展了 LucidSim (Yu et al., 2024) 的真实到模拟管道。LucidSim 仅限于智能手机扫描，需要手动注册网格和 3DGS，并且不提供向量化渲染。GaussGym 解决了这些局限性。

4.2.3. 3D 高斯泼溅作为即插即用渲染器

一旦场景被重建为 3D 高斯函数，它们就会在模拟环境中并行栅格化 (rasterized)。与传统的光线追踪或栅格化管道 (Xue et al., 2025; Makoviychuk et al., 2021a) 不同，泼溅 (splatting) 提供了照片级真实感渲染，且开销极小，并且非常适合向量化执行。

并行渲染: GaussGym 使用多线程 PyTorch 内核 (multi-threaded PyTorch kernels) 在不同环境间批量渲染高斯函数，确保了高效的 GPU 利用率和分布式训练。这种方法使得 GaussGym 能够同时输出 RGB 图像和深度图。

该图像是图示，显示了GaussGym在RGB和深度渲染中的应用。图中包含两个机器人在不同场景中的渲染效果，左下角展示了RGB和深度图。此方法利用高效的Gaussian Splatting过程，在不增加渲染时间的情况下提供深度信息。

图 5：渲染 RGB 和深度：由于深度是高斯泼溅栅格化过程的副产品，GaussGym 也能在不增加渲染时间的情况下渲染深度。

正如原文 Figure 5 所示，由于深度信息是 3D 高斯泼溅栅格化过程的自然副产品，GaussGym 能够在不额外增加渲染时间的情况下同时输出 RGB 图像和对应的深度图。

4.2.4. 高吞吐量和真实感的优化

为了最大化效率，GaussGym 采取了以下优化措施：

1. 渲染与控制速率解耦: 渲染频率与本体感知 (proprioceptive) 控制频率和模拟频率解耦。GaussGym 不以控制频率进行渲染，而是以相机的真实帧率（通常低于控制频率）进行渲染。这在保持策略所需的高保真视觉输入的同时，带来了额外的速度提升。

2. 模拟运动模糊 (Motion Blur): 为了进一步缩小真实到模拟鸿沟，GaussGym 引入了一种简单而新颖的方法来模拟运动模糊。它通过沿相机速度方向偏移一小部分帧，并将它们进行 Alpha 混合 (alpha-blending) 到单个图像中，从而生成逼真的模糊效果。

   该图像是插图，展示了GaussGym在运动模糊模拟中的应用。左侧显示了有运动模糊的场景，右侧为没有运动模糊的场景。通过结合快门速度和相机速度向量，GaussGym能够在机器人步行时生成运动模糊效果。

图 10：GaussGym 提出了一种简单而新颖的运动模糊模拟方法。给定快门速度和相机速度向量，GaussGym 沿运动方向对各种帧进行 Alpha 混合。在剧烈运动中，例如脚与楼梯接触时，这种效果尤为明显。

如原文 Figure 10 所示，这种运动模糊在突然的抖动（例如爬楼梯或高速移动）场景中尤为明显，有助于提高视觉保真度和迁移的鲁棒性。

性能表现: 在实际应用中，单个 GPU（例如 RTX 4090）可以在 128 个独特场景中的 4,096 个环境中，以每秒 100,000 个模拟步骤的挂钟时间 (wall clock time) 进行渲染。其中，模拟器中的控制更新速率为 50 Hz，相机更新速率为 10 Hz。这种性能在多 GPU 上呈近乎线性扩展，使得在数千个多样化、照片级真实感场景中同时进行分布式训练成为可能。这种吞吐量使得训练基于视觉的运动策略，并在场景多样性和真实感水平上达到传统高速模拟器无法比拟的程度。

5. 实验设置

5.1. 数据集

GaussGym 利用多种数据源来创建其多样化和逼真的训练环境：

• 智能手机扫描 (Smartphone scans): 允许用户轻松捕捉真实世界的环境。

• 开源数据集 (Open-source datasets):

  • ARKitScenes (Baruch et al., 2021): 一个用于 3D 室内场景理解的多样化真实世界数据集，使用移动 RGB-D 数据。

  • GrandTour (Frey et al., 2025): 包含高质量的大面积扫描数据。

  • 以下是原文 Figure 9 展示的一个来自 GrandTour 的 GaussGym 场景：

    该图像是插图，展示了GaussGym中机器人在一个现实环境中行走的场景，标记了运动的不同阶段（1、2、3）。环境细节清晰，显示了复杂的建筑结构和地面纹理，体现了高保真的模拟效果。

    图 9：大型照片级真实世界：GaussGym 整合了开源数据集，例如 GrandTour (Frey et al., 2025)，其中包含高质量的大面积扫描。上图展示了一个来自 GrandTour 的 $20 \mathrm{m^2}$ GaussGym 场景，包括网格（紫色）和机器人视角的渲染图。

• 生成视频模型输出 (Video model outputs): 例如 Veo (Google DeepMind, 2025)。这使得能够创建在真实世界中难以或不可能捕捉的环境，如洞穴、灾区或外星地形。 以下是原文 Figure 4 展示的利用视频模型输出生成的场景示例：

  该图像是示意图，展示了GaussGym在不同提示下生成的虚拟环境。左侧显示了一个幻想世界场景，而右侧则是类似《银翼杀手》的街道环境。通过Veo模型，GaussGym能够将这些提示转化为可供机器人学习的 高清晰度训练世界。

  图 4：GaussGym 能够摄取各种数据集——包括视频模型输出——以生成用于机器人学习的照片级真实训练环境。

GaussGym 框架总共包含了 2,500 个场景，极大地丰富了训练环境的多样性。

5.2. 评估指标

本文评估了视觉运动和导航策略的性能，主要通过以下任务进行衡量：

1. 视觉爬楼梯 (Visual stair climbing): 评估机器人在楼梯地形上行走的能力，重点是精确的落脚点放置 (foothold placement) 和步态适应。

2. 视觉导航 (Visual navigation): 评估机器人在有障碍物的环境中导航以到达目标位置的能力，并特别关注其语义推理能力（例如，避开不良区域）。

   虽然论文没有直接给出这些任务的数学评估指标公式，但在附录中提供了用于策略训练的奖励函数，这些奖励函数间接反映了任务的成功与否，并指导策略学习期望的行为。

5.2.1. 策略学习的奖励函数

策略学习的奖励函数用于指导强化学习过程。奖励函数通常由多个项组成，每个项都有一个权重，用于平衡不同的目标。

通用奖励项 (General reward terms) (原文 Table 3): 用于所有任务，惩罚不良行为并鼓励稳定运动。

以下是原文 Table 3 的结果：

符号解释:

• $\omega$: 角速度 (angular velocity)。

• $\alpha$: 全局向上向量 (global up vector) 与策略向上向量 (policy up vector) 之间的角度。

• $q^*$: 指令动作 (commanded action)。

• $q$: 当前关节角度 (current joint angle)。

• $f$: 脚部位置 (foot position)。

• $1_{f, \mathrm{contact}}$: 接触指示函数 (contact indicator function)，当脚接触地面时为 1，否则为 0。

• $\phi$: 当前步态相位 (current gait phase)。

• $F$: 脚部接触力 (foot contact force)。

  速度跟踪任务的奖励 (Rewards for velocity tracking task) (原文 Table 4): 鼓励机器人精确跟踪指令速度。

以下是原文 Table 4 的结果：

符号解释:

• $v$: 当前基座线速度 (current base velocity)。

• $v^*$: 期望基座线速度 (desired base velocity)。

• $\omega_z$: 当前偏航角速度 (current yaw rate)。

• $\omega_z^*$: 期望偏航角速度 (desired yaw rate)。

  目标跟踪任务的奖励 (Rewards for goal tracking task) (原文 Table 5): 鼓励机器人在规定时间内到达目标位置。

以下是原文 Table 5 的结果：

符号解释:

• $t$: 剩余到达目标时间 (remaining time to reach the goal)。
• $r$: 当前基座位置 (current base position)。
• $r^*$: 期望基座位置 (desired base position)。
• $\psi$: 当前基座偏航角 (current base yaw)。
• $\psi^*$: 期望基座偏航角 (desired base yaw)。

观察空间 (Observations) (原文 Table 6):

以下是原文 Table 6 的结果：

符号解释:

• $\omega_b$: 基座角速度 (Base Angular Velocity)。
• $\alpha$: 投影重力角度 (Projected Gravity Angle)。
• $q$: 关节位置 (Joint Positions)。
• $\dot{q}$: 关节速度 (Joint Velocities)。
• $\phi$: 摆动相位 (Swing phase)。
• $I$: 图像 (Image)，分辨率为 $640 \times 480$ 像素。

5.3. 对比基线

在本文中，GaussGym 的方法主要与以下“基线”进行对比或分析：

1. 深度感知策略 (Depth-only policies): 在语义导航任务中，将纯粹依赖深度信息训练的策略与基于 RGB 图像训练的策略进行对比，以展示 RGB 提供的语义优势。
2. 消融实验 (Ablation study) 中的不同配置:
   • 盲目策略 (Blind policies): 仅使用本体感知信息，不使用任何视觉输入。
   • 不带体素回归的视觉策略 (Vision w/o voxel): 视觉策略在训练中不包含辅助的体素网格 (voxel grid) 重建损失。
   • 不带 DINOv2 的视觉策略 (Vision w/o DINO): 视觉策略在训练中不使用 DINOv2 预训练编码器。
   • 少量场景训练的视觉策略 (Vision 10 scenes/Vision 50% scenes): 视觉策略在非常有限数量的场景（10 个或 50% 的总场景）中进行训练，以评估场景多样性的重要性。
3. 其他模拟器 (Other Simulators): 在介绍和相关工作部分，GaussGym 与 LucidSim, LeVerb, IsaacLab 等现有模拟器在照片级真实感、吞吐量、渲染器和场景创建方式等方面进行了定性比较 (见 Table 1)。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 训练环境超越现实 (Training Environments Beyond Reality)

GaussGym 的一个突出能力是能够利用视频模型（如 Veo）生成全新的世界。这使得创建在真实世界中难以或不可能捕捉的环境成为可能，例如洞穴、灾区或甚至外星地形 (见 Figure 4)。这得益于 Veo 强大的多视点一致性 (multi-view consistency) 以及 VGGT 鲁棒的相机估计和密集点云生成能力。

6.1.2. 视觉运动和导航 (Visual Locomotion and Navigation)

6.1.2.1. 视觉运动结果 (Visual Locomotion Results)

论文使用非对称演员-评论家 (asymmetric actor-critic) 框架直接从视觉输入学习策略，而没有依赖学生-教师蒸馏 (student-teacher distillation)。策略端到端训练，无需多阶段训练管道。

• 爬楼梯任务: 针对 Unitree A1 机器人，使用 RGB 图像输入训练的策略，学习了精确地将脚放置在楼梯上，并调整步态以避免在模拟中与楼梯踏板碰撞 (见 Figure 6a 和 Figure 11)。

  该图像是一个示意图，展示了多个机器人在楼梯上训练的场景。这些机器人通过视觉策略在模拟环境中学习，体现了模拟到真实的应用潜力。

  图 6：真实到模拟：GaussGym 世界能够训练视觉策略，使其无需微调即可迁移到真实世界。

  该图像是示意图，展示了A1机器人在模拟中行走时的足部摆动轨迹。前脚（红色）和后脚（蓝色）的轨迹表明，A1能正确放置脚步，避免在楼梯边缘绊倒。接近楼梯时，A1前脚领先，大步踏下，确保安全着陆。

  图 11：A1 足部摆动轨迹：模拟中视觉运动策略的足部轨迹。A1 机器人学会了正确放置前脚（红色）和后脚（蓝色），避免在楼梯边缘绊倒。当接近楼梯时，A1 用前脚引导，迈出一大步稳稳地落在第二个台阶中间，这表明安全的落脚点可以直接从视觉中推断出来。

  原文 Figure 11 展示了 A1 机器人在模拟中的足部摆动轨迹，表明其能够从视觉中推断出安全的落脚点。作为一个概念验证，该策略成功地零样本迁移 (zero-shot transfer) 到真实世界，无需额外微调 (见 Figure 6b)。这标志着向缩小视觉真实到模拟鸿沟迈出了第一步。

• 斜坡导航: 类似地，在模拟中对 Booster T1 机器人（配备头戴式摄像头）训练的策略，学习了成功导航斜坡。

6.1.2.2. 视觉导航结果 (Visual Navigation Results)

视觉导航任务包括稀疏目标跟踪任务，智能体必须绕过障碍物到达远处的航点。

• 语义推理: 为了测试训练好的智能体，研究者设计了一个障碍物场实验 (见 Figure 8)。在这个场景中，一个稀疏目标被放置在杂物后面，并通过地板上的黄色补丁引入了一个惩罚区域。当智能体进入惩罚区域时，在训练期间会收到负奖励信号。

  该图像是图示，展示了机器人在稀疏目标跟踪任务中穿越障碍物场景。中间的盒子标示了惩罚区域，RGB训练的策略（绿色）能识别并避开黄色地面，而仅依赖深度信息的策略（紫色）则无法检测，直接走过该区域。这突出表明RGB提供了超越几何深度的语义线索。

  图 8：来自 RGB 的语义推理：在稀疏目标跟踪任务中，机器人必须穿过一个障碍物场，其中黄色地板区域会造成惩罚。RGB 训练的策略（绿色）能够感知并避开该区域，而仅依赖深度的策略（紫色）无法检测到它并直接穿过。这突出表明 RGB 提供了超越几何深度的语义线索。

  结果显示，RGB 策略成功避开了黄色惩罚区域，而仅依赖深度的策略则失败了，直接走过。这表明 RGB 能够传达超越几何深度的丰富语义线索，使策略能够对环境语义进行推理。这突出强调了使用 RGB 输入而非仅依赖深度感知的重要性。

6.1.2.3. 消融实验 (Ablation Study)

研究者对多个设计参数进行了大规模消融实验。在四种模拟场景（平坦、陡峭、短楼梯和高楼梯）中测试了机器人 (A1 和 T1)。

以下是原文 Table 2 的结果：

消融实验结果分析:

• 体素网格回归 (Voxel grid regression): 不对体素网格进行回归 (Vision w/o voxel) 会降低性能，尤其是在更具挑战性的场景（陡峭和楼梯）中。这表明将几何重建作为辅助任务对学习速度和性能有显著提升。

• DINO 编码器 (DINO encoder): 不使用预训练的 DINO 编码器 (Vision w/o DINO) 也会降低性能。这强调了 DINOv2 提取的丰富视觉特征对于鲁棒视觉策略的重要性。

• 场景数量 (Number of scenes): 使用少量场景（Vision 10 scenes 或 Vision 50% scenes）进行训练，相比于使用全部场景 (Vision)，性能有显著下降。这突出表明了在 GaussGym 中跨多个场景进行训练的无缝基础设施对于提高策略泛化能力和性能的重要性。

• 盲目策略 (Blind policies): 仅使用本体感知信息的策略 (Blind) 在所有非平坦场景中的性能都远低于使用视觉信息的策略，尤其是在高楼梯场景中表现最差。这再次验证了视觉感知对于复杂地形导航的关键作用。

• 机器人类型 (A1 vs. T1): 两种机器人在不同场景下的表现趋势相似，但 T1 在某些挑战性场景（如高楼梯）中表现略逊于 A1。

  总体而言，实验结果强有力地验证了 GaussGym 在提供高保真视觉模拟、实现语义推理以及通过辅助任务和多样化场景提升视觉策略学习方面的有效性。

6.2. 数据呈现

6.2.1. 架构图

以下是原文 Figure 7 展示的视觉运动架构图：

该图像是示意图，展示了视觉运动控制的架构，其中LSTM编码器融合了自我感知和DinoV2 RGB特征。输出传递至3D转置卷积头，用于占用格网和地形预测，以及一个策略LSTM，输出高斯动作分布。

图 7：视觉运动架构：一个 LSTM 编码器融合了本体感知与 DinoV2 RGB 特征。输出馈入 3D 转置卷积头用于占用和地形预测，以及一个策略 LSTM 输出高斯动作分布。

架构分析: 该架构的核心是一个循环编码器 (recurrent encoder)，它负责随时间融合视觉和本体感知 (proprioceptive) 信息。

1. 输入层: 在每个时间步，本体感知测量（如关节位置、速度等）与从原始 RGB 帧中提取的 DinoV2 嵌入 (embedding) 进行拼接。
2. LSTM 层: 这些组合后的特征被输入到一个长短期记忆网络 (LSTM) 中。LSTM 能够捕获时间动态，并生成一个紧凑的潜在表示 (latent representation)。选择 LSTM 的原因是考虑到机器人上快速推理速度的需求，从而限制了使用纯粹的 Transformer 架构。
3. 任务特定头部 (Task-specific heads): 潜在表示随后被馈送到两个并行的任务特定头部：

   • 体素预测头 (Voxel prediction head): 潜在向量被解展 (unflattened) 成一个粗略的 3D 网格，并通过一个 3D 转置卷积网络 (transposed convolutional network) 进行处理。连续的转置卷积层将这个网格上采样 (upscale) 为密集的占用 (occupancy) 和地形高度 (terrain heights) 的体积预测。通过这种方式，共享的潜在表示必须捕获场景的几何信息。

   • 策略头 (Policy head): 同时，第二个 LSTM 接收该潜在表示及其循环隐藏状态，并输出关节位置偏移动作的高斯分布 (Gaussian distribution) 参数。

     这种架构允许策略端到端地从视觉输入中学习，同时利用辅助任务（体素预测）来帮助模型理解场景的几何结构。

6.3. 消融实验/参数分析

消融实验（见 Table 2）清晰地展示了 GaussGym 方法中几个关键组件和训练策略的重要性：

• 几何重建辅助任务（体素网格回归）的重要性： 当策略不进行体素网格回归 (Vision w/o voxel) 时，在所有非平坦场景（陡峭、短楼梯、高楼梯）中，性能均有所下降。这表明将几何重建作为辅助任务，迫使共享潜在表示捕获场景的几何信息，从而显著提高了视觉运动策略的学习速度和最终性能。

• 预训练视觉特征（DINOv2 编码器）的重要性： 移除 DinoV2 编码器 (Vision w/o DINO) 同样导致了性能的下降，尤其是在挑战性最大的高楼梯场景中（A1 从 94.4% 降至 88.3%，T1 从 92.5% 降至 82.8%）。这表明 DinoV2 提供的强大、鲁棒的视觉特征对于视觉策略的有效学习至关重要，它为策略提供了丰富的语义和视觉上下文，使得策略能够更好地理解复杂的视觉输入。

• 场景多样性对泛化的影响： 在少量场景中训练的策略 (Vision 10 scenes 或 Vision 50% scenes) 相比于在全部场景中训练的策略 (Vision)，性能有显著下降，特别是在高楼梯等复杂场景中。例如，对于 A1 机器人在高楼梯场景中，使用 10 个场景训练的性能仅为 67.3%，远低于使用全部场景训练的 94.4%。这强调了 GaussGym 能够轻松整合数千个多样化场景的能力，对于训练出泛化能力更强的视觉策略至关重要。大规模的场景多样性有助于策略学习到更一般化的环境特征，而不是过拟合于特定场景。

• 视觉感知相对于本体感知的重要性： 盲目策略 (Blind) 在所有非平坦场景中的表现都显著差于任何带有视觉输入的策略。这直接证明了视觉信息对于在复杂地形（如楼梯、陡坡）中进行鲁棒运动和导航的不可替代性。

  这些分析共同验证了 GaussGym 框架的设计理念——结合高保真视觉输入、辅助几何学习以及大规模场景多样性——是实现高效、鲁棒视觉运动和导航策略的关键。

7. 总结与思考

7.1. 结论总结

GaussGym 提出了一个创新且强大的开源照片级真实模拟器，旨在彻底改变机器人从像素学习运动和导航的方式。通过将 3D 高斯泼溅技术与 IsaacGym 等向量化物理模拟器无缝集成，GaussGym 实现了前所未有的高吞吐量（每秒超过 100,000 步）和高视觉保真度。它能够轻松整合来自真实世界扫描（如 iPhone、GrandTour、ARKit）和生成视频模型（如 Veo）的数千个多样化训练环境。

研究结果表明，GaussGym 训练出的视觉感知策略能够进行语义推理（如避开特定区域），在模拟中实现精确的落脚点放置和步态调整，并展示了向真实世界的初步零样本迁移能力（例如爬楼梯）。此外，消融实验强调了辅助几何重建损失和预训练视觉编码器（DINOv2）对于提高学习性能和效率的重要性，以及大规模场景多样性对策略泛化能力的积极影响。

这项工作成功地弥合了高吞吐量模拟与高保真感知之间的鸿沟，为可扩展和通用机器人学习奠定了坚实的基础，并有望加速视觉机器人学习领域的进步。

7.2. 局限性与未来工作

论文作者指出了以下局限性：

1. 视觉真实到模拟迁移的挑战： 尽管有所进步，视觉真实到模拟迁移 (visual sim-to-real transfer) 仍然是一个困难且未完全解决的问题。在模拟中，视觉策略能够避免高成本区域并实现精确落脚点，但需要更多实验来评估其在更广泛任务中的泛化能力。例如，爬楼梯策略未在训练期间未见过的楼梯上进行评估，且迁移到真实世界时，精确落脚点会下降。将视觉策略迁移到真实硬件还引入了额外挑战，如物理延迟（例如图像延迟）和对自我中心观测 (egocentric observations) 的依赖。相比之下，利用高程图 (elevation maps) 和高频状态估计（例如 400 Hz）的几何方法大大简化了运动问题。

2. 成本/奖励函数自动化生成缺失： 对于视觉信息至关重要的任务（例如遵守社会规范，如在人行道或斑马线上行走），GaussGym 目前缺乏自动生成成本或奖励函数 (cost or reward functions) 的机制。目前依赖于手动设计的成本项。

3. 物理参数的均匀性： GaussGym 中的资产以统一的物理参数（例如摩擦力）初始化，这阻碍了对冰、泥或沙等表面的准确模拟，限制了“外观与触感”之间的联系。

4. 生成模型的局限性： 尽管 GaussGym 构建于最先进的视觉模型之上，但它也继承了它们的局限性。例如，Veo 的输出有时可能不一致，需要重新提示，并且通过纯文本输入对相机控制有限。

5. 动态场景和非刚体模拟： 当前的方法尚无法处理动态场景，也无法模拟流体和可变形资产，超出了 IsaacGym 提供的简单刚体物理。

   未来工作方向：

• 评估视觉策略在更广泛、未见任务中的泛化能力。
• 探索利用基础语言模型 (foundational language models) 自动生成成本或奖励函数，以塑造智能体行为。
• 整合更具可控性和时间一致性的世界模型（如 Genie 3），以克服当前生成模型的局限性。
• 扩展模拟能力，以处理动态场景、流体和可变形资产，超越刚体物理的限制。

7.3. 个人启发与批判

个人启发:

1. 视觉信息作为核心的机器人感知: 本文强有力地证明了 RGB 视觉信息在机器人运动和导航中的巨大潜力，它不仅提供了几何信息，更重要的是能够提供丰富的语义线索。这种语义理解能力是仅依赖深度或激光雷达的几何方法所无法比拟的，它使得机器人能够做出更智能、更符合人类直觉的决策（例如避开特定颜色的惩罚区域）。
2. 高速模拟与高保真渲染的突破性结合: GaussGym 成功地将大规模并行物理模拟（高吞吐量）与 3D 高斯泼溅的高保真渲染相结合，打破了长期以来在这两者之间存在的权衡。这种结合是实现复杂视觉策略大规模训练的关键，为机器人学习提供了前所未有的实验平台。
3. 场景多样性和生成能力的重要性: 能够轻松整合数千个来自真实世界扫描和生成模型的环境，是 GaussGym 的一个巨大优势。大规模的场景多样性对于训练泛化能力强、鲁棒性高的机器人策略至关重要。生成模型作为一种快速、低成本创建“超越现实”环境的方式，未来潜力无限。
4. 辅助任务的有效性: 将几何重建作为辅助任务，对于视觉策略的有效学习具有显著的促进作用，这揭示了在复杂多模态学习中，如何通过设计巧妙的辅助目标来引导模型学习更深层次的特征表示。

批判与可以改进的地方:

1. 真实到模拟鸿沟的深层挑战: 尽管实现了初步的零样本迁移，但论文也承认真实世界中的精确落脚点下降和物理延迟等问题。这表明视觉真实到模拟鸿沟远比想象中复杂，可能不仅仅是渲染保真度的问题，还涉及到材料特性、光照变化、传感器噪声、物理引擎与真实世界物理的偏差等深层因素。未来的研究需要更深入地探索这些因素。

2. 奖励函数的手动设计瓶颈: 目前依赖手动设计的成本/奖励函数是一个明显的瓶颈。对于机器人而言，在复杂的真实世界中，定义所有可能遇到的情况及其对应的奖励是非常困难且不切实际的。如何利用大语言模型 (LLM) 或其他方法实现奖励函数的自动化生成，是未来实现更通用机器人智能的关键。

3. 对动态场景和非刚体物理的限制: 机器人与真实世界的交互通常涉及动态物体、流体和可变形材料。GaussGym 目前无法模拟这些复杂的物理现象，这限制了其在更广泛和更具挑战性的真实世界任务中的应用。未来的发展需要将 3DGS 或类似技术扩展到动态场景和非刚体物理建模。

4. 生成模型输出的可靠性： 依赖生成视频模型（如 Veo）创建训练环境虽然新颖，但其输出的一致性和物理真实性仍有待进一步验证。如果生成环境的物理属性（例如摩擦力、弹性）不准确，可能会导致策略学习到在真实世界中无效的行为。

   总而言之，GaussGym 是在视觉机器人学习领域迈出的重要一步，它为未来的研究提供了强大的工具和平台。但同时，它也清晰地揭示了该领域仍存在的关键挑战，指明了未来需要深耕的方向。