1. 论文基本信息

1.1. 标题

Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions (对抗运动先验是复杂奖励函数的良好替代品)

1.2. 作者

论文作者包括 Alejandro Escontrela, Xue Bin Peng, Wenhao Yu, Tingnan Zhang, Atil Iscen, Ken Goldberg, Pieter Abbeel。他们主要隶属于加州大学伯克利分校 (UC Berkeley) 和 Google Brain。

1.3. 发表期刊/会议

该论文作为预印本 (preprint) 发布在 arXiv 上，通常是学术会议或期刊发表前的版本。鉴于作者团队的背景及其研究内容的重要性，其在机器人学和强化学习领域具有潜在的影响力。

1.4. 发表年份

2022年

1.5. 摘要

训练具有欠指定 (under-specified) 奖励函数的高维度模拟智能体 (simulated agent)，通常会导致智能体学习到物理上不可行 (physically infeasible) 的策略，这些策略在真实世界部署时效率低下。为了缓解这些不自然的机器人行为，强化学习 (Reinforcement Learning, RL) 从业者通常会利用复杂的奖励函数来鼓励物理上合理的行为。然而，创建手工设计的奖励函数通常需要繁琐且劳动密集型的调优过程，并且这些奖励函数可能难以在不同平台和任务之间泛化 (generalize)。本文提出使用从运动捕捉 (motion capture) 数据集中学习到的“风格奖励 (style rewards)”来替代复杂的奖励函数。学习到的风格奖励可以与任意任务奖励 (task reward) 结合，以训练智能体 (policies) 使用自然主义 (naturalistic) 策略执行任务。这些自然策略也有助于向真实世界的迁移 (transfer)。本文借鉴了对抗运动先验 (Adversarial Motion Priors, AMP)——一种来自计算机图形学领域的方法，该方法从参考运动数据集中编码一个风格奖励——来证明通过对抗方法训练策略可以在不需要复杂奖励函数的情况下，将行为迁移到真实的四足机器人 (quadrupedal robot) 上。本文还展示了，即使从德国牧羊犬收集的几秒钟运动捕捉数据中，也可以学习到有效的风格奖励，并由此产生节能 (energy-efficient) 的运动策略和自然的步态转换 (gait transitions)。

1.6. 原文链接

https://arxiv.org/abs/2203.15103v1

1.7. PDF 链接

https://arxiv.org/pdf/2203.15103v1.pdf

2. 整体概括

2.1. 研究背景与动机

2.1.1. 核心问题

在机器人学，特别是对高维连续控制系统（如腿式机器人）进行控制策略 (controller) 开发时，传统上依赖于近似动力学模型和轨迹优化 (trajectory optimization) 算法，但这些控制器往往高度专业化，泛化能力差。近年来，强化学习 (Reinforcement Learning, RL) 在模拟环境中取得了显著成功，但在实际机器人上的部署却面临“模拟到现实鸿沟 (simulation-to-reality gap)”的挑战。其中一个主要挑战是，当奖励函数 (reward function) 欠指定 (under-specified) 时，RL 智能体 (agent) 往往会学习到激进、过度活跃甚至物理上不可行的策略。例如，一个旨在追求前进速度的腿式机器人可能会学习到通过拍打肢体或高冲击力接触来移动，这些行为在真实机器人上可能导致损坏或无效。

2.1.2. 问题的重要性与现有挑战

物理上不可行的策略不仅可能损坏真实机器人，也使得从模拟环境到真实世界的迁移变得困难。为了解决这个问题，研究人员通常会设计复杂的、手工调优的奖励函数，以鼓励物理上合理、自然的行为。然而，这种手工设计和调优过程非常耗时、劳动密集，需要大量的领域知识，并且往往难以在不同的机器人平台或任务之间泛化。这构成了当前机器人控制领域的一个重要瓶颈。

2.1.3. 本文的切入点与创新思路

本文的创新点在于提出了一种替代复杂手工设计奖励函数的方法：利用从少量运动捕捉数据中学习到的“风格奖励 (style rewards)”。这种方法借鉴了计算机图形学领域的对抗运动先验 (Adversarial Motion Priors, AMP) 技术。核心思想是，通过对抗性训练，让智能体不仅能完成特定任务，还能模仿参考运动数据的“风格”，从而自动生成物理上合理、自然且节能的行为。这样，开发人员可以避免耗费大量精力去设计复杂的奖励函数，转而利用数据中蕴含的先验知识。

2.2. 核心贡献/主要发现

本文的主要贡献包括：

• 提出并验证了基于对抗运动先验的学习框架： 该框架利用少量运动捕捉数据（实验中仅4.5秒）编码风格奖励，并与辅助任务目标结合训练策略。这些策略能够有效地部署在真实的机器人上，克服了传统复杂奖励函数的局限性。
• 深入研究了策略的能效性： 比较了使用复杂风格奖励、本文提出的对抗运动先验风格奖励以及无风格奖励训练的策略的能耗效率。结果显示，使用对抗运动先验训练的策略具有更低的运输成本 (Cost of Transport, COT)，表明其能效更高。这一优势部分归因于从参考数据中提取的节能运动先验，以及策略在不同速度下能够自然地进行步态转换。
• 证实了策略在真实世界中的迁移能力： 尽管参考运动数据量很小，且未包含所有可能的运动模式，但基于对抗运动先验训练的策略仍能成功地在真实的四足机器人上执行任务，并在复杂路径中展现出自然的运动策略和良好的速度追踪能力，验证了其模拟到现实的迁移潜力。

3. 预备知识与相关工作

本节旨在为读者提供理解本文方法所需的背景知识，并阐述本文工作与现有研究的关系。

3.1. 基础概念

3.1.1. 强化学习 (Reinforcement Learning, RL)

强化学习是机器学习的一个分支，旨在训练智能体 (agent) 在环境中采取行动以最大化累积奖励 (cumulative reward)。它通过 马尔可夫决策过程 (Markov Decision Process, MDP) 来建模决策问题。

• 智能体 (Agent): 执行动作并学习的实体。
• 环境 (Environment): 智能体与之交互的外部系统。
• 状态 (State, $s$): 环境在某一时刻的描述。
• 动作 (Action, $a$): 智能体在给定状态下可以执行的操作。
• 奖励 (Reward, $r$): 环境对智能体动作的反馈信号，智能体的目标是最大化长期累积奖励。
• 策略 (Policy, $\pi$): 定义了智能体在给定状态下采取何种动作的规则，通常表示为从状态到动作的映射 $\pi(s) \rightarrow a$ 或 $\pi(s,a)$。
• 价值函数 (Value Function): 衡量在特定状态下遵循某一策略能获得的预期未来奖励。
• 马尔可夫决策过程 (Markov Decision Process, MDP): 强化学习的数学框架，由一个元组 $( S , \mathcal { A } , f , r _ { t } , p _ { 0 } , \gamma )$ 定义，其中：
  • $S$: 状态空间 (state space)。
  • $\mathcal { A }$: 动作空间 (action space)。
  • f ( s , a ): 状态转移函数 (state transition function)，描述在状态 $s$ 下采取动作 $a$ 后环境如何转移到下一个状态 $s'$。
  • $r _ { t } ( s , a , s ^ { \prime } )$: 奖励函数 (reward function)，在状态 $s$ 采取动作 $a$ 转移到 $s'$ 时获得的奖励。
  • p _ { 0 }: 初始状态分布 (initial state distribution)。
  • $\gamma$: 折扣因子 (discount factor)，用于权衡即时奖励和未来奖励的重要性，$0 \le \gamma < 1$。

3.1.2. 深度强化学习 (Deep Reinforcement Learning, DRL)

深度强化学习结合了深度学习和强化学习，利用深度神经网络 (Deep Neural Networks, DNN) 来近似策略函数或价值函数，从而能够处理高维度的状态和动作空间。本文使用 近端策略优化 (Proximal Policy Optimization, PPO) 算法，这是一种流行的 DRL 算法。

3.1.3. 运动捕捉 (Motion Capture, MoCap)

运动捕捉是一种记录物体（通常是人或动物）运动的技术。它通过在关键点放置标记物，利用摄像头或传感器捕捉这些标记物在三维空间中的位置随时间变化的数据。这些数据可以用于动画制作、虚拟现实、生物力学分析以及机器人控制等领域。本文使用德国牧羊犬的运动捕捉数据作为参考运动。

3.1.4. 生成对抗网络 (Generative Adversarial Networks, GANs)

GANs 是一种深度学习模型，由两部分组成：一个 生成器 (Generator) 和一个 判别器 (Discriminator)。

• 生成器 (Generator): 旨在学习数据的分布并生成新的、看起来真实的数据样本。
• 判别器 (Discriminator): 旨在区分真实数据样本和生成器生成的假数据样本。 两者通过对抗性训练相互竞争和改进：生成器试图欺骗判别器，而判别器则试图更准确地识别假数据。最终，生成器能够生成高质量的、逼真的数据。对抗运动先验 (AMP) 方法正是借鉴了 GANs 的思想。

3.1.5. 运输成本 (Cost of Transport, COT)

运输成本是一个衡量移动效率的无量纲指标，常用于生物力学和机器人学中，用于比较不同生物或机器人在不同速度下的能量效率。它定义为单位重量、单位距离的能量消耗。较低的 COT 表示更高的能量效率。本文使用机械 COT 来评估机器人的能效。 其公式为： $$\mathrm { COT } = \frac { \mathrm { P o w e r } } { \mathrm { W e i g h t } \times \mathrm { V e l o c i t y } } = \sum _ { \mathrm { a c t u a t o r s } } [ \tau \dot { \theta } ] ^ { + } / ( W \| v \| )$$ 其中：

• $\mathrm { Power }$：机器人总功率，通常是所有执行器功率的总和。
• $\mathrm { Weight }$：机器人的总重量。
• $\mathrm { Velocity }$：机器人的平均速度。
• $\tau$：关节扭矩 (joint torque)。
• $\dot { \theta }$：电机角速度 (motor velocity)。
• $[ \tau \dot { \theta } ] ^ { + }$：表示只有正功（即消耗能量）才被计算在内，通常是指当扭矩和角速度方向一致时，功率为正。
• $W$: 机器人的重量。
• $\| v \|$: 机器人的线速度 (linear velocity) 的大小。

3.2. 前人工作

3.2.1. 深度强化学习在机器人控制中的应用

近年来，DRL 在机器人控制任务中取得了显著进展，包括操纵 [20]-[23]、运动 [5]-[9] 和导航 [24], [25] 等。DRL 能够自动合成控制器，避免手动设计，但往往导致不自然、抖动的行为，这些行为在实际机器人部署时效果不佳 [10], [26]。

3.2.2. 缓解不自然行为的传统方法

为解决欠指定奖励函数导致的问题，研究人员探索了多种方法：

• 复杂奖励函数 (Complex Reward Functions): 通过精心设计包含多个项的奖励函数来惩罚不自然行为并鼓励特定风格，如 Rudin et al. [19] 提出的包含13个项的奖励函数。Miki et al. [5]、Lee et al. [6]、Kumar et al. [7] 也采用了类似的复杂奖励公式。
• 任务特定动作空间 (Task-Specific Action Spaces): 限制智能体可以执行的动作范围，使其更符合物理约束 [12], [13], [28], [29]。
• 课程学习 (Curriculum Learning): 逐步增加任务难度，引导智能体学习更稳定的行为 [15], [16]。 尽管这些方法取得了最先进的结果，但它们通常是任务特定的，需要大量领域知识和精细调优，且难以泛化。

3.2.3. 运动模仿 (Motion Imitation)

运动模仿是为机器人开发控制器的一种通用方法，特别适用于难以手动编码的技能 [30]-[33]。

• 基于轨迹跟踪的运动模仿 (Tracking-based Motion Imitation): 智能体通过显式跟踪参考轨迹中指定的姿态序列来模仿运动 [34]-[37]。在模拟环境中，这种方法在复制复杂动态运动技能方面非常有效 [38]-[41]。然而，跟踪目标往往会限制控制器严格遵循参考运动，从而限制智能体发展更通用和多样化行为的能力，尤其是在需要完成辅助任务时。对于多样化的运动数据集，这种方法也需要大量开销，如运动规划器和任务特定标注 [42]-[45]。

3.2.4. 对抗模仿学习 (Adversarial Imitation Learning)

对抗模仿学习提供了一种灵活且可扩展的方法，用于从多样化的演示数据（如参考运动）中模仿行为 [46]-[48]。它不显式跟踪单个运动片段，而是旨在学习与演示数据状态/轨迹分布相匹配的策略 [49], [50]。这通过训练一个对抗判别器 (adversarial discriminator) 来区分策略生成的行为和演示数据中的行为来实现。判别器随后作为“风格奖励”用于训练控制策略模仿演示。

• Adversarial Motion Priors (AMP): Peng et al. [17] 提出的方法结合了对抗模仿学习和辅助任务目标，使得模拟智能体在模仿大量非结构化运动数据集中的行为的同时，能够执行高级任务。本文正是基于这一技术，将其应用于腿式机器人的运动技能学习，并证明其能带来更自然、物理上合理且节能的行为，从而促进从模拟到真实机器人的迁移。

3.3. 差异化分析

本文方法与上述相关工作的主要区别和创新点在于：

• 替代复杂手工奖励： 本文的核心创新是用从数据中学习到的“风格奖励”替代了传统上需要大量专家知识和精细调优的复杂手工设计奖励函数。这大大简化了奖励函数的设计过程。
• 数据驱动的先验知识： 通过对抗运动先验，模型能够从少量运动捕捉数据中自动提取物理上合理、自然且节能的运动先验知识，这比手动编码这些先验更具通用性和可扩展性。
• 灵活性与泛化能力： 与严格遵循参考轨迹的运动跟踪方法不同，本文的对抗模仿学习方法允许策略在保持风格的同时，为了完成任务目标而适度偏离参考运动。这使得智能体能够学习到更通用和多样化的行为，并更好地应对未知或变化的环境。
• 模拟到现实的有效迁移： 论文证明了这种数据驱动的风格奖励不仅在模拟环境中有效，还能在真实四足机器人上实现成功部署，且展现出优于复杂手工奖励的能效。

4. 方法论

本文的核心思想是利用对抗运动先验 (Adversarial Motion Priors, AMP) 从少量运动捕捉数据中学习一个“风格奖励 (style reward)”，并将其与一个简单的任务奖励结合，以训练能够在真实机器人上执行任务的、自然且节能的策略。

4.1. 方法原理

所用方法的核心思想是，将一个强化学习智能体 (Reinforcement Learning agent) 的训练目标分为两部分：一部分是完成指定任务（例如，追踪目标速度），另一部分是生成与给定参考运动数据风格一致的行为。通过引入一个判别器 (discriminator) 来学习参考运动数据的“风格”，并将其输出转化为一个奖励信号，该奖励信号指导智能体生成自然且物理上合理的动作。这样，开发者无需手动设计复杂的奖励函数来编码所有物理约束和自然行为的先验知识，而是让智能体从数据中学习这些先验。

4.2. 核心方法详解

4.2.1. 马尔可夫决策过程 (MDP) 定义

本文将腿式机器人运动学习问题建模为一个 马尔可夫决策过程 (Markov Decision Process, MDP)，定义为元组 $( S , \mathcal { A } , f , r _ { t } , p _ { 0 } , \gamma )$。

• $S$: 状态空间 (state space)。
• $\mathcal { A }$: 动作空间 (action space)。
• f ( s , a ): 系统动力学函数 (system dynamics function)，描述在状态 $s$ 下采取动作 $a$ 后环境如何转移到下一个状态 $s'$。
• $r _ { t } ( s , a , s ^ { \prime } )$: 奖励函数 (reward function)，在时间步 $t$ 获得的奖励。
• p _ { 0 }: 初始状态分布 (initial state distribution)。
• $\gamma$: 折扣因子 (discount factor)。 强化学习的目标是找到一个最优策略 $\pi _ { \theta } : { \mathcal { S } } \mapsto { \mathcal { A } }$，其参数为 $\theta$，以最大化预期折扣回报 (expected discounted return)： $$J ( \theta ) = \mathbb { E } _ { \pi _ { \theta } } \left[ \sum _ { t = 0 } ^ { T - 1 } \gamma ^ { t } r _ { t } \right]$$ 其中，$\mathbb{E}_{\pi_{\theta}}$ 表示在策略 $\pi_{\theta}$ 下的期望，$T$ 是回合 (episode) 的总时长。

4.2.2. 任务奖励函数 (Task Reward Function)

为了使机器人能够敏捷且可控地运动，本文设计了一个任务奖励函数，鼓励机器人追踪一个指令速度 $\vec { v } _ { t } = [ v _ { t } ^ { x } , v _ { t } ^ { y } , \omega _ { t } ]$。其中 $v _ { t } ^ { x }$ 和 $v _ { t } ^ { y }$ 是在机器人本体坐标系下期望的前向和侧向速度，$\omega _ { t }$ 是期望的全局偏航角速度 (yaw rate)。 具体任务奖励函数 $r _ { t } ^ { g }$ 定义为： $$r _ { t } ^ { g } = w ^ { v } \mathrm { e x p } ( - \lVert \hat { \vec { v } } _ { t } ^ { \mathrm { x y } } - \vec { v } _ { t } ^ { \mathrm { x y } } \rVert ) + w ^ { \omega } \mathrm { e x p } ( - \lvert \hat { \omega } _ { t } ^ { z } - \omega _ { t } ^ { z } \rvert )$$ 其中：

• $w^v$ 和 $w^\omega$: 权重系数，用于平衡线速度追踪和角速度追踪的贡献。
• $\hat { \vec { v } } _ { t } ^ { \mathrm { x y } }$: 机器人在 $t$ 时刻的实际线速度向量（x-y平面）。
• $\vec { v } _ { t } ^ { \mathrm { x y } }$: 机器人在 $t$ 时刻的期望线速度向量（x-y平面）。
• $\lVert \cdot \rVert$: 向量的L2范数 (Euclidean norm)。
• $\hat { \omega } _ { t } ^ { z }$: 机器人在 $t$ 时刻的实际偏航角速度。
• $\omega _ { t } ^ { z }$: 机器人在 $t$ 时刻的期望偏航角速度。
• $\lvert \cdot \rvert$: 绝对值。 期望速度指令 $\vec { v } _ { t }$ 是随机采样的：前向速度 $v _ { t } ^ { x }$ 范围为 $(-1, 2) \ \frac { \mathrm { m } } { \mathrm { s } }$，侧向速度 $v _ { t } ^ { y }$ 范围为 $(-0.3, 0.3) \ \frac { \mathrm { m } } { \mathrm { s } }$，全局偏航角速度 $\omega _ { t }$ 范围为 $(-1.57, 1.57) \ \frac { \mathrm { rad } } { \mathrm { s } }$。 这个奖励函数赋予了机器人高度的可控性，并促使其在不同速度下表现出多样的运动行为。然而，仅仅使用这个任务奖励函数会导致不期望的行为（如剧烈震动），因为奖励函数是欠指定的。

4.2.3. 对抗运动先验作为风格奖励 (Adversarial Motion Priors as Style Rewards)

为了解决任务奖励欠指定导致的问题，本文引入了数据驱动的运动先验来规范 (regularize) 策略的行为。总奖励函数 r _ { t } 由两部分组成：风格奖励 $r _ { t } ^ { s }$ 和任务奖励 $r _ { t } ^ { g }$。 $$r _ { t } = w ^ { g } r _ { t } ^ { g } + w ^ { s } r _ { t } ^ { s }$$ 其中：

• $w ^ { g }$: 任务奖励的权重。
• $w ^ { s }$: 风格奖励的权重。 风格奖励 $r _ { t } ^ { s }$ 鼓励智能体生成与参考数据集中的行为具有相同“风格”的行为。与用户指定的任务奖励不同，风格奖励是从参考运动数据集中学习得到的。

判别器 (Discriminator) 训练 一个由参数 $\phi$ 参数化的神经网络判别器 $D _ { \phi }$ 被训练来预测一个状态转移 $( s , s ^ { \prime } )$ 是来自真实数据集还是由策略生成的虚假样本。本文借鉴了 AMP [17] 中提出的判别器训练目标： $$\begin{array} { r l } & { \underset { \phi } { \arg \operatorname* { m i n } } \ \mathbb { E } _ { ( s , s ^ { \prime } ) \sim \mathcal { D } } \left[ ( D _ { \phi } ( s , s ^ { \prime } ) - 1 ) ^ { 2 } \right] } \\ & { \quad \quad \quad \quad + \mathbb { E } _ { ( s , s ^ { \prime } ) \sim \pi _ { \theta } ( s , a ) } \left[ ( D _ { \phi } ( s , s ^ { \prime } ) + 1 ) ^ { 2 } \right] } \\ & { \quad \quad \quad \quad + \frac { w ^ { \mathrm { g p } } } { 2 } \mathbb { E } _ { ( s , s ^ { \prime } ) \sim \mathcal { D } } \left[ \| \nabla _ { \phi } D _ { \phi } ( s , s ^ { \prime } ) \| ^ { 2 } \right] , } \end{array}$$ 其中：

• $\underset { \phi } { \arg \operatorname* { m i n } }$: 表示目标是找到使表达式最小化的判别器参数 $\phi$。
• $\mathbb { E } _ { ( s , s ^ { \prime } ) \sim \mathcal { D } } [ \cdot ]$: 表示在真实数据集 $\mathcal { D }$ 中的状态转移 (s, s') 上的期望。
• $\mathbb { E } _ { ( s , s ^ { \prime } ) \sim \pi _ { \theta } ( s , a ) } [ \cdot ]$: 表示在由策略 $\pi_{\theta}$ 生成的状态转移 (s, s') 上的期望。
• $D _ { \phi } ( s , s ^ { \prime } )$: 判别器对状态转移 (s, s') 的输出。
• 前两项是 最小二乘 GAN (Least Squares GAN, LSGAN) [18] 的损失函数部分。它鼓励判别器对来自真实数据集 $\mathcal { D }$ 的样本输出接近 1，对由策略 $\pi _ { \theta }$ 生成的样本输出接近 -1。LSGAN 形式的 GAN 已经被证明可以最小化真实数据分布和智能体生成数据分布之间的 Pearson\chi^2$\text{散度}$。
• $\frac { w ^ { \mathrm { g p } } } { 2 } \mathbb { E } _ { ( s , s ^ { \prime } ) \sim \mathcal { D } } \left[ \| \nabla _ { \phi } D _ { \phi } ( s , s ^ { \prime } ) \| ^ { 2 } \right]$: 这是一个 梯度惩罚 (gradient penalty) 项，其中 $w ^ { \mathrm { g p } }$ 是惩罚系数。它惩罚判别器在真实数据样本流形上产生非零梯度。这个 零中心梯度惩罚 (zero-centered gradient penalty) [54] 有助于减轻判别器倾向于在真实数据样本流形上产生非零梯度的问题，这可能导致生成器在训练过程中“过冲”并脱离数据流形，从而提高 GAN 训练的稳定性和质量。

风格奖励 (Style Reward) 定义 风格奖励 $r _ { t } ^ { s }$ 根据判别器 $D$ 的输出定义为： $$r _ { t } ^ { s } \big ( s _ { t } , s _ { t + 1 } \big ) = \operatorname* { m a x } [ 0 , 1 - 0 . 2 5 ( D ( s , s ^ { \prime } ) - 1 ) ^ { 2 } ]$$ 其中：

• $D ( s , s ^ { \prime } )$: 判别器对当前状态 s _ { t } 到下一个状态 $s _ { t + 1 }$ (简写为 s, s') 的输出。
• 当判别器输出 D(s, s') 接近 1 时 (表示这是一个真实的、风格正确的运动)，奖励值会很高。
• $$\operatorname* { m a x } [ 0 , \cdot ]$$：确保奖励是非负的。
• $$1 - 0 . 2 5 ( D ( s , s ^ { \prime } ) - 1 ) ^ { 2 }$$：通过额外的偏移和缩放，将奖励值限制在 [0, 1] 范围内。当 $D(s, s') = 1$ 时，奖励达到最大值 1；当 $D(s, s') = -1$ 时，奖励为 $1 - 0.25(-1-1)^2 = 1 - 0.25(4) = 0$。

训练流程 策略 $\pi _ { \theta }$ 的参数 $\theta$ 被优化以最大化总奖励 $r_t$（由 Eq. 2 定义）的预期折扣回报，而判别器 $D _ { \phi }$ 的参数 $\phi$ 被优化以最小化 Eq. 3 中定义的判别器目标。 整个训练过程如图 1 所示：

1. 策略在环境中执行一步，生成一个状态转移 $( s , s ^ { \prime } )$。

2. 这个状态转移被输入到判别器 $D _ { \phi } ( s , s ^ { \prime } )$ 中，以获得风格奖励 $r _ { t } ^ { s }$。

3. 同时，根据任务目标计算任务奖励 $r _ { t } ^ { g }$。

4. 将风格奖励和任务奖励合并，得到总奖励 r _ { t }。

5. 收集到的总奖励和环境状态以及参考运动数据集用于优化策略和判别器。

   该图像是示意图，展示了使用对抗运动先验训练和部署四足机器人策略的流程。在训练部分，图示包含了运动捕捉数据、环境、策略和运动先验奖励的关系。任务目标通过动作用以提升机器人的运动能力。下方部分展示了经过训练的机器人在实际环境中的部署情况，强调了自然运动策略在现实世界中的有效性。

Fig. 1. Training with Adversarial Motion Priors encourages the policy to produce behaviors which capture the essence of the motion capture dataset while satisfying the auxiliary task objective. Only a small amount of motion capture data is required to train the learning system (4.5 seconds in our experiments).

4.2.4. 运动捕捉数据预处理 (Motion Capture Data Preprocessing)

• 数据来源： 论文使用了 Zhang and Starke et al. [55] 提供的德国牧羊犬运动捕捉数据。
• 数据内容： 数据集包含短时间的德国牧羊犬的行进 (pacing)、小跑 (trotting)、慢跑 (cantering) 和原地转向等动作片段，总时长为 4.5 秒。
• 数据处理： 遵循 Peng et al. [38] 描述的过程，将德国牧羊犬的运动重新定向 (retarget) 到 A1 四足机器人 (quadrupedal robot) 的形态上。
  • 逆运动学 (Inverse Kinematics, IK)： 用于获取关节角度。
  • 正运动学 (Forward Kinematics, FK)： 用于计算末端执行器 (end-effector) 位置。
  • 有限差分 (Finite Differences)： 用于计算关节速度、基座线速度和角速度。
• 数据集 $\mathcal { D }$： 这些计算出的量（关节角度、关节速度、基座速度等）定义了运动捕捉数据集 $\mathcal { D }$ 中的状态。状态转移从 $\mathcal { D }$ 中采样，作为训练判别器的真实样本。
• 参考状态初始化 (Reference State Initialization)： 在模拟训练中，每个回合开始时，智能体从 $\mathcal { D }$ 中随机采样的状态进行初始化，这有助于引导智能体更快地学习到类似参考运动的行为。

4.2.5. 模型表示 (Model Representation)

• 策略 (Policy): 参数化为一个浅层 多层感知器 (Multi-Layer Perceptron, MLP)，隐藏层维度为 [512, 256, 128]，使用 指数线性单元 (Exponential Linear Unit, ELU) 作为激活函数。策略输出目标关节角度分布的均值和标准差。标准差初始化为 $\sigma _ { i } = 0 . 2 5$。策略以 30 Hz 的频率查询，输出的目标关节角度被送入 比例-微分 (Proportional-Derivative, PD) 控制器，计算电机扭矩。策略的输入是观察值 o _ { t }，包含机器人的关节角度、关节速度、方向和之前的动作。
• 判别器 (Discriminator): 也是一个 MLP，隐藏层维度为 [1024, 512]，使用 ELU 作为激活函数。

4.2.6. 领域随机化 (Domain Randomization)

为了促进从模拟到真实世界的学习行为迁移，本文应用了领域随机化技术 [56]。具体随机化参数如 Table I 所示：

• 地形摩擦力 (Terrain Friction): 在 [0.35, 1.65] 范围内随机。

• 额外基座质量 (Added Base Mass): 在 $[-1.0, 1.0] \ \mathrm{kg}$ 范围内随机。

• 速度扰动 (Velocity Perturbation): 在 $[-1.3, 1.3] \ \mathrm{m/s}$ 范围内随机，在训练期间以随机间隔添加到当前基座速度中。

• 电机增益乘数 (Motor Gain Multiplier): 在 [0.85, 1.15] 范围内随机。

  这些随机化有助于策略在模拟环境中学习到对模型参数不确定性的鲁棒性，从而更好地适应真实世界中不可避免的差异。

4.2.7. 训练设置 (Training)

• 算法： 采用 分布式 PPO (Proximal Policy Optimization) [57] 实现。
• 模拟环境： 使用 Isaac Gym [19], [58] 中的 5280 个模拟环境并行训练。
• 训练步数： 策略和判别器训练了 40 亿个环境步 (environment steps)，相当于 4.2 年的模拟数据，在单个 Tesla V100 GPU 上耗时约 16 小时。
• 批次大小： 每个训练迭代收集 126,720 个状态转移 $( s , s ^ { \prime } )$。
• 优化： 对策略和判别器进行 5 个 epoch 的优化，每个 minibatch 包含 21,120 个转移。
• 学习率 (Learning Rate)： 使用 Schulman et al. [57] 提出的自适应学习率方案自动调整，以维持目标 KL 散度 $\mathrm { K L } ^ { \mathrm { d e s i r e d } } = 0 . 0 1$。
• 判别器优化： 使用 Adam 优化器，梯度惩罚权重 $w ^ { \mathrm { g p } } = 1 0$。
• 奖励权重： 风格奖励权重 $w ^ { s } = 0 . 6 5$，任务奖励权重 $w ^ { g } = 0 . 3 5$。

5. 实验设置

本节详细描述了论文中用于评估不同风格奖励策略性能的实验设置，包括数据集、评估指标、对比基线以及具体的仿真参数。

5.1. 数据集

5.1.1. 运动捕捉数据集

• 来源: Zhang and Starke et al. [55] 提供的德国牧羊犬运动捕捉数据。
• 规模与特点: 数据集包含德国牧羊犬进行 行进 (pacing)、小跑 (trotting)、慢跑 (cantering) 和原地转向 (turning in place) 的短片段。这些运动片段的总时长为 4.5 秒。
• 预处理: 原始数据是对应于动物运动中各个关键点的时序关键点数据。通过以下步骤进行处理以适应机器人模型：
  1. 重定向 (Retargeting): 将德国牧羊犬的运动数据映射到 A1 四足机器人 (quadrupedal robot) 的形态上。
  2. 逆运动学 (Inverse Kinematics, IK): 计算对应的关节角度。
  3. 正运动学 (Forward Kinematics, FK): 计算末端执行器 (end-effector) 位置。
  4. 有限差分 (Finite Differences): 计算关节速度、基座线速度和角速度。
• 目的: 这些处理后的数据定义了运动捕捉数据集 $\mathcal { D }$ 中的状态，并从中采样状态转移作为训练判别器的真实样本。同时，在模拟训练中，智能体在每个回合开始时会从 $\mathcal { D }$ 中随机采样的状态进行初始化，以引导学习过程。

5.2. 评估指标

5.2.1. 速度追踪准确性 (Velocity Tracking Accuracy)

• 概念定义: 衡量机器人策略在执行任务时，其在x-y平面上的线速度以及偏航角速度与给定指令速度的匹配程度。高准确性意味着机器人能够精确地响应速度指令。
• 数学公式: 论文中通过任务奖励函数 $r _ { t } ^ { g }$ 的形式间接体现了速度追踪目标，但没有给出直接的评估指标公式。通常，这会通过计算实际速度与目标速度之间的误差（如均方误差或绝对误差）来量化。 在此，我们可以参考任务奖励函数中的误差项作为评估依据： $\lVert \hat { \vec { v } } _ { t } ^ { \mathrm { x y } } - \vec { v } _ { t } ^ { \mathrm { x y } } \rVert$ (线速度误差) 和 $\lvert \hat { \omega } _ { t } ^ { z } - \omega _ { t } ^ { z } \rvert$ (角速度误差)。 一个综合的追踪误差可以定义为这些误差的平均值或平方根。
• 符号解释:
  • $\hat { \vec { v } } _ { t } ^ { \mathrm { x y } }$: 机器人在 $t$ 时刻的实际线速度向量（x-y平面）。
  • $\vec { v } _ { t } ^ { \mathrm { x y } }$: 机器人在 $t$ 时刻的期望线速度向量（x-y平面）。
  • $\hat { \omega } _ { t } ^ { z }$: 机器人在 $t$ 时刻的实际偏航角速度。
  • $\omega _ { t } ^ { z }$: 机器人在 $t$ 时刻的期望偏航角速度。
  • $\lVert \cdot \rVert$: 向量的L2范数 (Euclidean norm)。
  • $\lvert \cdot \rvert$: 绝对值。

5.2.2. 机械运输成本 (Mechanical Cost of Transport, COT)

• 概念定义: 运输成本是一个无量纲的效率指标，用于量化机器人或生物移动所需的能量消耗。它表示单位重量、单位距离所需的机械能。较低的 COT 值意味着更高的能量效率。它允许在不同尺寸、重量和速度的系统之间进行公平的能效比较。
• 数学公式: $$\mathrm { COT } = \frac { \mathrm { P o w e r } } { \mathrm { W e i g h t } \times \mathrm { V e l o c i t y } } = \sum _ { \mathrm { a c t u a t o r s } } [ \tau \dot { \theta } ] ^ { + } / ( W \| v \| )$$
• 符号解释:
  • $\mathrm { Power }$：机器人通过所有执行器消耗的总机械功率。
  • $\mathrm { Weight }$：机器人的总重量。
  • $\mathrm { Velocity }$：机器人的平均线速度大小。
  • $\sum _ { \mathrm { a c t u a t o r s } }$：对所有执行器进行求和。
  • $\tau$: 单个执行器（关节）产生的扭矩。
  • $\dot { \theta }$: 对应单个执行器（关节）的电机角速度。
  • $[ \cdot ] ^ { + }$: 表示只计算正功率（即能量消耗），如果 $\tau \dot { \theta }$ 为负（表示能量回馈或储存），则计为 0。
  • $W$: 机器人的重量。
  • $\| v \|$: 机器人的线速度大小。

5.3. 对比基线

论文将本文提出的方法与以下两种主要基线进行了比较：

1. 无风格奖励 (No Style Reward): 策略仅使用上述定义的任务奖励 $r _ { t } ^ { g }$ 进行训练。这种基线旨在展示在缺乏物理约束或自然行为先验时，欠指定奖励函数可能导致的低效和不自然行为。由于其行为过于剧烈，该策略仅在模拟环境中进行了评估。
2. 复杂风格奖励 (Complex Style Reward): 策略使用 Rudin et al. [19] 提出的复杂奖励函数进行训练。这个奖励函数由 13 个风格项组成，这些项大部分旨在惩罚由欠指定奖励函数引起的非期望行为。这个基线代表了当前最先进的手工设计复杂奖励策略，其奖励项在附录 (Table III) 中有详细列出。

Table III 复杂奖励公式基线 (Complex Reward Formulation Baseline)

以下是原文 Table III 的结果：

注: Table III 中的符号解释：

• $v_z$: 基座在z轴方向的线速度。
• $\omega_{xy}$: 基座在x-y平面上的角速度。
• $R_{xy}$: 基座在x-y平面上的方向（通常指俯仰和翻滚角）。
• $\tau$: 关节扭矩。
• \thetä: 关节加速度。
• $a_t$: 在时间步 $t$ 采取的动作。
• $c_{body}$, $c_{foot}$: 身体和脚的碰撞状态。
• $I_{terminate}$: 指示回合是否终止的二元变量。
• $\delta$: 关节位置。
• $\mathrm{lim_{low}}$, $\mathrm{lim_{high}}$: 关节位置的下限和上限。
• $\tau_{max}$: 扭矩最大值。
• $v_x$, $v_x^*$: 实际和期望的线速度。
• $\omega_i$, $\omega_i^*$: 实际和期望的角速度。
• $I_{swing}$: 指示脚是否在摆动阶段的二元变量。
• $t_{swing}$: 脚在摆动阶段的持续时间。
• $f$, $f_{max}$: 接触力及其最大值。

5.4. 仿真参数随机化

为了促进 模拟到现实 (sim-to-real) 的迁移，在训练中应用了领域随机化 (Domain Randomization)。 以下是原文 Table I 的结果：

6. 实验结果与分析

本节对使用不同风格奖励函数训练的策略进行了定量和定性分析，旨在回答以下问题：

1. 使用对抗运动先验 (AMP) 训练的策略能否达到与复杂风格奖励相当的任务性能？
2. 不同风格奖励训练的策略能效如何？
3. AMP 策略在真实世界部署时的定性表现如何？

6.1. 核心结果分析

6.1.1. 模拟环境下的任务完成度和能效 (Task Completion and Energy Efficiency in Simulation)

论文首先在模拟环境中比较了三种奖励函数训练的策略性能：无风格奖励 (task reward only)、AMP 风格奖励 和 复杂风格奖励 [19]。目标是让策略精确追踪给定的目标速度。同时，通过计算机械运输成本 (COT) 来评估能效。

以下是原文 Table II 的结果：

结果分析：

• 速度追踪：
  • 所有三种策略在模拟中都能成功追踪目标前向速度。其中，复杂风格奖励 和 无风格奖励 表现出略高的追踪速度，而 AMP 奖励 略低。这表明 AMP 策略在保持风格和能效的同时，在速度追踪精度上略有牺牲，但仍在可接受范围内。
• 能效 (COT)：

  • 无风格奖励： 这种策略的 COT 极高（14.03到5.18），这反映了其行为的低效和剧烈。如图 5 所示，它会通过剧烈震动腿部并利用模拟器不准确的动力学来移动，导致电机高扭矩和高速度，这在真实机器人上是不可行的。

  • 复杂风格奖励： 表现出相对较低的 COT（1.37到1.65），但仍然高于 AMP 策略。这说明手工设计的复杂奖励函数能有效改善能效，但仍有优化空间。

  • AMP 奖励： 在所有速度下都展示出最低的 COT（0.93到1.12）。这表明 AMP 策略是能效最高的。论文认为这归因于策略能够从参考数据中提取节能的运动先验（如犬类经过数百万年进化的节能运动模式），以及策略能够根据速度变化进行自然的步态转换。

    下图展示了无风格奖励策略的电机速度和扭矩波动，印证了其低效和剧烈行为：

    该图像是一个示意图，展示了在不同时间点的平均电机速度和扭矩的变化。红色曲线表示平均电机速度（单位：rad/s），蓝色曲线表示平均电机扭矩（单位：N·m）。形状波动表明没有样式奖励的策略导致了电机不稳定的运行。

Fig. 5. The policy trained with no style reward learns to exploit inaccurate simulator dynamics and violently vibrates the simulated robot's feet on the ground to move. The high motor velocities and torques make it impossible to deploy this control strategy on the real robot.

下图展示了不同奖励函数下追踪正弦速度命令的对比。无风格奖励 策略因行为过于剧烈，仅在模拟中评估。

该图像是图表，展示了运动先验风格奖励、手设计风格奖励和无风格奖励在跟踪正弦线性和角速度命令中的表现比较。图中红线表示命令，绿色虚线为AMP奖励，蓝色虚线为手设计风格奖励。

Fig. 6. Comparison of motion prior style reward, hand-designed style reward, and no style reward in ability to track a sinusoidal linear and angular velocity command. The policy trained with no style reward was evaluated in simulation due to the violent and jittery behaviors it exhibited (shown in Fig. 5). 从图 6 可以看出，AMP 策略和复杂风格奖励策略都能较好地追踪正弦变化的线性和角速度命令，而 AMP 策略在某些情况下显得更为平滑。

6.1.2. 步态转换与能效 (Gait Transitions and Energy Efficiency)

• 自然步态转换： 动物在不同速度下常会进行步态转换以优化能效 [11]。AMP 策略也展现了这种能力。如图 2 所示，当指令速度从 $1 \ \mathrm { m/s }$ 增加到 $2 \ \mathrm { m/s }$ 时，机器人会从 行进 (pacing) 步态平滑地转换为 慢跑 (canter) 步态。行进 步态在低速时是最佳的，而 慢跑 步态（包含腾空阶段）在高速时能效更高。这种自适应的步态转换显著降低了在不同速度下的运输成本。

  下图展示了 AMP 策略学习到的步态转换：

  该图像是图表，展示了通过运动捕捉技术训练四足机器人在步态（Pace）和小跑（Canter）中的行为模式。图中包括机器人不同姿态的动作序列（A），前后脚的运动节奏（B），指令速度与实际速度的比较（C），以及运输成本随时间变化的趋势（D）。

VLM 描述: 该图像是图表，展示了通过运动捕捉技术训练四足机器人在步态（Pace）和小跑（Canter）中的行为模式。图中包括机器人不同姿态的动作序列（A），前后脚的运动节奏（B），指令速度与实际速度的比较（C），以及运输成本随时间变化的趋势（D）。

下图展示了 AMP 策略学习到的 行进 (Pacing) 和 小跑 (Trotting) 步态：

该图像是一个示意图，展示了一个四足机器人在不同姿态下的运动效果。该机器人采用了自然的步态转换，展示了在学习风格奖励后实现的高效能耗运动策略。

VLM 描述: 该图像是一个示意图，展示了一个四足机器人在不同姿态下的运动效果。该机器人采用了自然的步态转换，展示了在学习风格奖励后实现的高效能耗运动策略。 图 3:A 描绘了 行进 步态，左右脚交替摆动和支撑。图 3:B 描绘了 小跑 步态。

6.1.3. 真实世界中的任务完成度 (Task Completion in Real)

• 偏离参考数据完成任务： 传统的模仿学习方法（如显式跟踪）会严格限制策略遵循参考运动，这可能阻碍其完成需要偏离参考数据的任务。然而，AMP 策略的优势在于它能够捕获参考运动的“精髓”，同时为了完成特定任务而进行必要的偏离。图 6 中的结果也展示了 AMP 策略能够追踪正弦变化的线性和角速度命令，即使 4.5 秒的德国牧羊犬数据中不包含这些特定速度下的运动。

• 真实机器人部署： 图 4 展示了 AMP 策略在真实世界中的表现。机器人能够精确追踪速度命令，穿越带有急转弯的复杂路径，同时保持自然主义的运动策略。这证明了 AMP 策略不仅在模拟中有效，也具备了良好的 模拟到现实 (sim-to-real) 迁移能力。

  该图像是示意图，展示了多只四足机器人在复杂环境中执行任务，适应所需速度命令并在狭窄路径上小心导航，以展现运用对抗运动先验的能力。

Fig. 4. By using Adversarial Motion Priors, the policy can deviate from the reference motion data to satisfy the desired velocity commands and navigate carefully through a route with sharp turns.

6.2. 消融实验/参数分析

论文没有明确进行传统的消融实验（例如移除 AMP 框架中的某个组件），但通过对比 无风格奖励、复杂风格奖励 和 AMP 奖励 三种设置，间接验证了 风格奖励 （无论是手工设计还是学习得到）对于生成物理可行、能效高行为的重要性。特别是 无风格奖励 的极端表现突显了 风格奖励 在解决奖励欠指定问题上的关键作用。

关于 超参数 (hyper-parameters) 的分析，论文提到了风格奖励和任务奖励的权重 $w^s = 0.65$ 和 $w^g = 0.35$ 是经过设定的，但没有详细说明这些权重的选择过程或对结果的影响。梯度惩罚权重 $w^{gp} = 10$ 也是一个重要参数，其作用是稳定 GAN 的训练。领域随机化 (Domain Randomization) 的参数范围 (Table I) 也是经过选择的，以确保策略对真实世界的不确定性具有鲁棒性。

7. 总结与思考

7.1. 结论总结

本文成功地证明了使用对抗运动先验 (Adversarial Motion Priors, AMP) 从少量运动捕捉数据中学习风格奖励，可以作为复杂手工设计奖励函数的有效替代品，以训练出能够在真实四足机器人上部署的自然、节能且鲁棒的控制策略。核心发现包括：

• 简化奖励设计： AMP 能够从数据中自动提取运动先验，从而避免了繁琐且难以泛化的复杂奖励函数设计。
• 优越的能效： 与手工设计的复杂奖励相比，AMP 策略表现出更低的机械运输成本 (COT)，这得益于从参考数据中学习到的节能运动模式以及策略在不同速度下进行自然步态转换的能力。
• 良好的模拟到现实迁移： 尽管训练数据量很小（4.5秒），AMP 策略仍能在真实机器人上成功执行任务，展现出在保持运动风格的同时，根据任务需求灵活偏离参考运动的能力。

7.2. 局限性与未来工作

论文中未明确指出自身的局限性，但从内容中可以推断出一些潜在的考量：

• 运动数据多样性： 尽管论文强调少量数据即可学习，但如果目标任务的运动模式与参考运动数据中的模式差异很大，学习效果可能受限。例如，如果需要机器人执行跳跃、翻滚等复杂动作，仅依赖犬类步行数据可能不足。

• 任务复杂性： 本文主要关注速度追踪这类相对直接的运动任务。对于更复杂的、需要与环境深度交互的任务（如越障、抓取），仅仅依靠运动风格奖励可能不足以引导学习，可能需要更精细的任务奖励设计。

• AMP 训练的稳定性： GAN 类的训练通常存在稳定性问题，虽然本文使用了 LSGAN 和梯度惩罚来缓解，但训练过程仍可能对超参数敏感。

• 计算资源需求： 尽管在单个 GPU 上训练时间尚可接受（16小时），但 40 亿个环境步和 5280 个并行环境意味着相当大的计算资源消耗，对于小型实验室或个人开发者而言可能仍是一个挑战。

  未来研究方向可能包括：

• 更通用的运动先验学习： 探索如何从更多样化或非结构化的运动数据中学习更通用的运动先验，使其能够支持更广泛的机器人任务和运动类型。

• 与高级任务规划的结合： 将学习到的运动先验与更高级的规划和决策模块相结合，使机器人能够处理更复杂的、多阶段的任务。

• 在线适应能力： 研究如何让机器人在线微调其运动先验，以适应未知的环境变化或机器人磨损。

• 多模态运动先验： 结合视觉、触觉等多模态数据来学习更丰富的运动先验，以应对更复杂的感知-动作任务。

7.3. 个人启发与批判

7.3.1. 个人启发

这篇论文提供了一个非常重要的启发：数据驱动的奖励设计是解决强化学习奖励函数设计难题的有效途径。 它将一个复杂的手工工程问题（设计奖励函数）转化为一个相对更可控的数据收集与模型训练问题。特别是，利用对抗学习从少量运动捕捉数据中提取“风格”作为奖励，显著降低了实现物理合理、自然行为的门槛。这种方法不仅适用于机器人运动控制，也可能推广到其他需要行为规范或风格化的强化学习任务中。对于初学者而言，它指明了在复杂任务中，可以通过“模仿专家行为”的方式来简化奖励函数的设计，而不再需要从零开始定义所有行为细节。这种思想在现实世界中的应用潜力巨大，例如在机器人辅助康复训练、运动教学等领域，可以帮助机器人学习更人性化、更符合生物力学的动作。

7.3.2. 批判

• “少量数据”的实际意义： 论文强调 4.5 秒的运动捕捉数据量很小，但这 4.5 秒数据是经过精心挑选和预处理的犬类典型步态数据。对于非典型或更多样化的运动模式，或者对于结构、关节数量与犬类差异较大的机器人，所需的数据量和数据质量可能需要重新评估。4.5秒的“量小”可能掩盖了其“质优”和“代表性强”的前提。
• 风格与任务的权衡： 论文中的奖励函数 $r _ { t } = w ^ { g } r _ { t } ^ { g } + w ^ { s } r _ { t } ^ { s }$ 需要手动平衡任务奖励和风格奖励的权重 $w^g$ 和 $w^s$。这种平衡的艺术本身又可能引入一定的调优复杂性，如果权重选择不当，可能导致任务完成度下降或风格模仿不足。未来工作可以探索如何自适应地调整这些权重。
• 判别器的可解释性： 尽管判别器能够学习运动风格，但其学习到的具体“风格特征”往往是隐式的、难以直接解释的。这使得我们难以直观理解哪些运动元素被认为是“好风格”，哪些不是。这种黑箱特性可能在诊断和改进策略时带来挑战。
• 泛化能力的边界： 尽管策略可以在参考数据未见的特定速度下进行步态转换，但这种泛化能力并非无限。当任务需求或环境条件与训练时的参考数据和领域随机化范围差异过大时，策略的鲁棒性可能下降。例如，在非常崎岖的地形上，或者在要求机器人快速适应其物理参数发生大幅变化时，AMP 策略的性能可能需要进一步验证。