Whole-body End-Effector Pose Tracking
TL;DR 精炼摘要
本研究提出了一种全身强化学习方案用于四足机器人在复杂地形中的末端执行器姿态跟踪。结合地形感知采样策略和博弈式课程学习,系统可有效应对高自由度和环境变化,实现了高精度位置(误差2.64 cm)和方向(误差3.64°)跟踪,展现了在楼梯等多样地形下的强适应性。
摘要
Combining manipulation with the mobility of legged robots is essential for a wide range of robotic applications. However, integrating an arm with a mobile base significantly increases the system's complexity, making precise end-effector control challenging. Existing model-based approaches are often constrained by their modeling assumptions, leading to limited robustness. Meanwhile, recent Reinforcement Learning (RL) implementations restrict the arm's workspace to be in front of the robot or track only the position to obtain decent tracking accuracy. In this work, we address these limitations by introducing a whole-body RL formulation for end-effector pose tracking in a large workspace on rough, unstructured terrains. Our proposed method involves a terrain-aware sampling strategy for the robot's initial configuration and end-effector pose commands, as well as a game-based curriculum to extend the robot's operating range. We validate our approach on the ANYmal quadrupedal robot with a six DoF robotic arm. Through our experiments, we show that the learned controller achieves precise command tracking over a large workspace and adapts across varying terrains such as stairs and slopes. On deployment, it achieves a pose-tracking error of 2.64 cm and 3.64 degrees, outperforming existing competitive baselines.
思维导图
论文精读
中文精读
1. 论文基本信息
1.1. 标题
Whole-Body End-Effector Pose Tracking (全身末端执行器姿态跟踪)
1.2. 作者
Tifanny Portela, Andrei Cramariuc, Mayank Mittal 和 Marco Hutter。 作者来自苏黎世联邦理工学院 (ETH Zurich) 的机器人系统实验室 (Robotic Systems Lab) 以及 NVIDIA。他们在腿式机器人(尤其是 ANYmal 机器人)和移动操作领域具有极高的国际声誉。
1.3. 发表期刊/会议
该论文发表在 arXiv 预印本平台上(2024年),属于机器人学顶级会议或期刊的投稿级别(如 ICRA/IROS)。该研究团队通常在机器人学最顶尖的会议和《Science Robotics》等顶刊发表成果。
1.4. 发表年份
2024 年(更新版本发布于 2024 年 9 月)。
1.5. 摘要
本文解决了一个极具挑战性的任务:如何在复杂、非结构化地形上实现四足机器人的全身末端执行器姿态跟踪。为了克服传统模型预测控制 (MPC) 在复杂地形鲁棒性不足,以及现有强化学习 (RL) 方法工作空间受限或缺乏方向跟踪能力的问题,作者提出了一种全新的全身强化学习方案。核心方法包括一种地形感知采样策略 (Terrain-aware sampling strategy) 和一种基于博弈的课程学习 (Game-based curriculum)。实验证明,该控制器在 ANYmal 四足机器人上实现了极高的跟踪精度(位置误差 2.64 cm,角度误差 3.64°),且能适应楼梯、斜坡等多种地形,表现优于现有的模型驱动和学习驱动基线。
1.6. 原文链接
-
发布状态: 预印本 (Preprint)。
2. 整体概括
2.1. 研究背景与动机
- 核心问题: 如何让带有机械臂的四足机器人在复杂地形(如楼梯、乱石堆)上精确地控制机械臂末端(手部)的位置和方向?
- 重要性: 将腿式机器人的移动能力与机械臂的操作能力结合,是实现野外搜索救援、工业巡检和自主物流的关键。
- 现有挑战:
- 复杂性高: 系统具有高自由度 (DoF)、冗余性和高度非线性的动力学特征。
- 传统方法 (MPC) 的局限: 依赖精确的物理模型。在遇到打滑、重物或未知地形时,模型不准会导致控制失效。
- 现有 RL 方法的不足: 之前的 RL 研究通常只训练机器人跟踪 3D 位置,忽略了抓取物体所需的 3D 方向(Orientation),或者限制机械臂只能在机器人正前方的一小块区域内工作。
- 创新点: 引入了地形感知的工作空间扩展策略和基于关键点的姿态表示法,实现了在全工作空间、全地形下的高精度姿态跟踪。
2.2. 核心贡献/主要发现
-
高精度全身 RL 控制器: 首次实现了在包括楼梯在内的复杂地形上进行 6 自由度 (6-DoF) 的姿态跟踪。
-
地形感知采样策略: 通过预采样 10,000 个碰撞检查的姿态并结合随机机身变换,极大地扩展了机器人的操作范围。
-
关键点表示法: 使用末端执行器立方体的顶点坐标作为指令,巧妙地解决了旋转表示的不连续性问题,简化了奖励函数的调节。
-
实机验证: 在 ANYmal D 机器人上证明了该方法在面对外部推力、沉重载荷(高达 3.75 kg)时的卓越鲁棒性。
3. 预备知识与相关工作
3.1. 基础概念
- 末端执行器 (End-Effector, EE): 机械臂末端的工具或夹持器,即机器人用来与环境直接交互的部分。
- 姿态 (Pose): 包含位置 (Position) 和 方向/姿态角 (Orientation)。在三维空间中,一个完整的姿态由 6 个参数定义(3 个坐标 + 3 个角度)。
- 自由度 (Degrees of Freedom, DoF): 机器人关节可以独立运动的轴数。本文使用的系统总共有 18 个自由度(每条腿 3 个,共 12 个;机械臂 6 个)。
- 强化学习 (Reinforcement Learning, RL): 一种机器学习方法,智能体 (Agent) 通过在环境中不断尝试、获取奖励 (Reward) 或惩罚 (Penalty) 来学习最优控制策略。
- 策略 (Policy): 强化学习中的“大脑”,输入传感数据(如关节位置),输出控制指令(如电机扭矩或目标角度)。
3.2. 前人工作
- 模型预测控制 (Model Predictive Control, MPC): 之前的研究(如 ALMA 系统)使用 MPC 进行全身控制。
- 核心逻辑: 通过优化未来一段时间内的预测轨迹来计算当前的控制量。
- 弱点: 难以处理复杂摩擦力、物体重量突变或非连续的地形接触。
- 学习驱动的全身控制: Fu 等人提出的方法虽然能实现全身运动,但在方向跟踪精度上表现较差(误差高达 66°)。
3.3. 差异化分析
本文与现有工作的最大区别在于其“全能性”:它不要求机械臂固定在前方,也不要求地面是平的,更不需要提前知道物体的精确物理参数。通过在仿真中加入海量的多样化指令和随机扰动,策略学会了如何利用腿部的起伏来辅助手臂触达极限位置。
4. 方法论
4.1. 系统架构
作者将任务定义为一个马尔可夫决策过程 (MDP),并使用 近端策略优化 (Proximal Policy Optimization, PPO) 算法进行训练。
4.2. 地形感知的指令采样
这是本文的核心技巧之一。为了让机器人学会利用全身运动,指令生成过程分为三步:
-
初始臂部采样: 在机器人底座坐标系下,随机旋转机械臂的 6 个关节,记录下不发生碰撞的 10,000 个末端姿态。
-
工作空间扩展: 为了不让底座死板不动,给底座施加一个随机的位移和旋转变换 。
- 位移范围:X/Y 方向 ,Z 方向 。
- 旋转范围:滚转、俯仰、偏航角 。
-
地形过滤: 如图 3 所示,在训练过程中,如果采样的目标姿态掉到了地面以下(通过高度图查询),则会增加一个 的安全裕量并重新采样,确保指令在物理上是可达的。
下图(原文 Figure 2)展示了整体训练流程和指令采样方案:
该图像是示意图,展示了全身末端执行器姿态跟踪的训练流程与数据收集方法。图中分别展示了粗糙地形高度图(A)、采样的姿态指令(B)及机器人初始配置(C)。该流程通过地形碰撞检查等步骤,优化命令采样,以提高跟踪精度。
4.3. 姿态的表示法 (Keypoint-based Representation)
传统方法使用四元数或欧拉角表示方向,但这会带来数学上的不连续性或复杂的奖励函数权重调节。 作者采用了关键点表示法:
- 假设末端执行器是一个边长为 的立方体。
- 取该立方体的 3 个顶点作为关键点。
- 指令输入: 目标关键点与当前关键点在底座坐标系下的位置差值,形成一个 9 维向量(3 个点 3D 坐标)。
- 优点: 这种表示法是连续的,且一个奖励函数就能同时优化位置和方向。
4.4. 奖励函数设计 (Reward Functions)
训练的总奖励 是任务奖励 和惩罚项 的总和:。
4.4.1. 跟踪奖励 (Tracking Reward, )
这是一个延迟奖励,仅在 4 秒指令周期的最后 2 秒生效,目的是给机器人时间去调整姿态,而不限制它移动的过程路径。
- 和 : 分别是第 个关键点的目标 (command) 和 实测 (measured) 在底座坐标系下的坐标。
- : 缩放因子,设为
0.05。 - : 指令总时长(4秒);: 奖励生效时长(2秒)。
4.4.2. 进度奖励 (Progress Reward, )
为了解决跟踪奖励过于稀疏的问题,作者引入了进度奖励,鼓励机器人稳步靠近目标。
- : 当前时刻关键点到目标的距离。
- : 之前记录的最小距离。如果当前更近了,就给奖励。
4.4.3. 惩罚项 ()
为了使运动更自然、平滑且保护电机,设置了以下惩罚:
- : 惩罚关节扭矩 (Torque)。
- : 惩罚关节角加速度 (Acceleration)。
- : 惩罚动作变化率 (Action Rate),使运动平滑。
- : 惩罚超出关节限位 (Limit) 的行为。
4.5. 观测空间 (Observation Space)
策略的输入包含 45 维的本体感受数据:
-
: 在底座坐标系下的重力向量 (Gravity vector)。
-
: 底座的线速度和角速度 (Linear and angular velocities)。
-
: 所有关节的当前位置 (Joint positions)。
-
: 上一时刻的动作 (Previous actions)。
5. 实验设置
5.1. 硬件平台与仿真环境
- 硬件: ANYmal D 四足机器人 + Duatic Dynaarm (6-DoF 机械臂)。
- 仿真器: Isaac Lab (基于 NVIDIA Isaac Gym),支持数千个机器人并行训练。
- 控制频率: 策略运行频率为 50 Hz,底层电机执行频率为 400 Hz。
5.2. 评估指标
- 位置误差 (Position Error, ): 目标位置与实际位置的欧几里得距离,单位:厘米 (cm)。
- 方向误差 (Orientation Error, ): 目标姿态与实际姿态之间的角度偏差,单位:度 (deg)。通过旋转矩阵或四元数转换为轴角 (Axis-Angle) 表示后的角度。
5.3. 训练课程 (Curriculum)
训练在四种地形上进行:平地、随机崎岖地面、离散障碍物和楼梯。
-
难度晋级规则: 如果机器人平均位置误差 且方向误差 ,则进入更难的地形。
-
降级规则: 如果误差过大,则返回简单地形。
6. 实验结果与分析
6.1. 核心结果分析
在实机部署中,该控制器展现了极强的泛化能力。
-
平地表现: 位置误差仅为 ,方向误差为 。
-
楼梯表现: 位置误差为 ,方向误差为 。
下图(原文 Figure 5)展示了硬件实验中的误差分布:
该图像是图表,展示了20个末端执行器位置和方向误差的分布,分别在平坦地形和楼梯上测量。左侧为位置误差(单位:cm),右侧为方向误差(单位:度),并显示了不同地形下的误差分布密度。
6.2. 消融实验:姿态表示法的对比
作者对比了四种不同的姿态表示方案。下表展示了在仿真环境(平地,10,000个测试点)中的性能:
以下是原文 Figure 4 的数据分析结论(转录自图表趋势):
- 关键点 (Keypoints): 表现最佳,误差分布最集中且均值最低。
- 6D 表示法: 排名第二,但位置误差比关键点高约 。
- 四元数 (Quaternion) 与 欧拉角 (Euler): 表现最差,经常由于旋转表示的不连续性导致训练崩溃或精度低下。
6.3. 与模型预测控制 (MPC) 的对比
虽然在某些特定位置 MPC 非常精确,但在整个扩展的工作空间内:
- RL 控制器: 平均误差 。
- MPC 控制器: 平均误差 。
- 分析: MPC 容易在处理自碰撞避障时“卡住”,而 RL 策略通过端到端的训练学会了更灵活的规避路径。
6.4. 载荷鲁棒性测试
作者在末端执行器上添加了未建模的重物。
以下是原文 Table I 的结果:
| 额外载荷 [kg] | 0 - 2.0 (训练范围) | 2.5 | 3.0 | 3.5 | 4.0 | 4.5 |
|---|---|---|---|---|---|---|
| 平均位置误差 [cm] | 0.83 | 1.18 | 1.89 | 4.77 | 10.69 | 15.33 |
| 平均方向误差 [deg] | 3.45 | 6.99 | 10.87 | 22.54 | 36.31 | 45.02 |
分析: 只要载荷在 的训练范围内,精度非常稳定。即便超出范围到 ,系统依然能保持一定的跟踪能力,显示出 RL 极强的抗干扰性。
7. 总结与思考
7.1. 结论总结
本文成功开发了一个鲁棒、高精度的全身 RL 控制器,解决了四足移动操作平台在复杂地形下“手眼配合”不准的问题。通过地形感知的采样和关键点表示法,该系统打破了以往 RL 控制器只能在机器人前方小范围工作的局限,实现了真正的全身协作。
7.2. 局限性与未来工作
- 环境感知不足: 当前策略主要依赖本体感受(关节、速度等),没有直接利用视觉避障。未来可以集成 3D 环境表示(如点云或高度图)来自动避开障碍物。
- 重载控制: 当载荷极重时(如 >4kg),性能下降明显。未来可以引入 长短期记忆网络 (LSTM) 或 在线系统辨识 (Recursive Least Squares) 来实时估计物体的物理属性。
7.3. 个人启发与批判
- 启发: 关键点表示法 (Keypoints) 在处理 3D 旋转时的优雅性值得在其他机器人任务中推广。它避开了繁琐的四元数归一化和欧拉角死锁问题。
- 批判: 论文提到为了平滑切换,使用了预训练的行走策略来初始化,这虽然实用,但意味着整个系统仍然是模块化的。如果能实现从行走倒立到精准操作的单一端到端策略 (Single Unified Policy),那将是该领域的终极目标。
- 应用潜力: 这种技术可以直接应用于核电站巡检(需要机械臂精确旋转阀门)或野外地质采样。
相似论文推荐
基于向量语义检索推荐的相关论文。