论文
登录后可查看剩余解析次数。
标签筛选
多模态动作表示与建模
Octo: An Open-Source Generalist Robot Policy
发表：2024/5/21
通用机器人策略多模态动作表示与建模Transformer架构大规模机器人演示数据集机器人动作学习
Octo是首个基于Transformer、在80万条多机器人操作轨迹上预训练的开源通用机器人策略，支持语言指令和目标图像导向。它能快速适配多种传感器和动作空间，实现高效微调，实验证明其在9个平台泛化优越，为通用机器人智能奠定基础。
05
UMI-on-Air: Embodiment-Aware Guidance for Embodiment-Agnostic Visuomotor
Policies
基于大语言模型的动作规划机器人多模态学习多模态动作表示与建模大规模机器人演示数据集通用机器人策略
提出UMIonAir框架，结合通用操作接口UMI采集的人类示范训练与具体形态无关的视觉运动策略。通过形态感知扩散策略（EADP）在推理阶段融合形态特定控制器，有效引导轨迹生成，提高受限机器人形态（如空中机械手）操作的成功率、效率和鲁棒性，实现跨形态即插即用部署。
03