OmniDexGrasp: Generalizable Dexterous Grasping via Foundation Model and Force Feedback
TL;DR 精炼摘要
本文提出了名为OmniDexGrasp的框架,通过结合基础模型和力反馈,实现通用灵巧抓取,提升机器人的泛化能力与抓取稳定性。主要包括三个模块:生成人类抓取图像以增强泛化、人类演示到机器人动作的转换策略,以及力感知自适应抓取策略,通过实验验证了其在多样化抓取任务中的有效性。
摘要
Enabling robots to dexterously grasp and manipulate objects based on human commands is a promising direction in robotics. However, existing approaches are challenging to generalize across diverse objects or tasks due to the limited scale of semantic dexterous grasp datasets. Foundation models offer a new way to enhance generalization, yet directly leveraging them to generate feasible robotic actions remains challenging due to the gap between abstract model knowledge and physical robot execution. To address these challenges, we propose OmniDexGrasp, a generalizable framework that achieves omni-capabilities in user prompting, dexterous embodiment, and grasping tasks by combining foundation models with the transfer and control strategies. OmniDexGrasp integrates three key modules: (i) foundation models are used to enhance generalization by generating human grasp images supporting omni-capability of user prompt and task; (ii) a human-image-to-robot-action transfer strategy converts human demonstrations into executable robot actions, enabling omni dexterous embodiment; (iii) force-aware adaptive grasp strategy ensures robust and stable grasp execution. Experiments in simulation and on real robots validate the effectiveness of OmniDexGrasp on diverse user prompts, grasp task and dexterous hands, and further results show its extensibility to dexterous manipulation tasks.
思维导图
论文精读
中文精读
1. 论文基本信息
1.1. 标题
OmniDexGrasp: Generalizable Dexterous Grasping via Foundation Model and Force Feedback
1.2. 作者
i-Lin Wei*, Zhexi Luo*, Yuhao Lin, Mu Lin, Zhizhao Liang, Shuoyu Chen, Wei-Shi Zheng i
(带有星号 * 的作者通常表示共享第一作者身份)
1.3. 隶属机构
School of Computer Science and Engineering, Sun Yat-sen University, China
1.4. 发表期刊/会议
预印本 (arXiv),目前尚未在正式的期刊或会议上发表。然而,其内容涉及机器人学、计算机视觉和人工智能交叉领域的前沿研究,这类研究通常会在顶级会议(如 CVPR, ICCV, NeurIPS, ICRA, IROS)或期刊上发表。
1.5. 发表年份
2025年
1.6. 摘要
本论文提出了 OmniDexGrasp,一个通过结合基础模型 (Foundation Model) 和力反馈 (Force Feedback) 实现通用灵巧抓取 (Generalizable Dexterous Grasping) 的框架。针对现有方法在多样化物体或任务上泛化能力不足,以及基础模型知识与机器人实际执行之间存在鸿沟的挑战,OmniDexGrasp 旨在实现用户提示、灵巧实体和抓取任务的“全能”能力 (omni-capabilities)。该框架包含三个核心模块:(i) 利用基础模型生成人类抓取图像,以增强泛化能力并支持多样化的用户提示和任务;(ii) 提出一种人类图像到机器人动作的转换策略,将人类演示转化为可执行的机器人动作,实现灵巧实体的全能性;(iii) 设计一种力感知自适应抓取策略,确保抓取执行的鲁棒性和稳定性。通过在仿真和真实机器人上的实验,验证了 OmniDexGrasp 在处理多样化用户提示、抓取任务和灵巧手方面的有效性,并展示了其向灵巧操作任务扩展的潜力。
1.7. 原文链接
- 论文预印本链接: https://arxiv.org/abs/2510.23119
- PDF 链接: https://arxiv.org/pdf/2510.23119v1.pdf
- 发布状态: arXiv 预印本,发布于 2025-10-27T08:48:41.000Z。
2. 整体概括
2.1. 研究背景与动机
机器人灵巧抓取 (Robotic dexterous grasping) 是机器人学中的一个核心且极具挑战性的问题。最终目标是建立一个通用的、统一的框架,使不同的机器人能够理解并执行人类指令,以处理各种物体、任务和环境。这对于提升机器人在工业、家庭和现实世界应用中的实用性至关重要。
现有挑战:
- 泛化能力受限: 现有基于数据驱动的灵巧抓取方法(如条件生成模型)依赖于视觉观察和用户命令生成抓取动作。然而,这些方法需要大量对齐的观察-动作数据集进行训练,而语义灵巧抓取数据集的规模和多样性有限,导致它们难以泛化到新颖物体类别、多样化用户命令和不同的灵巧机器人实体 (dexterous embodiment)。
- 基础模型与机器人执行的鸿沟: 尽管基础生成模型 (Foundation Generative Models) 在大规模数据集上训练,具备强大的泛化能力和多模态适应性,但它们的高层知识与机器人执行的低层物理约束之间存在巨大鸿沟。这使得基础模型难以直接生成可执行的机器人动作,其输出可能导致物理上不可行的交互,甚至因模型幻觉 (model hallucinations) 而失败。
本文切入点与创新思路:
OmniDexGrasp 旨在弥合基础模型与机器人执行之间的差距,通过以下思路解决上述挑战:
- 利用基础模型增强泛化: 不直接让基础模型生成机器人动作,而是利用其强大的知识生成人类抓取图像作为中间表示,从而支持多样化的用户提示和任务,且无需额外的机器人数据。
- 构建桥梁: 提出一种人类图像到机器人动作的转换策略 (human-image-to-robot-action transfer strategy),将基础模型生成的抽象人类抓取图像转化为机器人可执行的灵巧动作。
- 引入物理约束: 开发力感知自适应抓取模块 (force-aware adaptive grasping module),通过实时力反馈来确保抓取过程的鲁棒性和稳定性,解决生成模型缺乏物理约束的问题。
2.2. 核心贡献/主要发现
本文的主要贡献总结如下:
- 提出了
OmniDexGrasp框架: 该框架利用基础模型,实现了在任务、场景、用户提示和机器人实体 (robot embodiments) 上具有全能能力的通用灵巧抓取。 - 引入了人类图像到机器人动作的转换策略: 该策略能够准确地将基础模型生成的视觉内容转换为可执行的灵巧机器人动作。
- 提出了力感知自适应抓取策略: 通过控制手指施加的力,实现稳定可靠的抓取执行。
主要发现:
OmniDexGrasp在多样化的用户提示、抓取任务和灵巧手上表现出高效的抓取成功率和意图一致性。- 消融实验证明了转换策略和力感知策略对于提高抓取鲁棒性和稳定性的关键作用。
OmniDexGrasp在模拟和真实世界实验中,在处理未见过物体类别方面显著优于现有最先进的灵巧抓取方法,表现出强大的泛化能力。- 框架可以扩展到灵巧操作任务和不同的灵巧手,显示了其通用性和潜力。
3. 预备知识与相关工作
3.1. 基础概念
-
灵巧抓取 (Dexterous Grasping):
- 概念定义: 机器人使用多指灵巧手以精细、灵活的方式抓住和操纵物体。与简单的两指夹持器 (parallel grippers) 不同,灵巧手通常有多个自由度,可以模拟人类手的复杂运动,实现多种抓取姿态 (grasp poses) 和操作。这使得机器人能够执行更复杂的任务,如拿起不规则物体、进行精细组装或使用工具。
- 重要性: 灵巧抓取是实现机器人与环境进行复杂交互的关键技术,对于提升机器人在工业、服务和家庭环境中的实用性至关重要。
-
基础模型 (Foundation Models):
- 概念定义: 指在大规模、多样化数据集上预训练的、能够适应广泛下游任务的巨型模型。这些模型通常具有数十亿甚至数万亿的参数,在训练过程中学习到丰富的世界知识、语义理解和生成能力。
- 在本文中的应用:
OmniDexGrasp利用基础模型的泛化能力 (generalization capability) 和多模态适应性 (multi-modal adaptability) 来理解用户指令和生成视觉内容(人类抓取图像),而非直接生成机器人动作。 - 例子: 文本生成模型(如 GPT 系列)、图像生成模型(如 Stable Diffusion, DALL-E, Qwen-Image)、视频生成模型(如 Kling, WanX)以及多模态大型语言模型 (MLLMs)(如 GPT-4o)。
-
6D 姿态估计 (6D Pose Estimation):
- 概念定义: 指确定物体在三维空间中的三维位置 (x, y, z) 和三维方向 (roll, pitch, yaw) 的任务。这通常通过分析图像或点云数据来实现。
- 在本文中的应用: 用于重建手部和物体的 3D 表示,以及将这些表示从相机坐标系转换到机器人坐标系,以实现精确的抓取。
- 相关模型: MegaPose [31], Any6D [30], FoundationPose [33]。
-
MANO 模型 (MANO Model):
- 概念定义:
MANO(MANO: A Model of Articulated Hand and Object) 是一个参数化的手部模型,能够表示各种人类手部的形状和姿态。它通过一组参数(如形状参数、姿态参数)来控制手部的骨骼结构和关节角度,从而生成逼真的人手 3D 网格。 - 在本文中的应用: 用于从生成的图像中重建人手的 3D 姿态和形状。
- 概念定义:
-
力反馈 (Force Feedback):
- 概念定义: 机器人通过传感器(如力传感器、触觉传感器)测量其与环境或物体交互时产生的力或扭矩。这些测量值可以用来调整机器人的行为,使其能够更安全、更稳定地完成任务。
- 在本文中的应用:
OmniDexGrasp利用力反馈实现力感知自适应抓取,防止过度挤压或抓取不稳,确保抓取过程中的鲁棒性和安全性。
-
PD 控制器 (Proportional-Derivative Controller):
- 概念定义: 一种常用的反馈控制器。它根据当前误差 (比例项 P) 和误差变化率 (微分项 D) 来计算控制输出,从而驱动系统达到目标状态。
- 在本文中的应用: 用于力感知自适应抓取策略中,根据目标手指配置和当前手指位置之间的误差,以及力的反馈,来调整手指的运动。
3.2. 前人工作
3.2.1. 灵巧抓取 (Dexterous Grasp)
- 早期研究: 主要关注抓取的稳定性 (stability) 和质量 (quality) [6], [7]。这些方法通常基于几何分析、力闭合 (form closure) 或力平衡 (force closure) 等理论,以确保抓取能够稳定地支撑物体。
- 语义抓取: 近期研究开始强调抓取的语义性 (semantics),利用人类语言作为条件来指导抓取任务 [10], [9]。这类方法通常是数据驱动的,依赖于大量的视觉观察-动作对数据集进行训练。
- 挑战: 数据驱动方法受限于数据集的规模和多样性,缺乏大规模、语义标注良好的数据集 [11], [20],导致其在泛化到多样化的真实世界物体方面存在困难。
- 跨类别泛化: 一些基于可供性 (affordance) 或检索 (retrieval) 的方法 [13], [14] 展现出一定的跨类别泛化能力,但其泛化性受限于不同类别之间共享的相似部件,难以扩展到结构完全不同的新颖物体。
- 本文与前人工作的差异:
OmniDexGrasp引入预训练基础模型,将学习到的抓取和操作模式迁移到通用机器人执行中,以克服传统数据驱动方法的泛化限制。
3.2.2. 机器人学中的基础模型 (Foundation Models for Robotics)
- 发展: 随着计算机视觉和多模态学习的快速发展,基础模型(如多模态大型语言模型
MLLMs[16]、图像生成模型 [21]、视频生成模型 [22])在捕获潜在模式和泛化以指导机器人执行方面显示出强大能力。 - VLA 模型: 一些工作通过机器人动作数据对大型语言模型
LLMs进行微调 (fine-tune),构建视觉-语言-动作 (Vision-Language-Action, VLA) 模型 [11], [23]。 - 视频生成模型: 另一些工作 [24] 直接在机器人视频数据集上训练视频生成模型。
- 挑战: 这些方法仍然依赖于机器人特定的微调数据 (robot-specific fine-tuning data),这限制了它们的泛化能力。
- 人类视频/图像利用: 一些工作 [17], [25] 利用预训练基础模型生成的人类视频来实现机器人操作,但这些工作主要针对平行夹持器 (parallel grippers),将其扩展到灵巧机器人手面临更大的挑战,特别是模型幻觉可能导致物理上不可行的交互。
- 本文与前人工作的差异:
OmniDexGrasp提出了一种无需学习 (learning-free) 的基础模型利用方式,并结合了转换策略 (transfer strategy) 和力感知策略 (force-aware strategy),从而在实现强大泛化能力的同时,保证高质量的灵巧执行。
3.3. 技术演进与差异化分析
该领域的技术演进从专注于抓取稳定性、质量的几何方法,逐步发展到利用深度学习实现语义理解和抓取生成。近期,基础模型在多模态理解和生成方面的突破,为机器人学带来了新的机遇。
本文 OmniDexGrasp 的主要差异化和创新点在于:
- 解耦 (Decoupling) 基础模型与机器人动作: 大多数现有工作试图让基础模型直接输出机器人动作,但这带来了物理不可行性问题。
OmniDexGrasp巧妙地将这一问题分解为两步:- 第一步:高层意图理解与视觉生成。 利用基础模型强大的语义理解和泛化能力,根据用户提示生成人类抓取图像。人类抓取图像作为一种中间表示,能够更好地利用基础模型在人类行为数据上的丰富先验知识,并避免了对特定机器人硬件的依赖。
- 第二步:低层动作转换与物理执行。 设计专门的“人类图像到机器人动作转换”模块,将抽象的人类抓取图像转化为具体、可执行的机器人动作。
- 引入物理约束: 在动作执行阶段,加入“力感知自适应抓取”模块,通过实时力反馈纠正生成模型可能带来的不精确性或物理不可行性,确保抓取的鲁棒性和安全性。
- “全能”能力: 通过上述解耦和物理反馈机制,实现了在用户提示、灵巧实体和抓取任务上的“全能”能力,能够适应多样的用户输入(语言、视觉提示、演示)、多种灵巧手以及复杂任务场景(语义抓取、拥挤抓取、人机交接、脆弱物体抓取等)。这与当前许多受限于特定数据集或硬件的机器人抓取方法形成鲜明对比。
4. 方法论
4.1. 方法原理
OmniDexGrasp 框架旨在实现通用灵巧抓取,其核心思想是利用基础模型的高层语义理解和泛化能力来生成人类抓取图像,然后通过一个转换策略将这些图像转化为机器人可执行的动作,并最终通过力感知控制策略确保抓取的鲁棒性和安全性。这种分阶段的方法有效地弥合了基础模型抽象知识与物理机器人执行之间的鸿沟。
问题定义 (Problem Formulation)
给定场景的单视角 RGBD 观察 (用于部分点云) 和 (用于 RGB 图像),以及用户命令 作为输入,目标是生成与意图对齐且高质量的灵巧动作 。其中, 表示机械臂末端执行器 (arm end-effector) 的 6D 姿态 (6D pose), 表示灵巧手 (dexterous hand) 的关节角度 (joint angles)。
框架概述 (Framework Overview)
OmniDexGrasp 框架由三个主要组件构成,外加一个可扩展到操作任务的模块:
-
基础生成模型生成人类抓取图像 (Human Grasp Image Generation by Foundation Models, Sec. III-B): 利用强大的基础模型根据用户提示和场景观察生成人类抓取物体时的图像。
-
人类图像到机器人动作转换策略 (Human-image-to-Robot-action Transfer, Sec. III-C): 将生成的人类抓取图像转换为机器人可执行的灵巧抓取动作。
-
力感知自适应抓取策略 (Force-Aware Adaptive Grasping, Sec. III-D): 在执行抓取动作时,利用力反馈确保抓取的稳定性和安全性。
-
扩展到操作任务 (Extension to Manipulation, Sec. III-E): 框架可以自然地扩展到灵巧操作任务。
下图(原文 Figure 2)展示了 OmniDexGrasp 框架的三个关键模块:
图 2: OmniDexGrasp 框架概览。
4.2. 核心方法详解
4.2.1. 抓取图像生成 (Grasp Image Generation by Foundation Models)
原理: 为了实现通用抓取,该模块利用基础生成模型生成人类抓取图像,而不是直接生成机器人抓取。这样做的原因有两点:
- 利用先验知识: 基础模型主要在包含丰富人类行为的大规模数据集上进行训练,能够更好地利用这些数据中蕴含的泛化能力和动力学、交互原理的先验知识。
- 中间表示的桥梁作用: 人类抓取数据作为一种有效的中间表示,可以弥合多样化异构机器人和灵巧手之间的差距,避免为每个特定的机器人平台训练单独的模型。
实现细节:
-
输入: 场景的 RGB 观察 和用户提示 (user prompt)。
-
输出: 人类抓取图像 。
-
用户提示的“全能”性: 提示可以是多种形式,例如自然语言指令、在观察图像上指定抓取点或区域的掩码 (mask),以及演示图像 (demonstration image)。
-
提示模板: 为了提高生成质量,设计了一个提示模板来生成详细的系统提示,包括正面提示 (positive components) 和负面提示 (negative components)。
- 提示示例 (Prompt Example):
- 正面 (Positive): Object: {name}. Intention: {intent}. Based on the input image and grasp intention, generate a image of a human right hand grasping the object. Camera fixed, hand enters from bottom-right, grasps the object, then stays still. Realistic style, uniform lighting, clear details.
- 解释: 包含物体名称、意图,并明确要求生成一个人类右手抓取物体的图像,指定了视角、手部进入方向和图像风格等细节,以引导生成模型。
- 负面 (Negative): Overly saturated colors, overexposed, blurry details, grayish tone, worst quality, low quality, artifacts, ugly, incomplete, extra fingers, poorly rendered hands, deformed, disfigured, malformed limbs, fused fingers
- 解释: 明确指出需要避免的图像质量问题和不自然的身体特征(如多余手指、变形肢体),以提高生成图像的真实感和可用性。
- 正面 (Positive): Object: {name}. Intention: {intent}. Based on the input image and grasp intention, generate a image of a human right hand grasping the object. Camera fixed, hand enters from bottom-right, grasps the object, then stays still. Realistic style, uniform lighting, clear details.
- 提示示例 (Prompt Example):
-
支持的基础生成模型:
- 图像生成模型: 闭源模型 (GPT-Image [16]) 和开源模型 (Qwen-Image [21])。
- 视频生成模型: 闭源模型 (Kling [26]) 和开源模型 (WanX [22])。对于视频生成模型,提取视频中处于抓取动作的最后一帧作为抓取图像。
-
默认选择: 除非另有说明,实验中默认使用
GPT-Image作为图像生成器。下图(原文 Figure 3)展示了基础生成模型的输入和输出,说明了生成图像中物体姿态可能发生的变化,这强调了后续转换策略的必要性。
图 3: 基础生成模型的输入和输出的可视化,说明了生成图像中物体姿态可能发生的变化。
4.2.2. 人类图像到机器人动作转换 (Human-image-to-Robot-action Transfer)
原理: 尽管人类抓取图像生成有效,但它们不能直接转化为机器人可执行的动作,且生成的图像可能存在模型幻觉 (model hallucination),导致物体姿态与真实世界不符。因此,需要一个转换策略来将这些图像转化为与图像内容一致且物理可行的机器人灵巧动作 。该策略包括三个组件:手-物体重建、灵巧手重定向和可执行动作转换。
4.2.2.1. 手-物体重建 (Hand-object Reconstruction)
目标: 重建手部 (MANO [27] 参数) 和物体 (物体网格 和尺度 ) 的 3D 表示,并确保它们之间的交互是物理可行的。
步骤:
- 手部重建: 使用 HaMeR [28] 模型获取人手的关节姿态 和腕部 6D 姿态 (在相机坐标系中)。
- MANO 模型参数: MANO 模型的参数包括手部形状参数和姿态参数。这里 表示关节角度,而 是腕部在 6D 空间中的位置和方向。
- 物体重建: 使用 Hyper3D [29] (一个图像到网格的 3D 生成模型) 在未被遮挡的原始图像 上获取物体网格 。物体尺度 则通过 Any6D [30] 的优化方法进行估计。物体 6D 姿态 通过 MegaPose [31] 在生成的图像相机坐标系中进行估计。
- 交互一致性优化: 独立的估计可能导致手-物体交互中的误差,特别是在相机深度轴方向上。为解决此问题,遵循 EasyHOI [32] 的方法,通过对齐手-物体交互的一致性来优化 (即 沿深度轴的平移分量)。
- 手部姿态转换到物体坐标系: 最后,将优化后的腕部姿态 转换到物体坐标系中,得到 。
- 解释: 表示手部腕部姿态在物体坐标系中的表示。 是物体在生成图像相机坐标系中的姿态的逆变换,这允许我们将手部姿态从相机坐标系转换到以物体为原点的坐标系中。
4.2.2.2. 灵巧手重定向 (Dexterous Retargeting)
目标: 将重建的 MANO 人手 的姿态重定向 (retarget) 到目标灵巧手 的姿态。
步骤:
-
初始化: 灵巧手姿态的初始化通过复制 MANO 手腕部的 6 自由度 (6-DoF) 参数以及运动学树 (kinematic tree) 上结构相似关节的参数来提供可靠的初始值。
-
优化: 通过最小化灵巧手手指尖位置与对应的人手手指尖位置之间的距离,在参数空间中进一步优化姿态。
- 解释:
- :表示目标灵巧手在物体坐标系中的姿态,包括腕部 6D 姿态 和关节角度 。
- :表示灵巧手第 个手指的指尖位置。
- :表示 MANO 模型对应第 个手指的指尖位置。
- 优化目标是找到一组灵巧手姿态参数,使得其指尖位置与人手模型的指尖位置尽可能接近。
- 解释:
4.2.2.3. 可执行动作转换 (Executable Action Transformation)
目标: 获取与真实物体对齐且可在物理机器人平台执行的灵巧姿态。
步骤:
-
真实物体姿态对齐: 由于模型幻觉,生成图像中的物体姿态可能不完全对应真实场景中的物体姿态。因此,需要将真实物体在 中的姿态 与生成图像中的物体姿态对齐。这通过将物体从其自身坐标系映射到真实相机坐标系来实现,使用变换 。
-
转换到机器人臂坐标系: 最后,通过手眼标定 (hand-eye calibration) 获得的变换 ,将抓取姿态从真实相机坐标系转换到机器人臂坐标系。
完整的转换公式:
- 解释:
- :最终机器人可执行的灵巧动作,在机器人臂坐标系中。
- :从相机坐标系到机器人臂坐标系的变换矩阵。
- :从物体坐标系到相机坐标系的变换矩阵(即真实物体姿态 )。
- :在物体坐标系中优化后的灵巧手姿态。
- 此公式将灵巧手在物体坐标系中的姿态,通过物体在相机坐标系中的姿态,以及相机在机器人坐标系中的姿态,最终转换到机器人臂坐标系中。
- 解释:
4.2.3. 力感知自适应抓取 (Force-Aware Adaptive Grasping)
原理: 仅通过人类图像到机器人动作转换策略得到的抓取姿态是一个目标配置,但开环 (open-loop) 执行可能导致抓取不稳定或力过大而损坏物体。这是因为预测的目标姿态可能不完美(模型幻觉或误差累积)。因此,引入力感知自适应抓取策略,结合力反馈来确保抓取的鲁棒性和稳定性。
实现细节:
-
目标抓取力预测: 目标抓取力 通过基础模型 (例如 GPT-4o) 预测。
-
力反馈测量: 每个手指的力传感器 (例如 Inspire Hand 电动气缸中的应变计传感器) 测量实时力反馈
F(t)。 -
预抓取姿态和挤压抓取姿态 (Pre-grasp and Squeeze-grasp Poses):
- 通过重定向获得的目标手部配置,进一步生成两个关键姿态:
- : 预抓取姿态 (pre-grasp pose),用于无碰撞初始化。
- : 挤压抓取姿态 (squeeze-grasp pose),用于实现更稳定的接触。
- 优化过程: 这两个姿态的生成也通过类似于 Eq. 1 的优化,使得指尖位置与人手模型指尖对齐。
- 预抓取姿态: 接触点沿局部表面法线向外移动 5 厘米。
- 挤压抓取姿态: 接触点沿局部表面法线向内移动 1 厘米。
- 约束: 在优化过程中,腕部的平移和旋转保持固定,以维持优化的稳定性。
- 通过重定向获得的目标手部配置,进一步生成两个关键姿态:
-
力约束位置控制 (Force-Constrained Position Control):
-
手指从预抓取姿态向挤压抓取姿态移动,采用力约束位置控制策略。
-
一旦测量到的接触力
F(t)达到预测的阈值 ,当前手指位置被锁定为新的目标,防止进一步移动,避免过度挤压。 -
控制律: PD 控制器 产生控制输出
u(t)。 -
解释:
u(t):PD 控制器在时间 的输出,通常是关节速度或力矩指令。- :PD 控制器函数。
- :手指的当前关节位置。
- :手指的参考(目标)关节位置。
- 当测量到的力
F(t)小于目标力 时,目标位置是挤压抓取姿态 ,即手指继续向内收紧。 - 当测量到的力
F(t)大于或等于目标力 时,目标位置变为当前手指位置 ,即停止收紧,保持当前位置。 - 此策略使机械手能够适应物体的柔顺性 (compliance),同时确保稳定和安全的抓取。
-
-
抓取执行流程 (Execution Flow):
- 第一阶段: 机械臂和灵巧手移动到预抓取姿态 (pre-grasp pose)。机械臂沿腕轴线距离物体约 10 厘米,确保安全无碰撞接近。
- 第二阶段: 机械臂和手一起向物体前进,直到达到最终抓取姿态。
4.2.4. 扩展到操作任务 (Extension to Manipulation)
原理: OmniDexGrasp 框架可以自然地从灵巧抓取扩展到操作任务,因为抓取是抓持操作 (prehensile manipulation) 的基本前提。这种扩展利用了基础模型对抓取后物体运动的推理能力。
实现细节:
- 物体运动推理:
- LLM 驱动的关键点预测: 可以使用 LLM 驱动的关键点预测模型 [2] 来估计物体的关键点运动。
- 生成模型合成视频: 或者,可以提示生成模型在成功抓取的基础上合成操作视频,然后使用 FoundationPose [33] 等模型跟踪生成视频中的物体姿态。
- 灵巧操作姿态获取: 通过根据跟踪到的物体姿态更新 Eq. 2 中的 ,即可推导出灵巧操作姿态。
- 物体-抓取约束: 通过将估计的物体轨迹与物体-抓取约束 (object-grasp constraint) 相结合,框架能够扩展到抓取之外的更复杂操作。
5. 实验设置
5.1. 数据集
本文在模拟和真实世界环境中进行了多样化实验。
5.1.1. 真实世界实验 (Real-World Experiments)
- 物体数量: 使用了超过 40 个物体。
- 物体多样性: 物体涵盖了广泛的形状、尺寸和功能特性,被分为八个类别:把手 (handles)、喷雾瓶 (spray bottles)、液体容器 (liquid containers)、包装食品 (packaged food items)、圆柱体 (cylinders)、轴 (shafts)、易碎物品 (fragile objects) 和混合类别物品 (mixed-category objects)。
5.1.2. 仿真实验 (Simulation Experiments)
-
物体数量: 使用了来自 [13] 的超过 100 个物体,涵盖 33 个不同类别。
-
物体分类: 测试物体被分为三组,用于评估泛化能力:
- Seen (见过): 在模型训练期间遇到的类别。
- Similar (相似): 类别与训练集相关但不完全相同。
- Novel (新颖): 完全未见过的类别。
-
训练数据来源: 值得注意的是,本文模型在训练过程中从未接触过任何灵巧机器人抓取数据。这突出了其在模拟环境中泛化到未见物体和类别的能力。
-
基线训练数据: 对比基线 (baselines) 按照 [13] 进行训练。Table II 中的基线在包含 43,504 个样本和 1,536 个物体的完整数据集 [13](涵盖 33 个类别)上训练。Table III 中的基线仅在 10 个“见过”的类别上训练,并在 11 个“相似”和 12 个“新颖”类别上进行评估,以更好地评估它们的泛化能力。
下图(原文 Figure 4)展示了真实世界硬件平台及实验中使用的物体。
图 4: 真实世界硬件平台和实验中使用的物体。
5.1.3. 任务描述 (Task Description)
-
真实世界任务: 在真实世界中评估了六种不同的抓取任务,以评估在多样化场景和用户提示下的“全能”能力。这些任务包括:
- 语义抓取 (Semantic Grasping)
- 区域/点抓取 (Region / Point Grasping)
- 拥挤场景中的目标抓取 (Targeted Grasp in Clutter)
- 人机交接 (Human-Robot Handover)
- 一键抓取 (One-Shot Grasping)
- 易碎物体抓取 (Fragile Object Grasping)
-
对比实验: 由于没有现有方法能够同时处理如此广泛的任务,因此,在语义抓取任务上进一步进行了广泛的对比实验(真实世界 Table II,模拟 Table III)。
5.2. 评估指标
本文采用两种评估指标:抓取成功率 (grasp success rate) 和意图一致性分数 (intention-consistency score)。
5.2.1. 抓取成功率 (Grasp Success Rate, Suc.)
- 概念定义: 衡量机器人是否能成功抓取并举起物体,同时准确遵循给定的命令。
- 数学公式:
- 符号解释:
- :机器人在实验中成功执行抓取并满足所有条件(如举起物体,遵循命令)的次数。
- :机器人尝试执行抓取的总次数。
5.2.2. 意图一致性分数 (Intention-Consistency Score, Inten.)
- 概念定义: 评估机器人执行的抓取动作与用户指令(语言命令、视觉提示等)的对齐程度。同时,也评估抓取的稳定性。本文采用 GPT 辅助评分,或者由人类专家进行评分。
- 评估标准: GPT-4o 或人类专家对两个方面进行 5 分制评分:
- 意图 (Inten.): 执行动作与命令的对齐程度。
- 稳定性 (Stab.): 抓取的稳定性。
- 数学公式:
- 符号解释:
- :对第 次抓取评估的意图或稳定性评分(1 到 5 分)。
- :评估的总次数。
5.3. 对比基线 (Baselines)
5.3.1. 针对语义抓取任务的基线:
- AffordDex [13]: 这是一种基于可供性 (affordance) 的方法,通过检索先验信息实现开放集 (open-set) 的语言引导灵巧抓取。它在 [13] 中提出的完整数据集上训练。
- SceneDiffuser [35]: 一种基于扩散模型 (diffusion-based model) 的 3D 场景生成、优化和规划方法。
- DexGYS [9]: “Grasp as you Say” (Grasp as you Say: Language-Guided Dexterous Grasp Generation),一种语言引导的灵巧抓取生成方法。
5.3.2. 消融研究基线 (Ablation Study Baselines):
- w/o Force (无力感知): 表示移除力感知自适应抓取策略,而是使用从转换策略获得的姿态,并以开环位置控制 (open-loop position control) 执行抓取。
- w/o Transfer (无转换策略): 表示直接使用从生成模型估计的抓取姿态,而不经过人类图像到机器人动作的转换策略。
5.4. 机器人平台 (Robot Platform)
5.4.1. 真实世界实验:
- 机械臂: 6 自由度 (6-DOF) Kinova Gen3 机械臂。
- 相机: Realsense D455 深度相机。
- 灵巧手:
- 进行定量实验:连杆驱动的 6 自由度 Inspire FTP Hand。
- 进行定性实验:全驱动的 16 自由度 Leap Hand [34] 和连杆驱动的 8 自由度 RoboSense Papert Hand。
5.4.2. 仿真实验:
- 灵巧手: 腱驱动 (tendon-driven) 的 22 自由度 Shadow Hand。
6. 实验结果与分析
6.1. OmniDexGrasp 在多样化灵巧抓取任务上的全能性
本文首先评估了 OmniDexGrasp 在六种代表性灵巧抓取任务上的性能,以验证其在多样化场景和用户提示下的“全能”能力。
以下是原文 Table I 的结果:
| Task | Description | Prompt Type | ours | w/o Force | w/o Transfer | |||
| Suc. | Inten. | Suc. | Inten. | Suc. | Inten. | |||
| Semantic Grasping | Grasp guided by Language. | Language | 83.3 | 3.82 | 60.0 | 2.90 | 20.0 | 0.40 |
| Region / Point Grasping | Grasp guided by grasp point or mask. | Visual prompts | 89.0 | 3.89 | 30.0 | 1.67 | 20.0 | 0.60 |
| Targeted Grasp in Clutter | Grasp user-specified object in clutter. | Language | 87.5 | 4.00 | 62.5 | 3.00 | 50.0 | 0.00 |
| Human-Robot Handover | Grasp for handover interaction | Language | 100.0 | 4.80 | 30.0 | 1.90 | 25.0 | 0.75 |
| One-Shot Grasping | Grasp guided by single demonstration | Demo image | 80.0 | 3.80 | 60.0 | 3.11 | 10.0 | 0.40 |
| Fragile Object Grasping | Grasp fragile object safely | Language/force | 88.0 | 4.50 | 56.0 | 2.67 | 0.0 | 0.33 |
表 1: 在六个不同任务上的结果。表格中 "w/o Force" 表示不使用力感知策略,"w/o Transfer" 表示直接使用生成模型估计的抓取姿态。
6.1.1. 核心结果分析
-
高成功率和意图一致性:
OmniDexGrasp在所有六个任务中都取得了持续高水平的抓取成功率(平均 87.9%)和意图一致性分数(平均 4.14)。这表明该框架对多样化的物体、场景和提示模态具有强大的适应性。 -
语义相关任务: 语义抓取、拥挤抓取和人机交接等任务受益于基础模型的集成,能够更好地理解和执行复杂的用户指令。
-
视觉/演示提示任务: 区域抓取和一键抓取等任务验证了框架在处理视觉提示和演示图像输入时的灵活性。
-
脆弱物体抓取: 在脆弱物体抓取任务上的良好表现,进一步凸显了其在保持稳定性的同时施加适当力量的能力,这直接得益于力感知策略。
-
全能性: 总体而言,结果证明
OmniDexGrasp在统一框架内实现了跨多样化任务的“全能”能力。下图(原文 Figure 5)展示了六种任务的视觉化和抓取过程:
图 5: 六个任务的视觉化(上)和整个抓取运动过程(下)。
6.2. 转换策略和力感知抓取策略的重要性
为了验证两种策略的有效性,本文进行了消融研究,结果同样体现在 Table I 中。
6.2.1. “w/o Transfer” (无转换策略)
- 分析: “w/o Transfer”指的是直接使用生成模型估计的抓取姿态,而不进行人类图像到机器人动作的转换。
- 结果: 在所有任务中,成功率和意图一致性都急剧下降。例如,语义抓取成功率从 83.3% 降至 20.0%,易碎物体抓取成功率甚至降至 0.0%。
- 原因: 这是因为生成模型可能产生幻觉 (hallucinations),导致生成的图像中物体姿态发生变化,与真实场景不符。直接执行这些不准确的姿态极易导致抓取失败。这强有力地证明了人类图像到机器人动作转换策略的必要性。
6.2.2. “w/o Force” (无力感知策略)
-
分析: “w/o Force”指的是使用从转换策略获得的姿态,但以开环位置控制执行,不使用力感知自适应抓取策略。
-
结果: 相较于完整框架,成功率平均下降约 40%,意图一致性也显著降低。例如,区域/点抓取成功率从 89.0% 降至 30.0%,人机交接成功率从 100.0% 降至 30.0%。
-
原因:
- 抓取不稳定: 如果手指闭合得太松,可能导致抓取不稳定而失败。
- 物体损坏: 如果手指闭合得太紧,可能对物体造成损坏(如 Figure 6 所示)。
- 误差累积: 目标姿态并非总是完美的,力感知策略能够适应这些不完美,提供鲁棒性。
-
结论: 力感知自适应抓取策略对于确保抓取执行的鲁棒性和稳定性至关重要。
下图(原文 Figure 6)展示了力感知策略的消融实验结果,说明没有力感知策略时机器人可能损坏物体。
图 6: 力感知策略消融的可视化。没有力感知策略,机器人抓取可能会损坏物体。
6.3. OmniDexGrasp 与现有灵巧抓取方法的对比
本文在真实世界和模拟环境中对语义抓取任务进行了对比实验。
6.3.1. 真实世界对比 (Table II)
以下是原文 Table II 的结果:
| Handle 4 | Spray Bottle A A * | Liquid Container p | Packaged Food e | Cylinder a 9 | E | Shaft | Fragile Objects | Mixed Category 1 2 | ||||||||||
| Suc. | Inten. | O | U m | o | ||||||||||||||
| AffordDex | 20.0 | 0.80 | Suc. | Inten. 3.75 | Suc. | Inten. 1.00 | Suc. | Inten. | Suc. | Inten. | Suc. | Inten. | Suc. | Inten. | Suc. | Inten. | ||
| Ours | 60.0 | 3.40 | 87.5 94.4 | 4.60 | 25.0 80.0 | 4.20 | 25.0 58.3 | 0.71 2.50 | 25.0 73.3 | 1.88 3.2 | 33.3 77.8 | 1.50 2.67 | 55.6 91.7 | 2.44 4.25 | 37.5 100.0 | 1.63 4.50 | ||
表 2: 真实世界中语义抓取任务的综合结果。
注: 原文 Table II 的格式存在问题,列标题对齐不一致,导致数据难以准确阅读和对比。例如,“Spray Bottle A A *”下有两个 “Suc.” 和两个 “Inten.” 列,且“AffordDex”的行在这些列中没有完整对应的数据。为了准确分析,我将专注于能够清晰解读的部分,并指出这种格式问题对完整对比的影响。
分析(基于可解读部分):
- OmniDexGrasp 的优势: 在可解读的类别(如 Handle, Fragile Objects, Mixed Category)中,
OmniDexGrasp在成功率 (Suc.) 和意图一致性 (Inten.) 上都显著优于AffordDex。例如,在“Handle”类别中,OmniDexGrasp的成功率为 60.0%,意图一致性为 3.40,而AffordDex仅为 20.0% 和 0.80。在“Fragile Objects”中,OmniDexGrasp成功率高达 91.7%,意图一致性为 4.25,远超AffordDex的 55.6% 和 2.44。 - 泛化能力: 这种优势归因于基础模型的泛化能力以及
OmniDexGrasp中提出的转换和力感知抓取策略。基础模型能够更好地理解多样化的语义指令和场景,从而生成更准确的抓取意图。
6.3.2. 模拟环境对比 (Table III)
以下是原文 Table III 的结果:
| Seen | Similar | Novel | ||||
| Stab. | Inten. | Stab. | Inten. | Stab. | Inten. | |
| SceneDiffuser [35] | 3.59 | 4.25 | 2.55 | 2.05 | 2.09 | 1.95 |
| DexGYS [9] | 3.95 | 4.67 | 2.95 | 2.22 | 2.83 | 1.88 |
| AffordDex [13] | 4.01 | 4.85 | 3.58 | 3.08 | 3.25 | 2.12 |
| Ours | 4.29 | 3.82 | 3.96 | 3.55 | 4.20 | 3.88 |
表 3: 在仿真数据集上的结果。 “Seen”、“Similar”和“Novel”分别表示训练中遇到的类别、未见过但与训练类别相似的类别以及未见过的新颖物体。
分析:
- 基线方法在泛化上的局限:
SceneDiffuser、DexGYS和AffordDex在“Seen”类别上表现良好,但当测试对象变为“Similar”和“Novel”类别时,它们的性能急剧下降。- 例如,
AffordDex在“Seen”类别上的平均分(稳定性 4.01,意图一致性 4.85)下降到“Similar”类别(稳定性 3.58,意图一致性 3.08)和“Novel”类别(稳定性 3.25,意图一致性 2.12)。这表明这些方法对训练数据集的特定模式过度拟合,泛化能力有限。
- 例如,
- OmniDexGrasp 的鲁棒泛化能力: 相比之下,
OmniDexGrasp在所有类别(Seen, Similar, Novel)上都保持了鲁棒的性能。- 在“Seen”类别中,
OmniDexGrasp的稳定性为 4.29,意图一致性为 3.82。 - 在“Similar”类别中,稳定性为 3.96,意图一致性为 3.55。
- 在“Novel”类别中,稳定性为 4.20,意图一致性为 3.88。
- 尽管在“Seen”类别的意图一致性上略低于
AffordDex,但在泛化能力更关键的“Similar”和“Novel”类别上,OmniDexGrasp显著超越所有基线。
- 在“Seen”类别中,
- 原因:
OmniDexGrasp通过利用基础模型学习通用抓取规则,而不是特定于数据集的模式,从而能够有效适应未见过的场景。
6.4. 不同基础生成模型的适用性
本文分析了不同基础生成模型在灵巧抓取任务中的表现,以评估它们是否满足要求。
以下是原文 Table IV 的结果:
| Stab. | Inten. | |
| Qwen-Image [21] | 3.10 | 2.51 |
| GPT-Image [16] | 4.84 | 4.25 |
| Wan2.2 [22] | 2.52 | 1.62 |
| Wan2.2* [22] Kling-video [26] | 3.49 4.83 | 2.62 |
| 4.07 |
表 4: 不同基础生成模型的生成质量。
注: 原文 Table IV 的格式存在问题,特别是最后两行数据“Wan2.2* [22] Kling-video [26]”的排列方式导致数据难以准确对应。我将尝试根据上下文和常见的表格格式进行合理推断和解读。假设 和 Kling-video 各自占据一行,并补充了缺失的数据点。
分析:
- 基础模型的潜力: 总体而言,基础模型展现出在灵巧抓取任务中应用的巨大潜力。
- 闭源模型表现优异: 闭源模型,如
GPT-Image和Kling-Video,通常优于开源模型,如Qwen-Image和Wan2.2。GPT-Image在稳定性和意图一致性方面表现最佳(4.84 和 4.25)。 - 开源模型的微调潜力: 开源模型的性能可以通过在任务特定数据集上进行微调 (fine-tuning) 而显著提高。例如,(在 EgoDex 手-物体交互数据集 [36] 上微调后的版本)相较于原始预训练模型
Wan2.2,在稳定性和意图一致性上都有明显提升(从 2.52/1.62 提升到 3.49/2.62)。这表明开源模型在经过领域适配后具有很大的改进空间。 - 图像模型与视频模型的差异:
-
图像模型 (如 GPT-Image): 展现出更强的指令遵循能力,意图一致性分数较高。这可能因为图像生成模型更专注于静态场景的细节和指令的精确映射。
-
视频模型 (如 Kling-Video): 在保持场景和物体姿态一致性方面表现更好。这对于灵巧抓取任务尤为重要,因为抓取过程是一个动态过程,需要物体姿态在时间上保持连续和合理。
下图(原文 Figure 7)展示了不同基础生成模型生成的图像:
图 7: 不同基础生成模型生成的图像。
-
6.5. 扩展到操作任务和跨实体泛化
本文还进行了定性实验,以评估 OmniDexGrasp 在不同灵巧手上的跨实体泛化能力,以及扩展到抓取之外的操作任务的能力。
6.5.1. 跨实体泛化 (Cross Embodiment)
- 原理: 得益于人类图像到机器人动作的转换策略,该框架可以轻松适应不同的灵巧手。这种策略将人类抓取图像作为中间表示,避免了对特定机器人硬件的紧密耦合,从而实现了更好的跨实体泛化。
- 可视化: Figure 4 和补充视频中展示了使用
Leap Hand和RoboSense Papert Hand等不同灵巧手进行抓取和操作的示例。
6.5.2. 扩展到操作任务 (Extension to Manipulation Tasks)
- 原理: 通过利用视频生成模型 [26] 和 LLM 驱动的关键点预测模型 [2],该方法能够完成一些灵巧操作任务。
- 基础: 抓取是操作的基础,因此
OmniDexGrasp可以进一步扩展到更复杂的操纵场景。 - 可视化: 补充视频中提供了更多可视化结果。
7. 总结与思考
7.1. 结论总结
本文提出了 OmniDexGrasp 框架,旨在解决灵巧抓取中泛化能力不足和基础模型与机器人执行之间鸿沟的问题。该框架通过结合基础模型与转换、控制策略,实现了在用户提示、灵巧实体和抓取任务上的“全能”能力。
核心贡献包括:
-
利用基础模型生成人类抓取图像,增强了对场景和用户意图的通用理解能力。
-
引入人类图像到机器人动作的转换策略,将视觉内容转化为可执行的机器人动作。
-
设计力感知自适应抓取机制,通过力反馈确保抓取执行的稳定性和安全性。
实验结果表明,
OmniDexGrasp在真实世界和模拟环境的六项多样化灵巧抓取任务中取得了高成功率和意图一致性分数,并在未见过的物体类别上显著优于现有最先进的方法。框架还展示了其向灵巧操作任务和不同灵巧手扩展的潜力。
7.2. 局限性与未来工作
论文没有明确指出其自身的局限性,但从其方法论和实验设计中可以推断出一些潜在的局限和未来的研究方向:
潜在局限性:
- 基础模型的依赖性: 框架的性能高度依赖于所选基础生成模型的性能和其泛化能力。如果基础模型产生不合理或低质量的人类抓取图像(如 Table IV 所示,一些开源模型表现不佳),将直接影响整个系统的效果。
- 模型幻觉的挑战: 尽管引入了转换策略来处理模型幻觉,但如果幻觉过于严重(例如,生成完全错误的物体形状或与真实场景严重不符的抓取姿态),转换策略可能也难以完全弥补,可能导致转换失败或不准确。
- 实时性与计算成本: 涉及多个复杂模型(基础生成模型、3D 重建、优化)的级联,在实时性方面可能面临挑战,尤其是在计算资源有限的实际部署环境中。生成图像和 3D 重建、优化过程可能需要一定时间。
- 力反馈的通用性: 力感知策略依赖于手指的力传感器。如果机器人手缺乏高精度力传感器,或者传感器在特定环境下容易失效,策略的有效性会受到影响。
- 复杂操作的局限: 尽管框架可以扩展到操作任务,但目前仅通过跟踪物体姿态来推导操作。对于需要更复杂手部-物体交互、动态规划或多步决策的操作任务,可能还需要更复杂的策略。
- 人类抓取图像的中间表示: 尽管人类抓取图像作为中间表示有很多优点,但它也可能引入额外的表示误差。人类手与机器人手的运动学、力学特性存在差异,重定向过程可能无法完美映射。
未来工作方向:
- 提升基础模型的领域适应性: 进一步研究如何通过少量领域特定数据微调开源基础模型(如 所示),使其在灵巧抓取场景中表现更优,同时保持泛化能力。
- 更鲁棒的幻觉处理: 探索更先进的机制来检测和纠正基础模型生成的幻觉,例如引入基于物理模拟的验证步骤,或更智能的跨模态一致性检查。
- 端到端学习与模块化结合: 研究如何将部分模块进行端到端 (end-to-end) 学习,以提高效率和性能,同时保持
OmniDexGrasp模块化带来的灵活性和可解释性。 - 动态操作和序列任务: 将框架扩展到更长的操作序列和需要动态适应环境变化的任务中,例如工具使用、物体组装或与不稳定环境的交互。
- 多模态力反馈和触觉感知: 整合更丰富的触觉信息(如触觉传感器阵列),以实现更精细的抓取和操作,特别是在处理具有复杂表面纹理或柔性物体时。
- 人类意图的深度理解: 探索更先进的 AI 模型来理解模糊或上下文依赖性强的人类意图,从而生成更符合用户期望的抓取和操作行为。
7.3. 个人启发与批判
7.3.1. 个人启发
- “中间表示”的智慧:
OmniDexGrasp提出的“人类抓取图像”作为基础模型和机器人执行之间的中间表示,是一个非常巧妙且强大的设计。它既利用了基础模型在人类行为数据上的丰富先验,又避免了直接生成机器人动作的复杂性,为跨模态、跨实体任务提供了一个通用接口。这种解耦思想值得在其他机器人任务中借鉴。 - “软硬结合”的必要性: 纯粹的机器学习方法往往难以处理物理世界的约束。本文通过引入力感知自适应抓取策略,将基于感知的“软”智能与基于物理反馈的“硬”控制相结合,极大地提升了系统的鲁棒性和安全性。这提醒我们在机器人学中,算法创新与物理世界的交互控制同样重要。
- 泛化能力的来源: 论文清晰地展示了基础模型如何成为泛化能力的强大来源,特别是在处理“新颖”类别物体时。这种从大规模通用数据中学习知识,再通过特定策略迁移到特定任务的范式,是未来机器人学发展的重要方向。
- 对传统机器人方法的补充:
OmniDexGrasp为传统机器人抓取规划方法提供了一种新的、更具适应性的前端。它能够根据高层语义指令和视觉输入,为机器人生成合适的初始抓取姿态,弥补了传统方法在语义理解和泛化方面的不足。
7.3.2. 批判
- 级联误差的风险:
OmniDexGrasp作为一个多阶段的级联系统,每个阶段的误差都可能向下传播并累积。例如,基础模型生成的图像质量、3D 重建的精度、灵巧手重定向的准确性,都会影响最终的抓取性能。尽管力反馈可以弥补一些误差,但如果上游误差过大,下游模块可能也无力回天。 - 计算效率的考量: 在实时交互场景中,多次调用大型基础模型、进行复杂的 3D 重建和优化,可能引入显著的延迟。虽然论文未详细探讨实时性能,但这在实际部署中是一个关键考量。未来的研究可能需要关注如何优化这些模块的效率,或探索更轻量级的替代方案。
- 对“全能”的定义: 论文声称实现了“全能”能力。虽然在多样化任务和实体上表现出色,但“全能”本身是一个非常宏大的目标。目前框架主要集中在抓取及其初步操作。对于更复杂的、需要长时间规划、多智能体协作或在未知动态环境中进行的操作任务,仍然存在巨大挑战。对“全能”的更深层次定义和实现,仍需进一步探索。
- 基线对比的局限: 在 Table II 真实世界实验中,基线
AffordDex的数据存在格式问题,导致难以进行全面的量化对比。虽然OmniDexGrasp表现出优势,但如果能与更多当前最先进的、且在特定任务上表现优异的基线进行清晰的对比,将更有说服力。
相似论文推荐
基于向量语义检索推荐的相关论文。