论文状态:已完成

I-FailSense: Towards General Robotic Failure Detection with Vision-Language Models

发表:2025/09/19
原文链接PDF 下载
价格:0.100000
价格:0.100000
已有 2 人读过
本分析由 AI 生成,可能不完全准确,请以原文为准。

TL;DR 精炼摘要

本研究提出了I-FailSense框架,旨在通过视觉-语言模型(VLM)实现机器人操作中的失败检测,特别关注语义失配错误。方法包括构建用于检测语义失配失败的数据集,并在VLM上进行后训练,通过在多个内部层引入二分类头进行强大的分类。实验结果显示,该框架在检测精度和鲁棒性上表现优于现有方法,并能迁移到新环境。

摘要

Language-conditioned robotic manipulation in open-world settings requires not only accurate task execution but also the ability to detect failures for robust deployment in real-world environments. Although recent advances in vision-language models (VLMs) have significantly improved the spatial reasoning and task-planning capabilities of robots, they remain limited in their ability to recognize their own failures. In particular, a critical yet underexplored challenge lies in detecting semantic misalignment errors, where the robot executes a task that is semantically meaningful but inconsistent with the given instruction. To address this, we propose a method for building datasets targeting Semantic Misalignment Failures detection, from existing language-conditioned manipulation datasets. We also present I-FailSense, an open-source VLM framework with grounded arbitration designed specifically for failure detection. Our approach relies on post-training a base VLM, followed by training lightweight classification heads, called FS blocks, attached to different internal layers of the VLM and whose predictions are aggregated using an ensembling mechanism. Experiments show that I-FailSense outperforms state-of-the-art VLMs, both comparable in size and larger, in detecting semantic misalignment errors. Notably, despite being trained only on semantic misalignment detection, I-FailSense generalizes to broader robotic failure categories and effectively transfers to other simulation environments and real-world with zero-shot or minimal post-training. The datasets and models are publicly released on HuggingFace (Webpage: https://clemgris.github.io/I-FailSense/).

思维导图

论文精读

中文精读

1. 论文基本信息

1.1. 标题

I-FailSense: Towards General Robotic Failure Detection with Vision-Language Models
中文:I-FailSense:迈向基于视觉-语言模型的通用机器人失败检测

1.2. 作者

Clémence Grislain*, Hamed Rahimi*, Olivier Sigaud, Mohamed Chetouani(* 等贡献)
单位:法国 索邦大学 智能系统与机器人研究所(ISIR, Sorbonne Université)

1.3. 发表期刊/会议

来源:arXiv 预印本。该方向目前活跃于机器人与多模态学习的顶会(如 ICRA、CoRL、NeurIPS、ICML、CVPR 等);论文与主线问题高度相关,具备较强的前沿探索价值。

1.4. 发表年份

2025(arXiv v2 上传时间:2025-09-19)

1.5. 摘要

论文面向“语言条件(language-conditioned)”的机器人操作失败检测,特别关注“语义失配错误(semantic misalignment errors)”:机器人执行了有意义但与指令不一致的动作。作者提出:

  1. 一套从现有语言条件操作数据中构建“语义失配失败(SMF)”检测数据集的方法;
  2. I-FailSense 方法:在基础视觉-语言模型(VLM)上两阶段后训练(LoRA 参数高效微调 → 冻结 VLM 并在不同层接入轻量二分类头 FS blocks),通过“加权投票仲裁”聚合多层预测,实现鲁棒失败检测。

主要发现:

  • 在语义失配检测上,I-FailSense 超过同体量和更大体量的 SOTA VLM;

  • 仅在语义失配上训练,仍能泛化到更广泛的失败类别(控制错误);

  • 能零样本/小量后训练迁移到新仿真环境与真实场景。

    代码与数据在 HuggingFace 与项目页公开。

1.6. 原文链接

2. 整体概括

2.1. 研究背景与动机

  • 背景:视觉-语言模型(Vision-Language Model, VLM)在机器人中广泛用于指令理解、规划与空间推理,但“自我失败检测”能力薄弱,尤其是“语义失配错误(semantic misalignment)”:机器人动作看似合理,但与语言目标不一致(如转错方向、操作了相近但错误对象)。

  • 重要性:自动失败检测对于部署至真实环境至关重要,可用于奖励塑形、任务验证、策略改进(例如人类反馈学习)、错误恢复等。

  • 现有缺口:过去工作多关注“控制错误(control errors)”(如抓取失败、掉落),较少研究“语义对齐失败”。后者更难,因为需要跨时空地将语言与轨迹对齐。

  • 创新思路:专门面向语义失配失败构建数据集,并提出 I-FailSense,充分利用 VLM 内部表征,在不同层添加二分类 FS blocks 并通过“有锚定(grounded)的仲裁(arbitration)”聚合,提升检测准确性与鲁棒性。

    在介绍整体能力后,作者以图示概览系统目标与泛化情形: 下图(原文 Figure 1)概览了 I-FailSense 如何根据语言指令对轨迹进行成功/失败分类,并从语义失配检测泛化到控制错误、新仿真环境以及真实场景:

Fig. 1: Overview of I-FailSense, which classifies a robot's observation trajectories conditioned on language instructions into failure or success. Trained on semantic misalignment failure detection, I-FailSense excels at identifying these challenging errors, zero-shot generalizes to detecting control errors and errors in new simulation environments, and detects errors in real-world observations with minimal post-training. 该图像是一个示意图,展示了 I-FailSense 系统如何基于语言指令对机器人的观察轨迹进行成功或失败分类。系统通过检测语义不一致错误,能够有效识别控制错误以及新仿真环境下的错误,并在实际环境中以最小的后期训练实现转移。

2.2. 核心贡献/主要发现

  • 方法论贡献:
    • 提出两阶段后训练框架:先用 LoRA 对基础 VLM 进行监督微调(输出成功/失败词元),再冻结 VLM,于其多层接入轻量二分类头(FS blocks),并通过加权投票仲裁整合预测。
    • 设计“语义失配失败(SMF)”数据构建流程:用已有专家演示,将正确轨迹与非对应但同任务族的指令配对,生成难负例。
  • 经验结论:
    • 在 SMF 检测上,I-FailSense 较零样本 SOTA VLM 大幅领先(DsMF-CALVIN 上可达 90% 准确率)。
    • 虽只在 SMF 训练,I-FailSense 对控制错误的检测(AHA 数据集)仍显著优于专门在 AHA 上训练的基线(+19 个点)。
    • 通过少量后训练(仅 FS blocks),能有效迁移至真实场景(DsMF-DROID),最高达 74% 准确率。
  • 实践意义:证明“利用 VLM 内部多层表征 + 仲裁聚合”的架构对失败检测任务有效;强调“语义失配”是极具挑战且信息量高的错误类型。

3. 预备知识与相关工作

3.1. 基础概念

  • 视觉-语言模型(Vision-Language Model, VLM):同时处理图像/视频与语言输入,学习跨模态对齐与推理的模型家族。
  • 语言条件机器人操作(language-conditioned manipulation):以语言指令为目标条件,控制机器人执行操作任务。
  • 失败类型:
    • 控制错误(control errors):低层控制或物理失败,如“抓取不牢”“掉落”等。
    • 语义失配(semantic misalignment):高层语义对齐失败。机器人完成了“某个”合理动作,但与语言目标不符(如“向左转”执行成“向右转”)。
  • 参数高效微调(Parameter-Efficient Fine-Tuning, PEFT):在冻结大部分参数的前提下,通过小量可训练模块适配新任务。LoRA(低秩自适应,Low-Rank Adaptation)是代表性技术,在注意力投影层插入低秩更新矩阵。
  • 多头注意力(Multi-Head Attention, MHA):在 Transformer 中同时在多个子空间计算注意力,聚合多视角特征。
  • 有锚定的仲裁(grounded arbitration):基于模型内部多层语义表征,构建多个“裁决者”(FS blocks),用加权投票得到更鲁棒的最终判决。
  • Egocentric/Exocentric(自我中心/外视角):摄像机位于机器人(如夹爪)上或外部固定位置。多视角组合可补充时空信息。
  • POMDP(部分可观测马尔可夫决策过程, Partially Observable Markov Decision Process):常用于表述语言条件操作任务。论文形式化如下(见 4.1 与 4.2)。

3.2. 前人工作

  • 失败分析与诊断:HRI 与 TAMP 领域强调失败检测与解释的重要性;近期如 AutoEval、RoboMD 推进自动化评估与诊断,用于策略改进。
  • VLM/LLM 用于失败检测:零/小样本作为成功/失败判别器,或通过指令微调适配。AHA(2024)将失败分析公式化为生成式自由文本解释任务,推动错误恢复与性能提升。
  • 表征利用:有工作从 VLM/VLA 的中间层抽取特征用于监控、失败检测(如 SAFE 关注控制错误)。本文进一步利用多层表征“多头投票”,提升鲁棒性与准确率,并将重点放在更难的“语义失配”。

3.3. 技术演进与差异化

  • 以往多聚焦控制错误;本文构造针对“语义失配”的难负例数据,并通过“冻结 VLM + 多层二分类头 + 投票仲裁”的判别式设计,显式对齐语言-轨迹关系。
  • 与 AHA 的生成式解释不同,I-FailSense 将“解释能力”与“高精度二分类”解耦,优化用于严苛触发恢复机制的检测精度。

4. 方法论

下图(原文 Figure 2)展示了 I-FailSense 的整体架构:左侧为输入拼接与基础 VLM;右侧为接入多层的 FS blocks 及最终仲裁。

该图像是I-FailSense框架的示意图,展示了视觉语言模型(VLM)与语言模型(LLM)之间的结构和数据流。框架通过FS块对失败进行检测,并通过投票机制输出任务成功或失败的结果。 该图像是I-FailSense框架的示意图,展示了视觉语言模型(VLM)与语言模型(LLM)之间的结构和数据流。框架通过FS块对失败进行检测,并通过投票机制输出任务成功或失败的结果。

4.1. 方法原理

核心思想:

  • 语言-轨迹对齐的难点在于时空维度的跨模态关联。先用 LoRA 让基础 VLM 适配“失败判别”这一目标输出(成功/失败词元),再冻结之;
  • 在语言模块(LLM)多层抽取中间表征,接入若干轻量二分类头(FS blocks),分别给出判别,并用加权投票仲裁,融合不同抽象层次的证据,提高鲁棒性与准确率。

4.2. 输入与问题形式化

论文将语言条件操作表述为 POMDP:

  • 形式:M=(S,A,T,ρ0,Ω,O,G)\mathcal{M} = (S, A, \mathcal{T}, \rho_{0}, \Omega, O, G)

    • SS:状态空间;初始状态服从 ρ0\rho_{0}
    • AA:动作空间(如关节/末端控制指令)
    • T\mathcal{T}:环境转移函数
    • Ω\Omega:观测空间;OO:观测函数
    • GG:语言目标空间
  • 多视角观测:O(s) \in \Omega = \mathbb{R}^{3 \times H \times W \times N}NN 为视角数(PoV),H,W 为高宽。

  • 轨迹(长度 TT):τ=(o0,,oT)\tau = (o_{0}, \dots, o_{T})

  • 任务:对给定轨迹-指令对 (τ,g)(\tau, g) 进行二分类(成功/失败)。

    为使 VLM 接入序列轨迹,作者将多帧多视角拼接为单张“网格图”:

  • 轨迹拼接表示:τR3×(HN)×(WT)\tau \in \mathbb{R}^{3 \times (H \cdot N) \times (W \cdot T)}

    • 纵向堆叠视角(NN),横向堆叠时间帧(TT)。
  • 通过固定模板 P(τ,g)P(\tau, g) 将图像与文本拼接为多模态输入。

4.3. 阶段一:监督微调(LoRA)

  • 模型:基础 VLM 选用 PaliGemma2-mix-3B(3B 参数),视觉编码器为 SigLIP;冻结视觉编码器与大部分语言模块参数。
  • 可训练部分:
    • 冻结视觉编码器后与语言模型之间的 MLP 投影层;
    • 在语言模型注意力的 KQV(key-query-value)投影层插入 LoRA 模块(低秩增量)。
  • 监督目标:生成式输出“”或“”词元,最小化交叉熵: LCE(θ)=1Mi=1Mlogpθ(tix,t<i), \mathcal { L } _ { \mathrm { C E } } ( \boldsymbol { \theta } ) = - \frac { 1 } { M } \sum _ { i = 1 } ^ { M } \log p _ { \boldsymbol { \theta } } \left( t _ { i } \mid \boldsymbol { x } , t _ { < i } \right) ,
    • 符号解释:
      • θ\boldsymbol{\theta}:可训练参数(投影层与 LoRA)

      • MM:输出序列长度

      • tit_i:第 ii 个监督词元(例如

      • t<it_{<i}:先前词元序列

      • x\boldsymbol{x}:上下文输入(多模态提示 P(τ,g)P(\tau, g)

      • pθ()p_{\boldsymbol{\theta}}(\cdot):模型在词表上的条件概率分布

        直觉:阶段一让 VLM 学会“读懂”语言与轨迹间是否一致,并在输出端用单词元表达“成功/失败”的判别倾向。

4.4. 阶段二:FS blocks 与加权投票仲裁

  • 冻结阶段一后的 VLM 参数,接入 KK 个 FS blocks,于语言模型不同深度层 {ik}k=1K\{i_{k}\}_{k=1}^{K} 获取中间特征:
    • 特征抽取:fk=VLMθ(P(τ,g))[ik]f_{k} = VLM_{\theta'}(P(\tau, g))[i_{k}],其中 θ\theta' 为阶段一后的参数。
  • FS block 架构(所有块同构、独立训练、随机初始化):
    • 混合注意力池化:结合 MLP 与多头注意力(MHA),自适应聚合该层输出序列的关键信息;
    • 若干带残差与批归一化(Batch Normalization)的 MLP 块,提升稳定性与表达力;
    • 最终二分类线性层输出 pk=FSϕk(fk)p_{k} = FS_{\phi_{k}}(f_{k})(对成功/失败的概率)。
    • 训练:仅更新 {ϕk}\{\phi_{k}\},以二元交叉熵最小化与真值 y{0,1}y \in \{0,1\} 的偏差(论文未给出 BCE 显式公式,本文不作替代)。
  • 推理时的加权投票仲裁:
    • 将每个 FS block 的概率 pkp_{k} 转为二值预测 yk=argmax(pk)y_{k}=\arg\max(p_{k})
    • 将 VLM 的自由文本输出也转为二值 yvlmy_{vlm}
    • 最终决策为: y^=1[k=1Kωkyk+ωvlmyvlm>0.5(k=1Kωk+ωvlm)], \hat { y } = \mathbb { 1 } \left[ \sum _ { k = 1 } ^ { K } \omega _ { k } y _ { k } + \omega _ { v l m } y _ { v l m } > 0 . 5 \left( \sum _ { k = 1 } ^ { K } \omega _ { k } + \omega _ { v l m } \right) \right] ,
      • 符号解释:
        • y^\hat{y}:最终二值预测(1 成功 / 0 失败)
        • yky_k:第 kk 个 FS block 的二值判决
        • yvlmy_{vlm}:VLM 自由文本输出的二值化判决
        • ωk\omega_k:第 kk 个 FS block 的投票权重
        • ωvlm\omega_{vlm}:VLM 判决的权重
      • 论文默认:K=3K=3ωk=1\omega_{k}=1ωvlm=2\omega_{vlm}=2(用于打破平局,强调基础模型的“全局”判别力)
  • 直觉:不同层编码着不同抽象层次的信息(低层偏局部/视觉细节,高层偏语义/任务结构)。多层判别+投票可提升鲁棒性与泛化。

5. 实验设置

5.1. 数据集

  • DsMF-CALVIN(语义失配,仿真):

    • 来源:CALVIN Task D 基准(34 个任务、每任务约 150 条专家演示;每任务含 11 种文本指令)

    • 构造:将“正例”轨迹与“非原始但同任务族”的指令配对为“难负例”(如“转动粉色方块向左” vs “转动粉色方块向右”),强调语义细粒度差异。

    • 示例(原文 Figure 3):上为正例(轨迹与指令一致),下为负例(对象对了但方向错了)。

      下图展示了 DsMF-CALVIN 的正/负例(原文 Figure 3):

      Fig. 3: Example data in DsMF-CALvIn: Top: a positive example where the observation trajectory correctly matches the paired instruction. Bottom: a negative example illustrating semantic misalignment, where the robot rotates the correct object—the pink cube—right instead of the instructed left. 该图像是示意图,展示了两个案例,分别为语义一致的正例和语义不一致的负例。在正例中,机械手臂按照指令成功举起蓝色方块;在负例中,虽然正确的粉色方块被转动,但方向错误,违反了指令。图中分为两行,分别标注了操作步骤。

  • AHA(失败分析,仿真 OOD):

    • 来源:RLBench(79 个任务),分类 7 种错误:6 类控制错误 + 1 类语义失配(错误对象)

    • 作者自建测试集:参照 AHA 公开流水线,从 RLBench 启发式生成 400 个“负例”(仅失败轨迹-指令对),用于评估“失败检测率”(即负例识别准确率)。

    • 示例(原文 Figure 4):刀从夹爪滑出、笔记本盖抓取失败(外视角)。

      下图展示了 AHA 两个典型控制失败样例(原文 Figure 4):

      Fig. 4: Example data in \(\\mathcal { D } _ { \\mathbf { A H A } }\) : Two negative examples from the AHA dataset (exocentric \(\\mathrm { P o V }\) demonstrating control failures—top: the knife slips through the robot's gripper; bottom: the robot fails to grasp the computer lid. 该图像是插图,展示了两个控制失败的负面例子,来源于 AHA 数据集。上方示例中,刀具滑出机器人抓手;下方示例中,机器人未能正确抓取电脑盖。

  • DsMF-DROID(语义失配,真实世界):

    • 来源:DROID(真实机器人示教,含自我中心与双外视角)

    • 构造:用原演示作为正例;将轨迹与同任务族中非对应指令随机配对为负例;得到 6K 训练/276 测试(正负各半)。

    • 示例(原文 Figure 5):上为成功, 下为语义失配(轨迹与指令不符)。

      下图展示了 DsMF-DROID 的真实世界正/负样例(原文 Figure 5):

      该图像是示意图,展示了机器人执行任务的成功与失败示例。上方的四张图片显示了机器人正确执行操作的过程,其中目标物体为一个绿色物品;下方的图片则展示了机器人未能正确执行任务的情况。通过这种对比,图像突出表现了语义误对齐(Semantic Misalignment Failures)在机器人操作中的重要性。 该图像是示意图,展示了机器人执行任务的成功与失败示例。上方的四张图片显示了机器人正确执行操作的过程,其中目标物体为一个绿色物品;下方的图片则展示了机器人未能正确执行任务的情况。通过这种对比,图像突出表现了语义误对齐(Semantic Misalignment Failures)在机器人操作中的重要性。

选择这些数据集的动机:

  • DsMF-CALVIN:验证在“语义失配”这一核心任务上的表征与判别能力(同分布);
  • AHA:验证跨环境(RLBench vs CALVIN)与跨错误类型(主要是控制错误)的泛化(OOD);
  • DsMF-DROID:验证从仿真到真实的迁移能力(Sim2Real)。

5.2. 评估指标

对包含正负样例的数据集(DsMF-CALVIN、DsMF-DROID),使用四个标准二分类指标:

  1. 准确率(Accuracy)
    • 概念:预测正确样本占总样本的比例,整体正确性。

    • 公式: Accuracy=TP+TNTP+TN+FP+FN \mathrm{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}

    • 符号:

      • TP:将正例判为正例
      • TN:将负例判为负例
      • FP:将负例判为正例(假阳性)
      • FN:将正例判为负例(假阴性) 2) 精确率(Precision)
    • 概念:模型预测为正的样本中,真正为正的比例,关注“查准率”。

    • 公式: Precision=TPTP+FP \mathrm{Precision} = \frac{TP}{TP + FP}

    • 符号:同上 3) 召回率(Recall)

    • 概念:真实为正的样本中,被模型正确判为正的比例,关注“查全率”。

    • 公式: Recall=TPTP+FN \mathrm{Recall} = \frac{TP}{TP + FN}

    • 符号:同上 4) F1 分数(F1 score)

    • 概念:精确率与召回率的调和平均,平衡两者。

    • 公式: F1=2PrecisionRecallPrecision+Recall \mathrm{F1} = 2 \cdot \frac{\mathrm{Precision} \cdot \mathrm{Recall}}{\mathrm{Precision} + \mathrm{Recall}}

    • 符号:同上

      对仅包含负例的 AHA 测试集,报告“准确率”,可解读为“失败检测率”(越高越好)。

5.3. 对比基线

  • 零样本(zero-shot, zs)VLM:
    • GPT-4o(大规模通用多模态)
    • PaliGemma2-mix-3B(与 I-FailSense 同体量的基础 VLM)
    • Qwen2.5-VL-7B(更大体量的 SOTA VL)
  • AHA 专门训练的模型(7B、13B):遵循其流水线,仅微调投影器与 Transformer 权重,冻结视觉编码器与分词器;输入同样采用轨迹拼图。
  • I-FailSense:
    • 阶段一(LoRA only)与阶段二(Full:LoRA + FS blocks)。

6. 实验结果与分析

6.1. 语义失配失败检测(Q1:DsMF-CALVIN,同分布)

以下是原文 Table I 的结果:

Method#PoVAccuracyPrecisionRecallF1
GPT-4010.57640.81250.24530.3768
(zs)20.63050.77190.41510.5399
PaliGemma2-mix 3B (zs)10.47290.49610.59430.5408
20.52710.53290.76420.6279
Qwen2.5-VL10.67980.63230.92450.7510
7B (zs)20.69460.65070.89620.7540
I-FailSense (LoRA only)10.85710.86670.85850.8626
20.82270.83650.82080.8286
I-FailSense20.90640.88500.94340.9132
(ours)0.88180.85960.92450.8909

解读与分析:

  • 零样本 VLM 在该难任务上表现有限:GPT-4o 接近随机;PaliGemma2-mix-3B 甚至偏低;Qwen2.5-VL 略好,但精确率-召回率失衡(对“成功”过于乐观,误判负例较多)。

  • I-FailSense 显著优于零样本基线:

    • 仅 LoRA(阶段一):准确率已至 0.857(1 视角)/0.823(双视角)。
    • 完整模型(阶段二加入 FS blocks + 仲裁):表中给出两行(标注略有混乱),对应“单外视角/双视角”的两组最优结果,准确率分别约为 0.906 与 0.882。论文正文亦强调“单外视角达 90%,双视角为 88%”。
  • 关键观察:SMF 构造的“难负例”导致普遍的精确率-召回率张力(负例细微差异多,易漏检)。I-FailSense 将该差距(Precision-Recall gap)显著缩小,F1 达到 0.91(最优设置)。

    为何 FS blocks 有效?多层表征代表不同抽象级别的“语义-时空”证据,仲裁聚合提升了对细粒度语义差异(如对象/动作方向)的敏感性与鲁棒性。

6.2. 跨错误类型泛化(Q2:AHA,主为控制错误)

下图(原文 Figure 6)给出了在 AHA(仅负例)上的失败检测率对比(I-FailSense 训练于 DsMF-CALVIN;AHA 7B/13B 在 AHA 上训练):

Fig. 6: Failure detection rate of I-FailSense trained on DsMF-CALVIN and evaluated on \(\\mathcal { D } _ { \\mathrm { A H A } }\) , compared to `A H A` baselines (7B, 13B) trained on \(\\mathcal { D } _ { \\mathrm { A H A } }\) and zero-shot VLMs. All models use both egocentric and exocentric PoV. Results from prior work are marked with \\*. 该图像是图表,展示了 I-FailSense 在 DsMF-CALVIN 数据集上训练后评估于 ext{D}_{ ext{AHA}} 的故障检测率,与 AHA 基线模型(7B, 13B)及零-shot VLMs 进行了比较。 I-FailSense 的故障检测率为 89.0%,显著高于其他模型。所有模型均使用自我中心和外部视角。

要点:

  • 零样本 VLM 在 AHA 上普遍较差,甚至低于随机(存在“倾向预测成功”的偏差)。
  • 专门在 AHA 上训练的基线:7B/13B 准确率约 69%/70%。
  • I-FailSense(仅在 SMF 上训练)达到约 89% 准确率,显著超越专门基线约 +19 个点。
  • 解释:在 SMF 训练中,模型学习了“语言-轨迹对齐验证”的核心技能:对象匹配与动作方式/方向是否符合指令。对控制错误而言,动作“未能达成有意义效果”,同样会在对齐验证中暴露,从而实现跨错误类型泛化。

6.3. 跨仿真环境泛化(Q3:CALVIN → RLBench)

  • 环境差异:CALVIN(固定物体集,如方块、滑轨、灯等) vs RLBench(多样物体与任务,如刀、碗、抽屉等),摄像设置、背景环境均不同。
  • 结果表明 I-FailSense 的“语义对齐判别”在 OOD 环境仍能保持强性能(见 6.2 图),说明该能力并非过拟合于特定对象或背景,而是提取了跨环境的可迁移判别特征。

6.4. Sim2Real(Q4:真实世界 DsMF-DROID)

以下是原文 Table II 的结果(LoRA 始终在 DsMF-CALVIN 上训练;仅 FS blocks 在不同组合数据上训练):

Method#PoVAccuracyPrecisionRecallF1
GPT-4010.54710.84210.11590.2038
(zs)20.57970.80560.21010.3333
PaliGemma2-mix 3B (zs)10.53990.53040.69570.6019
20.51450.50990.74640.6059
Qwen2.5-VL 7B (zs)10.68840.82500.47830.6055
20.75360.86460.60140.7094
I-FailSense (DsMF-CALVIN)1 20.5580 0.61960.6250 0.80000.2899 0.31880.3960 0.4560
I-FailSense10.65940.70750.54350.6148
(DsMF-CALVIN + DsMF-DROID)20.68480.78020.51450.6201
I-FailSense10.71000.75000.63040.6850
( DsMF-DROID)20.74280.76800.69570.7300

分析:

  • 直接将“仿真训练的完整 I-FailSense(两阶段均在 DsMF-CALVIN)”迁移到真实世界:准确率略升,但召回率明显下降,F1 下降,说明对真实场景中的负例仍敏感不足。
  • 仅对 FS blocks 在“仿真+真实”或“仅真实”上再训练:
    • 仿真+真实:弥补召回下降,同时显著提高精确率,整体优于仅仿真训练;
    • 仅真实:最佳结果(双视角 Acc=0.743, F1=0.730)。说明 FS blocks 的少量域适配很关键;阶段一的 LoRA 所学的“基础对齐表示”仍然可复用。
  • 视角配置:
    • 仿真中单外视角更优;真实中双视角更优(真实世界更嘈杂、干扰与视角不稳定,融合视角能提升鲁棒性)。

6.5. 消融与机制洞察

  • 阶段一(LoRA)至关重要:基础 PaliGemma2-mix-3B 在 SMF 接近随机(Acc≈0.47/0.53),LoRA 后即显著提升至 0.86/0.82(见 Table I)。
  • 阶段二(FS blocks + 仲裁)进一步提升:Acc 从 0.85→0.90(单视角),0.82→0.88(双视角),F1 同步上升。多层表征 + 投票的有效性得到验证。

7. 总结与思考

7.1. 结论总结

  • 论文提出 I-FailSense:通过两阶段后训练与多层二分类头 + 加权投票仲裁,显著提升“语义失配失败”检测性能,并能跨错误类型(控制错误)、跨仿真环境(CALVIN→RLBench)以及迁移到真实世界(DROID)。
  • 数据构建管线强调“同任务族、近似语义”的难负例生成,使模型学到更细粒度、更具可迁移性的“语言-轨迹对齐判别”能力。
  • 实验显示:仅在“语义失配”上训练,仍能对“控制错误”实现强泛化(AHA 上 +19 个点)。少量再训练 FS blocks,即可实现有效 Sim2Real。

7.2. 局限性与未来工作

  • 局限性:
    • 轨迹时间建模弱:将多帧拼成“单张网格图”,未显式使用视频时序建模(如时序 Transformer/3D Conv),可能限制对复杂时序关系的捕捉。
    • 仲裁权重手工设定(ωvlm=2\omega_{vlm}=2ωk=1\omega_k=1),尚未自适应学习,可能非最优。
    • AHA 数据集未公开,本文复现了 400 个负例用于评测,规模有限且仅负例,难以全面刻画分布。
    • 真实世界评测规模与任务多样性仍有限,尚需更大规模验证与更细粒度的失败类型分析(超出“成功/失败”的细类标签)。
  • 未来工作:
    • 从“检测”走向“恢复(recovery)”:将高准确率的判别器与生成式解释/规划模块结合,实现在线纠错与恢复。
    • 学习型仲裁:让投票权重随样本/上下文自适应,或通过元学习/不确定性估计进行校准。
    • 引入显式时序建模与对象跟踪,提升对长时程、多物体交互的理解与对齐。
    • 多源模态融合(如触觉/力觉/关节信息),进一步提升控制错误与语义错误的可分性。
    • 更系统的 Sim2Real:如域随机化、风格迁移或合成-真实联合训练策略,减少召回损失。

7.3. 个人启发与批判

  • 启发:
    • “先让基础 VLM 学会‘输出判别词元’,再在多层表征上做判别器集成”的思路,使“生成式理解”与“判别式高精度触发”形成互补。对需要强鲁棒触发阈的系统(如安全控制)尤为重要。
    • “聚焦语义失配”的训练信号比“控制错误”更抽象、更强,反而能促进跨错误类型泛化,值得在其他多模态对齐任务中借鉴(如视频指令核验、视听动作对齐)。
  • 批判与改进空间:
    • 时间维度的“平铺成图像”虽然工程上简洁,但可能损失动态关系,应考虑视频时序编码器或 token 级时序注意力。

    • 仲裁策略目前是“固定权重的硬投票”,可探索软融合(如加权概率平均)、不确定性驱动的门控或层自适应选择。

    • 可增加对错误子类的细粒度评估(如方向错、对象错、顺序错等),更好地指导下游恢复策略。

    • 真实世界结果虽与 7B 零样本相近,但仍有提升空间;结合更多真实数据的少量自监督/对比学习,可能进一步增强泛化。

      总体而言,I-FailSense 用一种“结构化地利用 VLM 内部多层表征”的判别式框架,实证展示了“语义对齐失败检测”对构建可自我评估的语言条件机器人具有关键作用,并为“高精度触发 + 后续恢复”奠定了坚实基础。

相似论文推荐

基于向量语义检索推荐的相关论文。

暂时没有找到相似论文。