1. 论文基本信息

1.1. 标题

FailSafe: Reasoning and Recovery from Failures in Vision-Language-Action Models
中文译名：FailSafe：面向视觉-语言-动作模型的失败推理与恢复

1.2. 作者

Zijun Lin, Jiafei Duan, Haoquan Fang, Dieter Fox, Ranjay Krishna, Cheston Tan, Bihan Wen
单位：南洋理工大学、A*STAR 前沿人工智能研究中心、Allen Institute for AI、华盛顿大学

1.3. 发表期刊/会议

预印本（arXiv）。作者声明将开源代码。相关基线（如 OpenVLA、π-FAST 等）发表于 CoRL/ICLR 等高水平会议，论文工作在同一活跃研究脉络内具有较高关注度。

1.4. 发表年份

2025 年（版本 v2，UTC 2025-10-02 发布）

1.5. 摘要

论文指出当前视觉-语言-动作（Vision-Language-Action, VLA）模型虽在大规模机器人数据支持下取得优异操控表现，但在真实执行中不可避免会出现突发失败。现有数据集多提供“真实标注/真值（Ground Truth）”的成功轨迹，缺乏失败后的恢复数据；少数面向失败检测的数据集也多为纯文本解释，难以直接驱动 VLA 执行。为此，作者提出 FailSafe：一个自动化的失败生成与恢复系统，可在任意仿真器、任意任务上规模化地产生多样失败样例，并配套“可执行的恢复动作”。作者据此微调 LLaVA-OneVision-7B，得到 FailSafe-VLM。实验表明，FailSafe-VLM 能帮助机械臂识别并恢复潜在失败，在 ManiSkill 多任务上帮助三种 SOTA VLA（π-FAST、OpenVLA、OpenVLA-OFT）平均提升最高达 22.6%。模型还可跨空间布局、视角、物体与机器人体现泛化。

1.6. 原文链接

• arXiv 页面：https://arxiv.org/abs/2510.01642v2
• PDF 链接：https://arxiv.org/pdf/2510.01642v2.pdf
  发布状态：arXiv 预印本

2. 整体概括

2.1. 研究背景与动机

• 核心问题：如何让 VLA 模型在执行过程中面对“不可预期、突发”的失败时，能够准确检测、解释失败，并以“可执行的动作”有效恢复。
• 为什么重要：真实世界的机器人操控不可避免会偏离训练分布。仅用干净成功轨迹训练的策略一旦失败，往往“卡死”或无法自救。现有少量失败数据多为文本反馈，缺乏能直接下发控制指令的低层动作，无法直接助力 VLA 恢复。
• 现有空白（Gap）：缺少一个“可规模化、可移植”的失败数据生成与“动作级恢复”标注流程；缺少能在执行期做失败检测+恢复决策、并输出低层动作的通用视觉语言模型。
• 创新切入：设计 FailSafe 流水线，自动化注入多类失败，并通过系统验证收集“经验证可恢复”的 7 自由度（DoF）末端执行器（End-Effector）纠正动作；基于此微调通用 VLM，作为外部“失败恢复助手”无缝协作于任意 VLA。

2.2. 核心贡献/主要发现

• 提出 FailSafe：首个既能生成“失败解释”，又能产生“可直接执行的恢复动作”的通用、可扩展流程，可移植到任意支持运动规划的仿真平台与任务。
• 构建 FailSafe 数据集：覆盖 ManiSkill 三任务，含约 13.1 万失败-动作对与约 5.6 万真值成功轨迹，类型丰富、经系统验证。
• 训练 FailSafe-VLM：在回放测试与在线协作两种设置下，显著优于 GPT-4o、Gemini-2.5-flash 等通用 VLM 的失败检测与恢复能力；作为外部助手显著提升 π-FAST、OpenVLA、OpenVLA-OFT 三类 VLA 的成功率，最高平均+22.6%。
• 泛化性：跨空间布局、相机视角（FailSafe-VLM 未见过的角度）、新物体类（Sphere、Charger）与新机器人体现（xArm 6）均有效。

3. 预备知识与相关工作

3.1. 基础概念

• 视觉-语言-动作模型（VLA）：以视觉观测（图像/视频）与语言任务描述作为输入，直接输出可执行的机器人低层控制命令（如关节角、末端位姿增量等）的模型。它在“视觉-语言模型（VLM）”的基础上，补全了“动作”通道，使之具备直接控制机器人能力。
• 真实标注/真值（Ground Truth, GT）：指任务成功的标准参考轨迹或状态-动作序列。
• 推演（rollout）：在仿真或真实环境中，按策略一步步执行以生成状态-动作-奖励/结果的轨迹过程。
• 末端执行器 7-DoF 位姿：通常指 3 维平移（x,y,z）+ 3 维旋转（绕 roll/pitch/yaw）+ 夹爪开合（或其他一维 DoF）。
• 运动规划（Motion Planning）：在满足运动学/动力学与碰撞约束下，从起始到目标的可行轨迹求解过程；多数仿真平台（如 ManiSkill、RLBench）支持以关键姿态为节点的阶段化规划。

3.2. 前人工作

• 早期“人类在环”的失败恢复：如 OLAF、YAY，通过人类观察与语言反馈辅助策略修正，难以规模化。
• 自动化失败检测/反思：如 REFLECT、AHA、RoboFAC 在仿真中扰动关键位姿生成失败，VLM 可学到失败检测与文本解释，但多数只输出自然语言纠正建议，无法直接驱动 VLA。
• VLA 表达与训练演进：
  • 离散化动作词元（token）映射（OpenVLA）：将连续动作映射到稀有词元，便于和 VLM 统一，但与连续控制天生存在“量化误差”。
  • 连续动作头与扩散/流匹配（π-FAST、Diffusion-VLA）：以 VLM 为主干网络（backbone），配合连续动作回归或生成头（head），更契合高频、细粒度控制。
  • 引入中间推理（subgoal/轨迹草图等）：增强稳健性与可解释性，但仍缺乏“失败后的低层纠正动作”数据供学。

3.3. 技术演进与本文位置

• 从“只学成功”到“也学失败”：本文强调真实部署中的不可预期错误，主张数据中应包含“失败+恢复”，并给出可执行的低层恢复动作。
• 从“文本纠正”到“动作纠正”：本文从“说怎么改”迈向“直接改”，将自然语言失败解释与低层动作闭环结合，能立刻让 VLA 执行“拉回正轨”的动作。

3.4. 差异化分析

• 与 AHA/RoboFAC：二者重在失败检测/解释，恢复多以文本呈现；FailSafe 额外产出“经验证可执行”的 7-DoF 恢复动作，并构建系统验证闭环，能直接驱动 VLA。
• 与“人类在环”方法：FailSafe 全流程自动化、可在任意任务/仿真器规模化合成，不依赖人工监控与标注。
• 与仅成功数据训练的 VLA：FailSafe 提供失败-恢复知识，配合 VLM 助手在线纠偏，大幅提升稳健性。

4. 方法论

4.1. 方法原理与直觉

• 直觉：VLA 在执行中会在任意阶段发生“轻微但致命”的偏差（平移/旋转/卡住），若能在失败“尚未完全展开”时做小幅矫正，即可把轨迹拉回 GT 轨道。

• FailSafe 的核心：在仿真推演中系统地“注入失败”，并在“失败轨迹”和“GT 轨迹”之间，自动采样与验证一组“从当前偏差位姿到合适纠正位姿”的 7-DoF 动作，确保这些动作一旦执行，能继续完成任务。

  下图（原文 Figure 1）给出 FailSafe 的总体理念：

  该图像是一个示意图，展示了FailSafe系统生成失败场景及其对应的可执行恢复动作（上方）。利用这些，FailSafe-VLM能够检测并恢复机器人故障，同时在不同的空间配置、视角、物体和体现上实现泛化。

4.2. 失败生成（Failure Generation）

• 失败类型定义：三大基础模式，覆盖常见 VLA 失败形态

  • 平移失败（translation）：沿 x/y/z 轴注入随机幅度的位姿扰动
  • 旋转失败（rotation）：绕 roll/pitch/yaw 注入角度扰动
  • 无动作失败（no-ops）：在一段时间内保持原地不动

• 注入时机：依托仿真器的阶段化运动规划（如 ManiSkill 将任务分为多个关键姿态阶段），在任一阶段将 GT 姿态 B 扰动为 B′，使整体推演从 A→B→C→D 变为 A→B′→C→D。若最终任务失败，则记录该失败轨迹、对应图像、失败类型与扰动幅度等元数据，送入动作收集阶段。

  下图（原文 Figure 2）展示了失败注入与后续纠正动作采样的时序关系：

  该图像是示意图，展示了FailSafe系统的工作流程，包括故障生成、动作收集、系统验证、FailSafe数据集和指令微调等五个主要步骤。图中指示了失败轨迹与正确轨迹之间的对比，以及所选的纠正动作和姿态。

4.3. 恢复动作收集（Action Collection）

• 目标：对每条“GT 轨迹 vs 失败轨迹”的对应阶段，自动采样多组“候选纠正动作”ΔA，使其可直接下发给机器人执行。
• 关键思想：从失败轨迹中选取一系列“偏差位姿”$P_d$（从失败轨迹的第 10 步开始，直至末尾，因为过早难以可靠检测失败），并在 GT 轨迹中为每个 $P_d$ 匹配一个“纠正位姿”$P_c$。为避免碰撞，$P_c$ 的匹配窗口限定在“GT 轨迹起始后 10 步到结束前 3 步”的安全区间内。
• 候选动作生成：对每个匹配对 $(P_d, P_c)$，得到一个 7-DoF 的“位姿差”作为候选恢复动作 $\Delta A$。论文措辞为“计算两姿态的 7-DoF 差值”。为便于读者理解，我们用标准位姿差记号表示这一过程（论文未给出具体公式记法，这里采用常用 SE(3) 记号进行解释）： $\Delta A \;=\; P_c \ominus P_d$ 其中：
  • $P_d$：失败轨迹中某一步的末端执行器 7-DoF 位姿（含平移与旋转表示，再加上夹爪 DoF）
  • $P_c$：GT 轨迹中与之匹配的纠正位姿（落在安全窗口内）
  • $\ominus$：位姿差算子，返回从 $P_d$ 到 $P_c$ 的最小扰动增量；其平移分量为向量差，旋转分量在实现中按仿真器采用的姿态表示（如欧拉角/四元数）计算最小角度差；夹爪 DoF 为标量差
  • $\Delta A$：7-DoF 纠正动作增量，可直接下发执行
• 多样性：通过遍历多个 $P_d$ 并随机匹配不同 $P_c$，为同一失败轨迹生成多组候选纠正动作，提升数据多样性。

4.4. 系统化验证（Systematic Verification）

• 目的：确保每个候选 $\Delta A$“真能救场”，且在“即将失败”的任意一步执行都有效。
• 验证流程：在仿真中重放带有两个关键位姿的轨迹，执行序列： $$A \;\to\; P_d \;\to\; P_c \;\to\; B \;\to\; C \;\to\; D$$ 若在 $P_c$ 纠正后，后续能成功完成原本失败的操作（例如顺利抓取/推动/堆叠），则将该 $\Delta A$ 及其对应的图像、失败类型等信息纳入 FailSafe 数据集；否则丢弃。这一步保证了动作的“正确性+鲁棒性”。

4.5. 数据格式与训练接口

• 数据条目内容：问题模板询问“是否存在潜在失败？”→答案需包含当前子任务、是否失败；若失败，还需输出失败类型与“可执行的恢复动作”（7-DoF 增量）。每条条目附带 10 帧连续图像观测（多视角：front/side/hand），以及指令文本。
• 视角泛化设置：在线协作时，FailSafe-VLM 使用与 VLA 训练一致但对自己而言“新”的相机视角，以近似真实部署中共享单一相机的情形。

4.6. 指令微调（Instruction Fine-tuning）

• 基座模型：LLaVA-OneVision-7B，语言主干为 Qwen2-7B-Instruct，视觉塔为 SigLIP，使用两层 GELU MLP 投影器（2×隐层扩展），取视觉编码器倒数第二层特征。
• 训练细节：与 RoboPoint VQA 混合联合训练以增强泛化；全量微调视觉塔、MLP 适配器与语言模型；1 epoch，32×H100，DeepSpeed ZeRO-3；基础学习率 1e-5（视觉塔 2e-6），余弦退火，3% 预热，无权重衰减，bfloat16/TF32 开启。

5. 实验设置

5.1. 数据集

• FailSafe 数据集（ManiSkill 三任务：Pick Cube、Push Cube、Stack Cube）：约 13.1 万个“失败-动作对”，并含约 5.5961 万条无失败的 GT 成功轨迹。失败覆盖 translation、rotation、no-ops 多类。

• 失败注入与系统验证均在 ManiSkill 仿真中自动完成，避免真实采集成本与安全风险，并保证动作的可执行性与有效性。

  以下是原文 Table I 的结果：

  Task	No-ops	Trans_x	Trans_y	Trans_z
  Pick Cube	7,485	10,575	5,295	0
  Push Cube	12,057	2,394	13,947	2,385
  Stack Cube	6,693	11,511	9,792	0
  Total	26,235	24,480	29,034	2,385

  Task	Rot_x	Rot_y	Rotz	GT
  Pick Cube	60	69	60	24,351
  Push Cube	15,690	11,397	2,565	16,893
  Stack Cube	12,057	6,270	738	14,717
  Total	27,807	17,736	3,363	55,961

5.2. 评估指标

论文使用三类指标评估 VLM 的失败推理与恢复动作预测能力，并以“成功率”评估在线协作对 VLA 的帮助。为便于初学者理解，下面给出每个指标的标准定义、公式与符号说明。

• Binary Success（二分类成功率）

  • 概念：判断模型能否区分“失败”和“成功”两类轨迹，关注检测是否发生失败的能力。
  • 公式： $$\mathrm{Binary\;Success} \;=\; \frac{1}{N}\sum_{i=1}^{N}\mathbf{1}\!\left(\hat{y}_i = y_i\right)$$
  • 符号解释：
    • $N$：测试样本数量
    • $y_i \in \{0,1\}$：第 $i$ 个样本的真值标签（0 成功，1 失败）
    • $\hat{y}_i$：模型对第 $i$ 个样本的预测标签
    • $\mathbf{1}(\cdot)$：指示函数，条件为真取 1，否则取 0

• Accuracy（失败类型识别准确率）

  • 概念：在判定为失败的样本上，模型是否正确识别具体的失败类型与轴向（如 Trans_x / Rot_y / No-ops 等）。
  • 公式： $$\mathrm{Accuracy} \;=\; \frac{1}{M}\sum_{j=1}^{M}\mathbf{1}\!\left(\hat{c}_j = c_j\right)$$
  • 符号解释：
    • $M$：纳入评估的失败样本数
    • $c_j$：第 $j$ 个失败样本的真值失败类别（含轴向）
    • $\hat{c}_j$：模型预测的失败类别

• Cosine Similarity（与真值恢复动作的一致性）

  • 概念：度量模型预测的恢复动作向量与真值恢复动作向量在方向上的一致性，越接近 1 越好。
  • 公式： $$\mathrm{CosSim}(\hat{\mathbf{a}}, \mathbf{a}) \;=\; \frac{\hat{\mathbf{a}}^\top \mathbf{a}}{\left\|\hat{\mathbf{a}}\right\|_2 \; \left\|\mathbf{a}\right\|_2}$$
  • 符号解释：
    • $\hat{\mathbf{a}} \in \mathbb{R}^7$：模型预测的 7-DoF 恢复动作向量
    • $\mathbf{a} \in \mathbb{R}^7$：真值 7-DoF 恢复动作向量
    • $\|\cdot\|_2$：欧氏范数
    • $\top$：转置

• 成功率（Success Rate）

  • 概念：在线执行任务时，策略（是否配合 FailSafe-VLM）在测试种子上完成任务的比例。
  • 公式： $$\mathrm{Success\;Rate} \;=\; \frac{\#\text{成功任务}}{\#\text{总任务}}$$
  • 符号解释：分子为达到任务成功判据的次数，分母为评测的总回合数。

5.3. 对比基线

• 通用 VLM：Qwen2.5-VL、Gemini-2.5-flash、GPT-4o。它们并未在 FailSafe 数据上针对性训练，主要评估零样本/少样本下的失败推理与动作预测能力。
• VLA：π-FAST、OpenVLA、OpenVLA-OFT。三者代表了当下主流的动作表达（离散化词元 vs 连续回归/扩散等）与训练范式，均在每任务 1000 条 GT 轨迹上微调，评测在“新空间布局”的测试种子上。

6. 实验结果与分析

6.1. 回放测试：VLM 的失败推理与恢复动作预测

以下是原文 Table II 的结果：

分析：

• FailSafe-VLM 在三项指标全面领先。相较 GPT-4o/Gemini-2.5，失败类型识别准确率提升超过 4 倍，动作余弦相似度达 0.65，说明其输出的 7-DoF 恢复动作与真值方向高度一致，具有强可执行性。
• 通用 VLM 即便能判断“是否失败”，但对“具体失败类型”和“低层动作”的对齐较弱，印证了“缺少面向动作的失败数据监督”的短板。
• FailSafe 的数据与验证闭环，使 VLM 学到了“从视觉-语言到纠正动作”的映射，弥补了传统 VLM 的落差。

6.2. 在线协作：FailSafe-VLM 助力 VLA 执行

协作机制：每执行 10 步，FailSafe-VLM 暂接管控制，做失败检测与恢复动作输出；若无需纠正或纠正完毕，控制权归还基座 VLA，直至下一轮检查。
下图（原文 Figure 3）示意这一协作流程，并强调 FailSafe-VLM 使用的是“对自己而言新”的相机视角（而该视角恰是 VLA 的训练视角）：

该图像是一个示意图，展示了FailSafe-VLM如何与VLA模型协作进行失败推理和恢复。图中显示了在每一步操作中，机器人和VLA的互动，以及如何在每10步检查潜在的失败情况。

以下是原文 Table III 的结果：

分析：

• 对弱基线（OpenVLA），FailSafe-VLM 带来最大幅度增益（平均 +22.6%），说明“失败纠偏”弥补了其控制精度与稳健性的不足。

• 强基线（OpenVLA-OFT、π-FAST）在已高成功率下仍有边际提升，尤其在 Push/Pick 类对齐动作中更明显，验证了“轻微矫正的价值”。

• 视角泛化：FailSafe-VLM 在一个自己未见过的相机视角下仍有效纠偏，显示其“视觉表征与动作预测”的跨视角迁移性。

  下图（原文 Figure 4）给出“OpenVLA + FailSafe-VLM”在线协作的轨迹可视化，绿色段为 FailSafe-VLM 的恢复动作，蓝色为 GT，红色为仅 OpenVLA：

  该图像是一个示意图，展示了FailSafe-VLM如何帮助VLA模型在执行“捡起桌上的红色立方体”任务时从失败场景中恢复。图中上方是机器人的操作序列，底部分别是x轴和z轴的时间步长与位移变化关系图。蓝色实线表示真实轨迹，红色线为OpenVLA模型输出，绿色线为FailSafe-VLM的输出，可以看到后者在失败后有效地进行了恢复。

要点解读：

• 初期的“冻结/卡住”（no-ops）若无失败推理几乎不可自救；FailSafe-VLM 能识别并小幅拉回到 GT 附近，为 VLA 重新接管创造条件。
• 后段 X 轴与 GT 的小偏差不影响拾取完成，说明纠正的关键在“尽早回到可完成区域”，而非逐点严丝合缝。

6.3. 跨对象与跨体现的泛化

以下是原文 Table IV 的结果（新物体类）：

• 在 Sphere、Charger 等训练未见类上，平均 +17.4%。作者认为失败模式在不同任务/物体间存在“结构性共性”，FailSafe 让模型内化了这些“失败-恢复原则”。

  以下是原文 Table V 的结果（新体现：xArm 6）：

  VLA model	FailSafe- VLM	Pick Cube	Push Cube	Stack Cube	Average
  OpenVLA-OFT [3] (xArm 6)	× ✓	100.0%	100.0%	56.0%	85.3%
  		100.0% +0.0%	100.0% +0.0%	76.0% +20.0%	92.0% +6.7%

• FailSafe-VLM 未在 xArm 6 上训练，但仍显著提高 Stack Cube（+20%）且不损其它任务，说明其“失败-恢复知识”具有跨体现可迁移性。

6.4. 消融与参数

• 论文核心强调系统验证对“动作可执行性”的保障；虽然未提供显式消融表，但从方法设计可推断：若去除“安全窗口/系统验证”，将显著增加无效/碰撞纠正，破坏数据质量与线上稳定性。
• 在线检查频率（每 10 步）是权衡开销与反应时延的设定。更高频率可更早纠偏，但增加 VLM 调用与干预成本；更低频率可能错过最佳纠偏窗口。

7. 总结与思考

7.1. 结论总结

• FailSafe 首次把“失败解释”与“可执行恢复动作”在统一、可扩展的自动化流水线中打通，且对每个恢复动作进行系统验证，确保真实可用。
• 基于 FailSafe 数据训练的 FailSafe-VLM，在失败检测、失败类型识别与恢复动作预测上均显著优于通用 VLM；作为外部助手能稳健提升多类 VLA 的在线成功率，最高平均+22.6%。
• 泛化层面，方法对新空间布局、新视角、新物体、新机器人体现均表现良好，显示“失败到恢复”的模式具有跨任务/体现的共性与可迁移性。

7.2. 局限性与未来工作

• 对仿真与运动规划依赖：FailSafe 需要支持阶段化运动规划与碰撞检测的仿真器，现实复杂场景（柔性体、接触不确定性、传感噪声）与仿真仍有鸿沟。未来应探索更强的仿真-现实转移（sim2real），或在真实系统中安全采集少量失败-恢复数据以做域自适应。
• 失败类型覆盖与分布偏衡：当前统计显示某些任务的旋转失败样本较少（如 Pick/Stack 的 Rot_x/Rot_y/Rot_z 只有几十/数百），而 Push 的旋转失败很多。未来可自适应平衡采样，针对稀有失败模式增强数据。
• 位姿表示与差分细节：论文未限定具体姿态表示（欧拉/四元数等），不同表示在数值稳定性与优化上有影响。未来可研究“表示无关”的动作差分与不确定性估计。
• 干预调度策略：固定“每 10 步”检查是简单有效的初版。未来可用事件触发/置信度门控/预测性风险评估来自适应决定何时接管，减少不必要干预与开销。
• 文本-动作对齐的可解释性：虽然动作可执行，但人可读解释与动作之间的因果与可验证性仍可加强，便于审计与安全认证。

7.3. 个人启发与批判

• 启发：面向 embodied AI，单纯“学成功”不足以支撑真实世界鲁棒性；系统地“学失败并会改”，且提供“可执行动作监督”，是提升可用性的关键路径。FailSafe 提供了一个通用、可扩展的范式。
• 可迁移性：该思路适用于更复杂的装配、双臂、移动操控等场景；亦可结合触觉/力反馈，扩展失败定义与恢复策略。
• 改进空间：

  • 数据高效性：是否可通过“对抗采样/主动学习”在更少仿真预算下覆盖更多“关键失败模式”？

  • 不确定性与风险敏感：在动作下发前，给出置信与风险评估，必要时请求人类确认或切换更保守策略。

  • 多模态融合：将语言解释、视觉证据与动作计划以结构化方式联合训练，增强“解释-执行”的闭环一致性。

    ——

补充图示引用说明：

• 上文已在最相关的段落中分别嵌入原文 Figure 1（总体理念）、Figure 2（流水线细节）、Figure 3（在线协作框架）与 Figure 4（轨迹可视化），以支撑对应的方法与实验分析。