SAFE: Multitask Failure Detection for Vision-Language-Action Models
TL;DR 精炼摘要
本文提出SAFE(可扩展故障估计),旨在为通才型视觉-语言-动作模型(VLA)实现多任务、实时的故障检测。通过分析VLA内部特征,SAFE能够高效预测任务失败的可能性,并在各种模拟和真实环境中表现出卓越的性能,达到更好的准确性与及时性平衡,支持零样本泛化至未见任务。
摘要
While vision-language-action models (VLAs) have shown promising robotic behaviors across a diverse set of manipulation tasks, they achieve limited success rates when deployed on novel tasks out of the box. To allow these policies to safely interact with their environments, we need a failure detector that gives a timely alert such that the robot can stop, backtrack, or ask for help. However, existing failure detectors are trained and tested only on one or a few specific tasks, while generalist VLAs require the detector to generalize and detect failures also in unseen tasks and novel environments. In this paper, we introduce the multitask failure detection problem and propose SAFE, a failure detector for generalist robot policies such as VLAs. We analyze the VLA feature space and find that VLAs have sufficient high-level knowledge about task success and failure, which is generic across different tasks. Based on this insight, we design SAFE to learn from VLA internal features and predict a single scalar indicating the likelihood of task failure. SAFE is trained on both successful and failed rollouts and is evaluated on unseen tasks. SAFE is compatible with different policy architectures. We test it on OpenVLA, , and -FAST in both simulated and real-world environments extensively. We compare SAFE with diverse baselines and show that SAFE achieves state-of-the-art failure detection performance and the best trade-off between accuracy and detection time using conformal prediction. More qualitative results and code can be found at the project webpage: https://vla-safe.github.io/
思维导图
论文精读
中文精读
1. 论文基本信息
1.1. 标题
SAFE: Multitask Failure Detection for Vision-Language-Action Models
1.2. 作者
- Qiao Gu, Yuanliang Ju, Shengxiang Sun, Igor Gilitschenski, Florian Shkurti(University of Toronto;UofT Robotics Institute;Vector Institute)
- Haruki Nishimura, Masha Itkina(Toyota Research Institute, TRI)
1.3. 发表期刊/会议
- 当前版本为 arXiv 预印本。文稿中涉及的对比方法和相关模型(如 OpenVLA 在 CoRL 2025 发表,STAC 在 CoRL 2025 发表)表明本文面向机器人学习与大模型在机器人控制中的交叉方向,属于顶会 CoRL、RSS、ICRA 的常见议题。
1.4. 发表年份
- 2025 年(arXiv 时间戳:2025-06-11)
1.5. 摘要
- 研究目的:为通才型视觉-语言-动作模型(Vision-Language-Action, VLA)在多任务场景下提供一个能“及时且高准确地”检测失败的通用检测器,以便策略在真实世界中的安全交互(停止、回退或请求帮助)。
- 核心方法:提出 SAFE(ScAlable Failure Estimation),直接读取 VLA 的内部潜在特征(latent features),通过一个轻量的 MLP/LSTM 回归时间序列失败分数,并采用函数型保序预测(Functional Conformal Prediction, CP)构建时间变化阈值以控制误报。
- 主要结果:在多个仿真与真实环境(OpenVLA、π0、π0-FAST)以及多种基线(LLM 不确定性估计、样本一致性、嵌入距离、OOD 检测)上,SAFE 实现了最先进(state-of-the-art)的失败检测性能,并通过 CP 在准确性与及时性之间取得更优折中。
- 关键结论:VLA 的内部特征对任务成功/失败具有任务泛化的高层区分性(存在“失败区/Failure Zone”),利用该特征训练一个统一多任务失败检测器,可以实现对未见任务的零样本泛化。
1.6. 原文链接
- ArXiv 原文:https://arxiv.org/abs/2506.09937
- PDF 链接:https://arxiv.org/pdf/2506.09937v2.pdf
- 项目主页与更多结果:https://vla-safe.github.io/
- 发布状态:预印本(arXiv)
2. 整体概括
2.1. 研究背景与动机
- 背景:扩展机器人示范数据催生了通才型 VLA 策略,它们能理解图像与语言并输出动作控制信号,已能在多样任务上取得较高成功率。然而,零样本部署到未见任务和新环境时,成功率显著下降(通常 30%–60%),且失败模式复杂,带来安全隐患。
- 需求:在真实世界部署中,需要一个“多任务、实时、通用”的失败检测器,能在策略失败发生之前或刚发生时及时报警,以便策略停止、回退或人类接管。
- 现有缺口:
- 大多数失败检测器为“单任务”训练和评估,不能适配通才策略在“未见任务”的泛化。
- 部分通用方法需要多次采样动作或调用大规模 VLM 进行判断,推理开销难以满足机器人实时控制。
- 创新思路:分析 VLA 的内部特征空间,发现跨任务地,成功与失败轨迹在潜在空间中呈现可分性,并存在“失败区域”。据此提出 SAFE,直接通过 VLA 内部特征进行失败评分学习,并用函数型 CP 在时间维度上校准阈值,获得误报可控且及时的失败检测。
2.2. 核心贡献/主要发现
- 贡献 1:提出“多任务失败检测”问题设定,训练仅用见过任务的成功/失败轨迹,测试在未见任务,强调零样本泛化。
- 贡献 2:实证分析显示,VLA 的内部特征对于成功与失败的抽象知识具有任务无关的分离性,失败轨迹会落入同一“失败区”,且随时间演化能反映执行状态。
- 贡献 3:提出 SAFE,读取 VLA 末层隐藏状态,使用 MLP 或 LSTM 轻量模型对时间序列失败分数进行学习,结合函数型 CP 给出时间变化的阈值,保证在成功轨迹上的覆盖率并控制误报。
- 贡献 4:跨架构跨平台评测(OpenVLA、π0、π0-FAST,仿真与真实),与多种基线系统对比(LLM 不确定性、样本一致性、嵌入距离、OOD 检测),表现 SOTA,且推理额外开销 <1%。
3. 预备知识与相关工作
3.1. 基础概念
- 视觉-语言-动作模型(Vision-Language-Action, VLA):一种通才策略模型,输入包括图像、语言指令和机器人状态,输出连续控制信号(动作序列)。常由大规模视觉-语言模型(VLM)初始化,再加上动作头(如离散词元回归、扩散、流匹配等)。
- 轨迹/推演(rollout):在机器人控制中,一次策略执行的时间序列,包含观测、内部特征、策略输出等。是失败检测训练与评估的基本单元。
- 保序预测(Conformal Prediction, CP):一种分布无关的校准方法,通过构造预测集或预测带保证在给定显著性水平下对“正常数据”的覆盖率,从而对阈值的误报率提供理论保证。本文采用“函数型 CP”构建时间序列上的上置信带。
- 不确定性量化(Uncertainty Quantification, UQ):大语言模型/多模态模型中常用的置信度估计方法,包括词元层面的概率/熵、生成样本间的一致性/语义熵等。本文将其适配为机器人策略动作输出的失败代理。
- 监督/非监督失败检测:非监督通常视“成功”为分布内,偏离即异常(OOD),但对“未见任务”的通才策略,OOD 不必然意味着失败;监督方法则利用成功与失败轨迹进行显式区分训练。
3.2. 前人工作
- 通才 VLA 模型:OpenVLA(离散词元动作头)、π0(流匹配动作生成)、π0-FAST(高效动作词元化),以及 Octo、RT 系列等。它们在见过的任务上更稳定,在未见任务上成功率显著降低,凸显失败检测需求。
- 失败检测:
- 非监督 OOD:Mahalanobis、k-NN 距离、PCA-KMeans、RND、LogpZO(流匹配似然近似)等,通常仅用成功数据建模正常分布。
- 监督方法:基于成功/失败轨迹学习分类或回归;既有工作多数为“单任务”,本研究强调“多任务统一检测器”的必要性。
- 样本一致性:STAC 通过多次采样动作评估序列间一致性,仿真中有效但对大模型实时机器人控制开销大。
- LLM/VLM 不确定性:词元概率/熵、语义熵、样本间一致性、内部特征的幻觉检测等。本文借鉴为 VLA 的失败代理基线。
3.3. 技术演进与差异化
- 技术演进:从单任务策略到通才策略;从任务特定失败监控到任务通用的失败检测;从仅观测输出动作/图像到“读取内部潜在特征”以进行抽象层面的失败判断。
- 差异化创新:
- 利用“VLA 内部特征”的跨任务失败分离性,训练统一的多任务失败检测器(SAFE)。
- 采用函数型 CP 在时间序列上校准阈值,获得对成功轨迹的覆盖保证与更早的失败捕获。
- 与高开销的多采样一致性方法相比,SAFE 推理开销微小且实时可用。
4. 方法论
4.1. 方法原理
- 核心直觉:VLA 在最后一层的隐藏状态中编码了与任务成功/失败相关的高层知识。通过对这些内部特征进行轻量的时间序列建模,可以在不同任务上通用地识别失败。
- 设计目标:
-
特征层面通用性:读取模型白盒内部特征(末层隐藏状态),跨架构适配(OpenVLA、π0、π0-FAST)。
-
时间序列评分:在每个时间步 t 输出一个失败分数 ,反映“当前到 t 为止失败的可能性”,并能随轨迹演化而变化。
-
阈值校准:采用函数型 CP 构造时间变化的“上置信带”,保证对成功轨迹的覆盖率,超出则判定失败。
下图(原文 Figure 2)展示了 SAFE 的三个组件与整体流程:
该图像是示意图,展示了FAIL检测器SAFE的三个主要组件:首先,从VLA模型提取潜在特征;其次,使用MLP或LSTM后端学习失败评分预测器;最后,通过功能性符合预测校准失败检测阈值,并在测试过程中检测故障。
-
4.2. VLA 潜在空间的视觉分析(动机)
- 通过 t-SNE 对 π0-FAST 在 LIBERO-10 的末层潜在特征进行可视化,观察到:
-
成功轨迹(蓝色)与失败轨迹(蓝-红随时间渐变)在空间中明显分离。
-
不同任务的失败轨迹集中到相同的“失败区”(failure zone),提示抽象层面的跨任务失败结构。
-
随时间的演化曲线显示:失败轨迹在执行过程中偏离正常区域并进入失败区,成功轨迹则一直位于失败区之外。
下图(原文 Figure 1)为该现象的可视化示意:
该图像是一个示意图,展示了基于 t-SNE 技术的策略潜在特征分布。图 (a) 中的特征根据任务成功与否进行着色,成功的回放为蓝色,失败的回放则呈现蓝到红的渐变。图 (b) 则按照任务 ID 对特征进行着色。图 (c) 显示了成功和失败回放的示例,强调了在特定任务中失败的发生。
-
4.3. 核心方法详解(逐层深入)
4.3.1. 特征提取与聚合
- 特征来源:读取 VLA 最后一层的隐藏状态矩阵 ,其中 可能对应词元位置、扩散步等; 是特征维度。
- 聚合方法(依据模型架构差异进行消融与选择):
- First:取 的第一个向量,
- Last:取 的最后一个向量,
- Mean:对 在第一个维度做平均,
- First&Last:连接首尾两个向量,
- 说明:
- OpenVLA、π0-FAST:动作通过词元序列解码, 为词元数。π0-FAST 抽取“encoded”或“pre-logits”层的隐藏状态,进行对比。
- π0(流匹配):输出动作块(horizon )并进行 次流匹配迭代,,分别在 与 维度做聚合得到 。
- 设计取舍:选择“末层特征”是为了通用与轻量;多层融合留作未来工作。
4.3.2. 失败分数的回归(MLP 与 LSTM 两种主干网络)
- 记在时间步 抽取到的特征为 ,历史为 。
- MLP(逐步独立评分并累加):
- 定义: 其中, 为 2 层 MLP 映射到标量; 为 Sigmoid;因此 。
- 损失函数(逐时步 L1 推动“失败高、成功低”):
符号解释:
- :轨迹索引
- :轨迹级标签(失败为 1,成功为 0)
- :时间步索引
- :时间步 的失败分数
- 直觉:失败轨迹希望 接近上界(越早越高),成功轨迹希望 接近下界(累积为低)。
- LSTM(序列建模):
-
定义: 其中,单层 LSTM 的隐藏状态经线性层投影到标量并用 Sigmoid 归一化。
-
损失函数(逐时步二元交叉熵):
-
直觉:对失败轨迹希望 在各时步都尽量高,对成功轨迹希望 尽量低。
说明:上述公式忠实于原文的设计思想与表达。原文 PDF 中存在少量版式瑕疵(如字符黏连),本文以标准 LaTeX 形式呈现并逐一解释其意义与变量,以帮助读者理解。
-
4.3.3. 阈值选择(函数型保序预测,Functional CP)
- 目标:为时间序列分数 构造一个“随时间变化的上界”,在成功轨迹上以概率至少 全程覆盖(即不触发误报的概率至少 ),一旦测试分数越界即判定失败。
- 形式化:
- 给定显著性水平 ,构造时间变化预测带 。本文采用单侧上界,令 ,。
- 其中, 为校准集(成功轨迹)上 的时间均值, 为时间变化带宽(通过函数型 CP 的调制函数估计,参见 [21] 与 [8] 的附录具体公式),共同决定上置信带。
- 保证(在交换性假设下):对一个新的成功轨迹, 对所有 成立的概率至少为 。
- 判决规则:
- 测试时取阈值 。
- 若某时刻 ,立即触发失败报警。
- 直觉与优势:
- 将“时间序列失败分数”的校准转化为“上置信带越界检测”,不依赖具体分布。
- 用户可通过 调节保守程度,实现“更少误报 vs 更早检测”的折中。
5. 实验设置
5.1. 数据集与基准
-
LIBERO-10(仿真,最难套件):10 个长时任务(多物体、多布局、多指令)。对 OpenVLA、π0、π0-FAST 进行评测,随机选 3 个任务为未见任务;其余为见过任务用于训练与校准。为公平起见,因仿真失败轨迹长度固定为最长,成功轨迹更短,计算指标时统一截断到每任务的最小长度 。
-
SimplerEnv(仿真,高拟真):复刻 RT 系列与 BridgeData 实物场景,部署 π0 的复现版本(记为 ),分别在 Google Robot 与 WidowX 两种实体对应仿真体评测;各体选 4 个任务(各 1 个未见),每任务 100 条轨迹。
-
真实 Franka:部署 π0-FAST-DROID,不进一步收集示范或微调策略。设计 13 个任务,每任务收集 30 成功 + 30 失败。随机选 3 个为未见任务。
-
真实 WidowX:部署 OpenVLA(Open-X Magic Soup++ 预训练),8 个举升/放置任务,共 532 条轨迹(244 成功/288 失败)。随机选 2 个为未见任务。
下图(原文 Figure 3)展示了真实实验设置与示例轨迹:
该图像是图示,展示了两种不同的机器人实验设置和典型的操作演示。上半部分为Franka Emika Panda机器人在进行‘把盖子放在锅上’和‘把记号笔放入杯中’等任务的示例;下半部分为WidowX 250机器人在执行‘捡起AAA电池’和‘把胡萝卜放在盘子上’任务时的画面。
以下是原文 Table 2 的任务列表(SimplerEnv):
| Embodiment | Task ID | Environment Name | π Success Rate (%) |
|---|---|---|---|
| Google Robot | 1 | google_robot_move_near_vO | 77 |
| Google Robot | 2 | google_robot_open_drawer | 50 |
| Google Robot | 3 | google_robot_close_drawer | 80 |
| Google Robot | 4 | google_robot_place_apple_in_closed_top_drawer | 40 |
| WidowX | 1 | widowx_carrot_on_plate | 44 |
| WidowX | 2 | widowx_put_eggplant_in_basket | 88 |
| WidowX | 3 | widowx_spoon_on_towel | 79 |
| WidowX | 4 | widowx_stack_cube | 43 |
以下是原文 Table 3 的 Franka 真实任务列表:
| Task | Instruction | Rollout Length T |
|---|---|---|
| 1 | close the door | 300 |
| 2 | close the drawer | 200 |
| 3 | pick up the ball and place it in the bowl | 400 |
| 4 | pick up the knife and put it on the plate | 350 |
| 5 | pick up the lid and place it on the pot | 400 |
| 6 | pick up the lid from the pot and place it on the table | 400 |
| 7 | pick up the marker and place it in the cup | 400 |
| 8 | place the green block on the yellow block | 350 |
| 9 | place the pink cup to the right of the blue cup | 300 |
| 10 | press the button | 200 |
| 11 | put both the carrot and the ball in the bowl | 500 |
| 12 | put the cup to the upright position | 500 |
| 13 | unfold the cloth | 500 |
以下是原文 Table 4 的 WidowX 真实任务列表:
| Task | Instruction |
|---|---|
| 1 | Lift AAA Battery |
| 2 | Lift Eggplant |
| 3 | Lift Red Bottle |
| 4 | Lift Blue Cup |
| 5 | Put Blue Cup on Plate |
| 6 | Put the Red Bottle into Pot |
| 7 | Put the Carrot on Plate |
| 8 | Put the Red Block into the Pot |
以下是原文 Table 5 的基准统计与数据划分:
| Benchmark | Number of Tasks | Number of rollouts | |||||
|---|---|---|---|---|---|---|---|
| Seen | Unseen | Total | Train | Eval Seen | Eval Unseen | Total | |
| LIBERO | 7 | 3 | 10 | 210 | 140 | 150 | 500 |
| π SimplerEnv, Google Robot | 2 | 2 | 4 | 198 | 102 | 100 | 400 |
| π SimplerEnv, WidowX | 2 | 2 | 4 | 198 | 102 | 100 | 400 |
| Octo SimplerEnv | 9 | 3 | 12 | 594 | 306 | 300 | 1200 |
| Real Franka | 10 | 3 | 13 | 450 | 150 | 180 | 780 |
| Real WidowX | 6 | 2 | 8 | 250 | 133 | 149 | 532 |
5.2. 评估指标
- ROC-AUC(受试者工作特征曲线下面积):
- 概念定义:在所有可能阈值下,衡量分类器区分正负样本的平均性能。值越高表示分数对成功/失败的可分性越强。
- 数学公式:ROC 曲线由点集 随阈值 变化生成,AUC 为其面积,常用数值积分近似。
- 符号解释:;;TP/FP/TN/FN 分别为真阳性、假阳性、真阴性、假阴性计数。本文以“最大至今分数” 构建 ROC。
- TPR(真实正率):
- 定义:在所有失败轨迹中被正确判为失败的比例。
- 公式:。
- 符号解释:TP 为正确失败报警数,FN 为漏报失败数。
- TNR(真实负率):
- 定义:在所有成功轨迹中被正确判为成功(未越界)的比例。
- 公式:。
- 符号解释:TN 为正确未报警数,FP 为误报失败数。
- Balanced Accuracy(平衡准确率):
- 定义:TPR 与 TNR 的平均,兼顾正负类不平衡。
- 公式:。
- 符号解释:同上。
- Detection Time(检测时间,T-det):
- 定义:对失败轨迹而言,从开始到首次越界报警的平均时间步,越小表明越早检测。
- 公式:设第 条失败轨迹在时间步 首次满足 ,则
- 符号解释: 为失败轨迹数。
5.3. 对比基线(类别与代表性)
- LLM/VLM 不确定性(单次前向,词元层面):
- 最大/平均负对数概率(Max/Average prob)
- 最大/平均熵(Max/Average entropy)
- 样本一致性(多次采样动作,方差与聚类熵):
- 动作总方差、平移/旋转/夹爪分量方差(Total/Trans/Rot/Gripper var)
- 聚类熵(对多样本动作的聚类标签计熵)
- 嵌入距离(无监督 OOD 思路):
- Mahalanobis 距离、Euclidean/Cosine k-NN 距离
- PCA-KMeans(降维后聚类距离)
- 学习型 OOD:
- RND(随机网络蒸馏,正常分布拟合)
- LogpZO(用流匹配近似嵌入似然)
- 行为一致性(需多采样动作):
- STAC(相邻动作块重叠段的统计距离)
- STAC-Single(实时单样本版本)
6. 实验结果与分析
6.1. 核心结果分析(表格与总体结论)
以下是原文 Table 1 的仿真基准(ROC-AUC)结果(包含跨行/跨列合并,已用 HTML 精确还原):
| VLA Model Benchmark Eval Task Split | OpenVLA LIBERO | π0-FAST LIBERO | π0 LIBERO | \$πrt} SimplerEnv | Average | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Seen | Unseen | Seen | Unseen | Seen | Unseen | Seen | Unseen | Seen | Unseen | ||
| Token Unc. | Max prob. | 50.25 | 53.83 | 61.32 | 69.44 | - | - | - | - | 55.79 | 61.64 |
| Avg prob. | 44.05 | 51.58 | 52.46 | 58.04 | - | - | - | - | 48.26 | 54.81 | |
| Max entropy | 52.94 | 53.09 | 46.69 | 62.96 | - | - | - | - | 49.81 | 58.03 | |
| Avg entropy | 45.27 | 50.03 | 50.93 | 58.63 | - | - | - | - | 48.10 | 54.33 | |
| Embed. Distr. | Mahalanobis dist. | 62.03 | 58.85 | 93.56 | 83.79 | 77.12 | 74.31 | 88.42 | 52.84 | 80.28 | 67.45 |
| Euclidean dist. k-NN | 66.00 | 55.23 | 92.04 | 84.12 | 75.64 | 70.73 | 89.73 | 68.41 | 80.85 | 69.62 | |
| Cosine dist. k-NN | 67.09 | 69.45 | 92.09 | 84.64 | 75.76 | 70.31 | 90.19 | 71.32 | 81.28 | 73.93 | |
| PCA-KMeans [9] | 57.18 | 55.10 | 68.46 | 57.12 | 64.92 | 60.35 | 66.88 | 61.19 | 64.36 | 58.44 | |
| RND [39] | 52.57 | 46.88 | 88.67 | 81.57 | 71.92 | 69.44 | 885.07 | 65.89 | 74.56 | 65.95 | |
| LogpZO [8] | 61.57 | 52.91 | 91.52 | 83.07 | 76.80 | 73.23 | 88.79 | 74.66 | 79.67 | 70.97 | |
| Sample Consist. | Action total var. | 62.76 | 65.43 | 76.95 | 74.50 | 77.20 | 75.18 | 68.41 | 67.94 | 71.33 | 70.76 |
| Trans. total var. | 55.33 | 58.99 | 78.21 | 80.03 | 49.38 | 54.71 | 63.27 | 55.90 | 61.55 | 62.41 | |
| Rot. total var. | 47.85 | 55.30 | 80.87 | 77.29 | 52.94 | 61.06 | 58.07 | 62.10 | 59.93 | 63.94 | |
| Gripper total var. Cluster entropy | 61.84 50.16 | 64.48 51.44 | 76.82 80.22 | 74.42 80.53 | 77.19 76.19 | 75.19 72.12 | 69.16 68.25 | 69.29 73.66 | 71.25 68.71 | 70.84 69.44 | |
| Action Consist. | STAC [18] | - | - | 83.07 | 85.31 | 46.55 | 47.91 | 60.74 | 62.21 | 63.45 | 65.14 |
| STAC-Single | - | - | 85.46 | 81.16 | 68.46 | 69.39 | 68.71 | 70.40 | 74.21 | 73.65 | |
| SAFE (Ours) | SAFE-LSTM | 70.24 | 72.47 | 92.98 | 84.48 | 76.98 | 71.09 | 88.85 | 80.11 | 82.26 | 77.04 |
| SAFE-MLP | 72.68 | 73.47 | 90.06 | 80.44 | 73.50 | 73.27 | 89.50 | 84.82 | 81.43 | 78.00 | |
- 核心观察:
- 词元不确定性(Token Unc.)整体较弱;样本一致性与 STAC 在需要多采样动作时表现较好,但开销大、难以实时。
- 嵌入距离(Embed. Distr.)整体强,说明“内部特征”的可分性;LogpZO 在单任务中表现很好,但多任务设定下在未见任务上存在过拟合。
- SAFE(MLP/LSTM)在所有仿真基准上整体“优于或不逊于”最佳基线,且在平均上达到 SOTA,证明了“末层特征 + 轻量建模 + CP 阈值”的有效性与泛化性。
6.2. 准确性与及时性的折中(函数型 CP)
下图(原文 Figure 4)展示了在不同显著性水平 下,未见任务上的 Bal-Acc 与 T-det 的关系,灰色曲线为需多采样的基线:
该图像是图表,展示了不同方法在 OpenVLA LIBERO、 LIBERO、-FAST LIBERO 和 SimplrEnv 环境下的平衡准确性(bal-acc)与平均检测时间(T-det)的关系。图中曲线表明,所提的 SAFE-LSTM 和 SAFE-MLP 在性能上优于或与最佳基线持平。
- 结论:SAFE-MLP 与 SAFE-LSTM 在多个基准上实现更优的“高准确 + 早检测”,曲线趋向“左上角”。
- 注:作者还手工标注了失败发生的 GT 时刻(蓝线),对比显示 SAFE 能在失败发生前后较早地给出报警,具备实用的前瞻性。
6.3. 定性分析(失败模式与人类直觉的一致性)
下图(原文 Figure 5)展示了 SAFE-LSTM 在仿真中的失败检测案例(蓝色区域为 CP 带):
该图像是一个示意图,展示了不同机器人政策在特定任务中的失败检测情况。图中包含三个子图,分别对应不同的机器人策略:-FAST、OpenVLA 和 。每个子图中,上方为机器人在操作期间的相机观察,下方为随着时间推移的失败得分变化曲线。蓝色区域代表成功的置信区间,一旦失败得分超出此范围,即会触发失败警报。图中清晰展示了策略在执行任务时的失败情况及其检测效果。
-
案例涵盖:插入不精确、动作震荡、抓取失败但继续放置等。
-
观察:一旦分数越过 CP 带,立即触发报警,与人类直觉一致。
下图(原文 Figure 6)包含真实机器人的定量 ROC-AUC(左)与定性示例(右):
该图像是图表,展示了 SAFE-MLP 在实际实验中与 -FAST Franka 和 OpenVLA WidowX 的失败检测性能。图 (a) 显示了 ROC-AUC 值,分别针对已见和未见任务进行比较;图 (b) 至 (e) 展示了成功和失败任务的定性示例,展示不同时间步骤下的得分变化。 -
真实 Franka 与 WidowX 中,SAFE-MLP 实现最佳或接近最佳,失败分数在成功任务中停止增长,在失败任务中因卡死或滑落而越界。
6.4. 消融与参数分析
-
训练任务数目(原文 Table 6):更多训练任务提升对未见任务的泛化;SAFE-MLP 在较少训练任务(3 或 5)下也能保持较好性能。
# Training Tasks 1 3 5 7 Eval Task Split Seen Unseen Seen Unseen Seen Unseen Seen Unseen Mahalanobis 40.21 52.75 58.00 52.31 57.68 50.78 62.03 58.85 Euclid. k-NN 49.74 63.76 61.66 67.02 59.14 67.11 66.00 55.23 Cosine. k-NN 53.27 60.76 65.39 65.64 67.46 70.57 67.09 69.45 PCA-KMeans 60.39 40.58 61.18 52.87 61.50 53.06 57.18 55.10 RND 29.29 50.32 54.46 47.39 56.71 49.15 52.57 46.88 LogpZo 61.75 56.17 52.89 50.49 65.99 56.60 61.57 52.91 SAFE-LSTM 50.88 52.25 68.85 63.31 70.70 66.31 70.24 72.47 SAFE-MLP 54.34 63.76 67.86 67.03 69.32 68.17 72.68 73.47 -
特征来源(原文 Table 7):用通用视觉特征(DINOv2/CLIP/拼接)训练 SAFE 远不如 VLA 末层特征,验证了“内部特征的抽象性与任务相关知识”的关键性。
Method Eval Task Split LSTM MLP Seen Unseen Seen Unseen DINOv2 76.93 56.96 76.20 59.46 CLIP 76.77 52.71 77.88 59.77 DINOv2+CLIP 77.09 59.65 76.36 58.43 VLA (Ours) 77.27 58.70 86.76 64.16 -
方差与稳健性(原文 Table 8):SAFE 在各基准上的平均性能高且标准差较低,说明跨任务设置下的稳定性更好(表格太长,本文不再重复完整抄录)。
6.5. 运行效率与实用性
- 额外开销:SAFE-LSTM(约 2.3M 参数)推理增加约 0.73ms;对比如 π0(约 3.3B 参数,149ms 推理),额外开销 <1%。
- 白盒要求:需要读取 VLA 内部特征;若策略不可读(黑盒),则无法直接应用。
- 训练数据:需要一定数量的成功/失败轨迹(多任务混合)进行训练与校准;但对“新任务”无需收集额外轨迹即可直接检测失败(零样本泛化)。
7. 总结与思考
7.1. 结论总结
- 本文提出多任务失败检测设定,并证明 VLA 末层特征在跨任务上具备成功/失败的高层分离性。SAFE 通过轻量 MLP/LSTM 回归时间序列失败分数,并用函数型 CP 校准时间阈值,取得对成功轨迹的覆盖保证与良好折中(更高准确 + 更早检测)。仿真与真实评测表明,SAFE 在多模型与多平台上超越多种强基线,开销微小,具备实际部署价值。
7.2. 局限性与未来工作
- 局限性:
- 仅针对操控任务的多任务场景,尚未验证跨实体(Embodiment)泛化、仿真到现实(sim2real)的完全一致性、以及对“无动作视频”数据(latent action)的适用性。
- 仅使用末层特征,未探索多层融合或特定层的最优性。
- CP 的交换性/同分布假设在“未见任务”下可能偏离,TNR 不总是严格接近 。
- 未来方向:
- 多层特征融合与“特征注入/分离向量”(参见 LLM 的 TSV 类工作)以增强失败与成功的线性可分性。
- 在线/自适应 CP,在任务分布漂移下动态调整 。
- 将失败检测用于策略改进与恢复行为学习(回退策略、交互式模仿),甚至探索“激活引导(activation steering)”在机器人多步闭环控制中的适用性。
7.3. 个人启发与批判
- 启发:
- “读取模型内部特征”的思想在 LLM 幻觉检测已有成功经验,本文将其迁移到机器人策略中并验证了跨任务有效性,这是将“表征学习”与“安全保障”结合的典范。
- 函数型 CP 在时间序列上的上界构造,非常契合“在线报警”的需求,值得推广到更多机器人自检管线。
- 可迁移性:
- 对其他多模态通才策略(如嵌入视频的世界模型、导航策略)也可采用类似“内部特征 + CP”的框架进行异常/失败检测。
- 批判与改进机会:
- 需要进一步验证在极端域移(新实体、新视觉域、严苛光照)下的稳健性,或许需要引入域自适应与在线校准。
- SAFE 依赖白盒特征,工业落地可能遇到模型不可读的情况;探索“代理特征”(如中间激活分布统计)或“蒸馏到可读探针”可提升可用性。
- CP 的理论保证在未见任务上并非严格,如何建立“跨任务的配分式校准”仍有理论与工程空间。
强制自检清单(已完成)
- 七个一级标题齐全且编号正确,内部二/三级标题逐级递增。
- 核心术语领域特定翻译与习语识别:rollout(轨迹/推演)、policy(策略)、token(词元)、backbone(主干网络)、state-of-the-art(最先进的)、Ground Truth(真值)。
- 数学公式使用标准 LaTeX,无反引号包裹;逐一解释符号含义。
- 方法论章节中,公式与步骤融合讲解,忠于原文思想并消除排版瑕疵的误读。
- 表格含合并单元格的使用 HTML 精确还原;图片引用紧贴相关分析段落。
- 格式与结构均符合用户给定的“学术论文结构化深度解析框架”。
相似论文推荐
基于向量语义检索推荐的相关论文。