1. 论文基本信息 (Bibliographic Information)

• 标题 (Title): 稀疏想象以实现高效的视觉世界模型规划 (Sparse Imagination for Efficient Visual World Model Planning)
• 作者 (Authors): Junha Chun, Youngjoon Jeong, Taesup Kim。隶属机构为首尔大学 (Seoul National University)。
• 发表期刊/会议 (Journal/Conference): 本文目前发布在 arXiv 上，属于预印本 (Preprint)，尚未在同行评审的会议或期刊上正式发表。arXiv 是计算机科学和相关领域研究人员分享最新成果的重要平台。
• 发表年份 (Publication Year): 2024 年（根据 arXiv ID '2506.01392v1' 推断，首次提交于 2024 年 6 月）。
• 摘要 (Abstract): 基于世界模型的规划通过让智能体模拟未来状态来做出明智决策，极大地改善了复杂环境中的决策能力。然而，确保世界模型的预测准确性通常需要大量计算资源，这对实时应用构成了重大挑战，尤其是在资源严重受限的机器人领域。为了解决这一限制，本文提出了一种名为“稀疏想象”的高效视觉世界模型规划方法。该方法通过在世界模型的前向预测（rollout）过程中减少处理的 token 数量来提高计算效率。具体而言，本文利用一个基于 Transformer 架构和随机分组注意力策略进行稀疏训练的视觉世界模型，使其能够根据计算资源自适应地调整处理的 token 数量。通过这种“稀疏想象”的方式，该方法在保持高控制保真度的同时，显著加快了规划速度。实验结果表明，稀疏想象在大幅提升推理效率的同时，保持了任务性能，为世界模型在实时决策场景中的部署铺平了道路。
• 原文链接 (Source Link):

  • arXiv 链接: https://arxiv.org/abs/2506.01392

  • PDF 链接: http://arxiv.org/pdf/2506.01392v1

  • 发布状态: 预印本 (Preprint)。

    ---

2. 整体概括 (Executive Summary)

• 研究背景与动机 (Background & Motivation - Why):
  • 核心问题： 基于视觉的世界模型 (Visual World Model) 在进行规划时，需要对未来进行大量的模拟推演（即“想象”或 rollout）。当使用像 Vision Transformer (ViT) 这样强大的视觉模型时，其输入由大量的视觉 token（图像块特征）组成，导致 rollout 过程的计算成本极高，尤其是 Transformer 的自注意力机制具有二次方复杂度，这严重阻碍了其在机器人等需要实时决策的场景中的应用。
  • 重要性与挑战： 一方面，使用丰富的多 token 视觉表示（如 ViT 的 patch tokens）对于需要精细空间推理的复杂控制任务至关重要，它比单一向量表示（如 CLS token）能保留更多细节，性能更好。另一方面，这种表示带来的高计算开销形成了一个难以调和的矛盾。现有研究的空白 (Gap) 在于，如何在不牺牲丰富视觉表示所带来的高性能前提下，大幅提升规划效率。
  • 创新思路： 本文的切入点非常巧妙，其核心洞察是：ViT 的图像表示中存在大量冗余信息，并非所有 patch token 对未来的预测和决策都同等重要。因此，作者提出在规划（rollout）阶段主动、随机地丢弃一部分 token，只用一个稀疏的子集进行未来的模拟，从而实现计算加速。这种方法被称为 稀疏想象 (Sparse Imagination)。
• 核心贡献/主要发现 (Main Contribution/Findings - What):
  • 主要贡献：
    1. 提出 稀疏想象 框架： 提出了一种简单而有效的训练与推理方法，通过在模型预测控制 (MPC) 的 rollout 阶段随机丢弃视觉 patch token，显著提升视觉世界模型的规划效率。
    2. 提出 随机分组注意力 训练策略： 为了让世界模型能够适应推理时输入的 token 数量动态变化，作者设计了一种特殊的训练策略，即在训练时将 token 随机分组，并限制注意力只在组内计算。这使得模型天生就具备了处理稀疏 token 子集的能力。
  • 关键结论/发现：

    1. 效率与性能兼得： 实验证明，在中等丢弃率（例如 50%）下，稀疏想象 方法可以将规划时间减少 30%-50%，同时任务成功率与使用全部 token 的基线相当，甚至在某些复杂任务上有所超越。

    2. 随机丢弃足够好： 通过与多种复杂的、基于学习或注意力分数的 token 选择/合并方法进行对比，本文惊人地发现，简单的随机丢棄策略在性能上不亚于甚至优于这些复杂方法。这进一步印证了 ViT 特征的冗余性，并表明对于规划任务而言，精心挑选 token 可能并非必要。

       ---

3. 预备知识与相关工作 (Prerequisite Knowledge & Related Work)

• 基础概念 (Foundational Concepts):

  • 世界模型 (World Model): 这是一种在智能体内部学习到的环境模型。它就像一个“模拟器”，可以根据当前状态和将要执行的动作，预测环境在未来的可能状态。智能体可以利用这个内部模拟器在“想象”中进行规划和决策，而无需在真实世界中进行成本高昂的试错。
  • 视觉变换器 (Vision Transformer, ViT): 一种将 Transformer 架构应用于计算机视觉任务的模型。它首先将输入图像分割成一系列固定大小的小块（patches），然后将每个 patch 线性嵌入成一个 token（向量）。这些 token 序列随后被输入到标准的 Transformer 编码器中进行处理。ViT 的核心是自注意力机制 (self-attention)，它能捕捉图像中所有 patch 之间的全局关系，但其计算和内存复杂度与 token 数量的平方成正比。
  • DINO (self-DIstillation with NO labels): 一种自监督学习方法，用于预训练 ViT 模型。通过 DINO 训练的 ViT 能够学习到非常强大的、具有丰富语义和空间信息的视觉特征，而无需任何人工标注。本文使用预训练的 DINO 模型作为图像编码器，将图像转换为高质量的 patch token 序列。
  • 模型预测控制 (Model Predictive Control, MPC): 一种先进的控制策略。在每个时间步，MPC 会利用一个模型（在这里是世界模型）来预测未来一小段时间（称为“规划时域”，planning horizon）内不同动作序列可能导致的结果。然后，它选择能带来最佳预测结果的动作序列，并执行该序列中的第一个动作。在下一个时间步，它会重复这个过程，不断地重新规划。
  • 交叉熵方法 (Cross-Entropy Method, CEM): 一种用于优化的随机算法。在本文的 MPC 框架中，CEM 用于寻找最优的动作序列。它首先从一个概率分布（如高斯分布）中采样多组候选动作序列，然后用世界模型评估这些序列的好坏。接着，它选出表现最好的少数几个序列，并用它们来更新动作的概率分布（例如，更新高斯分布的均值和方差），使其更倾向于生成好的动作。这个过程迭代多次，最终找到一个高质量的动作序列。

• 前人工作 (Previous Works):

  • 早期的世界模型（如 PlaNet、Dreamer）通常将整个图像压缩成一个低维的向量来表示状态。这种方法虽然计算效率高，但会丢失大量精细的空间信息，导致在需要精确操作的任务（如机器人操控）上表现不佳。
  • 为了解决这个问题，近期的工作（如 DINO-WM）开始利用预训练视觉模型（如 DINO）提取的多个 patch token 作为状态表示。这种方法保留了丰富的空间细节，显著提升了在复杂任务上的性能。然而，这也带来了前文提到的高计算成本问题。

• 技术演进 (Technological Evolution): 该领域的技术演进可以看作是在 “表示的丰富性” 与 “计算的经济性” 之间寻求平衡的过程。

  1. 从像素级预测 -> 计算量巨大，难以处理高分辨率图像。
  2. 到单一潜在向量表示 (e.g., Dreamer) -> 效率高，但信息瓶颈限制了性能。
  3. 到多 token 空间特征表示 (e.g., DINO-WM) -> 性能强，但计算成本高，难以实时应用。
  4. 本文工作正是在第 3 阶段的基础上，通过 稀疏想象 这一新颖思路，试图打破性能与效率的对立，实现二者的兼得。

• 差异化分析 (Differentiation): 本文与之前工作的核心区别在于：

  • 与 Dreamer 等单一向量模型相比： 本文保留了多 token 的丰富空间表示，从而在复杂任务上获得更好的性能。

  • 与 DINO-WM 等全 token 模型相比： 本文在推理（规划）时只使用 token 的一个子集，从而大幅提升了计算效率。

  • 与 ViT 效率优化工作相比： 其他工作（如 token 剪枝、合并）通常旨在为单张图像的分类等任务加速，且通常需要复杂的选择模块。本文则首次将 token 丢弃的思想专门应用于世界模型的时序规划中，并证明了简单的随机丢弃策略在这种动态、闭环的决策场景中出人意料地有效。其独特的 随机分组注意力 训练策略也是为这一特定应用场景量身定制的。

    ---

4. 方法论 (Methodology - Core Technology & Implementation Details)

本论文的方法论主要包含两个相互关联的部分：世界模型的架构与训练（特别是 随机分组注意力 策略），以及在规划时如何利用该模型进行 稀疏想象。

• 方法原理 (Methodology Principles):

  • 核心思想： 利用 ViT 视觉特征的内在冗余性。在动态规划过程中，我们不需要每一帧都处理完整的、密集的视觉信息。一个稀疏的、随机采样的 token 子集已经包含了足够的关键信息来进行有效的未来预测和决策。
  • 理论直觉： 通过在训练中让模型习惯于处理不完整的、随机组合的 token 子集，模型可以学会从局部信息中推断全局动态，从而在推理时即使面对稀疏输入也能做出鲁棒的预测。

• 方法步骤与流程 (Steps & Procedures): 1. 世界模型 (World Model) 架构 (Section 3.1)

  • 图像编码： 给定一个时间步 $t$ 的图像观测 $o_t$，首先使用一个预训练且被冻结的图像编码器 $g_\phi$（本文使用 DINO）来提取视觉特征。这些特征是 patch token 的集合，表示为 $\boldsymbol{z}_t \in \mathbb{R}^{N \times D}$，其中 $N$ 是 token 的数量，$D$ 是每个 token 的维度。
  • 时序预测： 一个基于 Transformer 的世界模型 $f_\theta$ 接收历史的 token 序列 $\{z_{t-h:t}\}$ 和动作序列 $\{a_{t-h:t}\}$ 作为输入，预测下一时刻的 token 序列 $\hat{z}_{t+1}$。该模型是一个因果 Transformer 解码器，确保在预测 $t+1$ 时刻时，只能看到 $t$ 时刻及之前的信息。
  • 训练目标： 模型的训练目标是最小化预测的 token $\hat{z}_{t+1}$ 与真实的 token $z_{t+1}$ 之间的均方误差 (MSE)。

  2. 随机分组注意力 (Randomized Grouped Attention) 训练 (Section 3.1)

  • 这是为了让模型能够处理稀疏输入而设计的关键训练策略。

  • 在每个训练批次中，对于每个样本的每一帧图像，其 $N$ 个 patch token 被随机地划分成两个不相交的组（Group 1 和 Group 2）。

  • 在 Transformer 的自注意力计算中，通过应用一个注意力掩码 (attention mask)，强制 token 只能与其在同一组内的其他 token 进行交互。不同组的 token 之间在空间上是隔离的，但时间上的依赖关系（即一个 token 可以看到前一时刻的所有 token）仍然保留。

  • 通过在每个训练步骤中都使用不同的随机分组，模型被迫学会仅利用 token 的一个子集来做出准确的预测，从而增强了其对稀疏输入的泛化能力。

    

    3. 稀疏想象 (Sparse Imagination) 用于 MPC 规划 (Section 3.2)

  • 在进行 MPC 规划的每一步，首先定义一个丢弃比例 $p \in [0, 1)$。

  • 然后，随机生成一个掩码，保留 (1-p)N 个 token，丢弃其余的 token。

  • 在整个 MPC 的 rollout 过程中，世界模型 $f_\theta$ 只接收并处理这些被保留下来的稀疏 token 子集，来模拟未来的状态。

  • 评估动作序列好坏时，也是基于这个稀疏的 token 子集来计算预测的未来状态与目标状态之间的距离。

  • 一个关键点是，在每一个 MPC 迭代步骤中，都会重新随机采样一个新的 token 掩码。这增加了规划过程的鲁棒性，因为即使在某一步中某个关键 token 被意外丢弃，它也可能在下一步被重新采样回来，使得智能体有机会从暂时的“失明”中恢复。

    该图像为示意图，展示了“稀疏想象（Sparse Imagination）”方法的流程。左侧输入观察图像经过DINO编码生成带有随机Token丢弃的特征表示，作为视觉世界模型（WM）的输入。WM结合动作信息，预测下一步稀疏特征表示，经过模型预测控制（MPC）模块优化动作，循环迭代。图中体现了通过随机Token丢弃减少计算量，同时保持世界模型预测和规划的效果。

• 数学公式与关键细节 (Mathematical Formulas & Key Details):

  • 世界模型训练损失 (World Model Training Loss): $$\mathcal { L } _ { \mathrm { w m } } = \frac { 1 } { N } \sum _ { i = 1 } ^ { N } | | \hat { z } _ { t + 1 , i } - z _ { t + 1 , i } | | ^ { 2 }$$

    • 符号解释:
      • $\mathcal{L}_{\mathrm{wm}}$: 世界模型的训练损失。
      • $N$: 每帧图像的视觉 token 总数。
      • $i$: token 的索引。
      • $\hat{z}_{t+1, i}$: 世界模型预测的在 $t+1$ 时刻的第 $i$ 个 token。
      • $z_{t+1, i}$: 真实的在 $t+1$ 时刻的第 $i$ 个 token。
      • $||\cdot||^2$: L2 范数的平方，即欧几里得距离的平方。
    • 目的: 这个公式计算了所有预测 token 和真实 token 之间的平均均方误差，目标是让模型的预测尽可能接近真实情况。

  • MPC 规划目标损失 (MPC Planning Objective Loss): $$\mathcal { L } _ { \mathrm { m p c } } = | | \hat { z } _ { t + H } - z _ { g } | | ^ { 2 }$$

    • 符号解释:

      • $\mathcal{L}_{\mathrm{mpc}}$: MPC 规划中用于评估一个动作序列好坏的目标函数。
      • $\hat{z}_{t+H}$: 从当前时刻 $t$ 开始，执行某个动作序列后，世界模型预测的在 $H$ 步之后的未来状态的 token 表示。在稀疏想象中，这只包含被保留的 token。
      • $z_g$: 目标状态的 token 表示。同样，也只包含与 $\hat{z}_{t+H}$ 对应的同一子集的 token。
      • $H$: 规划时域 (Planning Horizon)。

    • 目的: 这个公式计算了规划终点的预测状态与目标状态之间的距离。MPC 的目标就是找到一个动作序列，使得这个距离最小。

      ---

5. 实验设置 (Experimental Setup)

• 数据集 (Datasets):

  • 实验在六个不同的模拟环境中进行，涵盖了导航、桌面物体推动、可变形物体操控和精确机器人操作等多种任务，以全面评估方法的泛化能力。

  • 环境列表:

    1. Pointmaze: 2D 迷宫导航。
    2. Wall: 简单的 2D 导航，需要穿过一扇门。
    3. PushT: 将一个 T 形积木推到目标位置。
    4. Granular: 机械臂操控颗粒状可变形物体。
    5. Rope: 机械臂操控绳索状可变形物体。
    6. Block Pushing: 精确的机器人积木推动任务。

  • 选择原因: 这些环境具有不同的视觉复杂度和任务难度。Pointmaze 和 Wall 相对简单，而 PushT、Granular、Rope 和 Block Pushing 则需要更精细的空间理解和操作能力，能有效验证方法在复杂场景下的性能。

    该图像为多场景示意图，展示了论文中视觉世界模型在不同环境下的应用，包括迷宫导航、路径规划、机械臂操作和多样化机器人任务，反映了稀疏想象技术在多样复杂场景中提高推理效率和决策效果的能力。

• 评估指标 (Evaluation Metrics):

  • 成功率 (Success Rate, %):
    1. 概念定义 (Conceptual Definition): 该指标衡量智能体完成指定任务的能力。它计算在所有测试回合 (episodes) 中，智能体成功达到预定目标状态的回合数所占的百分比。这是一个直接反映任务性能的核心指标，值越高代表方法越有效。
    2. 数学公式 (Mathematical Formula): $$\text{Success Rate} = \frac{\text{Number of Successful Episodes}}{\text{Total Number of Episodes}} \times 100\%$$
    3. 符号解释 (Symbol Explanation):
       • Number of Successful Episodes: 成功完成任务的测试回合总数。
       • Total Number of Episodes: 进行测试的总回合数。
  • 规划时间 (Planning Time, s/iter):
    1. 概念定义 (Conceptual Definition): 该指标衡量算法的计算效率。它记录了完成一次 MPC 迭代（即为一个动作决策进行一次完整的规划和优化过程）所需的平均时间，单位是秒。时间越短，说明方法效率越高，越有可能用于实时应用。

• 对比基线 (Baselines):

  • Full-Patch: 与本文方法共享相同的模型架构，但在规划时使用全部的 patch token（即丢弃率 $p=0$）。它代表了高保真度但计算昂贵的上限。

  • CLS-Token: 同样使用 DINO 编码器，但只使用其全局 CLS token 作为状态的单一向量表示。它代表了计算效率高但可能丢失空间细节的下限。

    ---

6. 实验结果与分析 (Results & Analysis)

• 核心结果分析 (Core Results Analysis):

  任务性能 (Success Rate):

  • 注意：此表格为根据原文数据转录，非原始图像。

    	Pointmaze (60 evals)	Wall (60 evals)	PushT (60 evals)	Granular (20 evals)	Rope (30 evals)	Block Pushing (50 evals)
    Full	98.3	85.0	75.0	75.0	63.3	22.0
    CLS	96.7	91.7	43.3	20.0	36.7	16.0
    Drop (Ratio)
    10%	91.7	93.3	78.3	80.0	73.3	28.0
    20%	90.0	95.0	70.0	80.0	66.7	16.0
    30%	98.3	93.3	61.7	85.0	70.0	18.0
    40%	96.7	93.3	56.7	70.0	76.7	18.0
    50%	100.0	95.0	70.0	60.0	73.3	20.0
    60%	83.3	91.7	46.7	70.0	70.0	20.0
    70%	70.0	93.3	28.3	55.0	53.3	20.0
    80%	73.3	90.0	21.7	50.0	66.7	24.0
    90%	71.7	86.7	20.0	40.0	50.0	12.0

  • 分析:

    • 稀疏想象 优于 CLS: 在需要精细空间信息的复杂任务上（如 PushT, Granular, Rope, Block Pushing），稀疏想象 方法（即使在高达 50% 的丢弃率下）的成功率远超 CLS-Token 基线。这证明了保留部分空间 token 比单一全局向量能更好地捕捉任务关键信息。
    • 稀疏想象 媲美甚至超越 Full-Patch: 在 10% 到 50% 的丢弃率范围内，稀疏想象 的性能与使用全部 token 的 Full-Patch 基线相当，甚至在某些情况下（如 Rope 任务 40% 丢弃率时达到 76.7% vs 63.3%）表现更好。这可能是因为丢弃 token 引入了一种随机性，起到了类似正则化的作用，防止模型过分关注某些不重要的细节，从而提高了泛化能力。
    • 性能拐点: 当丢弃率过高（通常超过 70%）时，性能开始显著下降，表明此时丢失了过多的关键信息。

  计算效率 (Planning Time):

  • 注意：此表格为根据原文数据转录，非原始图像。

    	Pointmaze		Wall		PushT		Block Pushing
    	Planning Time (s/iter)	Change (%)	Planning Time (s/iter)	Change (%)	Planning Time (s/iter)	Change (%)	Planning Time (s/iter)	Change (%)
    Full	184	0.0	79	0.0	173	0.0	297	0.0
    CLS	49	-73.4	40	-49.4	32	-81.5	163	-45.1
    Drop (Ratio)
    10%	165	-10.3	73	-7.6	149	-13.9	278	-6.4
    20%	141	-23.4	69	-12.7	131	-24.3	259	-12.8
    30%	126	-31.5	65	-17.7	114	-34.1	240	-19.2
    40%	106	-42.4	62	-21.5	97	-43.9	214	-27.9
    50%	93	-49.5	53	-32.9	82	-52.6	208	-30.0
    60%	80	-56.5	50	-36.7	69	-60.1	200	-32.7
    70%	69	-62.5	46	-41.8	59	-65.9	184	-38.0
    80%	56	-69.6	46	-41.8	49	-71.7	175	-41.1
    90%	48	-73.9	42	-46.8	38	-78.0	167	-43.8

  • 分析:

    • 规划时间随着丢弃率的增加而显著减少。例如，在 PushT 环境中，50% 的丢弃率带来了超过 52% 的时间缩减（从 173s 降至 82s）。在 90% 丢弃率下，其规划时间已接近最高效的 CLS-Token 基线。
    • 这有力地证明了 稀疏想象 在提升计算效率方面的巨大价值，实现了性能和速度之间的有效权衡。

• 消融实验/参数分析 (Ablation Studies / Parameter Analysis):

  1. 随机分组注意力的作用 (Role of Randomized Grouped Attention):

  • 为了验证 随机分组注意力 这一特殊训练策略的必要性，作者比较了使用该策略训练的模型和使用标准 Full Attention 训练的模型，在规划时的表现。

  • 结果: 如图 4 所示，使用 随机分组注意力 训练的模型在所有任务上的成功率都显著高于使用 Full Attention 训练的模型。此外，图 8 的详细分析表明，分组注意力 也能有效降低在稀疏输入下的预测误差。

  • 结论: 这说明 随机分组注意力 策略是让世界模型学会处理稀疏 token 子集的关键，它能让模型在训练阶段就适应这种不完整的信息输入，从而在推理时做出更鲁棒的预测。

    

    2. 不同 token 丢弃方法的比较 (Comparison of Token Dropout Methods):

  • 作者进行了一项全面的比较研究，探索了除随机丢弃外，其他更复杂的 token 选择或合并方法是否能带来更好的性能。这些方法包括基于空间均匀采样的 LHS、基于学习的 LTRP、多种基于注意力的剪枝方法，以及基于聚类的合并方法 ATC。

  • 结果: 如 Table 3 所示，令人惊讶的是，没有任何一种复杂方法能够稳定且显著地优于简单的随机采样。ATC 等合并方法甚至表现得更差，并且计算成本更高。

  • 结论:

    • 这强有力地表明，对于世界模型规划任务，ViT 的 patch token 具有高度的信息冗余。只要保留的 token 数量足够，具体保留哪些 token 似乎并不那么重要。
    • 简单的随机丢弃策略因其高效、无额外开销且性能优异，是该框架下的最佳选择。

  3. 信息论与探测分析 (Information-Theoretic and Probing Analysis):

  • 作者通过 nHSIC（归一化希尔伯特-施密特独立性准则）分析了保留的 token 子集与真实环境状态之间的互信息。

  • 结果: 如图 5 所示，即使在很高的丢弃率下，随机采样的 token 子集与环境状态的 nHSIC 值仍然保持在较高水平，远高于 CLS token。这从信息论的角度证明了稀疏 token 子集仍然保留了大部分关于环境状态的关键信息。

    该图像是图表，展示了不同token丢弃策略（Random Drop和Attn-Enc Drop）在不同丢弃率（Drop Rate）下的归一化HSIC值变化。图中还对比了“Full（无丢弃）”和“CLS”两种基线，结果表明随着丢弃率增加，随机丢弃和注意力编码丢弃策略的HSIC值逐渐下降，但在较低丢弃率时，性能仍接近Full基线。

---

7. 总结与思考 (Conclusion & Personal Thoughts)

• 结论总结 (Conclusion Summary): 本文成功地提出并验证了一种名为 稀疏想象 的新方法，用于解决视觉世界模型规划中的计算效率瓶颈。通过在训练中采用 随机分组注意力 策略，并在推理时随机丢弃一部分视觉 token，该方法能够在保持甚至提升任务性能的同时，将规划速度提高数倍。更重要的是，研究发现简单的随机丢弃策略足以胜过多种复杂的 token 选择方法，这揭示了 ViT 特征在动态决策任务中的高度冗余性，并为未来构建更高效的具身智能体提供了简单而强大的技术路径。

• 局限性与未来工作 (Limitations & Future Work): 作者在论文中诚实地指出了以下局限性：

  1. 仿真环境： 所有实验均在模拟环境中进行，尚未在真实世界的机器人上进行验证。真实世界的噪声和延迟可能会带来新的挑战。
  2. 超参数调整： 最佳的 token 丢弃率 $p$ 需要根据具体环境和计算资源进行手动调整，缺乏自适应机制。
  3. 编码器单一： 实验主要基于 DINO 编码器。未来可以探索其他不同特性的预训练视觉编码器在该框架下的表现。

• 个人启发与批判 (Personal Insights & Critique):

  • 启发：

    1. “足够好”原则的胜利： 这篇论文最大的启发在于，追求极致的精确性（如使用所有 token 或设计复杂的选择器）并不总是最优解。在闭环的、持续决策的 MPC 框架中，一个“足够好”且快速的预测模型，其整体性能可能超过一个精确但缓慢的模型。随机性在这里甚至成为一种优势，增强了鲁棒性。
    2. 训练与推理的不对称设计： 在训练时让模型“负重前行”（处理随机稀疏输入），是为了让它在推理时能够“轻装上阵”（快速处理稀疏输入）。这种训练与推理阶段的不对称设计思想，对于优化其他计算密集型模型具有很好的借鉴意义。
    3. 对 ViT 冗余性的新认识： 我们通常知道 ViT 特征有冗余，但这篇论文从一个动态决策的角度，非常直观地量化并利用了这种冗余，证明了即使损失大量“原始数据”，决策质量依然可以保持。

  • 批判与思考：

    1. 任务的局限性： 论文中的任务虽然多样，但大多是桌面级操作或 2D 导航。对于需要长时程、高度依赖历史信息进行因果推理的复杂任务，随机丢弃是否仍然有效，是值得怀疑的。例如，如果一个关键的小物体在某一帧被丢弃，可能会导致后续一系列决策的失败。虽然重采样机制可以缓解，但可能不足以应对所有情况。
    2. 可解释性问题： 随机丢弃虽然有效，但也使得模型的决策过程更加难以解释。相比之下，基于注意力的选择方法至少能告诉我们模型认为哪些区域更重要。在安全攸关的应用中，这种可解释性的缺失可能是一个问题。
    3. 改进方向： 未来的工作可以探索一种半随机半结构化的丢弃策略。例如，可以保证每帧都保留一些全局上下文信息（如少数几个低频 token），然后再随机采样其他高频细节 token，或许能在随机性的鲁棒性和信息的完整性之间取得更好的平衡。此外，设计一个能根据当前场景复杂度动态调整丢弃率 $p$ 的机制，也将是非常有价值的。