1. 论文基本信息

1.1. 标题

ADriver-I: 一种用于自动驾驶的通用世界模型 (ADriver-I: A General World Model for Autonomous Driving)

1.2. 作者

Fan Jia* (MEGVII Technology), Weixin Mao* (Waseda University), Yingfei Liu (MEGVII Technology), Yucheng Zhao (MEGVII Technology), Yuqing Wen† (University of Science and Technology of China), Chi Zhang (Mach Drive), Xiangyu Zhang (MEGVII Technology), Tiancai Wang‡ (MEGVII Technology) *共同第一作者，†通讯作者，‡通讯作者。

1.3. 发表期刊/会议

该论文发布于 arXiv 预印本平台。

1.4. 发表年份

2023年11月22日 (UTC)

1.5. 摘要

传统的自动驾驶系统采用模块化设计，将其分为感知 (perception)、预测 (prediction)、规划 (planning) 和控制 (control) 四个部分。尽管这种模块化设计具有可解释性，但往往引入大量冗余。近年来，多模态大语言模型 (MLLM) 和扩散 (diffusion) 技术在理解和生成能力方面展现出卓越的性能。

本文首先引入了 交错视觉-动作对 (interleaved vision-action pair) 的概念，统一了视觉特征和控制信号的格式。基于这些视觉-动作对，本文构建了一个基于 MLLM 和扩散模型的通用自动驾驶世界模型，命名为 ADriver-I。该模型以视觉-动作对作为输入，自回归地预测当前帧的控制信号。生成的控制信号与历史视觉-动作对进一步作为条件，用于预测未来的帧。通过预测的下一帧，ADriver-I 能够执行进一步的控制信号预测。这种过程可以无限重复，使得 ADriver-I 能够在其自身创造的世界中实现自动驾驶。

论文在 nuScenes 和大规模私有数据集上进行了广泛实验。ADriver-I 与多个构建的基线模型相比，展现出令人印象深刻的性能。作者希望 ADriver-I 能为未来的自动驾驶和具身智能 (embodied intelligence) 研究提供新的见解。

1.6. 原文链接

https://arxiv.org/abs/2311.13549v1 PDF 链接: https://arxiv.org/pdf/2311.13549v1.pdf 发布状态：预印本 (v1)

2. 整体概括

2.1. 研究背景与动机

2.1.1. 自动驾驶的挑战与现有范式

当前的自动驾驶系统主流采用模块化设计，将整个堆栈分解为感知 (perception)、预测 (prediction)、规划 (planning) 和控制 (control) 四个独立模块。这种设计虽然可解释，但在模块间可能引入大量冗余和信息损失，且无法像人类驾驶员那样直接从视觉信息生成动作并预测未来。人类驾驶员能端到端地根据视觉信息调整方向盘和踏板，并对即将发生的未来场景进行预测（例如，看到黄灯时预判即将变红灯并准备停车）。

2.1.2. MLLM与扩散模型的崛起

近年来，多模态大语言模型 (MLLM) 和扩散模型 (diffusion model) 在理解和生成复杂数据方面表现出强大的能力，尤其是在逻辑推理和泛化方面。这为构建更接近人类驾驶方式的自动驾驶系统提供了新的技术路径。

2.1.3. 论文动机

作者提出疑问：是否有可能构建一个能够直接输出控制信号并预测未来场景的系统，从而模拟人类驾驶员的行为？现有研究中，虽然有基于 MLLM 的控制信号预测 (如 DriveGPT4) 和基于生成模型的未来场景预测 (如 GAIA-1, DriveDreamer)，但鲜有工作能将二者统一，并在不依赖大量先验信息（如高清地图、3D 边界框）的情况下，实现一个闭环的、能够在其自身生成的世界中“无限驾驶”的通用世界模型。

2.2. 核心贡献/主要发现

本文的主要贡献和发现可以总结为以下几点：

• 引入 交错视觉-动作对 (interleaved vision-action pair): 提出了一种统一视觉特征和控制信号表示的新格式，将低级控制信号转换为文本形式，与视觉特征一起作为 MLLM 的输入，提高了模型的灵活性和多模态理解能力。
• 构建 ADriver-I 通用世界模型: 首次将多模态大语言模型 (MLLM) 与视频扩散模型 (VDM) 相结合，构建了一个用于自动驾驶的通用世界模型。MLLM 负责自回归预测当前帧的控制信号，而 VDM 则基于历史信息和预测的控制信号生成未来的视觉帧。
• 实现“无限驾驶”能力: ADriver-I 能够在一个递归循环中操作：MLLM 预测控制信号，VDM 基于此生成下一帧；接着将生成的下一帧作为“当前帧”输入 MLLM，重复该过程。这使得 ADriver-I 能够在其自身创造的虚拟世界中进行“无限驾驶”，为自动驾驶的模拟和测试提供了新的可能性。
• 无需大量先验信息的未来生成: 相比于一些依赖高清地图 (HD maps) 和 3D 边界框 (3D bounding boxes) 等丰富先验信息的生成模型，ADriver-I 在未来场景生成时对这些先验信息的依赖大大减少。
• 卓越的实验性能: 在 nuScenes 和大规模私有数据集上进行了广泛实验，ADriver-I 在控制信号预测和未来场景生成两方面均超越了多个构建的基线模型，展示了其有效性和优越性。
• 为具身智能提供新见解: ADriver-I 的设计理念和实验结果为未来的自动驾驶和更广泛的具身智能领域提供了新的研究方向和见解，尤其是在统一理解与生成、实现闭环交互方面。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 模块化自动驾驶系统 (Modular Autonomous Driving System)

这是传统自动驾驶系统的主流设计范式。它将复杂的自动驾驶任务分解为一系列独立的、顺序连接的模块，通常包括：

• 感知 (Perception): 负责从传感器数据（如摄像头、雷达、激光雷达）中识别和理解周围环境，例如检测车辆、行人、车道线、交通标志等。
• 预测 (Prediction): 基于感知结果，预测环境中动态对象（如其他车辆、行人）未来的行为和轨迹。
• 规划 (Planning): 根据感知和预测结果，结合预设的驾驶规则和目标（如导航路线），为自车（ego car）生成安全的、舒适的、高效的行驶轨迹或一系列路径点 (waypoints)。
• 控制 (Control): 根据规划模块输出的轨迹或路径点，生成低级的车辆操作指令，如转向角 (steer angle)、油门 (throttle)、刹车 (brake) 等，以使车辆按照规划执行。 这种设计的好处是每个模块相对独立，易于开发、测试和调试，且具有良好的可解释性，有助于事故溯源。但缺点是模块间的信息传递可能导致冗余和误差累积。

3.1.2. 端到端自动驾驶 (End-to-End Autonomous Driving)

与模块化设计相对，端到端方法旨在直接从原始传感器数据输入到低级控制信号输出。它模仿人类驾驶员的直觉驾驶方式，试图通过一个单一的神经网络模型来完成所有任务。这种方法减少了中间模块带来的复杂性和误差累积，但通常缺乏可解释性，且训练数据需求巨大。

3.1.3. 多模态大语言模型 (Multimodal Large Language Models, MLLM)

MLLM 是在大型语言模型 (LLM) 基础上扩展而来的，能够处理和理解多种模态的输入，如文本、图像、视频和音频。它们通常通过将非文本模态的数据（如图像）编码为语言模型可以理解的 词元 (token) 来实现跨模态理解和生成。MLLM 在 逻辑推理 (logical reasoning) 和 泛化能力 (generalization capabilities) 方面表现出色。例如，它们可以根据图像内容回答问题，或者生成符合特定视觉描述的文本。

3.1.4. 扩散模型 (Diffusion Models)

扩散模型是一类生成模型，近年来在图像、视频和音频生成方面取得了显著进展。它们通过模拟一个逐步向数据添加随机噪声的扩散过程，并学习如何逆转这个过程来从噪声中生成清晰的数据。在视频生成领域，扩散模型可以生成高质量、时间连贯的视频序列。它们通常能够实现对生成内容的精细控制，例如通过文本提示或条件输入来指导生成过程。

3.1.5. 世界模型 (World Models)

世界模型是指智能体 (agent) 对其所处环境的内部表示和预测机制。在强化学习和机器人学领域，世界模型通常用来预测环境将如何响应智能体的动作，或者预测未来环境的状态。一个好的世界模型能让智能体在不与真实环境交互的情况下进行 规划 (planning) 和 学习 (learning)，提高学习效率和安全性。本文中的世界模型旨在统一动作预测和未来场景生成，使智能体能够“活”在其自身创造的虚拟世界中。

3.2. 前人工作

3.2.1. 自动驾驶中的 MLLM 应用

• LLaVA [31, 32], miniGPT4 [67], BLIP-2 [29]: 这些是通用的 MLLM，接收图像和文本 词元 (token) 作为输入，训练以实现跨模态理解。它们是 ADriver-I 中 MLLM 部分的基础技术。
• VIMA [24]: 利用 Mask R-CNN 提取对象区域，结合文本描述输入到 Transformer 架构来预测 电机动作 (motor actions)，关注机器人操作。
• VoxPoser [22]: 利用预训练的 MLLM 和 LLM 生成 价值图 (value map) 用于运动规划，无需额外训练。
• PaLM-E [10]: 结合预训练的 PaLM 和 ViT-22B，能够执行多种任务，如运动规划、桌面操作和图像描述。
• RT-2 [3]: 提出了 视觉-语言-动作 (VLA) 模型 (vision-language-action models) 用于机器人控制，直接输出低级控制信号。
• DriveGPT4 [63] (同期工作): 基于 MLLM，以视频和文本作为输入，能够输出控制信号并提供相应原因以增加可解释性。ADriver-I 与 DriveGPT4 的主要区别在于 ADriver-I 额外实现了未来场景的生成。

3.2.2. 端到端自动驾驶

许多最先进的端到端自动驾驶方法 [6, 20, 21, 23, 40, 61] 采用编码器-解码器范式，从原始传感器数据中提取信息并预测规划结果。

• Transfuser [40] 和 TCP [61]: 直接预测规划结果（路径点）而无需构建任何场景表示。
• ST-P3 [20]: 从语义地图构建密集的 成本图 (cost map)，然后使用手工规则寻找成本最低的最佳规划轨迹。
• UniAD [21]: 以分层方式集成多样化的场景表示，包括 分割图 (segmentation map)、运动流图 (motion flow map) 和 鸟瞰图占据图 (BEV occupancy map)。
• VAD [23]: 采用完全向量化方法，利用 向量化智能体运动 (vectorized agent motion) 和 地图 (map)，避免了计算密集型 栅格化表示 (rasterized representations)。

3.2.3. 自动驾驶中的生成模型

场景生成在自动驾驶领域通过多种方法取得进展：

• 生成对抗网络 (GANs) [12]: 如 DriveGAN [26] 通过关联驾驶动作与像素变化来预测未来的驾驶视频。
• 变分自编码器 (VAEs) [27, 55]: 如 BEVGen [51] 基于 VQ-VAE，能够从鸟瞰图 (BEV) 布局生成多视角图像。
• 扩散模型 [18, 50]: BEVControl [64] 进一步生成街景图像中的前景和背景，甚至支持草图式输入。视频潜在扩散模型 [2] 基于 Stable Diffusion [46] 实现了高分辨率视频合成。Panacea [1] 提出了一个 布局条件视频生成系统 (layout-conditioned video generation system) 以多样化感知模型训练数据。

3.2.4. 自动驾驶中的世界模型

在世界模型方面，存在两种定义：一种是纯粹预测未来，另一种是统一动作预测和未来生成。

• 强化学习与机器人学中的世界模型 [13, 14, 25, 49, 60, 62]: 常用于预测环境如何响应智能体的动作，理解环境行为并预测未来状态。
• GAIA-1 [19]: 提出了一个生成式世界模型，以视频、文本和动作作为输入来生成逼真的驾驶场景。其更侧重于场景生成，而忽略了控制信号预测。
• DriveDreamer [58]: 也引入了一个世界模型，通过生成未来驾驶场景和预测控制信号。但它严重依赖于丰富先验信息，如高清地图和 3D 边界框。

3.3. 差异化分析

ADriver-I 与上述相关工作的核心区别和创新点在于：

• 统一性: ADriver-I 首次在一个统一的框架下，将控制信号预测和未来场景生成相结合，实现了 理解 (comprehension) 和 生成 (generation) 的融合。
• 数据效率与泛化: 引入 交错视觉-动作对 格式，使得模型能以更灵活和泛化的方式处理多模态信息，并能进行 多轮对话 (multi-round conversation)，适应不定长度的帧序列。
• “无限驾驶”能力: ADriver-I 能够在一个递归闭环中自主生成世界并在此世界中持续驾驶，这为自动驾驶的模拟、测试和探索提供了前所未有的可能性，而其他世界模型如 GAIA-1 更侧重于场景生成，DriveDreamer 虽也预测控制，但对先验信息依赖性强。
• 对先验信息的低依赖: ADriver-I 在未来场景生成时，不需要 DriveDreamer 所需的大量先验信息（如 3D 边界框和高清地图）。

4. 方法论

4.1. 方法原理

ADriver-I 的核心思想是构建一个能够同时理解环境、预测自身动作并生成未来环境变化的通用世界模型。它借鉴了人类驾驶员的直觉：基于当前视觉信息采取行动，并预判未来场景。为了实现这一目标，ADriver-I 引入了 交错视觉-动作对 (interleaved vision-action pair) 的概念，将自动驾驶的视觉输入和车辆控制输出统一到一个多模态大语言模型 (MLLM) 可处理的格式中。MLLM 负责根据历史和当前信息预测低级控制信号，而一个视频扩散模型 (VDM) 则根据这些控制信号和历史视觉信息生成未来的帧。最关键的是，生成的未来帧可以反过来作为输入，驱动 MLLM 预测新的控制信号，形成一个无限循环，从而实现所谓的“无限驾驶”。

4.2. 核心方法详解 (逐层深入)

4.2.1. 整体架构 (Overall Architecture)

ADriver-I 的整体框架如图 1 所示。它是一个基于多模态大语言模型 (MLLM) 和视频扩散模型 (VDM) 的通用世界模型。

该图像是论文中ADriver-I框架的示意图，展示了历史交错的视觉-动作对 \{I, A\} 和当前视觉帧作为输入，利用多模态大语言模型推理当前帧的控制信号 $A_t$，并通过扩散模型预测下一帧图像 I_{t+1}^{}，该过程可迭代无限次。

Figure 1. Overview of of our ADriver-I framework. It takes the historical interleaved vision-action pairs $\\{ I , A \\}$ and current visual token as inputs. The multi-modal large language model (MLLM) reasons out the control signal A _ { t } of current frame. The predicted action A _ { t } E $I _ { t + 1 } ^ { ' }$ is selected and further input to the MLLM to produce the control signal $\\boldsymbol { A } _ { t + 1 } ^ { \\prime }$ . Such process (green line) can be repeated for infinite

输入:

• 历史 视觉-动作对 (vision-action pairs): $\{I_{t-1}, A_{t-1}), ..., (I_{t-3}, A_{t-3})\}$，其中 $I$ 表示视频帧， $A$ 表示对应的控制信号。
• 当前视频帧 $I_t$。

过程:

1. 控制信号预测: MLLM 接收历史视觉-动作对和当前视觉 词元 (visual token) 作为输入，自回归地推理出当前帧的 控制信号 (control signal) $A_t$。
2. 未来帧生成: 预测出的动作 $A_t$ 与历史视觉-动作对一起，作为条件输入到 VDM 中，用于预测未来帧 $\{I_{t+1}', ..., I_{t+4}'\}$。这意味着预测的当前动作 $A_t$ 直接影响未来的场景 $I_{t+1}'$。
3. 无限驾驶循环: 最关键的是，生成的下一帧 $I_{t+1}'$ 被用作下一个时间步的“当前帧”，并再次输入到 MLLM 中，以产生 $A_{t+1}'$。这个过程（图 1 中的绿线所示）可以无限重复，使得 ADriver-I 能够在其自身创造的世界中持续进行自动驾驶。

4.2.2. 多模态大语言模型 (Multi-modal Large Language Model, MLLM)

MLLM 是 ADriver-I 的核心组件之一，负责理解输入并预测控制信号。它由三个子模块组成：

• 预训练大语言模型 (Pre-trained Large Language Model, LLM): 本文采用 Vicuna-7B-1.5 [5] 作为 LLM，该模型在 LLaMA2 [53] 上进行了微调 (fine-tuning)。LLM 负责处理文本输入和输出，并进行推理。
• 视觉编码器 (Visual Encoder): 采用 CLIP-ViT-Large [44] 作为视觉编码器，该模型在大规模图像-文本对上进行了预训练。它负责将输入的视频帧 $I$ 编码为视觉特征。
• 视觉适配器 (Visual Adapter): 采用 两个多层感知机 (Multi-Layer Perceptron, MLP) 层作为视觉适配器。该适配器通过 LLaVA-7B-1.5 [31] 预训练，旨在将视觉编码器提取的视觉特征与 LLM 的语言特征对齐，使得 LLM 能够理解视觉信息。

4.2.3. 视频扩散模型 (Video Diffusion Model, VDM)

VDM 负责根据历史信息和预测的控制信号生成未来的视觉帧。

• 基础模型: VDM 基于 潜在扩散模型 (latent diffusion model) [47] 构建，用于视频生成。具体而言，它建立在 Stable Diffusion 2.1 [46] 之上。

• 时间感知模块 (Temporal-awareness Modules): 为了增强视频生成能力，VDM 融入了类似于 视频潜在扩散模型 (video latent diffusion model) [2] 中的时间感知模块。这些模块确保生成的视频帧在时间上具有连贯性。

• 历史条件功能 (History-conditioned Functionality): 模型通过集成 参考视频控制 (reference-video control) 机制来丰富历史条件功能。这通过将给定的历史帧与扩散过程的输入进行拼接来实现，使得模型能够参考历史视觉上下文进行生成。

• 文本条件模块 (Text Condition Modules): VDM 保留了文本条件模块，这使得模型能够利用 动作引导 (action-guided) 的方式生成未来场景。具体来说，来自 MLLM 的控制信号（经过文本化处理后）作为文本条件来指导 VDM 的生成。

  总结来说，VDM 集成了控制信号和历史帧作为条件输入，充当 ADriver-I 中 MLLM 的一个“活跃生成器”，模拟 MLLM 动作所造成的环境变化。

4.2.4. 提示构建 (Prompt Construction)

为了使 MLLM 和 VDM 能够有效地处理和理解 视觉-动作对 和控制信号，需要进行精心的提示构建。

4.2.4.1. MLLM 的提示 (Prompt for MLLM)

• 交错视觉-动作对 (interleaved vision-action pair):
  1. 控制信号文本化: 将低级控制信号（如车速 $S$ 和转向角 $\alpha$）转换为文本形式。例如，$The speed is <num_start>S<num_end>, The steer_angle is <num_start>α<num_end>$。这里 <num_start> 和 <num_end> 是用于数字的开始和结束 词元 (token)。这些文本随后通过语言 词元分析器 (tokenizer) 转换为 动作词元 (action tokens) <TOKEN_act>。
  2. 视频帧视觉化: 每个视频帧 $I$ 通过 CLIP-ViT-Large [44] 特征化，再经过视觉适配器处理，生成 视觉词元 (visual tokens) <TOKEN_img>。
  3. 配对: 每个视频帧的视觉 词元 与对应的动作 词元 形成 交错视觉-动作对。
• 优势: 这种 视觉-动作对 的引入具有以下优点：
  1. 支持 多轮对话 (multi-round conversation)，适应不定长的帧序列，提高了 MLLM 的灵活性。
  2. 在 词嵌入空间 (word embedding space) 中统一了 交错未来生成 (interleaved future generation) 和 动作预测 (action prediction)。
• 对话结构 (Conversation Structure): 除了视觉和动作 词元，还引入了 系统提示 (system prompt) $<SYS>$ 来描述背景，引导 MLLM 的推理模式。整体对话结构可以概括为： Human: <SYS> <TOKEN_img> <TOKEN_act> <STOP> Agent: <TOKEN_act> <STOP> 其中 $<SYS>$ 是系统提示，$<STOP>$ 是停止 词元。

下图 2 展示了一个 MLLM 的提示示例，其中 AGENT 的回答是控制信号。

该图像是一组连续采集的道路场景图像，可能为论文中用于自动驾驶世界模型训练的关键帧序列，展示车辆从静止到行驶过程中的环境变化。

the interleaved vision-action pair.The agent answer is the control signal including the speed and steer angle. $< \mathrm { i m } { \bf g } >$ is the visual token. < num_start > and < num_end > are the beginning and ending tokens for the digits, respectively. Figure 3. An example of conversation used for guiding GPT3.5 to generate the corresponding motion prompt. The control signals of the historical frame and current frame are used as inputs, while GPT3.5 outputs potential motion states.

注意： 原文此处图的文字说明与图的编号不匹配。根据内容，此图更像是 Figure 2 的描述，但图的实际编号是 2.jpg。根据上下文推断，图像 2.jpg 的内容是连续的道路场景，而 Figure 3 的描述是关于 GPT3.5 生成运动提示的对话示例。我将根据其在原文中位置，将 images/2.jpg 对应为图 2，并结合文本描述进行分析。

图 2 的文字描述指向的是一个对话示例，实际的 images/2.jpg 是一系列图片帧。根据原文“如图 2 所示，除了视觉和动作 词元，我们还引入了系统提示来描述背景，引导 MLLM 的推理模式。”以及图 3 的文字描述，这里我将 images/2.jpg 理解为 MLLM 提示的视觉输入部分，而 Figure 3 描述的对话结构才是 MLLM 的提示示例。为保持忠实原文，我将沿用原文的图编号与说明。

Figure 3. An example of conversation used for guiding GPT3.5 to generate the corresponding motion prompt. The control signals of the historical frame and current frame are used as inputs, while GPT3.5 outputs potential motion states.

上面这段文字在原文中是 Figure 3 的描述。但在论文中，这部分文字下方的实际图片是 images/3.jpg，而 images/2.jpg 在 Figure 3 的描述上方。这暗示了原文的图编号和文字描述可能有些错位。鉴于此，我将严格按照图片文件名来引用图片，并根据其内容和周围文本来推断其作用。

• images/2.jpg 是一组连续采集的道路场景图像。 这可能代表了 MLLM 提示中的 视觉词元 (visual token) 部分。

• Figure 3. An example of conversation used for guiding GPT3.5 to generate the corresponding motion prompt. 这段文字描述的是用于引导 GPT3.5 生成运动提示的对话示例。它上面紧跟着的文字是 Human: You are an intelligent chatbot dedicated to describing the driving trajectory of autonomous vehicles...。

  为了避免混淆，我将按照我的理解进行描述：

图 3 所示的对话示例用于指导 GPT3.5 将低级控制信号转换为运动描述。 Human: "你是一个智能聊天机器人，致力于描述自动驾驶车辆的行驶轨迹。你的任务是根据视频中不同时间戳捕获的信息，包括车辆的速度和转向角，推断车辆的运动状态，如保持稳定速度、减速、转弯等。" Human: "这是 4 个连续帧的控制信号：The frame 1 is {'speed': 2.948, 'steer_angle': -6.796}, The frame 2 is {'speed': 3.217, 'steer_angle': -6.624}, The frame 3 is {'speed': 3.424, 'steer_angle': -5.91}, The frame 4 is {'speed': 3.63, 'steer_angle': -4.555}" GPT3.5: "车辆以中等速度行驶，正在轻微右转。转向角保持一致，表明是逐渐转弯。车辆没有显著加速或减速，表明运动状态稳定。"

4.2.4.2. VDM 的提示 (Prompt for VDM)

• VDM 的文本编码器不像 LLM 那样具备强大的推理能力。它难以理解例如转向角为负值代表右转、正值代表左转这样的数值含义。
• 为了解决这个问题，论文使用 GPT3.5 [36] 将低级控制信号转换为 运动描述 (motion description)。
• 如图 3 的对话示例所示，连续帧的控制信号作为输入，GPT3.5 被引导输出常见的驾驶状态描述，如稳定速度 (steady speed)、加速 (accelerating)、减速 (decelerating) 和转弯 (turning)。
• VDM 在这些 运动提示 (motion prompts) 的条件下生成未来的帧。

4.2.5. 模型训练 (Model Training)

MLLM 和 VDM 这两个部分是独立训练的，然后在推理时合并使用。

4.2.5.1. MLLM 的训练 (Training for MLLM)

• 预训练 (Pretraining): 在私有数据集上进行，该数据集包含近 1.4M 的高速公路场景 视觉-动作对。在预训练阶段，LLM 模型被 冻结 (freeze)，而视觉编码器和视觉适配器层的参数被更新。
• 监督微调 (Supervised Finetuning, SFT): 在 nuScenes 和私有数据集上分别进行。在此阶段，视觉编码器被冻结，其余部分的参数进行训练。
• 细节: 训练 2 个 周期 (epochs)，批大小 (batch size) 为 16。输入图像尺寸为 $336 \times 336$。输入包括三个历史 视觉-动作对 和当前图像。为了减少 LLM 的收敛难度，将数字乘以 1000 转换为整数。优化器采用 AdamW，学习率为 $2 \times 10^{-5}$。由于 MLLM 的输出是文本 语料 (text corpora)，采用 交叉熵损失 (cross-entropy loss) 进行监督。

4.2.5.2. VDM 的训练 (Training for VDM)

• 遵循 [2] 中的训练方案。
• 预训练: VDM 继承 Stable Diffusion [45] 的权重，首先在 1.4M 私有数据集上预训练 40k 步。
• 微调 (Finetuning): 之后在 nuScenes 数据集上使用约 23K 视频样本进行微调，额外训练 40,000 步。
• 细节: 预训练批大小为 128，使用 32 块 A100 (80GB) GPU。微调批大小为 32，使用 16 块 A100 (80GB) GPU。空间分辨率为 $256 \times 512$，视频长度为 8 帧，预训练和微调阶段相同。预训练学习率为 $4 \times 10^{-4}$，微调学习率为 $3.2 \times 10^{-4}$。推理时使用 DDIM [50] 采样器，采样步数为 50。

5. 实验设置

5.1. 数据集

• 私有数据集 (Private Dataset):
  • 规模: 近 1.4M 视觉-动作对 (vision-action pairs)。
  • 特点: 主要集中于高速公路场景 (highway scenario)。
  • 用途: 用于 MLLM 的预训练和 SFT，以及 VDM 的预训练。
• nuScenes 数据集 (nuScenes Dataset):

  • 规模: 约 23K 视频样本。

  • 特点: 这是一个流行的自动驾驶公共数据集，包含城市驾驶场景。

  • 用途: 用于 MLLM 的 SFT 和 VDM 的微调。

    注: 原文未提供数据集中具体的视觉样本示例。

5.2. 评估指标

5.2.1. 控制信号预测 (Control Signal Prediction)

为了全面评估控制信号预测的性能，论文采用了 L1 误差和不同阈值下的 $\text{准确率} ($A_\theta)。

1. L1 误差 (L1 Error):

   • 概念定义: L1 误差，也称为平均绝对误差 (Mean Absolute Error, MAE)，衡量预测值与真实值之间绝对差值的平均值。它直观地反映了预测结果的平均偏差大小。
   • 数学公式: $$\mathrm{L1} = \frac{1}{N} \sum_{i=1}^{N} | \hat{x_i} - x_i |$$
   • 符号解释:
     • $N$: 验证样本的总数量。
     • $\hat{x_i}$: 第 $i$ 个样本的预测值。
     • $x_i$: 第 $i$ 个样本的真实值 (Ground Truth)。
     • $| \cdot |$: 绝对值函数。

2. 不同阈值下的准确率 ($A_\theta$) (Accuracy with Different Thresholds):

   • 概念定义: $\text{准确率} ($A_\theta) 衡量预测值与真实值之间的绝对误差在一个给定阈值 $\theta$ 内的样本所占的比例。它可以更细致地评估模型在不同容忍度下的准确性。
   • 数学公式: 首先定义一个指示函数 $F(\hat{x_i}, x_i, \theta)$： $$F ( { \hat { x _ { i } } } , x _ { i } , \theta ) = { \left\{ \begin{array} { l l } { 1 , } & { | { \hat { x _ { i } } } - x _ { i } | < = \theta } \\ { 0 , } & { | { \hat { x _ { i } } } - x _ { i } | > \theta } \end{array} \right. }$$ 然后计算 $A_\theta$: $$A _ { \theta } = \frac { 1 } { N } \sum _ { i = 0 } ^ { N } F ( \hat { x _ { i } } , x _ { i } , \theta )$$
   • 符号解释:
     • $\hat{x_i}$: 第 $i$ 个样本的预测值。
     • $x_i$: 第 $i$ 个样本的真实值 (Ground Truth)。
     • $\theta$: 预设的误差阈值，实验中使用了 $\{0.01, 0.03, 0.05, 0.07\}$。
     • $F(\cdot)$: 指示函数，如果预测误差在阈值 $\theta$ 内，则为 1，否则为 0。
     • $N$: 验证样本的总数量。
     • $A_\theta$: 在给定阈值 $\theta$ 下的准确率。

5.2.2. 未来场景生成 (Future Scene Generation)

为了评估未来生成视频的质量，论文采用了 帧级 Frechet Inception Distance (FID) 和 Frechet Video Distance (FVD)。

1. Frechet Inception Distance (FID):

   • 概念定义: FID 是一种用于评估生成图像质量的指标，通常用于衡量生成图像与真实图像之间特征分布的相似性。它通过计算两个高斯分布（一个来自真实图像，一个来自生成图像）之间的 Frechet 距离来量化相似度，这两个分布是在预训练的 Inception-v3 模型的某个中间层提取的特征上拟合的。FID 值越低，表示生成图像的质量越高，与真实图像的分布越接近。
   • 数学公式: $$\mathrm{FID} = ||\mu_x - \mu_g||^2 + Tr(\Sigma_x + \Sigma_g - 2(\Sigma_x \Sigma_g)^{1/2})$$
   • 符号解释:
     • $\mu_x$: 真实图像特征的平均向量。
     • $\mu_g$: 生成图像特征的平均向量。
     • $\Sigma_x$: 真实图像特征的协方差矩阵。
     • $\Sigma_g$: 生成图像特征的协方差矩阵。
     • $||\cdot||^2$: L2 范数的平方。
     • $Tr(\cdot)$: 矩阵的迹 (trace)。
     • $(\cdot)^{1/2}$: 矩阵的平方根。

2. Frechet Video Distance (FVD):

   • 概念定义: FVD 是 FID 在视频生成领域的扩展。它评估生成视频与真实视频序列之间运动和外观特征的相似性。与 FID 类似，FVD 计算的是真实视频和生成视频在预训练的视频特征提取器（例如，遵循 Inception 网络结构的 3D CNN）提取的特征空间中的 Frechet 距离。FVD 值越低，表示生成视频的质量越高，与真实视频的分布越接近。
   • 数学公式: $$\mathrm{FVD} = ||\mu_{real} - \mu_{gen}||^2 + Tr(\Sigma_{real} + \Sigma_{gen} - 2(\Sigma_{real} \Sigma_{gen})^{1/2})$$
   • 符号解释:
     • $\mu_{real}$: 真实视频特征的平均向量。
     • $\mu_{gen}$: 生成视频特征的平均向量。
     • $\Sigma_{real}$: 真实视频特征的协方差矩阵。
     • $\Sigma_{gen}$: 生成视频特征的协方差矩阵。
     • $||\cdot||^2$: L2 范数的平方。
     • $Tr(\cdot)$: 矩阵的迹。
     • $(\cdot)^{1/2}$: 矩阵的平方根。

5.3. 对比基线 (Contrast Baselines)

5.3.1. 控制信号预测基线

论文构建了三个竞争性基线模型来评估 ADriver-I 的控制信号预测性能（如图 4 所示）：

该图像是论文中展示的三种模型架构对比示意图，分别为(a)仅MLP结构，(b)基于CNN的结构，以及(c)基于ViT的结构，展示了输入A和图像特征I经过不同模块处理的流程。

the CNN in (b) is replaced by a ViT-B backbone. 注: 原文此处图的文字说明与图的编号不匹配。根据内容，此图是 Figure 4 的描述，图的实际编号是 3.jpg。为保持忠实原文，我将沿用原文的图编号与说明。

图 4. 控制信号预测的定性可视化。左侧显示了从时间戳 t-3 到 $t$ 的输入帧。右侧的柱状图显示了从时间戳 t-3 到 t-1 的动作，以及时间 $t$ 的预测值 (pred) 和真实值 (GT)。 注： 这段文字是原文 Figure 4 的描述，但实际对应的图片是 images/4.jpg。而 images/3.jpg 的描述是 the CNN in (b) is replaced by a ViT-B backbone.。这可能是原文中的一个排版错误。我将根据图片内容和上下文，将 images/3.jpg 视为 baselines 的架构示意图，并将其描述为 Figure 4 的内容。

1. MLP-Only (Baseline (a)):

   • 架构: 最简单的基线。它接收三个历史帧的动作序列作为输入，并使用三个全连接层 (fully-connected layers) 来预测当前帧的动作。
   • 特点: 仅依赖历史动作信息，不考虑视觉输入。

2. CNN-Based (Baseline (b)):

   • 架构: 在 Baseline (a) 的基础上，进一步引入了一个卷积神经网络 (CNN)（例如 ResNet [15]）来编码图像特征。图像特征通过 全局平均池化 (Global Average Pooling, GAP) 处理后，与动作特征拼接 (concatenated)，然后用于预测当前动作。
   • 特点: 结合了视觉信息，但使用传统的 CNN 提取特征。

3. ViT-Based (Baseline (c)):

   • 架构: 简单地将 Baseline (b) 中的 CNN 替换为 Vision Transformer (ViT)（例如 ViT-B [9]）。其设计与 Baseline (b) 相同，即 ViT 提取图像特征，与动作特征拼接后预测动作。
   • 特点: 结合了视觉信息，但使用更先进的 ViT 提取特征。

5.3.2. 未来场景生成基线

1. DriveGAN [26]:
   • 特点: 一种通过关联驾驶动作与像素变化来预测未来驾驶视频的生成对抗网络。
   • 输入/输出: 1 帧输入生成 12 帧未来视频 (1F → 12F)。
2. DriveDreamer [58]:
   • 特点: 一个世界模型，通过生成未来驾驶场景和预测控制信号。
   • 输入/输出: 1 帧输入加上 12 个边界框信息和 12 个高清地图信息生成 12 帧未来视频 (1F+12B+12M → 12F)。

5.4. 实现细节 (Implementation Details)

5.4.1. 多模态大语言模型 (MLLM)

• 训练周期: 预训练和监督微调 (SFT) 均为 2 个 周期 (epochs)。
• 批大小 (Batch Size): 16。
• 输入图像尺寸: $336 \times 336$。
• 输入序列: 三个历史 视觉-动作对 和当前图像。
• 控制信号精度: 小数点后三位。为了减少 LLM 的收敛难度，将数字乘以 1000 转换为整数。
• 硬件: 8 块 A100 (80GB) GPU。
• 优化器: AdamW。
• 学习率: $2 \times 10^{-5}$。
• 损失函数: 交叉熵损失 (cross-entropy loss)，因为 MLLM 的输出主要是文本。

5.4.2. 视频扩散模型 (VDM)

• 预训练步数: 在私有数据集上训练 40k 步。
• 预训练批大小: 128。
• 预训练硬件: 32 块 A100 (80GB) GPU。
• 微调步数: 在 nuScenes 数据集上微调 40,000 步。
• 微调批大小: 32。
• 微调硬件: 16 块 A100 (80GB) GPU。
• 空间分辨率: $256 \times 512$。
• 视频长度: 8 帧（预训练和微调阶段相同）。
• 学习率: 预训练为 $4 \times 10^{-4}$，微调为 $3.2 \times 10^{-4}$。
• 推理采样器: DDIM [50] 采样器。
• 采样步数: 50。

6. 实验结果与分析

6.1. 控制信号预测

6.1.1. 定量结果 (Quantitative Results)

以下是原文 Table 2 的结果，展示了 ADriver-I 在 nuScenes 和私有数据集上的控制信号预测性能。

分析:

• 与基线的比较 (nuScenes):
  • ADriver-I 在 nuScenes 数据集上，无论是速度还是转向角的 L1 误差都显著低于所有基线模型。例如，ADriver-I 的速度 L1 误差为 0.072 m/s，远低于 MLP-Only (0.122)、CNN-Based (0.106) 和 ViT-Based (0.103)。转向角 L1 误差为 0.091 rad，也优于其他基线。
  • 在 $\text{准确率} ($A_\theta) 指标上，ADriver-I 也在所有阈值下表现最佳，特别是在低阈值 $A_{0.01}$ 上优势明显（速度 $A_{0.01}$ 为 0.237，转向角 $A_{0.01}$ 为 0.411）。
  • 论文指出，ViT-Based 基线在转向角 L1 误差上与 ADriver-I 接近，但 ADriver-I 在 $A_{0.01}$ 上的显著优势表明其在多数情况下预测更精确，而 ViT-Based 可能在某些大转向角变化的情况下表现较差，从而拉高了平均 L1 误差。
• 跨数据集比较 (私有数据集):
  • 标记为 ADriver-I† 的结果代表在私有数据集上的性能，其表现远优于 nuScenes。速度 L1 误差降至 0.035 m/s，转向角 L1 误差降至 0.015 rad。$\text{准确率} ($A_\theta) 也全面提升。
  • 原因分析: 论文解释了两个主要原因：
    1. 场景特点: 私有数据集主要关注高速公路场景，这类场景的速度和转向角变化通常较小，使得模型更容易学习稳定的驾驶行为。
    2. 数据规模: 私有数据集的监督微调数据规模远大于 nuScenes (1.4M vs. 23K)，更大的数据量有助于模型更好地学习和泛化。

6.1.2. 定性结果 (Qualitative Results)

下图 4 展示了控制信号预测的一些定性可视化结果。

该图像是一个对比示意图，展示了ADriver-I模型在不同时间帧下对自动驾驶任务中速度与转向角预测的效果，包括预测值与真实值的对比及对应场景图像，体现了模型的预测准确性和时序连贯性。

Fure. Qualitative isualizatio control sgal prediction. The le side shows input frames o timestamp $t - 3$ to $t$ The right side's bar chart displays the actions for timestamp $t - 3$ to $t - 1$ , with prediction (pred) and ground-truth (GT) at time $t$ . 注: 原文此处图的文字说明与图的编号不匹配。根据内容，此图是 Figure 5 的描述，图的实际编号是 4.jpg。为保持忠实原文，我将沿用原文的图编号与说明。

图 5. 控制信号预测的定性可视化。左侧显示了从时间戳 t-3 到 $t$ 的输入帧。右侧的柱状图显示了从时间戳 t-3 到 t-1 的动作，以及时间 $t$ 的预测值 (pred) 和真实值 (GT)。

分析: 图 5 展示了给定三个历史帧的视觉输入，ADriver-I 对当前帧的控制信号（速度和转向角）的预测。右侧的柱状图直观地对比了模型预测值 (pred) 与真实值 (GT) 的接近程度，表明模型能够较好地捕捉车辆的驾驶行为。

6.1.3. 消融实验 (Ablation Study)

论文还对控制信号预测的一些关键设计进行了消融研究。

1. 控制信号编码方法 (Encoding Methods for Control Signal) 以下是原文 Table 3 的结果。

分析:

• Absolute Number（直接预测绝对数值）方法的性能最好，在速度和转向角预测上都取得了最低的 L1 误差（速度 0.072 m/s，转向角 0.091 rad）。
• Num2English（将数字翻译成英文表达）表现最差，这表明将精确的数值信息转换为自然语言可能会引入大量信息损失，不适合需要高精度的控制任务。
• Special Token（将整数分箱并转换为分类问题）和 Relative Diff（预测相邻帧间的差值）虽然优于 Num2English，但仍不如直接预测绝对数值。这表明对于 LLM 而言，直接处理和预测精确的数值是更有效的方式。

2. 小数位数的影响 (Effect of Number of Decimal Places) 以下是原文 Table 4 的结果。

分析:

• 实验结果表明，使用两位小数 (0.073 m/s, 0.091 rad) 可以获得与三位小数 (0.072 m/s, 0.091 rad) 几乎相同的性能。
• 而使用零位或一位小数会导致性能显著下降，尤其是在速度预测上（0 位小数的速度 L1 误差高达 0.212 m/s）。
• 这说明了控制信号的精度对于自动驾驶至关重要，整数或一位小数会引入明显的精度误差。

3. 多轮对话的有效性 (Effectiveness of Multi-round Conversations) 以下是原文 Table 5 的结果。

分析:

• Multi Round（多轮对话，对所有帧添加监督）的性能优于 Single Round（单轮对话，仅对当前帧添加监督）和 Temporal Fusion（时间融合，合并多帧视觉和动作 词元）。
• Multi Round 在速度预测上将 L1 误差从 0.078 m/s 降低到 0.072 m/s。
• 原因: Multi Round 对中间动作预测 $(A_{t-2}', A_{t-1}')$ 引入了更多监督，这大大减少了当前帧动作预测 $A_t'$ 的累积误差，从而提高了预测精度。

6.2. 未来场景生成

6.2.1. 定性结果 (Qualitative Results)

图 6 展示了视频扩散模型生成的未来预测的一些定性结果。

该图像是多组连续时间点的路面场景视频帧，展示了基于文本提示“逐渐左转，恒定速度”下的自动驾驶路径预测效果，体现了车辆在不同时间节点的转向和道路变化。

four images show the predicted future scenes. 注: 原文此处图的文字说明与图的编号不匹配。根据内容，此图是 Figure 6 的描述，图的实际编号是 5.jpg。为保持忠实原文，我将沿用原文的图编号与说明。

图 6. 视频扩散模型生成的未来预测的定性结果。第一行和第三行代表作为条件的原始视频帧，第二行和第四行是扩散模型预测的视频帧。

分析:

• 图 6 展示了两种生成案例：左转和右转。
• 在历史帧和 MLLM 预测的控制信号指导下，VDM 能够相应地生成未来的场景。
• 重要的是，它无需依赖任何高级知识，如 3D 边界框和高清地图，这体现了 ADriver-I 在生成能力上的简洁性和鲁棒性。

6.2.2. 定量结果 (Quantitative Results)

以下是原文 Table 6 的结果，展示了 ADriver-I 在 nuScenes 上的视频生成性能。

分析:

• ADriver-I 在未来四帧的预测上表现出令人印象深刻的性能，FID 达到 5.5，FVD 达到 97.0。
• 与 DriveGAN 和 DriveDreamer 相比，ADriver-I 的 FID 和 FVD 值显著更低，表明其生成质量更高。
• 值得注意的是，DriveDreamer 需要 1 帧输入、12 个边界框 (B) 和 12 个高清地图 (M) 作为先验信息来生成 12 帧，而 ADriver-I 仅需 4 帧历史信息（4F）来生成 4 帧，且性能远超。这凸显了 ADriver-I 在减少对先验信息依赖的同时，还能保持甚至超越生成质量的优势。

6.3. 联合控制与生成 (Joint Control & Generation)

下图 7 展示了 ADriver-I 在其自身创建的世界中进行无限驾驶的能力。

图 7. 联合控制与生成的可视化。此图展示了 ADriver-I 如何在其自身创建的世界中进行驾驶。所有视频帧均由视频扩散模型生成。速度（蓝色柱）和转向角（橙色柱）预测由 MLLM 产生。

分析:

• 图 7 直观地展示了 ADriver-I 的 无限驾驶 (infinite driving) 能力。
• 它仅提供三个历史 交错视觉-动作对 作为初始输入，之后 ADriver-I 以递归方式执行控制信号预测和未来场景生成。
• 所有视频帧都是由视频扩散模型生成的，而速度和转向角预测则由 MLLM 产生。
• 这表明：
  • 预测的控制信号可以直接影响未来场景的生成（例如，预测右转会导致场景中道路随之右转）。
  • 生成的未来场景反过来又促使 ADriver-I 采取相应的动作（例如，生成的弯道场景会促使 MLLM 预测出转弯的控制信号）。
• 这种闭环交互验证了 ADriver-I 能够在其自生成的虚拟世界中实现连贯且自洽的自动驾驶。

7. 总结与思考

7.1. 结论总结

本文提出了 ADriver-I，一个用于自动驾驶的通用世界模型。它巧妙地将多模态大语言模型 (MLLM) 与视频扩散模型 (VDM) 结合起来。ADriver-I 引入了 交错视觉-动作对 (interleaved vision-action pair) 的概念，使得模型能够直接从当前帧和历史 视觉-动作对 输出低级控制信号，摆脱了传统自动驾驶的模块化流水线设计。同时，它还能根据历史信息和预测的动作来预测近期的未来帧。在 nuScenes 和大规模私有数据集上的广泛实验证明了 ADriver-I 的卓越性能。最重要的是，ADriver-I 能够通过一个递归循环，在其自身创造的世界中实现“无限驾驶”，这为未来的自动驾驶和具身智能研究提供了全新的视角和可能性。

7.2. 局限性与未来工作

论文作者也坦诚地指出了 ADriver-I 当前的局限性以及未来的研究方向：

1. 生成模块 (VDM) 的质量波动: VDM 作为闭环模拟器，可能会生成一些低质量的视频帧，尤其是在控制信号快速变化时。这些低质量的帧可能会干扰 MLLM 在下一个时间步的控制信号预测。未来需要提升 VDM 在复杂动态场景下的生成鲁棒性。

2. 性能仍需提升以满足部署要求: 尽管 ADriver-I 表现出色，但其性能离实际部署仍有差距。作者计划通过使用更大规模的私有数据集进行训练来更新 ADriver-I 版本，以进一步提高性能。

3. MLLM 和 VDM 独立训练: 当前 MLLM 和 VDM 是独立训练的，未能从端到端优化中获益。未来需要一个统一的理解与生成框架，实现真正的端到端联合优化。

4. 缺乏路由信息进行长距离驾驶: 从驾驶距离的角度来看，当前模型缺乏路由 (routing) 信息。未来可以引入 导航地图 (navigation map) 来实现长距离的自动驾驶。

   总而言之，自动驾驶中的世界模型仍有很长的路要走。作者希望未来能从生成视角观察到 缩放法则 (scaling law) 的发展。

7.3. 个人启发与批判

7.3.1. 个人启发

• 统一的理解与生成范式: ADriver-I 提出的 交错视觉-动作对 和 MLLM+VDM 结合的架构，为自动驾驶乃至更广泛的具身智能提供了一个优雅的统一框架。它不再将感知、预测、规划、控制割裂，而是将其融合为一种基于环境交互的“理解-行动-想象”的闭环过程，这与人类的认知模式更为接近。
• “无限驾驶”的潜力: 能够在其自身生成的世界中进行无限驾驶，这一概念具有巨大的价值。它不仅为自动驾驶系统的开发和测试提供了几乎无限且可控的仿真环境，还能促进对智能体在未知或新颖场景下行为的探索，这对于提高自动驾驶的泛化能力和安全性至关重要。这种自洽的闭环生成也可能减少对昂贵真实世界数据采集的依赖。
• MLLM 和扩散模型在具身智能中的应用: 论文进一步证明了 MLLM 和扩散模型在具身智能领域的强大潜力。MLLM 的推理和理解能力，结合扩散模型的强大生成能力，为构建具有高级认知和交互能力的 AI 智能体提供了坚实的基础。
• 低级控制信号文本化的创新: 将速度、转向角等低级控制信号文本化，使得 LLM 能够直接处理和推理这些物理量，这种跨模态转换方式为未来的多模态交互设计提供了新的思路。

7.3.2. 批判性思考

• 生成质量与鲁棒性是关键瓶颈: 论文也指出了 VDM 在控制信号快速变化时可能生成低质量视频帧的局限性。在 无限驾驶 这样的闭环系统中，生成模块的任何缺陷都可能累积并导致系统崩溃。一旦 VDM 产生不真实的场景，MLLM 可能会基于错误的环境做出不合适的决策，形成恶性循环。因此，如何确保生成场景的 真实性 (fidelity)、一致性 (consistency) 和 多样性 (diversity) 是核心挑战。
• 可解释性与安全性: 尽管端到端模型有其优势，但其“黑箱”特性依然是自动驾驶领域的一大挑战，尤其是在安全攸关的应用中。当 ADriver-I 在自生成的世界中遇到“事故”时，如何追溯是 MLLM 的控制决策错误，还是 VDM 生成了误导性的场景，仍需要深入研究。
• 独立训练的局限: MLLM 和 VDM 的独立训练意味着它们可能没有实现全局最优。未来的统一框架将是关键，但如何有效训练这样一个巨大的端到端多模态生成-决策模型，并解决其 收敛 (convergence) 和 稳定性 (stability) 问题，将是一个巨大的工程和算法挑战。
• 真实世界迁移问题 (Sim-to-Real Gap): 尽管 ADriver-I 可以在其自生成的世界中无限驾驶，但这个“世界”毕竟是模型创造的。如何确保模型在虚拟世界中习得的知识和能力能够有效地迁移到真实世界的物理环境中，是所有 世界模型 (world model) 方法都面临的根本性挑战。可能需要更复杂的 领域适应 (domain adaptation) 或 强化学习 (reinforcement learning) 技术。
• 计算资源需求: MLLM 和 VDM 本身都是计算密集型模型，它们的结合无疑会带来巨大的计算开销，这对于实际部署和大规模应用构成了挑战。