1. 论文基本信息

1.1. 标题

VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model （VITA-Audio：用于高效大型语音语言模型的快速交错跨模态詞元生成）

1.2. 作者

Zuwei Long, Yunhang Shen, Chaoyou Fu, Heting Gao, Lijiang Li, Peixian Chen, Mengdan Zhang, Hang Shao, Jian Li, Jinlong Peng, Haoyu Cao, Ke Li, Rongrong Ji, Xing Sun。 作者主要来自 腾讯优图实验室 (Tencent Youtu Lab)，部分作者隶属于南京大学和厦门大学。

1.3. 发表期刊/会议

本项目发布于 arXiv 预印本平台（2025年5月发布 v2 版本）。该研究团队来自腾讯优图，在计算机视觉和多模态领域具有极高的工业界和学术界影响力。

1.4. 发表年份

2025年

1.5. 摘要

随着人机交互需求的增长，语音交互系统备受关注。然而，现有的端到端语音模型在流式生成第一个音频詞元（Audio Token）时仍存在高延迟问题。本文提出了 VITA-Audio，这是一个具有快速音频-文本詞元生成能力的端到端大语言模型。核心创新在于引入了轻量级的 多级跨模态詞元预测 (Multiple Cross-modal Token Prediction, MCTP) 模块，该模块能在单次模型前向传播中生成多个音频词元，从而实现“零延迟”的音频词元生成。实验表明，该模型在 7B 参数规模下实现了 3~5 倍的推理加速，并在 ASR、TTS 和 SQA 任务中表现优异。

1.6. 原文链接

• PDF 链接: https://arxiv.org/pdf/2505.03739v2.pdf

• 代码仓库: https://github.com/VITA-MLLM/VITA-Audio

• 发布状态: 预印本 (Preprint)。

  ---

2. 整体概括

2.1. 研究背景与动机

• 核心问题: 传统的语音交互系统通常采用“级联 (Cascaded)”架构，即将 语音识别 (ASR)、大语言模型 (LLM) 和 语音合成 (TTS) 三个模块串联。这种方式会导致延迟累积、副语言信息（如情感、语气）丢失以及误差传播。
• 现有挑战: 尽管最近出现了端到端语音模型，但在“流式传输 (Streaming)”场景下，生成第一个音频词元的延迟（First Token Latency）依然是瓶颈。目前的模型通常需要先生成文本词元，或在多次前向传播后才能输出音频，无法在第一次前向计算时就提供可解码的音频块。
• 创新思路: 作者通过观察发现，LLM 的最后一层隐藏状态（Hidden States）已经包含了足够的语义信息来生成对应的音频。因此，可以设计轻量级的模块，在生成文本的同时，“顺便”预测出接下来的多个音频词元。

2.2. 核心贡献/主要发现

• 首个零延迟模型: VITA-Audio 是首个能在第一次前向传播中直接产生音频输出的多模态大模型，实现了真正的实时语音对话。

• MCTP 模块: 提出了 多级跨模态詞元预测 (MCTP) 架构，通过级联的轻量级 Transformer 块，在单次计算中预测 10 个音频词元。

• 四阶段训练策略: 探索了一套从对齐到精调的渐进式训练方案，在不损失语音质量的前提下大幅提升速度。

• 卓越性能: 在 7B 规模下实现 3~5 倍加速，且在多项基准测试（如 ASR, TTS, SQA）中达到或超过了同类开源最先进模型。

  ---

3. 预备知识与相关工作

3.1. 基础概念

• 詞元 (Token): 模型处理的最小单位。在文本中是一个字或词的编码；在语音中，通过某种压缩算法（如 EnCodec 或 GLM-4-Voice Tokenizer）将连续的波形转换为离散的数字序列，即音频词元。
• 端到端模型 (End-to-End Model): 与级联模型相对，直接从一种模态输入映射到另一种模态输出，减少中间转换损耗。
• 隐藏状态 (Hidden States): 神经网络中间层输出的向量，包含了输入信息的丰富语义特征。
• 流式推理 (Streaming Inference): 模型边处理边输出，用户无需等待所有内容生成完毕即可听到声音。

3.2. 前人工作

• 级联模型: 如早期的对话系统，ASR $\rightarrow$ LLM $\rightarrow$ TTS。
• LLM + Adapter: 如 Llama-Omni，通过适配器连接语音编码器，但仍需独立解码。
• 交错建模 (Interleaved Paradigm): 文本和音频词元在同一序列中交替出现。代表作如 GLM-4-Voice。这种模式能较好保留语言能力，但推理速度受限于词元序列的长度。
• 并行建模 (Parallel Paradigm): 使用不同的输出头同时预测文本和音频。这种模式速度快，但由于输入分布偏离了 LLM 预训练的纯文本分布，语言能力往往会受损。

3.3. 技术演进与差异化分析

VITA-Audio 结合了交错模式的“语言能力强”和并行模式的“生成速度快”。它通过 MCTP 模块在交错框架内实现了并行的多詞元预测。与 DeepSeek-V3 的多詞元预测（主要用于训练加速）不同，VITA-Audio 的 MCTP 是跨模态的，专门用于将文本语义快速映射到音频表现。

---

4. 方法论

4.1. 方法原理

VITA-Audio 的核心逻辑是：利用 LLM 的隐藏状态作为“种子”，通过轻量级模块快速预测后续的音频序列。作者通过可视化实验（见下文 Figure 1）证明了音频词元与对应的文本词元之间存在强烈的对齐关系，且隐藏状态中已经隐含了音频生成所需的信息。

下图（原文 Figure 1）展示了这种相关性：

该图像是展示 VITA-Audio 模型的音频和文本 token 生成过程的图表。左侧为英文文本 token，右侧为中文音频 token，体现了模型的多模态生成能力。

4.2. 核心方法详解 (逐层深入)

4.2.1. 模型整体架构

VITA-Audio 由语音编码器、语音解码器、LLM 主干網絡 (Backbone) 和 MCTP 模块组组成。

下图（原文 Figure 2）展示了其详细架构：

该图像是示意图，展示了VITA-Audio的架构概览。图中(a)部分表明系统由多个轻量级的多模态交叉模Token预测(MCTP)模块组成，可在单次前向传递中生成多个音频Token，显著降低延迟。图(b)则详细介绍了MCTP模块的结构，包括变换器块、线性投影等组件，能够快速生成音频响应。

4.2.2. 多级跨模态詞元预测 (MCTP)

标准自回归模型（Autoregressive）在时间步 $t$ 预测下一个词元 $Y_t$ 的概率分布 $p_t$ 可以表示为： $$p_t(Y_{t-1}, \ldots, Y_0) \equiv P[Y_t | Y_{t-1}, \ldots, Y_0]$$ 其中 $Y_{t-1}, \ldots, Y_0$ 是历史序列。如果我们要直接预测未来第 $i$ 个词元（即多步预测），形式变为： $$p_{t+i}(Y_{t-1}, \ldots, Y_0) \equiv \widetilde{P}[Y_{t+i} | Y_{t-1}, \ldots, Y_0]$$ 作者指出，随着 $i$ 的增大，$\widetilde{P}$ 与真实分布 $P$ 之间的偏差会迅速累积，导致预测不准。

为了解决这个问题，VITA-Audio 采用了 级联预测架构 (Cascaded Prediction Architecture)。后续模块会利用前序模块的输出作为条件： $$p_{t+i}(Y_{t-1}, \ldots, Y_0) \equiv \widetilde{P}[Y_{t+i} | Y_{t-1}, \ldots, Y_0, h_{t+i-1}, o_{t+i-1}, \ldots, o_t]$$ 这里符号的含义如下：

• $h_{t+i-1}$: 前一个 MCTP 模块产生的 隐藏状态 (Hidden State)。

• $o_{t+i-1}$: 前一个模块预测出的 输出词元 (Output Token)。

• $o_t, \ldots$: 之前所有 MCTP 模块生成的中间结果。

  通过这种方式，模型在一次前向传播中，第 1 个 MCTP 模块根据 LLM 状态预测第 1 个音频词元，第 2 个模块根据前者的结果预测第 2 个，依此类推。由于每个 MCTP 模块仅包含极少的 Transformer 层（推理耗时仅为 LLM 主干的 11%），这种串联预测非常高效。

4.2.3. 四阶段训练策略

为了确保模型收敛，作者设计了渐进式训练流程：

1. 第一阶段：音频-文本对齐 (Audio-Text Alignment): 进行大规模语音预训练（ASR 和 TTS 数据），让 LLM 学会处理音频词元。

2. 第二阶段：单个 MCTP 模块训练: 训练第一个预测模块，使其能根据 LLM 隐藏状态准确预测下一个词元。

3. 第三阶段：多个 MCTP 模块训练: 扩展到 10 个模块，所有模块同时训练，实现多词元并行预测能力。

4. 第四阶段：有监督微調 (Supervised Fine-tuning): 使用语音问答 (SQA) 数据进行最终优化，使模型具备流畅对话的能力。

   下图（原文 Figure 3）总结了这一流程：

   该图像是VITA-Audio训练流程的示意图，展示了四个阶段：第一阶段为音频-文本对齐，增强音频建模能力；第二阶段为单个MCTP模块训练，预测后续一个令牌；第三阶段为多个MCTP模块训练，预测多个令牌；最后阶段为有监督的精调，优化语音问答能力。

---

5. 实验设置

5.1. 数据集

• ASR 数据: 约 10 万小时开源数据（WenetSpeech, LibriSpeech, AISHELL 等）。
• TTS 数据: 约 10 万小时（Wenetspeech4TTS, Emilia 等）。
• 语音对话数据: 140 万条（VoiceAssistant400K, AudioQA-1.0M）。
• 纯文本数据: 数百万条指令微调数据，并加入了长文本数据集以增强长序列建模。

5.2. 评估指标

1. 字错率 (Character Error Rate, CER): 主要用于中文 ASR 和 TTS 评估。 $$\mathrm{CER} = \frac{S + D + I}{N}$$
   • $S$: 替换数，$D$: 删除数，$I$: 插入数，$N$: 總字数。
2. 词错率 (Word Error Rate, WER): 主要用于英文评估。 $$\mathrm{WER} = \frac{S_{word} + D_{word} + I_{word}}{N_{word}}$$
3. SQA 准确率: 衡量模型回答问题的正确性。

5.3. 对比基线

• Moshi: 现有的实时端到端语音模型。

• GLM-4-Voice: 强大的交错模态开源模型。

• Mini-Omni / Llama-Omni: 专注于低延迟交互的近期工作。

  ---

6. 实验结果与分析

6.1. 核心结果分析

VITA-Audio 在语音问答 (SQA) 任务中表现出色，尤其是在 $S \to S$（语音输入，语音输出）场景下，性能远超同规模的开源模型。

以下是原文 Table 2 的详细结果：

注：$S \to T$ 指语音输入生成文本答案，$S \to S$ 指语音回答后再通过 Whisper 转录回文本进行评估。结果显示 VITA-Audio 在维持语义正确性的同时，语音质量很高。

6.2. 推理速度与延迟分析

这是本文最重要的卖点。通过 MCTP 模块，VITA-Audio-Turbo 模式实现了巨大的加速。

以下是原文 Table 5 的结果：

关键发现:

• 加速比: 在 7B 参数下，Turbo 模式比基础的 Vanilla 模式快 4.72 倍。

• 首个词元延迟: Turbo 模式在 32 个词元预填充的情况下，仅需 53 毫秒 即可产生第一块音频，而 Vanilla 模式需要 236 毫秒（见 Table E7）。这种差异在实际交互中能显著提升“真实感”。

  下图（原文 Figure 5）展示了生成速度曲线，可以看到 Turbo 模式（红色）的斜率最陡，生成速度最快：

  该图像是图表，展示了四种文本-音频交错模式下的译码令牌生成速度曲线。横轴表示译码令牌数量，纵轴表示时间（毫秒）。不同颜色的曲线分别代表了四种模式：Vanilla（黄色）、Balance（紫色）、Boost（绿色）、Turbo（红色）。

---

7. 总结与思考

7.1. 结论总结

VITA-Audio 成功解决了端到端语音模型在流式推理中的高延迟瓶颈。通过创新的 MCTP 模块 和 四阶段训练策略，它证明了即使不使用极高性能的并行头，仅通过轻量级的级联预测也能在交错词元范式下实现极速响应。该模型在保持大语言模型语义能力的同时，大幅提升了交互的实时性。

7.2. 局限性与未来工作

• 硬件瓶颈: 虽然音频词元生成很快，但目前的 音频解码器 (Audio Decoder) 仍是延迟的“下限”，进一步优化解码器的推理效率是未来的关键。
• 数据依赖: 实验表明 ASR/TTS 对齐会略微影响纯文本性能，如何更好地平衡多模态能力与通用语言能力仍需探索。

7.3. 个人启发与批判

• 启发: VITA-Audio 的成功在于它敏锐地观察到了“隐藏状态”中隐含的跨模态对齐关系。这提示我们，在处理多模态任务时，未必要强行增加模型的复杂度，有时候利用好预训练模型已有的、未被充分挖掘的信息就能取得突破。
• 批判: 论文中提到的 10 个 MCTP 模块是串联预测的，虽然每个模块很轻量，但随着模块数量增加，这种串联结构是否会遇到新的性能天花板？此外，模型在复杂环境下的抗噪能力以及对多语种切换（Code-switching）的细粒度控制能力仍有待更广泛的验证。