论文状态:已完成

REB-former: RWKV-enhanced E-branchformer for Speech Recognition

发表:2025/08/17
原文链接
价格:0.100000
已有 3 人读过
本分析由 AI 生成,可能不完全准确,请以原文为准。

TL;DR 精炼摘要

本文提出了一种名为 REB-former 的模型,该模型基于 RWKV 增强的 E-Branchformer,旨在解决自注意力机制的二次复杂度问题。通过交错使用 E-Branchformer 和 RWKV 层,结合 GroupBiRWKV 模块,有效提升计算效率和语音建模能力,在 LibriSpeech 数据集中实现了最先进的性能,WER 降低最高达 7.1%。

摘要

Transformer-based architectures have achieved significant success in automatic speech recognition (ASR). However, the quadratic complexity of their self-attention mechanisms limits processing efficiency for speech sequences. To address this issue, this paper proposes the Receptance Weighted Key Value (RWKV)-enhanced E-Branchformer (REB-former). Specifically, the REB-former interleaves the E-Branchformer and RWKV layers, combining different attention mechanisms to reduce computational complexity and enhance speech modeling. To overcome RWKV’s unidirectional limitation, we introduce the GroupBiRWKV module for efficient contextual feature capture. The results show that the REB-former outperforms the E-Branchformer in terms of computational efficiency and inference speed, achieving a relative reduction of up to 7.1% in the word error rate (WER). On the LibriSpeech 100h dataset, our model achieves WER of 6.0%/15.8% on test-clean/test-other, setting a new state-of-the-art performance.

思维导图

论文精读

中文精读

1. 论文基本信息

1.1. 标题

REB-former: RWKV-enhanced E-branchformer for Speech Recognition

1.2. 作者

Jie Song*, Wang Xiang*, Jian Zhou, Cunhang Fan†, Zhao Lv

隶属机构: Anhui Province Key Laboratory of Multimodal Cognitive Computation, School of Computer Science and Technology, Anhui University, Hefei, 230601, China

1.3. 发表期刊/会议

该论文未明确提及已发表的期刊或会议。根据提供的"Published at (UTC):2025-08-17T00:00:00.000Z"信息,这可能是一份预印本 (preprint) 或将在未来某个会议/期刊上发表的工作。

1.4. 发表年份

2025年

1.5. 摘要

基于 Transformer 的架构在自动语音识别 (Automatic Speech Recognition, ASR) 中取得了显著成功。然而,其自注意力 (self-attention) 机制的二次复杂度 (quadratic complexity) 限制了语音序列的处理效率。为了解决这个问题,本文提出了 Receptance Weighted Key Value (RWKV) 增强型 E-Branchformer (REB-former)。具体来说,REB-former 交错使用了 E-Branchformer 和 RWKV 层,结合不同的注意力机制以降低计算复杂度并增强语音建模。为了克服 RWKV 的单向 (unidirectional) 限制,我们引入了 GroupBiRWKV 模块以高效捕获上下文特征。结果显示,REB-former 在计算效率和推理速度方面优于 E-Branchformer,词错误率 (Word Error Rate, WER) 最高相对降低 7.1%。在 LibriSpeech 100h 数据集上,我们的模型在 test-clean/test-other 上取得了 6.0%/15.8% 的 WER,创造了最先进 (state-of-the-art) 的性能。

1.6. 原文链接

/files/papers/692c159d4114e99a4cde8767/paper.pdf (此链接为本地文件路径,状态为:未知)

2. 整体概括

2.1. 研究背景与动机

2.1.1. 核心问题与挑战

自动语音识别 (ASR) 系统在过去几年中取得了巨大进步,这主要得益于 Transformer 架构及其变体(如 ConformerE-Branchformer)。这些模型通过其自注意力 (self-attention) 机制,能够有效地捕捉长距离依赖 (long-range dependencies),在语音处理任务中表现出色。然而,Transformer 架构的核心问题在于其自注意力机制的计算复杂度与序列长度呈二次方关系 (quadratic complexity)。这意味着在处理长语音序列时,计算资源消耗(尤其是内存和计算时间)会急剧增加,严重限制了模型的效率和可扩展性。

2.1.2. 现有研究的空白

尽管 ConformerE-Branchformer 等模型在性能上有所提升,但它们并未从根本上解决自注意力机制的二次复杂度问题。这促使研究人员探索更高效的替代方案,例如各种线性注意力 (linear attention) 机制,如 Attention Free TransformerMambaRWKV。其中,RWKV 模型因其兼具循环神经网络 (Recurrent Neural Network, RNN) 的特性和并行训练的能力而受到关注,尤其适合流式语音识别 (streaming speech recognition) 任务。然而,RWKV 在非流式 (non-streaming) ASR 任务中的潜力仍未得到充分研究。

2.1.3. 论文的切入点与创新思路

本文的切入点是设计一种混合架构 (hybrid architecture),结合不同注意力机制的优势,以期在保持高性能的同时,显著提高计算效率和推理速度。作者受到 Jamba 等混合架构的启发,认为通过交错堆叠不同类型的层可以实现高效的长上下文建模。

2.2. 核心贡献/主要发现

  • 提出了 REB-former 架构: 创新性地将 E-Branchformer 层和 RWKV 层交错堆叠,形成一种混合编码器架构。这种设计旨在结合 E-Branchformer 在局部和全局上下文建模方面的优势,以及 RWKV 在高效序列处理和长距离依赖建模方面的能力。
  • 引入 GroupBiRWKV 模块: 为了克服原始 RWKV 模型在单向建模上的限制,并进一步降低计算成本,作者提出了 GroupBiRWKV 模块。该模块通过将输入特征分成多个组 (group) 进行独立的双向 RWKV 操作,并通过门控融合 (gating fusion) 和双重上下文聚合 (Dual Context Aggregation, DCA) 机制来增强跨通道信息交互。
  • 设计 RWKVDecoder: 将混合堆叠策略扩展到解码器 (decoder),设计了 RWKVDecoder,它交错使用 Transformer 解码器层和 RWKV 解码器层,进一步提升了模型的时间建模能力和推理效率。
  • 实现了最先进的性能和效率: 实验结果表明,REB-former 在 LibriSpeech 100h 数据集上达到了最先进 (state-of-the-art) 的词错误率 (WER),test-clean/test-other 分别为 6.0%/15.8%。同时,模型在计算效率和推理速度(实时因子 Real-Time Factor, RTF)方面也优于基线 E-Branchformer
  • 验证了混合架构的有效性: 通过消融实验和不同层比例的比较,论文验证了 E-BranchformerRWKV 混合架构的有效性,以及 GroupBiRWKVDCA 模块对性能提升的关键贡献。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 自动语音识别 (Automatic Speech Recognition, ASR)

ASR 是一种将人类语音转换为文本的技术。端到端 (end-to-end) ASR 系统将声学模型 (acoustic model) 和语言模型 (language model) 统一到一个单一的神经网络模型中,直接从原始音频输入预测文本输出,简化了传统 ASR 系统的复杂流水线。

3.1.2. Transformer 架构

Transformer [2] 是一种基于自注意力 (self-attention) 机制的神经网络架构,彻底改变了自然语言处理 (Natural Language Processing, NLP) 领域。它通过并行处理整个输入序列来捕捉长距离依赖,克服了传统循环神经网络 (RNN) 在处理长序列时的梯度消失/爆炸问题和串行计算的效率瓶颈。

  • 自注意力 (Self-Attention): Self-attention 机制允许模型在处理序列中的某个词元 (token) 时,同时考虑序列中所有其他词元的重要性。它通过计算查询 (Query, QQ)、键 (Key, KK) 和值 (Value, VV) 矩阵之间的加权和来实现。其核心计算公式为: Attention(Q,K,V)=softmax(QKTdk)V \mathrm{Attention}(Q, K, V) = \mathrm{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
    • QQ: 查询矩阵,由输入序列通过线性变换得到。
    • KK: 键矩阵,由输入序列通过线性变换得到。
    • VV: 值矩阵,由输入序列通过线性变换得到。
    • QQ, KK, VV 的每一行对应序列中的一个词元。
    • dkd_k: 键向量的维度,用于缩放点积 (dot product),防止点积过大导致 softmax 函数梯度过小。
    • QKTQK^T: 计算查询与所有键的点积,表示每个词元与序列中其他词元的关联程度。
    • softmax()\mathrm{softmax}(\cdot): 归一化函数,将关联程度转换为注意力权重,使得所有权重之和为1。
    • softmax()V\mathrm{softmax}(\cdot)V: 将注意力权重应用于值矩阵,得到加权后的值,作为当前词元的注意力输出。
  • 二次复杂度 (Quadratic Complexity): Self-attention 的计算复杂度主要来自于 QKTQK^T 的矩阵乘法。如果序列长度为 TT,特征维度为 dd,则 QQKK 的形状分别为 T×dT \times d,它们的乘积 QKTQK^T 的形状为 T×TT \times T。这个操作的复杂度是 O(T2d)O(T^2 \cdot d),即与序列长度的平方成正比。对于长语音序列,这会导致巨大的计算开销。

3.1.3. Conformer 架构

Conformer [4] 是 Transformer 在语音识别领域的一个变体,它在 Transformer 模块中顺序地集成了卷积模块 (convolutional module)。这种设计使得 Conformer 能够同时捕捉局部特征(通过卷积)和全局上下文信息(通过自注意力),在语音识别任务中取得了显著的性能提升。

3.1.4. E-Branchformer 架构

E-Branchformer [5] 进一步改进了 Conformer 的结构。它采用并行处理的方式,通过局部分支 (local branch) 和全局分支 (global branch) 分别提取特征,然后通过特征融合机制将它们的输出整合。局部分支通常使用卷积层来捕获短距离依赖,而全局分支则使用 Transformer 模块来建模长距离依赖。这种并行设计旨在更有效地结合局部和全局信息。

3.1.5. RWKV (Receptance Weighted Key Value) 模型

RWKV [12] 是一种新型的序列模型,旨在结合 Transformer 的并行训练能力和 RNN 的高效推理特性。它通过一个特殊的“时间混合” (Time Mixing) 模块和“词元偏移” (Token Shift) 技术来捕捉长距离依赖,其计算复杂度与序列长度呈线性关系 (linear complexity),而非二次方。这使得 RWKV 在处理长序列时具有更高的效率。

3.1.6. 混合架构 (Hybrid Architecture)

混合架构是指在一个模型中结合两种或多种不同类型的神经网络层或注意力机制。例如,Jamba [18] 通过交错堆叠 TransformerMamba 层,在长上下文建模和推理效率之间取得了平衡。这种策略的优势在于能够利用不同架构的互补优势,以实现更好的整体性能。

3.2. 前人工作

  • Transformer 在 ASR 中的应用: Transformer [2] 及其在语音领域的应用(如 Speech-Transformer [22])证明了其全局上下文建模能力。
  • Conformer 和 E-Branchformer: Conformer [4] 通过引入卷积模块改进了 Transformer,成为声学建模的标准之一。E-Branchformer [5] 则通过并行分支和增强的合并机制,进一步提升了性能,是本文的基线模型。
  • 线性注意力机制: 为了解决 Transformer 的二次复杂度问题,研究者提出了多种线性注意力替代方案,如 Attention Free Transformer [9]、Mamba [10, 11] 和 RWKV [12]。RWKV 因其独特的 RNN 特性和并行训练能力而在流式 ASR 中表现出色 [15]。
  • 混合架构的探索: Jamba [18] 等模型在 LLM 领域展示了混合架构的巨大潜力,通过结合 TransformerMamba 等模型,实现了高效的长上下文建模。这为本文将 RWKV自注意力 机制结合提供了灵感。

3.3. 技术演进

语音识别领域的技术演进经历了从传统隐马尔可夫模型/高斯混合模型 (HMM/GMM) 到深度神经网络 (DNN),再到循环神经网络 (RNN) 及其变体 (LSTM, GRU)。随着 Transformer 的出现,序列到序列 (sequence-to-sequence) 的端到端模型成为主流。然而,Transformer 的计算瓶颈促使研究者转向更高效的线性注意力模型和混合架构,以在性能和效率之间取得更好的平衡。本文的工作正是这一演进方向上的重要一步,旨在将线性注意力 RWKV 的效率优势与 E-Branchformer 的高性能自注意力相结合。

3.4. 差异化分析

  • 与 Transformer 及其变体 (如 Conformer, E-Branchformer) 的区别: REB-former 并非完全依赖于 self-attention 机制。它通过引入 RWKV 层,将计算复杂度从二次方降低到线性,显著提升了处理长序列的效率。而 ConformerE-Branchformer 仍然保留了 self-attention 的二次复杂度特性。
  • 与纯 RWKV 模型的区别: 原始 RWKV 模型主要适用于流式任务,且其时间混合模块是单向的,在非流式 ASR 中可能无法充分捕获全局上下文。REB-former 通过 GroupBiRWKV 模块增强了 RWKV 的双向建模能力,并通过与 E-Branchformer 层的混合堆叠,弥补了纯 RWKV 模型在全局上下文建模方面的不足。
  • 与 Mamba-based 混合模型的区别: 虽然 Ebranchformer-Mamba [24] 也探索了将线性状态空间模型 MambaE-Branchformer 结合,但 REB-former 采用的是 RWKVRWKV 具有独特的 RNN 和并行训练特性,以及 BiRWKVDCA 等专门设计的模块,使其在语音识别任务中展现出独特的优势。

4. 方法论

4.1. 方法原理

REB-former 的核心思想是构建一个混合架构 (hybrid architecture),通过交错堆叠 E-Branchformer 层(擅长全局上下文建模但计算复杂)和 RWKV 层(高效处理序列并捕捉长距离依赖但原始为单向),以实现计算效率和语音建模能力的双重提升。该模型在编码器 (encoder) 和解码器 (decoder) 两端都采用了这种混合策略。为了克服 RWKV 原始的单向建模限制并进一步优化计算,论文提出了 GroupBiRWKV 模块,并通过双重上下文聚合 (Dual Context Aggregation, DCA) 机制来增强通道间的信息交互。

4.2. 核心方法详解 (逐层深入)

4.2.1. REB-former 整体架构

该图像是REB-former架构的示意图,展示了E-Branchformer层和RWKV层的交错配合,旨在提高语音识别模型的计算效率和推理速度。图中包括GroupBiRWKV模块的结构,以及RWKV注意力块和解码层的组件配置。 该图像是REB-former架构的示意图,展示了E-Branchformer层和RWKV层的交错配合,旨在提高语音识别模型的计算效率和推理速度。图中包括GroupBiRWKV模块的结构,以及RWKV注意力块和解码层的组件配置。

以下是原文 Figure 1 的示意图:

该图展示了 REB-former 的架构。它创新性地将 E-Branchformer 层和 RWKV 层交错堆叠。GroupBiRWKV 独立地应用 BiRWKV,并通过门控机制进行双向特征融合。同时,它引入 Dual Context Aggregation (DCA) 模块,解码器层作为 RWKVDecoder 的一部分。

编码器 (Encoder): 如 Figure 1(a) 所示,编码器由一个子采样块 (subsampling block) 和多个 E-Branchformer 层及 RWKV 层组成。这两种类型的层以实验优化后的 2:1 比例交替堆叠,以平衡全局自注意力 (global self-attention) 和时间递归特征建模 (temporal recursive feature modeling)。RWKV 层利用其创新的 GroupBiRWKV 模块(如 Figure 1(b) 所示),该模块包含 BiRWKV 和双重上下文聚合 (DCA) 等组件。

解码器 (Decoder): 解码器设计遵循编码器的混合堆叠概念。通过交错 Transformer 解码器层和 RWKV 解码器层(如 Figure 1(d) 所示),模型旨在利用 RWKV 注意力的递归特性,增强模型的音素对齐 (phoneme-alignment) 性能和推理效率。

4.2.2. BiRWKV 模块

在深入探讨每个基于 RWKV 的模块之前,首先介绍原始的 RWKV 注意力机制。RWKV 注意力机制的核心是时间混合 (time mixing) 模块,如 Figure 1(c) 所示。

原始 RWKV 时间混合模块: 给定下采样后的输入序列 x=(x1,x2,,xT)\mathbf { x } = ( x _ { 1 } , x _ { 2 } , \ldots , x _ { T } )。通过词元偏移 (token shift) 技术,动态插值和融合当前信息和历史信息,生成具有时间连贯性的特征表示。对于序列中的每个时间步 ttreceptance rtr_tkey ktk_tvalue vtv_t 的计算方式如下: rt=Wr(μrxt+(1μr)xt1)kt=Wk(μkxt+(1μk)xt1)vt=Wv(μvxt+(1μv)xt1)(1) \begin{array} { r } { r _ { t } = W _ { r } \cdot ( \mu _ { r } x _ { t } + ( 1 - \mu _ { r } ) x _ { t - 1 } ) } \\ { k _ { t } = W _ { k } \cdot ( \mu _ { k } x _ { t } + ( 1 - \mu _ { k } ) x _ { t - 1 } ) } \\ { v _ { t } = W _ { v } \cdot ( \mu _ { v } x _ { t } + ( 1 - \mu _ { v } ) x _ { t - 1 } ) } \end{array} \quad \text{(1)}

  • μ[0,1]\mu _ { * } \in [ 0 , 1 ]: 可学习的时间混合因子,用于控制当前输入 xtx_t 和前一个时间步的输入 xt1x_{t-1} 的融合比例。

  • Wr,Wk,WvRdatt×dioW _ { r } , W _ { k } , W _ { v } \in \mathbb { R } ^ { d _ { \mathrm { att } } \times d _ { \mathrm { io } } }: 分别是用于计算 receptancekeyvalue 的投影矩阵。

  • diod _ { \mathrm { io } }: 输入/输出特征的维度。

  • dattd _ { \mathrm { att } }: RWKV 时间混合模块的维度。

    接下来,术语 wkvtwkv_t 类似于 self-attention 机制中的加权值,其定义为: wkvt=i=1t1e(t1i)w+kivi+eu+ktvti=1t1e(t1i)w+ki+eu+kt(2) w k v _ { t } = \frac { \displaystyle \sum _ { i = 1 } ^ { t - 1 } e ^ { - ( t - 1 - i ) w + k _ { i } } v _ { i } + e ^ { u + k _ { t } } v _ { t } } { \displaystyle \sum _ { i = 1 } ^ { t - 1 } e ^ { - ( t - 1 - i ) w + k _ { i } } + e ^ { u + k _ { t } } } \quad \text{(2)}

  • ww: 一个时间衰减向量 (time decay vector),用于对过去输入的重要性进行衰减。

  • uu: 一个特殊的加权因子,应用于当前输入 ktk_t

  • e()e^{(\cdot)}: 指数函数,用于计算权重。

    WKV 操作后的输出向量 oto_t 由以下公式给出: ot=Wo(σ(rt)wkvt)(3) o _ { t } = W _ { o } \cdot \left( \sigma ( r _ { t } ) \odot w k v _ { t } \right) \quad \text{(3)}

  • σ(rt)\sigma ( r _ { t } ): receptance rtr_t 经过 sigmoid 激活函数 σ()\sigma(\cdot) 后的结果,用作门控机制 (gating mechanism)。

  • \odot: 元素级乘法 (element-wise multiplication)。

  • WoRdˉio×dattW _ { o } \in \mathbb { R } ^ { \bar { d } _ { \mathrm { io } } \times d _ { \mathrm { att } } }: 输出投影矩阵,将 WKV 的结果映射回输出维度。

RNN 形式的推理解码: 在推理解码过程中,wkvtwkv_t 可以被公式化为 RNN 的形式。公式 (2) 可以改写为以下递归形式: wkvt=at1+eu+ktvtbt1+eu+kt(4) w k v _ { t } = { \frac { a _ { t - 1 } + e ^ { u + k _ { t } } v _ { t } } { b _ { t - 1 } + e ^ { u + k _ { t } } } } \quad \text{(4)} 其中 ata_tbtb_t 的递归定义如下: \begin{array} { l } { { a _ { t } = e ^ { - w } a _ { t - 1 } + e ^ { k _ { t } } v _ { t } } } \\ { { b _ { t } = e ^ { - w } b _ { t - 1 } + e ^ { k _ { t } } } } \end{array} \quad \text{(5)} * $a_t$: 累积的加权值。 * $b_t$: 累积的权重和。 * 初始条件为 $a_0 = 0, b_0 = 0$。 **BiRWKV 模块:** 原始 `RWKV` 的因果 (causal) 特性适用于流式任务场景。然而,在语音识别任务中,全局上下文信息 (global context information) 的建模至关重要。因此,本文设计了 `BiRWKV` 模块,通过并行地进行前向 (forward) 和后向 (backward) 处理,增强了时间混合模块的双向建模能力,并通过卷积门控机制 (Convolutional Gating Mechanism, CGM) 融合双向特征。 `BiRWKV` 的输出公式为: \begin{array} { r } { \mathrm { B i R W K V } ( x ) = \mathrm { C G M } ( \mathrm { C o n c a t } ( \mathrm { R W K V } _ { \mathrm { f o r w a r d } } ( x ) , } \ { \mathrm { R W K V } _ { \mathrm { b a c k w a r d } } ( x ) ) ) } \end{array} \quad \text{(6)} * $\mathrm{RWKV}_{\mathrm{forward}}(x)$: 原始的 `RWKV` 模块,从左到右处理输入序列 $x$。 * $\mathrm{RWKV}_{\mathrm{backward}}(x)$: 对输入序列 $x$ 进行反向处理的 `RWKV` 模块(例如,将序列反转后输入 `RWKV`,再将输出反转)。 * $\mathrm{Concat}(\cdot)$: 将前向和后向的 `RWKV` 输出特征沿通道维度进行拼接。 * $\mathrm{CGM}(\cdot)$: 代表一个由卷积 (convolution) 和门控线性单元 (Gated Linear Unit, GLU) 组成的级联操作,应用于拼接后的特征。其作用是进行特征选择并抑制冗余信息。 ### 4.2.3. GroupBiRWKV 模块 在实际应用中,`RWKV` 的计算成本主要集中在键值计算上,尤其是在通道数很高时。为了降低这一成本,论文提出了 `GroupBiRWKV` 模块。 <strong>分组操作 (Group Operation):</strong> 该模块将输入特征的通道 (channels) 分割成四个组 [19],将原始的计算任务分解为多个子任务,从而显著降低了计算复杂度。每个组独立地执行 `BiRWKV` 操作,在其各自的子空间内捕获上下文依赖。 <strong>双重上下文聚合 (Dual Context Aggregation, DCA) 模块:</strong> 分组机制不可避免地限制了跨组特征的交互。传统的通道注意力机制虽然可以促进通道间通信,但现有方法主要关注全局或局部特征聚合,未能全面建模复杂的通道依赖关系。为了克服这一限制,论文提出了 `DCA` 模块,以整合多尺度上下文信息,更准确地为每个通道分配权重。 `DCA` 模块的计算方法如下: 给定输入特征图 $F \in \mathbb { R } ^ { B \times T \times C }$(其中 $B$ 是批大小, $T$ 是序列长度, $C$ 是输入通道数),首先使用全局平均池化 (Global Average Pooling, GAP) 生成通道描述符 $U$,该描述符编码了全局时间信息。 描述符的计算方式为: U = \mathbf { G } \mathbf { A } \mathbf { P } ( F ) = \frac { 1 } { T } \sum _ { t = 1 } ^ { T } F ( B , t , C ) \quad \text{(7)} * $F$: \text{输入特征图。} * $\mathbf { G } \mathbf { A } \mathbf { P } ( \cdot )$: \text{沿时间维度} $T$ \text{对特征图进行平均池化。} * $U \in \mathbb { R } ^ { B \times 1 \times C }$: \text{生成的通道描述符,每个通道有一个标量值。} <strong>\text{全局和局部信息提取} (Global and Local Information Extraction):</strong> \text{为了捕获互补的上下文信息,从} $U$ \text{中生成局部通道信息} $U_l$\text{(使用一维卷积),然后从} $U$ \text{中提取全局通道间依赖} $U_g$\text{(使用全连接层)。} U _ { l } = \mathrm { c o n v } ( U ) , U _ { g } = \mathrm { f c } ( U ) \quad \text{(8)} * $\mathrm{conv}(U)$: \text{对} $U$ \text{应用一维卷积,旨在捕获局部通道特征。} * $\mathrm{fc}(U)$: \text{对} $U$ \text{应用全连接层,旨在捕获全局通道间依赖。} * $U_l, U_g \in \mathbb { R } ^ { B \times 1 \times C }$\text{。} <strong>\text{基于相关性的权重计算} (Correlation-based Weight Calculation):</strong> \text{随后,计算两个分支之间的交叉相关图} (cross-correlation maps)\text{,以建模全局和局部信息之间的关系。具体计算如下:} \begin{array} { l } { { \displaystyle C _ { 1 } = \sigma \left( \sum _ { i = 1 } ^ { C } \left[ \left( U _ { l } ^ { \top } \otimes U _ { g } \right) _ { : , i , : } \right] \right) } } \ { { \displaystyle C _ { 2 } = \sigma \left( \sum _ { i = 1 } ^ { C } \left[ \left( U _ { g } ^ { \top } \otimes U _ { l } \right) _ { : , i , : } \right] \right) } } \end{array} \quad \text{(9)} * $\otimes$: 矩阵乘法 (matrix multiplication)。 * $U_l^\top$: $U_l$ 的转置。 * $(U_l^\top \otimes U_g)_{:,i,:}$: 矩阵乘积的特定切片。 * $\sum_{i=1}^C [\cdot]$: 对所有通道 $i$ 的结果求和。 * $\sigma ( \cdot )$: `sigmoid` 激活函数。 * $C_1, C_2$: 这两个相关图捕获了通道信息的互补方面。 <strong>动态权重生成 (Dynamic Weight Generation):</strong> 最终的通道级权重 $W$ 通过对交叉相关图进行可学习的融合来生成: W = \sigma \Big ( \lambda \odot ( C _ { 1 } ) + \left( 1 - \lambda \right) \odot ( C _ { 2 } ) \Big ) \quad \text{(10)} * $\odot$: 元素级乘法。 * $\lambda$: 一个可训练的参数向量,控制 $C_1$ 和 $C_2$ 的融合比例。 * $W$: 最终的通道级权重。 获得权重 $W$ 后,通过元素级乘法将其应用于来自四个 `BiRWKV` 输出的拼接特征。此操作自适应地重新校准每个通道的重要性,生成最终的输出特征图。 ### 4.2.4. RWKVDecoder 模块 在本研究中,`RWKV` 注意力被集成到解码器中,如 Figure 1(d) 所示。为了连接编码器的输出到解码器,在每个 `RWKV` 模块之后采用了交叉注意力 (cross-attention) 机制。`RWKVDecoder` 架构遵循编码器的交叉排列概念,其中 `Transformer` 解码器层和 `RWKV` 解码器层以 1:1 的比例分布。实验结果表明,`RWKVDecoder` 在提高模型整体性能的同时,减少了乘加操作 (Multiply-Accumulate Operations, MACs) 和实时因子 (Real-Time Factor, RTF)。 # 5. 实验设置 ## 5.1. 数据集 为了全面评估 `REB-former` 模型的性能,实验在三个公共数据集上进行: * **LibriSpeech 100h 数据集 [25]:** * **来源:** 基于公共领域的有声读物。 * **规模:** 约 100 小时的英语语音数据。 * **特点:** 包含不同清洁度 (clean) 和噪声 (other) 条件下的语音,是评估 ASR 模型泛化能力和鲁棒性的标准基准。 * **Tedlium2 数据集 [26]:** * **来源:** 基于 TED 演讲。 * **特点:** 包含高质量的演讲语音,通常用于评估 ASR 模型在正式演讲场景下的性能。 * **AISHELL1 数据集 [27]:** * **来源:** 一个开放获取的普通话语音语料库。 * **特点:** 包含约 178 小时的高质量普通话语音数据,用于评估模型在非英语语言上的性能和跨语言适应性。 **特征提取:** 所有模型都以 80 维的 `log-Mel 滤波器组特征` (log-Mel filter bank features) 作为输入。这些特征使用 25 毫秒 (millisecond) 的窗口和 10 毫秒的帧移 (frame shift) 进行提取。 <strong>数据增强 (Data Augmentation):</strong> 采用了两种数据增强技术来提高模型的鲁棒性: * <strong>三速扰动 (Triple-speed perturbation) [28]:</strong> 以 0.9、1.0 和 1.1 的速率对音频进行速度扰动。 * **SpecAugment [29]:** 一种在 Mel 频谱图上进行时间遮蔽 (time masking) 和频率遮蔽 (frequency masking) 的方法,旨在提高模型对语音变异的泛化能力。 ## 5.2. 评估指标 论文中使用了以下评估指标来量化模型的性能、效率和计算成本: ### 5.2.1. 词错误率 (Word Error Rate, WER) `WER` 是 ASR 任务中最常用的评估指标之一,用于衡量语音识别系统输出的文本与真实参考文本之间的差异。`WER` 越低表示性能越好。 * **概念定义:** `WER` 是指在识别出的词序列中,需要进行插入、删除或替换操作以使其与参考词序列完全匹配的词的数量占参考词序列总数的比例。它直观地反映了语音识别的准确性。 * **数学公式:** \mathrm{WER} = \frac{S + D + I}{N} \times 100% * **符号解释:** * $S$: 替换 (Substitutions) 的词数,即将一个词识别成另一个词。 * $D$: 删除 (Deletions) 的词数,即将一个词未能识别出来。 * $I$: 插入 (Insertions) 的词数,即将一个不存在的词识别出来。 * $N$: 参考 (Reference) 文本中的总词数。 ### 5.2.2. 字错误率 (Character Error Rate, CER) `CER` 与 `WER` 类似,但在评估中文等非单词分隔语言的 ASR 任务时更为常用,因为它以字符为单位进行计算。`CER` 越低表示性能越好。 * **概念定义:** `CER` 是指在识别出的字符序列中,需要进行插入、删除或替换操作以使其与真实参考字符序列完全匹配的字符的数量占参考字符序列总数的比例。 * **数学公式:** \mathrm{CER} = \frac{S' + D' + I'}{N'} \times 100% * **符号解释:** * $S'$: 替换 (Substitutions) 的字符数。 * $D'$: 删除 (Deletions) 的字符数。 * $I'$: 插入 (Insertions) 的字符数。 * $N'$: 参考 (Reference) 文本中的总字符数。 ### 5.2.3. 乘加操作 (Multiply-Accumulate Operations, MACs) `MACs` 是衡量计算复杂度的指标,表示模型在进行一次前向传播 (forward pass) 时所需的乘法和加法操作的总数。`MACs` 越低表示模型的计算效率越高。 * **概念定义:** `MACs` 是指一个乘法操作和一个后续的加法操作的组合。在深度学习中,它常用于估算模型的计算量,尤其是在卷积层和全连接层中。较低的 `MACs` 通常意味着更快的推理速度和更低的能耗。 * **数学公式:** 对于一个卷积层,输出特征图的尺寸为 $H_{out} \times W_{out} \times C_{out}$,卷积核尺寸为 $K_H \times K_W \times C_{in}$,则其 `MACs` 大致为 $H_{out} \times W_{out} \times C_{out} \times K_H \times K_W \times C_{in}$。对于全连接层,输入维度为 $D_{in}$,输出维度为 $D_{out}$,则 `MACs` 大致为 $D_{in} \times D_{out}$。由于深度学习模型通常包含大量的层,总 `MACs` 是所有层 `MACs` 的累加。 * **符号解释:** * $H_{out}, W_{out}, C_{out}$: 卷积层输出特征图的高度、宽度、通道数。 * $K_H, K_W, C_{in}$: 卷积核的高度、宽度、输入通道数。 * $D_{in}, D_{out}$: 全连接层的输入、输出维度。 (注:`MACs` 的精确计算因不同的操作类型和库实现而异,这里给出的是常见估算方式。) ### 5.2.4. 实时因子 (Real-Time Factor, RTF) `RTF` 是衡量 ASR 系统推理速度的指标。它表示处理一段语音所需的时间与这段语音本身的持续时间之比。`RTF` 越低表示推理速度越快。 * **概念定义:** `RTF` 是指模型处理一秒钟音频所需的实际计算时间。例如,如果处理 10 秒钟的音频需要 1 秒钟的计算时间,则 `RTF` 为 0.1。低于 1.0 的 `RTF` 通常被认为是满足实时 (real-time) 要求的。 * **数学公式:** \mathrm{RTF} = \frac{\text{Processing Time}}{\text{Audio Duration}} $$

  • 符号解释:
    • Processing Time\text{Processing Time}: 模型处理特定音频段所需的总时间。
    • Audio Duration\text{Audio Duration}: 特定音频段的实际持续时间。

5.3. 实现细节

  • 工具包: 遵循 ESPnet [30] 流程进行数据准备、训练、解码和评估。
  • 模型结构:
    • 编码器: 12 层编码器层。E-Branchformer 层与 RWKV 层的比例默认设置为 2:1。
    • 解码器: 6 层解码器层。Transformer 解码器层与 RWKV 解码器层的比例默认设置为 1:1。
  • 模型参数:
    • 注意力维度 dd 设置为 256。
    • 注意力头 (attention heads) 数量设置为 4。
    • 时间混合模块维度 (time-mixing module size) 设置为 512。
  • 损失函数: 采用联合 CTC-attention 损失函数 [31, 32]。
  • 硬件: 所有实验均在 RTX 4090 GPU 上进行。

5.4. 对比基线

论文将 REB-former 与以下几种典型的端到端 ASR 模型进行了比较:

  • Transformer [22]: 经典的自注意力模型。

  • Conformer [4]: 结合了卷积和自注意力的 Transformer 变体。

  • E-Branchformer [5]: 本文的主要基线,通过并行分支增强了 Conformer

  • MULTI-CONVFORMER [23]: 扩展 Conformer,使用多个卷积核。

  • Ebranchformer-Mamba [24]:E-BranchformerMamba 线性状态空间模型结合的模型。

    这些基线模型代表了 ASR 领域最先进的 Transformer 及其高效变体,能够全面评估 REB-former 在性能和效率方面的优势。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 主要性能对比

以下是原文 Table 1 的结果:

Models Librispeech 100h (WER) Tedlium2 (WER) AISHELL1 (CER)
# params Dev Clean Dev Other Test Clean Test Other # params Dev Test # params Dev Test
Attention Encoder Decoder (AED) models 20.1
Transformer [22] 36.5M 8.0 20.3 33.8M 10.1 8.8 47.7M 5.1 5.5
Conformer [4] 34.2M 6.3 8.4 6.6 17.2 35.5M 9.1 7.6 54.2M 4.3 4.6
E-Branchformer [5] 38.5M 6.1 6.18 16.7 17.0 35.0M 8.0 7.1 37.9M 4.2 4.5
MULTI-CONVFORMER [23] 37.2M 5.87 16.63 33.7M 8.0 7.27 54.7M 4.18 4.46
Ebranchformer-Mamba [24] 36.7M 6.0 16.2 16.5 33.3M 8.1 7.3 43.9M 4.2 4.6
REB-former‡ (ours) 39.0M 6.0 15.8 6.2 15.9 35.5M 7.9 7.0 38.4M 4.1 4.4
REB-former (ours) 42.1M 5.8 15.6 6.0 15.8 38.7M 7.9 7.1 41.3M 4.4

Table 1 比较了 REB-former 与几种 AED (Attention Encoder Decoder) 模型在三个基准数据集上的性能。

  • LibriSpeech 100h 数据集:

    • 本文提出的 REB-former 在 clean 和 noisy 条件下均取得了最低的 WER
    • 与基线 E-Branchformer 相比,REB-former (ours) 将 dev-other 数据集的错误率从 16.8% (E-Branchformer) 降低到 15.6% (REB-former),test-other 从 17.0% 降低到 15.8%。这表明其混合架构对声学干扰具有更强的鲁棒性。
    • 值得注意的是,带 RWKVDecoderREB-former 版本(42.1M 参数)在 test-clean/test-other 上取得了 6.0%/15.8% 的 WER,刷新了 LibriSpeech 100h 上的最先进性能。即使是参数量更少的 REB-former‡ (39.0M 参数,不带 RWKVDecoder 或其他配置差异) 也表现出色,在 test-clean/test-other 上达到 6.2%/15.9%。
  • TED-LIUM2 数据集: REB-former‡ 在使用 35.5M 参数的情况下,测试 WER 达到了 7.0%,展示了高效的参数利用率。

  • AISHELL1 数据集 (中文): 我们的模型在 AISHELL1 dev 集上显示了 4.0% 的 CER,表明了其跨语言适应性。

    这些结果一致的性能提升证实了所提出模型对声学变化和语言特征的鲁棒性。

6.1.2. 结合自注意力 (Self-attention) 和 RWKV 的优势

以下是原文 Table 2 的结果:

Encoder Decoder RTF dev clean dev other test clean test other
Conformer Transformer 0.277 6.3 17.0 6.6 17.2
Conformer RWKV 0.218 6.1 16.7 6.3 16.8
E-Branchformer Transformer 0.276 6.1 16.8 6.4 16.7
E-Branchformer RWKV 0.268 6.0 16.3 6.3 16.4
REB-former Transformer 0.242 6.0 15.8 6.2 15.9
REB-former RWKV 0.211 5.8 15.6 6.0 15.8

Table 2 比较了不同编码器和解码器架构模型的 RTFWER

  • RWKVDecoder 的优势: 使用 RWKVDecoder 的模型,与传统 Transformer 解码器相比,在 WER 更低的同时,推理速度也更快(RTF 更低)。这表明 RWKV 的上下文递归架构不仅能更好地捕获语音序列中的长期依赖,还能提高计算效率。
  • 显著的效率提升: 尤其显著的是,在基于 Conformer 的模型中,使用 RWKVDecoder 使得 RTF 降低了 21%(从 0.277 降至 0.218),同时提高了识别准确率。在 REB-former 中,使用 RWKVDecoder 使得 RTF 从 0.242 降至 0.211,WER 也有显著提升。

6.1.3. 编码器层比例研究

以下是原文 Table 3 的结果:

REB-former (E:R) MACs (G) dev clean dev other test clean test other
E:R = 1:0 10.5 6.0 16.3 6.3 16.4
E:R = 0:1 9.9 6.0 16.8 6.5 16.9
E:R = 1:1 10.2 5.9 16.1 6.2 16.0
E:R = 2:1 10.3 5.8 15.6 6.0 15.8
E:R = 3:1 10.4 6.0 16.2 6.2 16.3

Table 3 比较了 REB-former 编码器中 E-Branchformer 层 (E) 和 RWKV 层 (R) 不同比例的 MACsWER

  • 计算成本相对稳定: MACs 在不同层比例下保持相对稳定(9.9G 到 10.5G),但模型性能显著不同。这表明,虽然总的计算量变化不大,但不同机制的组合方式对最终效果影响巨大。
  • 最佳比例 2:1: E:R=2:1E:R = 2:1 的比例取得了最低的 WER (test-clean 6.0%, test-other 15.8%),同时 MACs 处于中等水平。这验证了适度集成 RWKV 层可以使时间依赖建模和全局注意力机制协同作用,互补两种注意力机制的优势。
  • 比例失衡的影响:E-Branchformer 层的比例进一步增加到 3:1 时,模型性能有所下降 (test-other 16.3%)。这暗示过度强调全局自注意力机制可能会削弱 RWKV 层对时间信息建模的能力。纯 E-Branchformer (E:R = 1:0) 和纯 RWKV (E:R = 0:1) 的性能均不如混合模型,进一步证实了混合架构的优势。

6.2. 消融实验 (Ablation Studies)

以下是原文 Table 4 的结果:

Model dev clean dev other test clean test other
REB-former 5.8 15.6 6.0 15.8
- DCA 5.8 15.8 6.1 15.8
- Group Operation 5.9 15.8 6.1 16.1
- BiRWKV 6.0 16.3 6.3 16.4
- RWKVDecoder 6.1 16.8 6.4 16.7

Table 4 展示了 REB-former 模型在 LibriSpeech 100h 数据集上的消融实验结果,系统地移除模型中的独特组件,逐步将其转换为 E-Branchformer 模型。

  • RWKV-自注意力混合架构的重要性:
    • 移除 BiRWKV 模块(即只剩下 E-Branchformer 和单向 RWKV,或者等效地,严重削弱了 RWKV 层的双向能力和混合结构)导致 WER 从 15.6% (REB-former) 显著增加到 16.3% (dev other) 和 16.4% (test other)。这表明 BiRWKV 的引入,构建 RWKV-self-attention 混合架构,是 REB-former 最关键的创新点,贡献了总性能提升的 40% 以上。
  • DCA 模块的有效性:
    • 移除 DCA 模块后,dev other 的 WER 从 15.6% 上升到 15.8%,test clean 从 6.0% 上升到 6.1%。这说明 DCA 模块通过跨通道信息交互,有效地改善了模型在噪声环境下的性能。
  • 分组操作的贡献:
    • 移除 Group Operation(即不对通道进行分组,直接使用 BiRWKV)导致 test otherWER 从 15.8% 增加到 16.1%。这表明分组操作在降低计算成本的同时,也对性能有积极影响,可能是通过更好地捕捉子空间特征。
  • RWKVDecoder 的贡献:
    • 移除 RWKVDecoder 模块导致 dev otherWER 从 15.6% 显著增加到 16.8%,test other 从 15.8% 增加到 16.7%。这有力地验证了解码器端混合架构的有效性,进一步提升了模型的时间建模能力。

      总的来说,消融实验清晰地揭示了 REB-former 各个独特组件(BiRWKVGroup OperationDCARWKVDecoder)对模型性能的积极贡献,特别是 BiRWKVRWKVDecoder 是提升性能的关键。

7. 总结与思考

7.1. 结论总结

本研究通过交错堆叠 E-Branchformer 层和 RWKV 层,构建了名为 REB-former 的新型混合架构,旨在融合这两种模型类型的优点,从而解决 Transformer 架构中自注意力机制的二次复杂度问题,并提升语音识别的性能。

  • 高效集成: REB-former 有效地将全局上下文建模能力(来自 E-Branchformer)与高效序列处理能力(来自 RWKV)相结合。
  • GroupBiRWKV 创新: 通过引入 GroupBiRWKV 模块,论文成功增强了 RWKV 层捕获全局上下文信息的能力,同时通过分组操作降低了计算成本,并通过 DCA 模块促进了通道间的信息交互。
  • RWKVDecoder 优化: 将混合堆叠策略扩展到解码器,设计了 RWKVDecoder,进一步提升了模型的整体性能和推理效率。
  • 卓越性能: 实验结果表明,REB-former 在 LibriSpeech 100h 数据集上取得了新的最先进 (state-of-the-art) 性能(test-clean/test-other WER 分别为 6.0%/15.8%),并展示了在计算效率和推理速度方面的优势,相对于基线 E-Branchformer 实现了高达 7.1% 的 WER 相对降低。
  • 混合架构的潜力: 论文强调了 RWKVself-attention 结合在 ASR 模型中的巨大潜力,为未来高效 ASR 系统的设计提供了一条有前途的途径。

7.2. 局限性与未来工作

论文本身并未明确列出具体的局限性,但可以从其方法和实验中推断出一些潜在的考量:

  • 架构复杂性: 混合架构的设计可能增加了模型的复杂性,包括不同层类型的交错、分组操作和 DCA 模块等,这可能使得模型的训练、调试和部署比单一架构更具挑战性。
  • 超参数调优: 不同层比例 (E:R) 的选择需要仔细的实验调优(如 Table 3 所示),这增加了模型开发的时间成本。最优比例可能因数据集和任务而异,缺乏一个通用的理论指导。
  • RWKV 模块的泛化性: 尽管 GroupBiRWKV 增强了 RWKV 的双向建模能力,但 RWKV 的核心机制与 Transformer 的全局自注意力机制在理论基础和信息流向上存在差异。这种混合的理论解释和更深层次的融合方式可能还需要进一步探索。
  • 多语言和方言适应性: 尽管在 AISHELL1(普通话)数据集上取得了不错的结果,但 REB-former 在更多样化的语言、口音和噪声环境下的泛化能力仍需更广泛的验证。

未来工作方向:

  • 更智能的混合策略: 探索自适应地确定 E-BranchformerRWKV 层比例或集成方式,例如基于输入序列特性动态调整。
  • 理论分析: 对混合架构中不同注意力机制如何协同工作进行更深入的理论分析,以指导更优的设计。
  • 效率与性能的进一步优化: 探索更轻量级的 GroupBiRWKVDCA 变体,或引入其他高效的线性注意力机制,以进一步提升效率和性能。
  • 多模态融合:REB-former 的高效序列建模能力应用于语音识别以外的多模态任务,如语音翻译、语音情感识别等。

7.3. 个人启发与批判

这篇论文提供了一个将传统高性能 Transformer 变体与新兴高效线性注意力模型相结合的有力范例。

  • 混合架构的强大潜力: REB-former 的成功再次印证了混合架构在解决复杂问题时的强大潜力。通过巧妙地结合不同模型的优势(例如,Transformer 的全局视野与 RWKV 的序列效率),可以超越单一架构的局限。这种“取长补短”的策略对于解决深度学习中的实际瓶颈(如计算成本和长序列处理)具有重要的指导意义。
  • 对线性注意力模型的深入利用: 论文不仅简单地替换了 self-attention,还对 RWKV 进行了针对性的增强 (BiRWKV, Group Operation, DCA),使其更好地适应非流式 ASR 任务。这表明,要充分发挥新兴高效模型的潜力,通常需要对其进行任务特定的适配和改进,而不是简单地“即插即用”。
  • 平衡效率与性能的艺术:Table 3 中,E:R=2:1E:R = 2:1 的比例实现了最佳性能,而不是 1:1 或 0:1。这强调了在设计混合模型时,找到不同组件之间的“甜点”平衡至关重要。过度倾向任何一方都可能导致次优结果,这本身就是一门需要经验和实验支持的艺术。
  • 潜在的问题或改进点:
    • 模块间的交互复杂性: GroupBiRWKVDCA 的设计虽然有效,但引入了额外的门控和聚合机制,增加了模型的复杂性和可解释性。如何简化这些交互,同时保持甚至提升性能,是一个值得探索的方向。

    • 端到端训练的稳定性: 混合了 E-BranchformerRWKV 这种具有不同收敛特性和梯度流的模块,其端到端训练的稳定性可能需要更精细的优化策略。论文中未详细描述训练过程中的挑战,未来可以深入探讨。

    • 应用场景的进一步细化: 虽然在 ASR 任务中表现出色,但对于特定场景(例如极长序列、资源受限设备上的部署)下,模型的具体优势和瓶颈是什么,可能还需要更细致的分析。例如,尽管 RTF 有所降低,但对于极端实时的应用,是否还有进一步优化的空间?

      总之,REB-former 提供了一个优雅且高效的解决方案,将最新的高效序列模型 RWKV 融入到主流的 Transformer 架构中,为高性能和高效率的 ASR 系统开辟了新的研究路径。

相似论文推荐

基于向量语义检索推荐的相关论文。

暂时没有找到相似论文。