1. 论文基本信息

1.1. 标题

SALM: Spatial Audio Language Model with Structured Embeddings for Understanding and Editing（空间音频语言模型：面向理解与编辑的结构化嵌入）

1.2. 作者

• Jinbo Hu（胡锦博）1,2

• Yin Cao（曹寅）3

• Ming Wu（吴明）1

• Zhenbo Luo（罗振波）2

• Jun Yang（杨军）1,4

  隶属机构：

1. 中国科学院声学研究所（Institute of Acoustics, CAS）
2. 小米 MiLM Plus
3. 西交利物浦大学（Xi’an Jiaotong Liverpool University）
4. 中国科学院大学（University of Chinese Academy of Sciences）

1.3. 发表期刊/会议

arXiv 预印本（尚未经过同行评审）。论文定位为空间音频与多模态学习领域的基础研究工作。

1.4. 发表年份

2025（arXiv 时间戳：2025-07-22）

1.5. 摘要

论文提出了 SALM（Spatial Audio-Language Model），通过多模态对比学习将空间音频与自然语言对齐。核心是一个双分支音频编码器（语义分支 + 空间分支）与一个文本编码器，结合结构化音频嵌入，将空间与语义信息既可解耦提取，也可融合形成联合表示。SALM 支持：

• 空间音频与文本的无缝对齐；

• 语义/空间表示的独立与联合抽取；

• 零样本方向分类；

• 基于文本嵌入的空间音频“编辑”（如修改来向）。

  实验证明 SALM 的跨模态对齐与结构化嵌入有效，并展示了基于文本的方向控制编辑能力。

1.6. 原文链接

• arXiv 页面：https://arxiv.org/abs/2507.16724v2
• PDF 链接：https://arxiv.org/pdf/2507.16724v2.pdf
• 发布状态：arXiv 预印本

2. 整体概括

2.1. 研究背景与动机

• 核心问题：如何让机器像人类一样，将“语义内容”（声音是什么）与“空间信息”（从哪里来）统一理解，并用自然语言描述或操控？
• 重要性：现有音频-语言模型（Audio-Language Models, ALMs，如 CLAP）多基于单声道音频训练，忽略空间维度；而 SELD（Sound Event Localization and Detection，声音事件定位与检测）方法虽能回归来向（DOA, Direction of Arrival），但受限于预定义的事件类，也不与自然语言对齐。
• 研究空白：缺乏一个既能表达空间特性、又能与自然语言对齐、同时具备编辑能力的通用表示学习框架。
• 创新切入：提出结构化音频嵌入，将音频表示拆分为可独立学习的“语义嵌入”与“空间嵌入”，并通过对比学习与 DOA 监督进行跨模态与空间对齐；同时，利用文本方向嵌入对空间特征进行替换，实现“文本驱动”的方向编辑。

2.2. 核心贡献/主要发现

• 提出 SALM：一个由文本编码器 + 双分支音频编码器组成的多模态框架，面向空间音频与语言对齐。
• 结构化嵌入：将空间与语义信息解耦为两类嵌入，并可加权融合为联合嵌入，支持灵活编辑。
• 训练策略：联合使用两种对比损失（语义对齐 L_CL、空间对齐 L_sCL）与 DOA 损失 L_DOA，实现跨模态与空间监督的协同训练。
• 数据构建：基于 AudioCaps 与 Clotho，通过模拟与实测 SRIR（Spatial Room Impulse Responses，空间房间脉冲响应），以及 LLM 生成空间增强文本，构建成对的空间音频-文本数据。
• 实证结论：在文本-音频检索与零样本方向分类上取得显著提升；能够在嵌入空间实现方向“替换/修改”，且不破坏语义。

3. 预备知识与相关工作

3.1. 基础概念

• 空间音频（Spatial Audio）：同时携带声音源的空间信息（如方位/距离/高度）的音频表示。在机器感知中，通常通过多通道录音（如麦克风阵列）或安比声（Ambisonics）等形式编码。

• 一阶安比声（First-Order Ambisonics, FOA）：一种阵列无关（array-agnostic）的空间音频表示，将声场分解为 4 个通道（W, X, Y, Z），其中 W 为全向（omni）分量，XYZ 为方向性分量。FOA 在不同阵列配置间迁移性好，适合研究。

• 空间房间脉冲响应（Spatial Room Impulse Response, SRIR）：记录/模拟从空间中某点声源到麦克风的脉冲响应，包含混响与方向线索。用单声道音频与 SRIR 卷积可得到空间化音频。

• 对比学习（Contrastive Learning）：通过“拉近匹配样本、拉远不匹配样本”的策略学习跨模态对齐或判别性嵌入的学习范式。典型如 CLIP/CLAP。

• 声音事件定位与检测（SELD）：同时预测声音事件的类别与来向（DOA）。常见范式有 ACCDOA 与 EINV2。

  • ACCDOA（Activity-Coupled Cartesian DOA）：把事件活动性与笛卡尔 DOA 合成一个向量输出。
  • EINV2（Event-Independent Network v2）：采用去耦机制将检测与定位分离，便于单独优化。

• 方向到达（Direction of Arrival, DOA）：描述声源相对于麦克风的来向，可用方位角/俯仰角或三维笛卡尔单位向量表示。

• HTS-AT（Hierarchical Token-Semantic Audio Transformer）：基于 Swin Transformer 的音频主干网络（backbone），擅长捕捉音频的时间-频率结构。

  补充：Transformer 的核心注意力机制（self-attention）在理解 RoBERTa、Swin-Transformer 时很关键。其基本公式为： $$\mathrm{Attention}(Q, K, V) = \mathrm{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$$

• Q,K,V：分别为查询、键、值矩阵（由输入经过线性投影得到）

• $d_k$：键向量维度（用于缩放稳定训练）

• $\mathrm{softmax}$：对每个查询位置归一化键相似度得到注意力权重

3.2. 前人工作

• 音频-语言对齐（ALMs）：CLAP、LAION-CLAP 通过大规模音频-文本对比学习获得良好的零样本分类与检索能力，但训练音频多为单声道，缺乏空间建模。
• SELD 系列：ACCDOA、EINV2 及其改进版本（如作者团队的 PSELDNets）在空间定位上表现优秀，但受限于固定事件类，难以与自然语言描述对齐。
• 融合 LLM 的空间音频理解：如 BAT、Spatial QA、Text-queried SELD 等，通常面向特定任务（问答、目标定位），缺乏通用的跨模态表示。
• ELSA（NeurIPS 2024）：将 CLAP 拓展到“空间增强”的音频-文本对比学习，学习对空间敏感的通用嵌入。本工作在此基础上更进一步，通过“结构化嵌入 + DOA 监督 + 双分支解耦”实现更强的空间-语义对齐与编辑能力。

3.3. 技术演进

• 从单声道音频-文本对齐（CLAP）→ 空间增强对齐（ELSA）→ 引入结构化嵌入与显式 DOA 监督（SALM），方法路径逐步强化空间属性与可控性。
• 从耦合检测/定位（ACCDOA）→ 解耦（EINV2）→ 融合到多模态表征学习（SALM 双分支设计）。

3.4. 差异化分析

• 相较 LAION-CLAP：SALM 使用 FOA 全通道并显式学习空间嵌入，具备空间敏感性；同时引入 DOA 监督与空间文本对比损失。
• 相较 ELSA：SALM 将音频表示结构化为“语义/空间”两类嵌入，可独立或融合使用；引入 DOA 回归作为显式空间监督；提出在嵌入空间进行“文本驱动的方向编辑”。
• 相较 SELD：SALM 不局限于固定类标签，而是与自然语言描述对齐，支持跨模态检索与编辑。

4. 方法论

4.1. 方法原理

核心思想：用“结构化嵌入”把空间音频的“听到什么（语义）”与“从哪来（空间）”解耦表示，再通过两类对比学习把（1）语义与普通文本对齐、（2）空间+语义的联合表示与“空间增强文本”对齐；同时用 DOA 回归提供显式空间监督。如此得到的嵌入既可解释（可分解），又可控（可编辑）。

4.2. 数据构建：空间音频-文本配对

• 空间音频合成：
  • 以 AudioCaps 与 Clotho 单声道音频为基础，通过与模拟/实测 SRIR 卷积，合成 FOA 格式的空间音频。模拟 SRIR 采用“鞋盒房间”模型，随机化房间尺寸与频带吸收系数；实测 SRIR 采用 TAU-SRIR DB，以增强真实场景泛化。
• 空间文本生成：
  • 首先将源位置的方位角量化为 8 个方向类（每 45° 一档，如 “south”“northeast”），再用模板 “The sound: is coming from the .” 与 LLaMA 3.2-3B（温度 0.2）重写为简洁、准确的“空间增强文本”。
  • 这样每段空间音频同时配有“普通文本 caption”与“空间增强文本”，分别服务于语义对齐与空间+语义对齐。

4.3. 模型架构

• 文本编码器：沿用 LAION-CLAP 的文本侧，基于 RoBERTa（双向 Transformer），初始化使用 LAION-CLAP 预训练权重。

• 音频编码器（双分支，基于 HTS-AT 主干）：

  • 语义分支：输入 FOA 的全向通道（W），抓取内容相关特征。初始化于 LAION-CLAP 音频编码器。
  • 空间分支：输入 FOA 全通道（WXYZ），捕捉空间线索。初始化于 PSELDNets（EINV2 变体）的 DOA 分支。
  • 分支之间采用“软参数共享（soft-parameter sharing）”，以可学习的跨分支连接（论文图中虚线）促进信息交互，同时保持各自侧重。

• 投影头：语义分支、空间分支与文本编码器的 768 维输出，各自通过 2 层 MLP 投影到统一的 512 维嵌入空间，便于对齐与后续组合。

  下图（原文 Figure 1）展示了 SALM 的系统架构：

  该图像是 Spatial Audio Language Model (SALM) 的网络架构示意图，展示了音频输入和文本输入的编码过程，包括音频编码器的空间和语义分支以及相应的多层感知器层（MLP Layer）。该结构用于提取音频和文本的嵌入，并计算对比损失以实现跨模态对齐。

4.4. 结构化嵌入与融合

音频侧生成两类嵌入：Audio Semantic Embeddings（音频语义嵌入，记作 $E_{\mathtt{ASe}}$）与 Audio Spatial Embeddings（音频空间嵌入，记作 $E_{\mathtt{ASp}}$）。二者可融合为联合嵌入 $E_{\mathtt{JA}}$：

$$E_{\mathtt{JA}} = E_{\mathtt{ASe}} + \mathbf{s} \odot E_{\mathtt{ASp}},$$

• $E_{\mathtt{ASe}}$：语义分支输出的 512 维嵌入（经过投影）

• $E_{\mathtt{ASp}}$：空间分支输出的 512 维嵌入（经过投影）

• $\mathbf{s}$：可学习的 512 维逐通道融合权重（标量向量）

• $\odot$：Hadamard（逐元素）乘积

  解释：该式通过逐通道加权，将空间嵌入对联合表示的贡献自适应调节，从而在“仅语义”“仅空间”“空间+语义”三种使用形态间灵活切换。

4.5. 训练目标与损失

训练同时优化三类目标：语义对齐、空间对齐与 DOA 回归。总损失为：

$$\mathcal{L}_{\mathrm{SALM}} = \frac{1}{2}\left(\mathcal{L}_{\mathrm{CL}} + \mathcal{L}_{\mathrm{sCL}}\right) + \mathcal{L}_{\mathrm{DOA}},$$

• $\mathcal{L}_{\mathrm{CL}}$：语义对比损失，将 $E_{\mathtt{ASe}}$ 与“普通文本嵌入”对齐，促使语义一致样本相互接近、非匹配分离。

• $\mathcal{L}_{\mathrm{sCL}}$：空间增强对比损失，将“联合音频嵌入” $E_{\mathtt{JA}}$ 与“空间增强文本嵌入”对齐，显式把空间描述纳入跨模态对齐。

• $\mathcal{L}_{\mathrm{DOA}}$：DOA 回归损失。由 $E_{\mathtt{ASp}}$ 通过另一个 2 层 MLP 预测笛卡尔坐标系下的 DOA 向量（单位向量），损失采用与目标 DOA 的余弦距离（即 $1-\cos$ 相似度），强化空间精度。

  上述设计体现“聚合 + 解耦”的思想：$\mathcal{L}_{\mathrm{sCL}}$ 聚焦联合表示的跨模态对齐，$\mathcal{L}_{\mathrm{CL}}$ 保持语义与文本一致性（兼具正则化作用），$\mathcal{L}_{\mathrm{DOA}}$ 用显式空间监督固化空间可辨性。

4.6. 嵌入空间编辑（文本驱动的方向控制）

SALM 的结构化嵌入允许在不触碰语义分量的前提下，直接用“描述方向的文本嵌入”替换空间分量，从而改变来向。记“方向文本嵌入”为 $E_{\mathrm{TDi}}$（由“空间增强文本”如 “The sound is coming from the southwest.” 提取），则编辑后的联合嵌入：

$$\tilde{E_{\mathtt{JA}}} = E_{\mathtt{ASe}} + \mathbf{s} \odot \frac{\|E_{\mathtt{ASp}}\| \cdot E_{\mathtt{TDi}}}{\|E_{\mathtt{TDi}}\|},$$

• $E_{\mathtt{ASe}}$：保持不变，确保语义稳定

• $E_{\mathtt{ASp}}$ 与 $E_{\mathtt{TDi}}$：通过 $L_2$ 范数归一，匹配尺度后将方向信息置换进入

• $\mathbf{s}$：仍为逐通道权重，确保融合风格一致

  直观理解：用文本方向嵌入替换空间分量（保持模长一致），即可在嵌入空间“旋转”声音来向，而不破坏声音“是什么”的语义信息。

5. 实验设置

5.1. 数据集

• 基座语料：
  • AudioCaps：50,956 段音频（野外音频配文本描述）
  • Clotho：5,929 段音频（配文本描述）
• 空间合成：
  • 每段音频在同一房间内模拟 3 个不同源位置，合成 FOA 空间音频，形成多角度观察。最终：
    • sClotho：17,787 段（约 111 小时）
    • sAudioCaps：152,868 段（约 419 小时）
  • 真实场景：用 TAU-SRIR DB 的实测 SRIR 生成等规模数据：
    • sClotho-R、sAudioCaps-R：用于检验真实声场泛化
• 空间文本：
  • 方向划分为 8 类（每 45° 一档）：如 “south”“northeast”。基于模板与 LLaMA 3.2-3B（温度 0.2）对原 caption 进行“空间增强重写”。例如：

    • 原始描述：A bell is ringing.

    • 空间增强：A bell is ringing from the northeast side of the room.（示例风格）

      选择理由：AudioCaps 与 Clotho 为主流音频-文本数据集；通过模拟/实测 SRIR 构造空间对，既可控又能检验真实泛化；空间文本使对比损失能“看见”空间信息。

5.2. 特征与预处理

• 采样率：24 kHz
• 输入特征：从 4 通道 FOA 提取
  • 64 维对数 Mel 频谱
  • Intensity Vectors（强度矢量，常用于 DOA 感知）
• 窗口：Hanning 窗 1024 点；hop 240
• 片段长度：训练/推理固定 10 s（短片重复+零填充，长片随机裁剪）

5.3. 训练细节

• 批大小：64
• 优化器：Adam
• 学习率：基础 1e-4；前 3 epoch 线性 warm-up，后 7 epoch 余弦退火
• 初始化：文本侧/音频语义侧均来自 LAION-CLAP；音频空间侧来自 PSELDNets（EINV2 变体）DOA 分支

5.4. 评估指标

• 检索 Recall@K（召回@K）：
  1. 概念定义：衡量跨模态检索中，正确匹配是否出现在前 K 个候选中的比例。越高表示对齐越好。分为“Text-to-Audio”（文本检索音频）与“Audio-to-Text”（音频检索文本）。
  2. 数学公式： $$\mathrm{R@}K = \frac{1}{N}\sum_{i=1}^{N} \mathbf{1}\{\text{正确匹配}\in \text{Top-}K(\text{query}_i)\}$$
  3. 符号解释：
     • $N$：查询总数
     • $\mathbf{1}\{\cdot\}$：指示函数，条件为真取 1，否则取 0
     • $\text{Top-}K(\text{query}_i)$：针对第 $i$ 个查询，按相似度排序的前 K 个候选
• 定位误差（Localization Error，角误差）：
  1. 概念定义：预测 DOA 与真实 DOA 的夹角，单位度数。越低越好。
  2. 数学公式（单位向量）： $$\theta = \arccos\!\left(\frac{\hat{\mathbf{d}}\cdot\mathbf{d}}{\|\hat{\mathbf{d}}\|\,\|\mathbf{d}\|}\right)\times \frac{180}{\pi}$$
  3. 符号解释：
     • $\hat{\mathbf{d}}$：预测 DOA 的 3D 笛卡尔单位向量
     • $\mathbf{d}$：真实 DOA 的 3D 笛卡尔单位向量
     • $\cdot$：点积
     • $\|\cdot\|$：欧氏范数
     • $\theta$：角误差（度）

5.5. 对比基线

• LAION-CLAP：强力的音频-文本对齐基线（单通道输入），无空间建模。
• SALM-s：仅用空间分支（仍用 FOA 全通道），检验“空间通道 + 对比学习”的作用。
• SALM（不同损失组合）：考察 $\mathcal{L}_{\mathrm{CL}}$、$\mathcal{L}_{\mathrm{sCL}}$、$\mathcal{L}_{\mathrm{DOA}}$ 的贡献。

6. 实验结果与分析

6.1. 核心结果分析（表 1）

以下是原文 Table 1 的结果（sClotho 与 sAudioCaps 上的跨模态检索与定位误差）：

要点解析：

• LAION-CLAP 在空间场景明显吃亏（输入仅全向通道，缺空间线索），检索性能显著落后。
• 仅用空间分支的 SALM-s（FOA 全通道 + 空间对齐）已经大幅超越 LAION-CLAP，证明“输入空间信息 + 空间敏感对齐”的价值。
• 完整 SALM（双分支 + DOA 监督）进一步显著降低定位误差（sClotho：4.2°→1.8°），并提升检索 Recall@K。加入 $\mathcal{L}_{\mathrm{CL}}$ 后（表中最后一行）检索与定位再次全面提升，印证“语义-文本对齐”对整体表示的正则化与增强作用。

6.2. 真实声场泛化（表 2）

以下是原文 Table 2 的结果（在实测 SRIR 合成的 sClotho-R 与 sAudioCaps-R 上的表现）：

结论：

• 仅用模拟 SRIR 训练，迁移至实测 SRIR 的数据仍具竞争力，说明 SALM 具备一定真实泛化能力。
• 将实测 SRIR 数据加入训练，跨指标再次显著提升，定位误差明显下降（如 sClotho-R：12.7°→7.6°），显示对真实声学环境的鲁棒性增强。

6.3. 零样本方向分类（表 3）

以下是原文 Table 3 的结果（8 类方向）：

解读：语义嵌入几乎不携带方向信息（符合预期）；空间嵌入与联合嵌入与方向文本高度对齐（接近 100%），证明结构化嵌入将空间信息成功解耦并可稳定融合。

6.4. 空间音频编辑（图 2）

编辑策略：

• “None”：不做编辑；

• “Swap”：用与原方向一致的“方向文本嵌入”替换空间嵌入（方向不变，方向不敏感编辑）；

• “Change”：用不同方向的文本嵌入替换空间嵌入（修改来向）。

  下图（原文 Figure 2）展示了编辑后的空间检索表现：

  该图像是图表，展示了在编辑空间音频时的空间检索性能。图表分为两个部分：左侧是 sClotho 数据集，右侧是 sAudioCaps 数据集。'None'、'Swap' 和 'Change' 代表不进行编辑、方向不变的编辑和方向修改，Y轴显示了性能值（%）。

观察：

• 无论是“Swap”还是“Change”，对跨模态检索性能影响极小，说明联合嵌入具有良好的“可编辑性”，且语义信息保持稳定。
• 这表明“文本引导的方向控制”能够在不牺牲语义一致性的前提下修改空间属性。

6.5. 消融与组件贡献

• 空间输入的重要性：LAION-CLAP → SALM-s 的大幅提升说明 FOA 全通道与空间敏感对齐的关键作用。
• 双分支结构 + DOA 监督：SALM-s → SALM（含 $\mathcal{L}_{\mathrm{DOA}}$）定位误差下降约 60%，证明“空间分支 + 显式 DOA”能强力固化空间表征。
• 语义对齐正则（$\mathcal{L}_{\mathrm{CL}}$）：在已具空间监督的前提下继续带来检索/定位全面提升，说明“语义-文本一致性”对联合表示的稳定化与泛化有帮助。

6.6. 误差来源与稳健性讨论

• 方位量化文本（8 类方向）可能限制了空间文本对齐的角分辨率上限；尽管 DOA 是连续回归，但文本侧监督是离散的。
• 模拟 SRIR 与实测 SRIR 的声学差异导致的 domain gap 仍存在，但引入实测数据训练可显著缓解。
• 强噪/强混响环境、多个同时声源等复杂声景下，现有“单向量空间嵌入”的可分辨性与可编辑性仍需进一步系统检验。

7. 总结与思考

7.1. 结论总结

• 提出 SALM：通过双分支音频编码器与文本编码器的多模态对比学习框架，显式将音频的“语义”与“空间”信息结构化表示。
• 训练目标：联合语义对齐、空间增强对齐与 DOA 回归，协同塑形嵌入空间，使其既可解耦理解，又可文本驱动编辑。
• 实证效果：在合成与真实声场数据上，SALM 在跨模态检索与定位误差上显著优于基线；空间/联合嵌入在 8 类零样本方向分类中接近满分；嵌入空间方向编辑保持语义稳定。

7.2. 局限性与未来工作

• 文本空间描述的离散化：仅 8 个方向类，限制文本侧空间监督的分辨率。未来可探索连续角度文本描述或参数化文本提示（如“azimuth=37°”）。
• 多源场景：当前更接近单源/稀疏源设置。未来可扩展到多源/重叠事件的可分解空间嵌入（如一对多嵌入、集合表示）。
• 听觉个体化与 HRTF（头相关传输函数）：FOA 虽阵列无关，但与真实人类听觉的个体化差异仍在。可结合个体化 HRTF 或耳机渲染评估。
• 从“嵌入编辑”到“波形生成”：当前编辑发生在嵌入空间。面向应用，需连接到生成器（如扩散模型、神经编解码器）实现“可听”的方向编辑与渲染。
• 更广语义范围与场景理解：引入更大规模、更多样的空间语义数据（多房间、多麦阵形态）提升泛化与鲁棒性。

7.3. 个人启发与批判

• 启发：结构化嵌入是把“可解释性”与“可控性”引入多模态基础模型的有效途径。通过“分而治之”的分支与损失设计，可以同时达成“对齐、可分解、可编辑”的三重目标。
• 可迁移性：该思想可迁移到视觉+语言（如分解外观/姿态）、语音+语言（分解内容/说话人/位置）等多模态场景。
• 改进空间：

  • 文本空间监督更细粒度（连续角度/不确定度建模）；

  • 编辑稳定性在极端条件（强混响、强噪、复杂遮挡）下的系统验证；

  • 更系统的消融实验（如软参数共享的具体形式、不同投影头设计、权重向量 $\mathbf{s}$ 的正则/稀疏化策略）以量化每个组件的贡献；

  • 将编辑后的嵌入端到端映射至可听音频的高保真生成与人主观测试。

    总体而言，SALM 在空间音频与语言的统一表征、可编辑性与真实场景泛化方面迈出关键一步，可作为未来空间音频理解、推理与生成系统的有力基础。