1. 论文基本信息

1.1. 标题

EchoMind: An Interrelated Multi-level Benchmark for Evaluating Empathetic Speech Language Models (EchoMind：用于评估共情语音语言模型的关联多层次基准)

1.2. 作者

Li Zhou, Lutong Yu, You Lv, Yihang Lin, Zefeng Zhao, Junyi Ao, Yuhao Zhang, Benyou Wang, Haizhou Li。 作者主要来自香港中文大学（深圳）和深圳大数据研究院。Benyou Wang (王本友) 和 Haizhou Li (李海洲) 为通讯作者或资深作者，他们在语音技术和人工智能领域具有显著的学术影响力。

1.3. 发表期刊/会议

该论文发表于 arXiv 预印本平台。

1.4. 发表年份

2025年。

1.5. 摘要

语音语言模型 (Speech Language Models, SLMs) 在口语理解方面取得了显著进展。然而，目前尚不清楚它们是否能够完全感知非词汇语音线索 (non-lexical vocal cues) 以及口语词汇，并以与情感和语境因素相符的共情 (empathy) 方式进行回应。现有的基准通常孤立地评估语言、声学、推理或对话能力，忽略了这些技能的整合，而这种整合对于类人、情商高的对话至关重要。

本文提出了 EchoMind，这是第一个关联的 (interrelated)、多层次基准，通过顺序的、与语境相关联的任务模拟共情对话的认知过程：口语内容理解、语音线索感知、综合推理和响应生成。所有任务共享相同且语义中立的脚本，这些脚本不含明确的情感或语境线索，并使用受控的语音风格变化来测试表达方式独立于文本内容的影响。EchoMind 基于一个跨越 3 个粗粒度 (coarse) 和 12 个细粒度 (fine-grained) 维度、包含 39 个语音属性的共情框架，并使用客观和主观指标进行评估。对 12 个先进 SLM 的测试表明，即使是最先进的模型，在处理高表现力语音线索时也举步维艰，限制了共情响应的质量。对提示强度 (prompt strength)、语音来源和理想语音线索识别的分析揭示了在指令遵循 (instruction-following)、对自然语音变异的弹性 (resilience to natural speech variability) 以及有效利用语音线索进行共情方面的持续弱点。这些结果强调了 SLM 需要整合语言内容与多样化语音线索，以实现真正的共情对话能力。

1.6. 原文链接

https://arxiv.org/abs/2510.22758 PDF 链接: https://arxiv.org/pdf/2510.22758.pdf

2. 整体概括

2.1. 研究背景与动机

2.1.1. 核心问题与挑战

当前的 Speech Language Models (SLMs) 尽管在口语理解方面取得了显著进步，但在实现真正“情商高”的对话方面仍面临核心挑战。具体来说，它们未能充分整合语言内容与非词汇语音线索（如语调、情感、生理语音信号和环境音），从而无法像人类一样进行全面感知和共情回应。

2.1.2. 现有研究的不足

现有的 SLM 评估基准存在以下局限：

• 孤立评估 (Isolated Evaluation): 大多数基准专注于评估单一能力，例如：
  • 理解导向型 (Understanding-oriented): 侧重语义或声学识别。
  • 推理导向型 (Reasoning-oriented): 侧重多跳或高阶推理。
  • 对话导向型 (Dialogue-oriented): 将语音任务置于交互情境中。
• 缺乏整合 (Lack of Integration): 这些评估通常是孤立进行的，未能捕捉理解、推理和响应生成在自然对话中如何共同作用。
• 语料库限制 (Corpus Limitations): 大多数方法依赖于重用现有语料库或构建狭窄目标的数据集，这些数据集缺乏跨任务的共享语境基础，无法系统性地评估共情对话能力。
• 缺乏共情评估 (Absence of Empathy Evaluation): 现有基准很少直接评估共情能力，这阻碍了 SLM 在这一关键维度的发展。

2.1.3. 论文的切入点与创新思路

为了解决上述空白，论文提出了 EchoMind，一个创新的、关联的、多层次基准。其核心思路是模拟人类共情认知的过程，通过一系列顺序的、语境关联的任务来全面评估 SLM 的共情能力。具体创新点包括：

• 模拟共情认知过程 (Simulating Empathetic Cognition): 任务流程模仿人类理解口语内容、感知语音线索、推断说话者状态和意图，并生成情感对齐响应的过程。
• 控制变量设计 (Controlled Variable Design): 使用相同且语义中立的脚本，通过受控的语音风格变化来隔离交付方式（非词汇线索）对响应的影响，使其独立于文本内容。
• 关联多层次评估 (Interrelated Multi-level Evaluation): 将理解、推理和对话任务关联起来，确保任务间的语境一致性，从而实现对 SLM 整合能力的全面评估。

2.2. 核心贡献/主要发现

2.2.1. 核心贡献

1. 提出共情导向的评估框架 (Empathy-Oriented Evaluation Framework): EchoMind 引入了一个跨越 3 个粗粒度（说话者、副语言、环境信息）和 12 个细粒度维度，包含 39 个语音属性的框架，并构建了具有受控语音风格变化的高质量对话脚本。
2. 设计多层次任务 (Multi-level Tasks): 设计了与共情认知过程（理解、推理、对话）对齐的多层次任务，每个任务都包含定量和定性评估，包括对开放式对话中文本和声学表达的联合评估。
3. 基准测试与性能揭示 (Benchmarking and Performance Revelation): 对 12 个先进 SLM 进行了基准测试，结果显示即使是最先进的系统也难以在遇到高表现力语音线索时提供符合韵律和情感的响应。
4. 深入行为分析 (In-depth Behavioral Analyses): 对 SLM 进行了深入的行为分析，包括提示敏感性 (prompt sensitivity)、合成语音与人类语音性能差距 (synthetic-human speech performance gaps)，以及理想语音线索识别下的共情响应能力上限 (upper-bound empathetic response capability)，揭示了限制其共情能力的关键因素。

2.2.2. 主要发现

1. 当前 SLM 在高表现力语音线索方面存在显著不足: 大多数模型在语音理解和推理任务中表现不佳，尤其是在需要整合非词汇语音线索时。
2. 共情响应质量受限: SLM 能够生成语境适当、自然和口语化的响应，但在利用语音线索生成共情回应方面仍有限制，其语音传递也难以反映对话者的语音风格和情感状态。
3. 任务性能之间存在正相关: 语音线索感知的理解能力越强，推理准确性往往越高，这表明准确感知语音线索有助于有效的多模态推理。
4. 提示敏感性影响模型性能: 多数模型对提示变化敏感，明确指令（增强提示 P3）有时能提升语音线索相关指标的性能，但也有模型在无提示（零提示 P1）下表现最好，这表明其指令遵循能力仍有待提高。
5. 人类语音的挑战性更高: 人类录制的语音由于更大的声学变异性和韵律细微差别，对模型构成了更大的挑战，这凸显了增强模型对真实世界自然语音鲁棒性 (robustness) 的必要性。
6. 理想语音线索识别下的性能上限: 在提供理想语音线索信息的情况下，模型能够实现更高的共情响应分数，这揭示了当前 SLM 在感知和利用语音线索方面的潜在瓶颈，而非其生成共情响应的内在能力。

3. 预备知识与相关工作

3.1. 基础概念

3.1.1. 语音语言模型 (Speech Language Models, SLMs)

SLM 是一类能够处理和生成口语的深度学习模型。它们旨在将语音输入直接映射到语音输出，或通过文本作为中间媒介。SLM 的目标是不仅理解言语的字面内容，还要捕捉其背后的非语言信息，如情感、语调和说话者特征。

3.1.2. 非词汇语音线索 (Non-lexical Vocal Cues)

指口语中除了词汇内容之外的所有声学信息，这些信息对于传达情感、意图、说话者状态和语境至关重要。论文中列举的非词汇语音线索包括：

• 韵律 (Prosody): 语音的节奏、语调、重音和语速等。
• 情感 (Emotion): 说话者表达的喜怒哀乐等情绪。
• 生理语音信号 (Physiological Vocal Signals): 例如呼吸声、咳嗽声、叹息声等，反映说话者的生理或心理状态。
• 环境音 (Environmental Sounds): 背景中的噪音，如风声、雷雨声、人群喧哗声等，提供语境信息。

3.1.3. 共情 (Empathy) 在对话系统中的应用

在对话系统中，共情是指模型能够感知、理解并适当回应用户的情感和意图。一个共情的对话系统不仅能理解“说什么”，还能理解“怎么说”和“为什么说”，并能以一种支持性、理解和情感对齐的方式做出回应。这需要模型具备整合语言内容和非词汇语音线索的能力。

3.2. 前人工作

论文在“相关工作”部分回顾了 SLM 的发展以及现有音频基准的特点。

3.2.1. 语音语言模型 (SLMs) 的演进

• 级联管道 (Cascade Pipelines): 早期 SLM 通常采用级联结构，即：
  1. ASR 模块将语音转录为文本。
  2. LLM 生成文本响应。
  3. TTS 系统将文本响应合成语音。 这种方法的缺点是识别、推理和合成是分离的，限制了语音线索信息在对话规划中的应用。尽管会使用音频编码器 (audio encoders) 提供语音嵌入 (speech embeddings)，但信息流仍存在瓶颈。
• 统一端到端架构 (Unified End-to-End Architectures): 现代 SLM 趋向于端到端模型，直接将语音输入映射到语音输出。这些模型通过以下方式实现更深度的整合：
  • 序列文本-语音词元生成 (Serial text-then-speech token generation): 先生成文本词元，再生成语音词元。
  • 并行词元解码 (Increasingly parallel token decoding): 减少延迟并保持语义-韵律一致性 (semantic-prosodic coherence)。
  • 先进技术应用: 采用先进的音频词元化 (audio tokenization)、跨模态对齐 (cross-modal alignment) 和流式/全双工解码 (streaming/full-duplex decoding) 来支持音色控制、情感表达和实时交互。

3.2.2. 音频基准 (Audio-based Benchmarks)

论文将现有 SLM 基准归类为几种类型，并指出了它们的侧重点和局限性。

下表（原文 Table 1）对比了 EchoMind 与现有音频基准的特点，突出了 EchoMind 在说话者信息、副语言特征、多表达风格、推理、对话任务以及任务关联性方面的优势。

以下是原文 Table 1 的结果：

符号说明：

• Spk.：是否存在说话者信息。

• Para.：是否存在副语言特征。

• Env.：是否存在环境音（"only" 表示仅环境音）。

• Input：输入类型。

• Output：输出类型。

• Style：$S$ 表示相同脚本的单一表达风格；$M$ 表示相同脚本的多种表达风格。

• Reas.：推理任务。

• Conv.：对话任务。

• Corr.：基准中不同类型任务是否相互关联。

• ✓：存在该特性。

• *：部分存在或有限存在。

• $X$：不存在该特性。

  从上表可以看出，EchoMind 作为一个新型基准，在许多方面填补了现有基准的空白，特别是在同时考虑说话者信息、副语言特征、多种表达风格以及任务之间的关联性方面。

3.3. 差异化分析

EchoMind 的核心创新在于其关联的 (interrelated)、多层次 (multi-level) 和共情导向 (empathy-oriented) 的设计。

• 关联性： 现有基准往往孤立地评估不同的能力，而 EchoMind 通过共享音频实例和模拟认知流程，将理解、推理和对话任务串联起来，确保语境一致性，从而能够评估模型如何整合这些能力。
• 多层次： 从底层的语音内容理解和语音线索感知，到中层的综合推理，再到高层的开放式对话响应生成，涵盖了共情对话的完整认知链条。
• 共情导向： EchoMind 专门为评估 SLM 的共情能力而设计，引入了详细的共情框架和评估指标，而这在大多数现有基准中是缺失的。
• 控制变量实验： 使用语义中立脚本和受控的语音风格变化，能够独立地测试非词汇语音线索的影响，这是对现有基准的重大改进，现有基准往往依赖于包含显式情感或语境线索的语料。

4. 方法论

4.1. 方法原理

EchoMind 基准旨在通过模拟人类共情对话的认知过程，全面评估 Speech Language Models (SLMs) 的共情能力。其核心思想是，人类在对话中不仅理解“说了什么”（语言内容），还会感知“怎么说”（非词汇语音线索），然后整合这些信息进行推理（推断说话者状态和意图），最终生成适当的回应（情感和语境对齐）。EchoMind 将这个过程分解为三个相互关联的层次任务：理解、推理和对话。为了精确评估非词汇语音线索的影响，基准采用了语义中立的对话脚本，并对语音风格进行受控变化，确保响应差异主要归因于语音线索而非文本内容。

4.2. 核心方法详解

4.2.1. EchoMind 基准设计概述

EchoMind 的设计围绕一个共情导向的框架，将语音线索分为三个粗粒度维度，并进一步细化为十二个细粒度类别，共包含 39 个具体的语音属性。这种细致的分类有助于全面捕捉语音中的非词汇信息。

语音属性框架 (Vocal Attributes Framework): 下表（原文 Table 2）总结了 EchoMind 中涉及的语音属性：

脚本与语音风格控制 (Script and Vocal-Style Control):

• 语义中立对话脚本 (Semantically Neutral Dialogue Scripts): 脚本不包含明确的情感或语境线索，以隔离语音表达的影响。
• 受控语音风格变化 (Controlled Vocal-Style Variations): 每个脚本都以三种语音风格呈现：
  1. target expressiveness (目标表现力)
  2. alternative expressiveness (替代表现力)
  3. neutral expressiveness (中性表现力) 这种设计确保了说话者状态推断完全依赖于非词汇声学线索。

多层次任务 (Multi-level Tasks): EchoMind 包含三个相互关联的任务层次，模拟人类对话的认知过程：

1. 理解 (Understanding): 评估内容和语音感知能力。
2. 推理 (Reasoning): 评估整合推断能力。
3. 对话 (Conversation): 评估开放式响应生成能力。 所有任务均基于相同的音频实例，确保语境一致性。

评估方法 (Evaluation Methods): 结合定量和定性指标，对开放式对话任务中的文本和音频响应进行联合评估，包括模型作为评估者 (Model-as-a-judge) 和人类评估。

4.2.2. 音频数据集构建 (Audio Dataset Construction)

4.2.2.1. 对话脚本合成 (Dialogue Script Synthesis)

• 生成器: 使用 GPT-4o 生成针对每个语音属性的一轮对话，其中用户是发起者，系统是响应者。
• 用户话语设计: 用户话语 (User utterance) 刻意避免包含显式的语音属性表达，但仍保持有意义，以隔离语音线索的影响。
• 响应生成: GPT-4o 为每个用户话语生成三种类型的响应：
  1. high-EQ response (高情商响应): 基于内容和指定的语音线索。
  2. cue-agnostic response (线索无关响应): 仅基于文本内容。
  3. alternative empathetic response (替代共情响应): 基于不同的语音属性表达。
• 多样性与审查: 定义了 17 个主题（例如，工作、健康、旅行）以确保多样性。所有生成的脚本都经过三位作者的手动审查，仅保留一致认为连贯且适当的脚本，最终得到 1,137 个脚本。
• 多参考响应: 每种响应类型扩展到五个参考响应，以支持鲁棒的多参考评估。

4.2.2.2. 对话音频合成 (Dialogue Audio Synthesis)

• 语音变体: 为每个用户级别的话语生成三种语音风格变体：目标、中性和替代表现力。
• 合成策略: 根据语音属性的维度和表现力采用定制的语音合成策略：
  • 说话者信息: 使用 Doubao TTS API。
  • 副语言线索: 采用多方法：
    • Cough (咳嗽) 和 Vocal fatigue (声音疲劳): 通过指导 Doubao 移动应用中的对话智能体生成。
    • Hoarse (嘶哑): 使用 Doubao 的语音克隆功能合成。
    • 其他语音线索: 使用 GPT-4o-mini-TTS 和专门设计的属性特定提示词生成。
  • 环境语境: 使用 Doubao TTS 生成干净语音，并与 AudioCaps [49] 中的背景音混合。
• 质量控制: 所有输出都经过人工检查以确保自然度和音频质量。男性和女性声音在合成条件中保持平衡。
• 响应语音指导: GPT-4o 被提示为每个话语-语音对生成一个语音感知档案 (voice-aware profile)，指定语音情感 (affect)、语调 (tone)、情绪 (emotion) 和个性 (personality)，以指导 GPT-4o-mini-TTS 生成音频，确保响应在语境和情感上与用户语音输入对齐。

4.2.2.3. EchoMind-Human 版本 (EchoMind-Human Version)

为了减少完全由 TTS 生成数据可能带来的伪影或偏见，从 1,137 个脚本中随机抽取了 491 个脚本，确保平衡覆盖所有语音属性。这些脚本由一名男性和一名女性专业配音演员录制，创建了 EchoMind-Human 版本。

4.2.3. 多层次任务制定 (Multi-Level Tasks Formulation)

EchoMind 被设计为包含三个层次（理解、推理、对话）的基准，模拟人类对话的认知进展。下表（原文 Table 3）展示了 EchoMind 中所有音频输入的任务级别统计信息：

括号中的数字表示目标表达音频输入 (target expression audio inputs) 的数量。

4.2.3.1. 理解层次 (Understanding Level)

• 内容理解 (Content Understanding - ASR):
  • 目标：评估模型在具有挑战性声学条件（包括富有表现力的语音和环境噪音）下转录语音的能力。
  • 设置：标准的自动语音识别 (ASR) 任务。
• 语音理解 (Voice Understanding - MCQs):
  • 目标：通过多项选择题 (MCQs) 识别语音线索。
  • 粗粒度任务 (Coarse-Grained): 问题格式为“以下哪项最能描述此音频？”( "Which of the following best describes this audio?")，选项来自不同的语音维度。
  • 细粒度任务 (Fine-Grained): 专注于单一语音维度，例如“说话者在音频中做出了什么最可能的非语言表达？”("What is the most likely non-verbal expression the speaker made during the audio?")。

4.2.3.2. 推理层次 (Reasoning Level)

• 综合推理 (Integrated Reasoning - MCQs):
  • 目标：评估模型更高阶的理解能力，例如说话者意图或情境语境，这需要模型解释语言内容和声学特征。
  • 任务类型: 设计了 10 种问题类型，结合语音线索和脚本信息，比语音理解 MCQ 更具挑战性。例如：
    • Multiple People Detection (多人检测)
    • Laughter Sentiment Detection (笑声情感检测)
    • Shouting Sentiment Detection (叫喊情感检测)
    • Audio-Text Sentiment Consistency (音频-文本情感一致性)
    • Response Style Matching (响应风格匹配)
    • Personalized Recommendation Matching (个性化推荐匹配)
    • Contextual Suggestion Generation (语境建议生成)
    • Preceding Event Inference (前序事件推断)
    • Speaker Intent Recognition (说话者意图识别)
    • Empathy-Aware Response Selection (共情响应选择)
  • 构建方法: 通过人工设计和 GPT-4o 辅助生成问题和答案，并进行两阶段审查（GPT-4o 初步生成后人工验证）以确保独特性和唯一正确答案。

4.2.3.3. 对话层次 (Conversation Level)

• 开放式响应生成 (Open-domain Response Generation):
  • 目标：评估模型生成语境连贯、社会适宜和共情回应的能力，体现了感知和推理在自然对话中的整合。
  • 设置：模型对口语输入生成开放式响应。

4.2.3.4. 多项选择题 (MCQs) 构建细节

为了确保每个粗粒度 MCQ 都有一个明确的正确答案，采用了基于规则的启发式方法来避免包含冲突的语音属性。冲突分为三类：

1. 相似性冲突 (Similarity conflicts): 两个属性具有密切相关的语义或感知特征（例如，angry 和 shout，cheering 和 applause）。
2. 隐含冲突 (Implication conflicts): 一个属性的存在隐含着另一个（例如，yawn 隐含 vocal fatigue，sigh 隐含 sad）。
3. 包含冲突 (Inclusion conflicts): 一个属性本质上包含另一个（例如，children speaking 包含 child）。 通过应用这些启发式方法，消除了模糊的重叠，从而减少了标签噪声并提高了评估的可靠性。

4.2.4. 评估指标 (Evaluation Metrics)

下表（原文 Table 4）展示了基准中不同任务层次的评估指标，涵盖了文本和音频模态的客观和主观测量。

4.2.4.1. 内容理解 (ASR)

• 词错误率 (Word Error Rate, WER):
  • 概念定义: WER 是衡量自动语音识别 (ASR) 系统性能的常见指标，它计算将识别出的词序列转换为参考词序列所需的最小编辑操作（插入、删除、替换）数量，然后除以参考词序列的总词数。值越低表示性能越好。
  • 数学公式: $$\mathrm{WER} = \frac{I + D + S}{N}$$
  • 符号解释:
    • $I$: 插入 (Insertions) 的词数。
    • $D$: 删除 (Deletions) 的词数。
    • $S$: 替换 (Substitutions) 的词数。
    • $N$: 参考 (真实) 文本中的总词数。
• 语义相似度 (Semantic Similarity, SemSim):
  • 概念定义: 衡量金标准 (gold standard) 转录文本与模型预测转录文本之间的语义接近程度。通过将文本编码为向量，然后计算这些向量之间的余弦相似度来量化。值越高表示语义越接近。
  • 计算方法: 使用 Qwen3-Embedding-0.6B 模型编码两个转录文本，并计算其嵌入向量的余弦相似度。 $$\mathrm{SemSim}(v_1, v_2) = \frac{v_1 \cdot v_2}{\|v_1\| \|v_2\|}$$
  • 符号解释:
    • $v_1$: 金标准转录文本的嵌入向量。
    • $v_2$: 模型预测转录文本的嵌入向量。
    • $\cdot$: 向量点积。
    • $\|v\|$: 向量的欧几里得范数（长度）。

4.2.4.2. 语音理解和推理任务 (MCQs)

• 准确率 (Accuracy, ACC):
  • 概念定义: ACC 是衡量分类任务性能的最基本指标之一，计算正确预测的样本数占总样本数的比例。值越高表示模型性能越好。
  • 数学公式: $$\mathrm{ACC} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}}$$
  • 符号解释:
    • Number of Correct Predictions: 模型正确回答的问题数量。
    • Total Number of Predictions: 总问题数量。

4.2.4.3. 对话任务 (Conversation Task)

4.2.4.3.1. 文本层面客观指标 (Text-level Objective Metrics)

这些指标均衡量生成文本与参考文本的匹配程度，值越高表示性能越好。

• BLEU (Bilingual Evaluation Understudy):
  • 概念定义: BLEU 是一种用于评估机器翻译质量的指标，通过比较机器翻译的输出与高质量人工参考译文，计算匹配的 n-gram 数量来衡量。它主要关注精确度 (precision)。
  • 数学公式: $$\mathrm{BLEU} = \mathrm{BP} \cdot \exp\left( \sum_{n=1}^{N} w_n \log p_n \right)$$ 其中，BP 为简短惩罚因子 (Brevity Penalty)，用于惩罚过短的生成文本。 $$\mathrm{BP} = \begin{cases} 1 & \text{if } c > r \\ e^{(1-r/c)} & \text{if } c \le r \end{cases}$$ $p_n$ 为 $n$-gram 精确度: $$p_n = \frac{\sum_{\text{sentence} \in \text{candidate}} \sum_{n\text{-gram} \in \text{sentence}} \mathrm{Count}_{\text{clip}}(n\text{-gram})}{\sum_{\text{sentence} \in \text{candidate}} \sum_{n\text{-gram} \in \text{sentence}} \mathrm{Count}(n\text{-gram})}$$
  • 符号解释:
    • $N$: 考虑的最大 n-gram 长度 (通常为 4)。
    • $w_n$: 每个 n-gram 的权重 (通常为 $1/N$)。
    • $p_n$: $n$-gram 的修正精确度 (modified precision)。
    • $c$: 候选译文的总词数。
    • $r$: 参考译文的有效总词数 (取与候选译文长度最接近的参考译文长度)。
    • $\mathrm{Count}_{\text{clip}}(n\text{-gram})$: 在参考译文中出现的 n-gram 计数，限制为最多与参考译文中的最大计数相同。
    • $\mathrm{Count}(n\text{-gram})$: 在候选译文中出现的 n-gram 计数。
• ROUGE-L (Recall-Oriented Understudy for Gisting Evaluation - Longest Common Subsequence):
  • 概念定义: ROUGE 系列指标主要用于评估文本摘要和机器翻译，通过计算生成文本和参考文本之间重叠的单位（词、n-gram、最长公共子序列等）来衡量。ROUGE-L 特别关注最长公共子序列 (Longest Common Subsequence, LCS)，因为它能捕获句子的结构相似性。
  • 数学公式: $$R_{LCS} = \frac{\mathrm{LCS}(X, Y)}{m}$$ $$P_{LCS} = \frac{\mathrm{LCS}(X, Y)}{n}$$ $$F_{LCS} = \frac{(1+\beta^2)R_{LCS}P_{LCS}}{R_{LCS} + \beta^2P_{LCS}}$$ 通常使用 $F_{LCS}$ 作为 ROUGE-L 分数，其中 $\beta$ 通常设为 1。
  • 符号解释:
    • $X$: 参考文本序列。
    • $Y$: 生成文本序列。
    • $\mathrm{LCS}(X, Y)$: 序列 $X$ 和 $Y$ 之间最长公共子序列的长度。
    • $m$: 参考文本 $X$ 的长度（词数）。
    • $n$: 生成文本 $Y$ 的长度（词数）。
    • $R_{LCS}$: 基于 LCS 的召回率 (recall)。
    • $P_{LCS}$: 基于 LCS 的精确度 (precision)。
    • $F_{LCS}$: LCS 的 F-分数。
    • $\beta$: 召回率和精确度之间的权重平衡因子。
• METEOR (Metric for Evaluation of Translation with Explicit Ordering):
  • 概念定义: METEOR 是另一种机器翻译评估指标，与 BLEU 不同，它通过单词的精确匹配、词干匹配 (stemming)、同义词匹配 (synonymy) 以及短语匹配来衡量，并且引入了调和平均 (harmonic mean) 以及片段 (chunk) 匹配来考虑召回率和流畅度。
  • 数学公式: $$\mathrm{METEOR} = (1 - \mathrm{Penalty}) \cdot F_{\text{mean}}$$ $$F_{\text{mean}} = \frac{10 \cdot P \cdot R}{P + 9 \cdot R}$$ $$P = \frac{m}{\text{length}(\text{candidate})}$$ $$R = \frac{m}{\text{length}(\text{reference})}$$ $$\mathrm{Penalty} = 0.5 \cdot \left( \frac{\text{number of chunks}}{\text{number of matches}} \right)^3$$
  • 符号解释:
    • $F_{\text{mean}}$: 基于精确度 $P$ 和召回率 $R$ 的调和平均。
    • $m$: 在候选文本和参考文本之间匹配的单词数量。
    • length(candidate): 候选文本的单词总数。
    • length(reference): 参考文本的单词总数。
    • number of chunks: 匹配的词序列块的数量。
    • number of matches: 匹配的单词总数。
    • Penalty: 惩罚因子，用于惩罚匹配块的数量过多（表示生成文本的顺序不佳）。
• BERTScore:
  • 概念定义: BERTScore 使用预训练的 BERT 模型来计算生成文本和参考文本中每个词的上下文嵌入，然后通过计算这些嵌入之间的余弦相似度来匹配词语，从而获得一个更语义化的相似度分数。它比 n-gram 匹配指标更能捕捉语义相似性。
  • 计算方法: 对于生成文本中的每个词，找到参考文本中与其嵌入最相似的词，反之亦然。然后计算召回率、精确度和F1分数。 $$P = \frac{1}{|x|} \sum_{x_i \in x} \max_{y_j \in y} \mathrm{sim}(x_i, y_j)$$ $$R = \frac{1}{|y|} \sum_{y_j \in y} \max_{x_i \in x} \mathrm{sim}(x_i, y_j)$$ $$F_1 = 2 \frac{P \cdot R}{P + R}$$
  • 符号解释:
    • $x$: 生成文本的词嵌入序列。
    • $y$: 参考文本的词嵌入序列。
    • $|x|$: 生成文本的词数。
    • $|y|$: 参考文本的词数。
    • $\mathrm{sim}(x_i, y_j)$: 词 $x_i$ 和 $y_j$ 嵌入向量之间的余弦相似度。
    • $P$: 精确度。
    • $R$: 召回率。
    • $F_1$: F1 分数。

4.2.4.3.2. 文本层面主观指标 (Text-level Subjective Metrics)

通过 Model-as-a-judge (使用 GPT-4o) 进行 5 分制评分，不需要参考响应。

• C1: 语境契合度 (Context Fit): 响应与对话情境（主题、说话者话语）的相关性和适当性。

• C2: 响应自然度 (Response Naturalness): 响应在对话中的流畅性，是否像真人对话。

• C3: 口语化程度 (Colloquialism Degree): 响应使用自然、日常对话语言的程度。

• C4: 语音信息相关性 (Speech Information Relevance): 响应纳入说话者相关语音属性的程度。

  下表（原文 Table 14 节选）详细定义了 C1 至 C4 的评分标准：

  Metric Name	Specific Scoring Definition
  		Definition Reflects how well the re- sponse fits within the context Context Fit of the scenario (i.e., topic, and speaker A's utterance).	5 points: The reply fully matches the dialogue background; it is smooth and natural, perfectly fitting the context and situation. 4 points: The reply adapts well to the dialogue background; the content is coherent and relevant, with minor room for improvement. 3 points: The reply basically adapts to the dialogue background and is
  	Response	Focus on whether the re- sponse seems relevant to the conversation and addresses the elements in the case ap- propriately. Reflects how naturally the response flows within the conversation. It considers	generally on-topic, but parts feel unnatural or slightly off-topic. 2 points: The reply partially fits the dialogue background, but the content is not fully relevant and feels somewhat unnatural or lacks fluency. 1 point: The reply does not adapt to the dialogue background at all; it is unrelated to the topic or context and feels abrupt or unnatural. 5 points: The response is exceptionally natural, fully capturing the flow and authenticity of real conversation; it sounds like a genuine exchange between two people. 4 points: The response is very natural, with a tone that fits casual dia-
  C2	Naturalness	whether the response sounds like something a real person would say in the given con- text. Evaluates how informal or	logue; there are no noticeable awkward or unnatural elements. 3 points: The response is generally natural, though somewhat formulaic; overall, it matches the rhythm and tone of everyday conversation. 2 points: The response has some naturalness, but the tone or phrasing still feels slightly unnatural, with a rigid structure. 1 point: The response feels stiff or robotic, lacking conversational flu- ency; it sounds like pre-written lines. 5 points: The response is fully colloquial, using the relaxed, authentic language of everyday dialogue; it feels effortless and natural.
  C3	Colloquialism Degree	conversational the response content looks like. Checks if the response uses natural, everyday language, particu- larly in spoken or informal settings.	4 points: The response is largely colloquial—warm, natural, and well- suited to informal exchanges, with only a trace of formality. 3 points: The response strikes a moderate balance: it mixes formal and colloquial expressions, making it suitable for daily conversation but still slightly reserved. 2 points: The response contains some colloquial elements, yet its overall tone remains fairly formal, lacking lived-in, natural phrasing. 1 point: The response is entirely non-colloquial—overly formal or aca- demic—and completely mismatched with everyday spoken language. 5 points: The response is entirely grounded in the speech information ,
  C4	Speech Infor- mation Rele- vance	Evaluates how the response should be formulated based on the provided speech infor- mation. The score should re- flect how accurately the sen- tence addresses or incorpo- rates the speech information into this response.	accurately reflecting its relevant content and achieving a high degree of alignment with speech information. 4 points: The response takes the speech information into account and shows some awareness of , yet it does not fully integrate it into the conversation, making the reply somewhat stiff and leaving room for more natural expression. 3 points: The response somewhat overlooks the speech information, failing to fully incorporate its characteristics, resulting in a reply that feels imprecise or biased. 2 points: The response barely acknowledges the speech information and instead presents content that is either contradictory or inconsistent with. 1 point: The response is completely unrelated to the provided speech

4.2.4.3.3. 音频层面客观指标 (Audio-level Objective Metrics)

• NISQA (Non-Intrusive Speech Quality Assessment):
  • 概念定义: NISQA 是一种非侵入式语音质量评估模型，用于预测语音的自然度和整体音频质量，无需参考语音。分数越高表示语音质量越好。
  • 计算方法: 采用深度 CNN-self-attention 模型预测多维语音质量。
• DNMOS (Deep Noise Suppression Mean Opinion Score):
  • 概念定义: DNMOS 通常指深度降噪后的平均主观评价分数，类似于 MOS (Mean Opinion Score)，但更侧重于降噪后的语音质量。在本文中，DNMOS 指的是使用 UTMOS [55] 来评估语音自然度和整体音频质量，这是一种通用的语音质量评估方法。
  • 计算方法: UTMOS (Universal Speech Quality Metric) 基于深度学习模型，通过分析语音特征来预测人类对语音质量的感知分数。

4.2.4.3.4. 音频层面主观指标 (Audio-level Subjective Metrics)

• EmoAlign (Emotional Alignment):
  • 概念定义: 衡量生成音频响应的情感与金标准参考情感 (gold reference emotions) 的对齐程度。金标准情感由 GPT-4o 从对话内容和语音线索中预测。模型从生成音频中推断情感 (使用 emotion2vec [56])，然后与金标准进行比较。分数越高表示情感对齐度越好。
• Vocal Empathy Score (VES):

  • 概念定义: VES 使用 Gemini-2.5-Pro 模型（一种先进的语音理解模型）来评估响应是否能够反映对话者的语音风格和情感状态。这是一个 5 分制的评分，分数越高表示共情度越高。

  • 评分标准: (原文 Table 14 节选)

    VES

    Vocal Empa- thy Score

    Measures how well the re- sponder's speech expresses an appropriate emotional tone and vocal style to match the speaker's described state.

    information; it offers no content that reflects or addresses in any way. 5 points: Perfect empathy: The responder's vocal emotional intensity, pitch, rhythm, and tone highly match the speaker's state, conveying appropriate care or emotional resonance. 4 points: Basic empathy: The vocal style of the responder generally matches the speaker's state, but there are minor deficiencies, such as the emotional intensity being slightly weaker or missing subtle pauses. 3 points: Weak empathy: The direction is correct, with some resonance, but the emotional expression is insufficient or lacks key vocal features. 2 points: Incorrect empathy: Most of the style doesn't match the speaker's state, even opposite to it. 1 point: No empathy: The vocal style shows no emotional expression at

4.2.4.3.5. 人类评估 (Human Evaluation) 额外指标

• Audio-Quality (音频质量): 评估响应音频的清晰度和质量。

• Response Difference (响应差异): 评估同一 SLM 模型针对相同文本内容但不同语音输入生成的音频响应之间的差异程度，即模型对语音线索变化的适应能力。

  下表（原文 Table 15）详细定义了 Audio-Quality 和 Response Difference 的评分标准：

  Metric	Definition	Specific Scoring Definition
  Audio-Quality	Used to assess the clarity and quality of the response audio.	5 points: Excellent sound quality, very clear. 4 points: Average sound quality, can be understood normally. 3 points: Average sound quality, can be understood normally. 2 points: Poor sound quality, affects understanding. 1 point: Very poor sound quality, seriously affects understanding.
  Response Difference	are differences between the response audio generated by the same SLM model for the same textual content but with different voice inputs.	5 points: The audio responses to different voice information perfectly match the corresponding voice information, flowing naturally and per- fectly fitting the context and situation. 4 points: The audio responses to different voice information show sig- nificant differences, reflecting some of the special characteristics of the voice information. 3 points: The audio responses to different voice information show some differences, but the special characteristics of the voice information are not well reflected.

5. 实验设置

5.1. 数据集

EchoMind 基准的核心是其专门构建的音频数据集。

5.1.1. 对话脚本构成

• 生成方式: 使用 GPT-4o 生成一轮对话，用户作为发起者，系统作为响应者。
• 主题: 定义了 17 个预设主题/场景 [46]，包括：学校 (school)、工作 (work)、家庭 (family)、健康 (health)、娱乐 (entertainment)、旅行 (travel)、食物 (food)、体育 (sports)、金融 (finance)、科技 (technology)、音乐 (music)、电影 (movies)、书籍 (books)、游戏 (games)、美容 (beauty)、购物 (shopping) 和天气 (weather)。
• 语音属性: 对于非环境属性，每个主题生成 5 个脚本；对于环境音，生成 5 个脚本，无主题限制。
• 人工审查: 所有 GPT-4o 生成的用户话语都经过三位作者的人工审查，仅保留一致认为连贯且适当的脚本，以避免 LLM 幻觉 [48] 带来的问题。
• 最终脚本数量: 1,137 个脚本。
• 参考响应: 每种用户话语（高情商、线索无关、替代共情）都扩展为 5 个参考响应，以支持鲁棒的多参考评估。

5.1.2. 音频输入统计 (EchoMind TTS 版本)

下表（原文 Table 8）提供了 EchoMind 中所有音频输入的详细统计信息：

下表（原文 Table 9）提供了 EchoMind 中目标表达音频输入的详细统计信息：

5.1.3. EchoMind-Human 版本

• 采样: 从 1,137 个完整脚本中，随机抽取了 491 个脚本用于人工录制，确保所有语音属性的平衡覆盖。

• 录制: 由一名男性和一名女性专业配音演员录制，他们拥有出色的英语水平和专业的配音技巧。

• 目的: 减少完全由 TTS 生成数据可能引入的伪影或偏见。

  下表（原文 Table 10）提供了 EchoMind-Human 中所有音频输入的详细统计信息：

  Voice Dimensions	Voice Attributes	Count	Hours	Dur.	Words/sec
  Neutral		471	0.82	6.27	1.66
  Speaker information
  Gender	Male, Female	40	0.06	5.40	1.98/1.82
  Age	Child, Elderly	60	0.09	5.83	1.87/1.88
  Paralinguistic Information
  Physiological State	Hoarse, Breath, Vocal fatigue, Sobbing	99	0.21	7.81	1.45/0.93/1.38/1.31
  Emotion	Happy, Sad, Surprised, Angry, Fear, Disgust	300	0.55	6.67	1.54/1.38/1.34/1.5/1.17/1.30
  Volume	Shout, Whisper	50	0.09	6.62	1.56/1.38
  Speed NVE	Fast, Slow	128	0.34	9.59	2.34/1.01
  	Cough (keke), Sigh (ai), Laughter (ha), Yawn (ah∼), Moan (uh)	153	0.32	7.66	1.27/1.19/1.41/1.26/1.17
  Environmental Information
  All environmental sound		152	0.24	5.70	1.64
  Overall		1453	2.73	6.81	1.65

下表（原文 Table 11）提供了 EchoMind-Human 中目标表达音频输入的详细统计信息：

5.1.4. 示例对话数据

下表（原文 Table 12）提供了 EchoMind 中合成对话数据的一些示例，对应语义中立的脚本、关联的响应、语音风格档案以及针对各种目标语音属性合成的音频。

5.1.5. 设计的 MCQ 示例

下表（原文 Table 13）展示了 8 种理解问题和 10 种推理问题的示例。

Question: What is the most likely age group of the speaker in the audio?

5.2. 评估模型 (Evaluated SLMs)

论文评估了 12 个先进的端到端 SLM，包括：

• 闭源模型: GPT-4o-Audio [3]。
• 开源模型:
  • Audio Flamingo 3 系列 [30] (Base, $Base + Φ Thinking$, Chat 版本)
  • DeSTA2.5-Audio [58]
  • VITA-Audio [31]
  • LLaMA-Omni2 [37]
  • Baichuan-Omni-1.5 [5]
  • GLM-4-Voice [4]
  • OpenS2S [38]
  • Qwen2.5-Omni-7B [7]
  • Kimi-Audio [59]
  • Step-Audio [35]
  • EchoX [34]

5.3. 提示设置 (Prompts Setup)

• ASR 任务: 优先使用每个 SLM 的默认 ASR 提示。若无默认提示，则采用统一指令："Please transcribe the speech in the input audio into text" (请将输入音频中的语音转录为文本)。
• MCQs 任务: 定义任务输入，包括输入音频、问题、选项以及对预期输出格式的指令。
• 对话任务 (Conversation Task): 采用三层提示策略，系统地检查模型在不同指令级别下的性能。
  • P1 (零提示 - Zero-prompt): 模型直接处理音频输入，不提供任何系统提示。
  • P2 (基本提示 - Basic prompt): 模型被指示 "provide a direct and concise response" (提供直接简洁的响应)。
  • P3 (增强提示 - Enhanced prompt): 在基本提示的基础上，明确指示模型在生成响应时要考虑语音内容和语音线索。P3 根据语音线索维度进一步细化：
    • 说话者信息 (Speaker Information): "Your task is to provide a direct and concise response, considering both the spoken content and any personal information present in the user's voice." (你的任务是提供直接简洁的响应，同时考虑口语内容和用户语音中存在的任何个人信息。)
    • 副语言信息 (Paralinguistic Information): "Your task is to provide a direct and concise response in a customer service setting, considering both the spoken content and any paralinguistic information present in the user's voice." (你的任务是在客户服务设置中提供直接简洁的响应，同时考虑口语内容和用户语音中存在的任何副语言信息。)
    • 环境信息 (Environment Information): "Your task is to provide a direct and concise response, considering both the spoken content and any background sounds present." (你的任务是提供直接简洁的响应，同时考虑口语内容和存在的任何背景声音。)

5.4. 音频输入设置 (Audio Inputs Setup)

在所有任务中，评估主要针对目标表达音频输入 (target expression audio inputs) 进行，以确保严格的音频相关性并支持任务间相关性分析。替代表达 (alternative) 和中性表达 (neutral) 输入作为受控变量。

6. 实验结果与分析

6.1. 核心结果分析

6.1.1. 整体性能 - 共情对话中的语音线索鸿沟

下表（原文 Table 5）展示了 SLM 在 EchoMind 所有任务中的总体性能。

粗体和下划线表示最佳和次佳性能。会话响应结果显示的是基于语音线索相关指标 (C4 和 VES) 选择的最佳提示配置。WER/SemSim 中的 - 表示没有原生 ASR 能力或结果无法直接比较；响应（音频）中的 "" 表示模型无法直接产生语音输出。

• 内容理解 (ASR): 大多数 SLM 在 WER 和 SemSim 指标上表现出色，表明它们能够准确转录语音内容。例如，Audio-Flamingo3 取得了最低的 WER (2.93) 和很高的 SemSim (99.18)，Qwen2.5-Omni-7B 也有类似表现。
• 语音理解 (Voice Understanding - ACC): 模型在该任务上的表现差异较大。闭源模型 GPT-4o-Audio 以 66.25% 的准确率领先，其次是 Audio-Flamingo3+Think (65.16%) 和 Audio-Flamingo3 (64.29%)。这表明即使是先进模型也难以完全感知语音线索。
• 推理 (Reasoning - ACC): 在需要整合口语内容和语音线索的推理任务中，性能更具挑战性。GPT-4o-Audio 再次以 68.04% 领先，DeSTA2.5-Audio 以 63.04% 表现突出。整体准确率不高，显示整合词汇和副语言信息进行推理是一个难题。
• 对话任务（文本层面）:
  • 客观指标 (BLEU, ROUGE-L, METEOR, BERTScore): GPT-4o-Audio 在所有客观指标上均表现最佳，Baichuan-Omni-1.5 和 Audio-Flamingo3-chat 也有较好的性能。这表明这些模型在生成与参考文本匹配的对话内容方面表现良好。
  • 主观指标 (C1-C4):
    • C1 (语境契合度)、C2 (响应自然度)、C3 (口语化程度)：许多模型在这三个非语音特定维度上得分很高（通常超过 4 分）。这说明 SLM 能够生成语境适当、自然且口语化的响应。
    • C4 (语音信息相关性)：所有模型在该维度上的表现均不佳，没有一个模型平均分超过 4 分。这强烈表明，尽管模型可能生成高质量的文本，但它们在将语音线索整合到响应内容中以体现共情方面存在显著限制。GPT-4o-Audio 表现最佳 (3.42)，但仍有很大提升空间。
• 对话任务（音频层面）:
  • 质量指标 (NISQA, DNMOS): 大多数模型能够生成高质量的语音，VITA-Audio 和 Step-Audio 在 NISQA 上得分很高。
  • 情感对齐指标 (EmoAlign, VES): 这些主观指标揭示了模型在调整语音传递以反映对话者语音风格和情感状态方面的持续挑战。GPT-4o-Audio 在 EmoAlign 和 VES 上表现最佳，但整体分数仍显示出共情对话能力不足。EchoX 在 VES 上表现非常差 (1.40)。

6.1.2. 任务相关性 - 语音线索感知性能的普遍正相关

下图（原文 Figure 2）展示了模型在语音线索感知理解、推理和对话响应质量（C4、VES，最右侧图还包括 C1）之间的相关性。

该图像是图表，展示了模型在声调感知理解、推理和对话响应质量的相关性。图中包含三个散点图，分别对应不同的变量组合，数据点表现了各种模型的性能差异。

Figure 2: Correlations between model performance in vocal-cue-aware understanding, reasoning, and conversational response quality (C4, VES; plus C1 in the right plot).

• 理解-推理相关性 (左图): 理解和推理之间存在普遍的正相关关系。这意味着具有更强语音理解能力的模型，往往在推理任务中也能取得更高的准确率。这表明，准确感知语音线索是有效多模态推理的基础。然而，图中也存在一些偏离整体趋势的模型，表明强大的理解能力不一定保证同等高的基于语音的推理性能。
• 理解-对话相关性 (中图) 和 推理-对话相关性 (右图): 在理解-对话和推理-对话图中，同样观察到相似的向上趋势。这再次印证了理解和推理能力对对话响应质量的积极影响。
• 离群点分析: GLM-4-voice 和 Vita-Audio 是明显的离群点，它们在语音线索理解和推理方面得分较低，但在对话响应质量上却相对较高。这可能与这些模型的指令遵循能力较弱有关，因为理解和推理任务采用了 MCQ 格式，要求精确遵循任务指令。如 Table 3 所示，这两个模型在没有系统提示的情况下取得了最佳会话性能，而添加系统提示反而导致性能下降。

6.1.3. 人类评估 - 与基于模型的自动指标对齐

下表（原文 Table 6）比较了 Qwen2.5-Omni-7B、Step-Audio 和 GPT-4o-Audio 三个代表性 SLM 在对话任务上的人类和 Model-as-a-judge 分数。

粗体和下划线表示最佳和次佳性能。

• 总体一致性: 尽管所有三个模型都表现出较强的性能，且绝对差异相对较小，但人类评估与自动评估（Model-as-a-judge）在相对排名上保持一致，这支持了自动评估协议的有效性。
• GPT-4o-Audio 的差异: GPT-4o-Audio 在 C2 (响应自然度) 和 VES 上的人类评分显著低于其自动评分。评估者将这些差异归因于两个主要因素：
  1. GPT-4o-Audio 倾向于生成过长、结构正式的响应，在对话中显得不那么自然。
  2. 其合成语音的音色 (timbre) 更为正式，而其他模型听起来更柔和温暖，这些特质与更高的感知共情度相关。
• 响应差异 (Response Difference): 所有模型在 Response Difference 上得分均高于 3.0（GPT-4o-Audio 最高为 3.50），这表明它们在面对相同脚本但不同语音风格时，能够进行一定的响应调整。然而，没有模型超过 4.0 分，这突显了在语音线索适应能力方面仍有很大的改进空间。

6.2. 分析与讨论

6.2.1. RQ1: 提示强度对语音线索感知对话响应的影响

下图（原文 Figure 3）展示了在三种提示设置（P1：零提示，P2：基本提示，P3：增强提示）下，所有评估模型在对话任务中 C4 和 VES 性能的敏感度。

该图像是一个散点图，展示了不同模型在两个评估标准（C4和VES）下的表现，且响应敏感度在三种提示设置（P1、P2和P3）中有所变化。通过对比，可以看到不同模型在精准度评分上的差异。

Figure 3: Sensitivity of conversational responses under three prompt settings—P1: zero-prompt, P2: basic, and P3: enhanced.

• 普遍敏感性: 大多数模型对提示变化表现出敏感性，其中 Step-Audio 在不同设置下性能差异最大。
• 增强提示的效果: 在 12 个 SLM 中，有 7 个模型在 P3 (增强提示) 下获得了最高的 C4 分数，这表明明确指示模型关注语音线索可以有效提升其性能。
• 指令遵循的弱点: 另一方面，一些模型在没有任何提示 (P1) 的情况下表现最好，这暗示它们的指令遵循能力仍有局限。模型可能在默认情况下就已经尝试考虑所有可用信息，而明确的提示有时反而会限制其更泛化的行为，或者模型未能充分理解和利用提示中提供的额外信息。

6.2.2. RQ2: 语音来源对语音线索处理性能的影响

下图（原文 Figure 4）比较了三个性能最佳模型在 EchoMind-Human 版本和相同脚本的 TTS 生成版本上，语音线索处理相关指标的性能差异。

该图像是一个柱状图，展示了不同模型在理解（语音）与推理以及对话（C1、C4 和 VES）任务中的表现差异。左侧的柱状图比较了人类与合成语音（TTS）在理解和推理上的差异，右侧展示了在对话任务上的表现。

Figure 4: Performance differences (Human = recorded, ${ \mathrm { T T S } } =$ synthesized) on EchoMindHuman scripts.

• 人类语音的挑战性更高: 结果显示，人类录制的语音在所有三个评估层次上都对模型提出了更大的挑战，尤其在对话任务中影响最为显著。
• 原因分析: 这种性能差距可能反映了人类语音中更大的声学变异性 (acoustic variability) 和韵律细微差别 (prosodic nuance)。人类发声更自然、动态，包含更多非标准化的表达和背景噪音，这些都增加了模型感知的难度。
• 未来需求: 这强调了 SLM 需要增强其对真实世界自然语音变异的鲁棒性，以实现更有效的人机交互。

6.2.3. RQ3: 理想语音线索识别下的共情响应质量上限

为了评估 SLM 生成情感智能响应能力的上限，在对话任务中模拟了一个理想设置：为每个模型提供了音频输入和相应的语音线索信息。下表（原文 Table 7）展示了三个代表性模型在 C1、C4 和 VES 上的性能。括号中的值表示相较于没有语音线索输入时的基线增益。

• 性能显著提升: 在这种理想条件下，所有三个模型都获得了更高的分数。GPT-4o-Audio 在所有指标上达到最高绝对值 (C1 4.83, C4 4.45, VES 4.42)。
• 最大增益: Step-Audio 在 C4 (语音信息相关性) 上显示出最大的增益 (+1.10)，这表明其在感知到明确的语音线索信息后，能够更好地将其整合到文本响应中。
• 潜在上限: 这些结果反映了当前 SLM 在完美识别语音线索信息时的共情响应能力上限。它暗示了模型在生成共情响应的“决策”层面可能具备一定能力，但主要的瓶颈在于其对复杂、微妙语音线索的准确感知和提取能力。一旦提供了理想的语音线索信息，模型就能更好地发挥其潜力。

7. 总结与思考

7.1. 结论总结

本文提出了 EchoMind，这是一个开创性的、关联的、多层次基准，旨在通过顺序的、语境关联的任务评估语音语言模型 (SLMs) 的共情能力。EchoMind 将评估范围从单纯的语言理解扩展到包含 39 个语音属性（涵盖说话者信息、副语言线索和环境语境）的受控框架，从而全面评估 SLM 如何感知和响应语音的非词汇方面。

对 12 个先进 SLM 的测试揭示，即使是最先进的系统，在处理高表现力语音线索时也面临困难，这限制了它们生成语境适当且情感对齐响应的能力。行为分析进一步指出，SLM 在指令遵循、对自然语音变异的鲁棒性以及有效利用语音属性进行共情方面存在持续的弱点。这些发现强调了开发能够将语言内容与细致入微的语音线索感知相结合的模型的重要性，以实现真正类人、情感智能的对话能力。

7.2. 局限性与未来工作

论文通过实验结果揭示了当前 SLM 的几大局限性，这些也间接指明了未来的研究方向：

1. 语音线索感知与利用不足: 现有 SLM 难以有效感知和利用非词汇语音线索，导致共情响应质量受限。未来的工作需要专注于提升模型从原始音频中提取和理解这些微妙线索的能力。
2. 指令遵循能力弱: 某些模型在面对明确的提示（特别是增强提示 P3）时未能表现出预期性能提升，甚至可能下降，这表明其指令遵循能力仍有待加强。未来模型需要更好地理解并精确响应用户或系统提供的特定指示。
3. 对自然语音变异的鲁棒性不足: EchoMind-Human 版本的结果表明，人类录制的语音因其更大的复杂性和细微差别，对模型构成了更大挑战。未来的 SLM 需要更强的泛化能力，以适应真实世界中多样化且非标准化的自然语音。
4. 共情响应的集成能力: 尽管在理想语音线索输入下性能有所提升，但模型在实际情境中将感知到的语音线索有效整合到对话规划和响应生成中的能力仍是瓶颈。未来的模型需要更深层次的跨模态融合机制，以实现真正有共情力的对话。

7.3. 个人启发与批判

7.3.1. 个人启发

1. 共情评估的重要性: EchoMind 强调了共情在智能对话系统中的核心地位，并提供了一个系统化的评估框架。这对于推动 SLM 从“能听懂”到“能理解并共情”的演进至关重要。
2. 基准设计的巧妙性:
   • 关联多层次任务: 模拟人类认知过程的设计非常精妙，将理解、推理、对话任务关联起来，而非孤立评估，这使得评估结果更具说服力，能够真正反映 SLM 的综合能力。
   • 语义中立脚本与受控变量: 使用语义中立的脚本并通过受控的语音风格变化来隔离非词汇线索的影响，是科学严谨的实验设计，有效排除了文本内容带来的混淆，使研究重点更加清晰。
   • 全面语音属性框架: 包含 39 个语音属性的细致分类，为全面捕捉和评估语音中的非词汇信息提供了扎实的基础。
3. 人类语音的复杂性: 实验结果再次印证了人类语音的巨大复杂性，即便是最先进的模型，在处理自然人声时仍面临巨大挑战。这提醒研究者，合成语音数据集的便利性不应取代对真实人声复杂性的深入研究和应对。
4. 模型瓶颈的揭示: “理想语音线索识别下的上限”实验巧妙地揭示了当前 SLM 的主要瓶颈在于“感知和提取”而非“生成共情回应”的潜力。这为未来的研究提供了明确的方向：首先需要提升模型对语音线索的底层感知能力。

7.3.2. 批判

1. 对 GPT-4o 的高度依赖:
   • 数据生成偏见: GPT-4o 用于生成对话脚本、参考响应以及响应的语音风格档案。如果 GPT-4o 本身在某些共情场景或语音线索理解上存在固有偏见或局限，这些偏见可能会被引入到基准的“真值”中，从而影响评估的普适性。
   • 评估器偏见: GPT-4o 还作为 Model-as-a-judge 进行主观评估。尽管与人类评估有一定一致性，但其与人类评估的偏差（如对 GPT-4o-Audio 文本自然度和 VES 的评估差异）表明，LLM 作为评估器仍有其局限性，并且可能存在对其自身或同源模型（如 GPT-4o-Audio）的隐性偏好。
2. 数据集规模的考量: 尽管 EchoMind 在语音属性的广度和控制上做得很好，但 1,137 个 TTS 脚本和 491 个 EchoMind-Human 脚本对于训练和评估非常大型、数据饥渴的 SLM 而言，可能在数量上仍显不足。这可能会限制模型在更广泛和更长尾的共情场景中的泛化能力。
3. “理想语音线索识别”的实现细节: 论文提到了在“理想语音线索识别”下进行上限评估，但未详细说明如何向模型提供这种“理想语音线索信息”。例如，是以结构化的文本描述、特定的嵌入向量，还是其他形式？不同的提供方式可能会对模型利用这些信息的能力产生影响，从而影响所观察到的“上限”的真实解读。
4. 跨语言共情能力的扩展: EchoMind 目前专注于英语。考虑到不同语言在表达情感和使用非词汇语音线索上的差异，该基准的发现和设计能否直接推广到多语言环境，是一个值得探讨的问题。
5. 长期对话的考量: EchoMind 专注于一轮对话。然而，真正的共情对话往往发生在多轮交流中，涉及情感的积累、状态的变化和长期记忆。当前基准可能无法完全捕捉 SLM 在复杂、长程共情对话中的表现。